在外部网站上运行 MTurk HIT

Question

我正在实施一个网站，招募的 MTurk 员工将在该网站上执行任务。我计划使用 MTurk 任务招聘工人，我会将他们重定向到外部网站以进行实际工作。我有以下与此计划有关的问题。

1. 这种运行 HIT 的方法是否存在任何可预见的问题？如果是这样，我们如何减轻它们？

2. 我应该如何在我的外部站点上实施身份验证程序？例如，我如何才能确保来网站执行特定任务的人确实是之前在 MTurk 上为此特定任务招募的同一组人？

3. 当工人完成任务后，我应该如何根据他们的表现将付款程序与 MTurk 整合？例如，假设工人在我的外部网站上完成任务后被欠 3 美元，我是否可以告诉 MTurk 以编程方式向他/她支付这笔款项？

如果这些细节很重要，外部站点将使用 Python 构建。

任何基于您使用 MTurk 的经验和见解的建议和 cmet 将不胜感激！

Answer 1

我正在考虑我的一个类似项目。我自己作为一名工人进行过实验。这是我的计划，希望对你有用。 （我还没有实现它。它基于我作为工人参加的学术 HIT。）这里是：

A.创建一个具有类似语言的模板：

1. Please open this web site in a new browser window:
   http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste 
   it here: [________]

B.为您的 Mechnical Turk 数据文件创建一些随机标记：

1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...

（从您的应用生成这些令牌；它需要交叉引用它们。）

C.您的应用程序从 URL 中提取令牌、查找任务并执行它需要执行的任何操作。我个人不担心人们会偶然发现 URL，因为它是一次性使用令牌。

D.用户在外部网站上完成任务后，外部应用程序会给出确认码。确认码应该是随机且不透明的。只有您的应用程序会知道任何特定代码是否对应于正确或不正确的答案。事实上，如果您愿意，甚至可能无法实时确定正确性——它可能是多个提交的汇总和/或比较的结果。

E.编写一些代码以编程方式进行交互。从 MTurk 结果中获取令牌和确认码，并确保它们与您的外部应用程序匹配。如果它们不匹配，则拒绝 HIT。如果它们匹配，请检查您的外部应用程序中的正确性并批准或拒绝。您可以考虑奖金支付结构。

所以，回答您的特定问题：

1. 我预计我描述的方法不会出现问题。也就是说，Mechanical Turk 既是一门艺术，也是一门科学。也许更多的艺术。您必须结合常识、市场研究和实验来写出好问题并适当地付钱给 Turkers。

2. 参见上文 (C)。令牌设计为只能使用一次。使用足够长的令牌，碰撞的概率就会变得很低。

3. 参见上文 (E)。 Mechanical Turk Developer Guide 是一个很好的起点。

请分享您的结果。或者让 Turkers 向 StackOverflow 发送数百张明信片。 :)

注意事项：

• 我目前正在探索资格测试。我怀疑它们可能非常有用。

• 我想在我的外部应用程序中获取一个 Turker 的 Worker ID，但我还没有弄清楚那部分。我正在阅读它；例如：Getting workerId by assignmentId

• 我正在考虑使用 API 中的 ExternalQuestion 功能：“...您可以使用“外部”问题在自己的网站上托管问题。...带有外部问题的 HIT在 Worker 的 Web 浏览器的框架中显示您网站的网页。您的网页显示一个表单供 Worker 填写和提交。Worker 使用您的表单提交结果，您的表单将结果提交回 Mechanical Turk . 使用您的网站来显示表单可以让您的网站控制问题的显示方式和答案的收集方式。”

Answer 2

您可能还会发现PsiTurk 很有用：“PsiTurk 是一个开放平台，用于在 Amazon 的 Mechanical Turk 上进行自定义行为实验。......它旨在提供运行实验所需的大部分后端机器。它使用 AMT 的 External Question HIT 类型，这意味着你可以使用任何网站收集数据。只要你能把你的实验变成一个网站，你就可以用 PsiTurk 运行它！”