Amazon Mechanical Turk 是否支持 HIT 中的动态内容调整？答案

【问题标题】：Does Amazon Mechanical Turk support dynamical content adjustment in HIT?Amazon Mechanical Turk 是否支持 HIT 中的动态内容调整？
【发布时间】：2014-10-22 20:20:45
【问题描述】：

我需要使用 AMT HIT 来解决一些问题。但是，我的问题有一些依赖性。例如，如果他们选择 A 并选择 Yes 选项，我们将引导他们到问题 C 否则，我们将他们引导到问题 B。问题是：使用 AMT 的 web 批处理管理，这似乎是不可能的。在这种情况下，将问题 B 放在 HIT 上（如果选择 A 是）将产生额外的货币成本。

所以如果我们可以动态改变HIT的内容，那么我们可以先显示问题A，然后当A选择是时，我们可以将下一个问题显示为C并跳过问题B以节省资金。

Amazon Mechanical Turk 是否支持在单个 HIT 中动态更改内容？

谢谢。

【问题讨论】：

标签： amazon-web-services mechanicalturk

【解决方案1】：

是的，您可以在请求者用户界面中创建的 HIT 或通过 API 创建的 HTMLQuestion HIT 中使用 javascript。如果您使用 ExternalQuestion 在您自己的网站上托管 HIT，您当然可以使用服务器端或客户端技术来创建动态元素。 “默认” QuestionForm HIT 结构不支持动态元素。

【讨论】：

非常感谢。 AMT “默认” QuestionForm 是否支持获取工作人员的总体错误率？这里我的意思是获取worker的历史错误率，而不是我发布的QuestionForm的错误率。
您无法真正获得有关此类工人的信息。您可以查询工作人员以前在 HIT 上的表现（但您需要一个服务器端应用程序来动态查询 API）。您可以使用 QualificationRequirements 将 HITType 限制为具有特定绩效水平（>90% 已获批准的 HIT）的员工，但您无法在这些指标上获得员工特定的分数。
我在网上搜索了一个方法，通过添加一些黄金标准HIT，即我们知道答案的任务，可以大致完成这项任务。然后我们可以检查黄金标准 HIT 中的错误率，并得到工人错误率的估计。
抱歉，我没有足够的声誉来支持您的回答。
是的，您可以使用包含所谓“已知答案”的作业级 ReviewPolicy。如果工人得到错误的“已知答案”，那么这可以告诉你他们总体上的表现。您需要使用 API 创建 ReviewPolicy。