值得信赖和可信的mturk研究是什么样的?建议和清单

绘制原始机械土耳其人
在17世纪后期揭幕,原始机械土耳其人,虽然最终被证明是一个骗局,是一款棋盘的自动机。

您是否知道使用MTURK进行研究目的在过去10年中增加了20多次?您是否有兴趣使用Mturk为您自己的研究,并希望确保您做正确的事情?您最近读过一项使用MTURK样本的研究,并想知道您是否可以信任其结果和结论?您是一个期刊评论家,需要向作者提供建设性的反馈,了解如何提高基于MTURK的研究的质量,并想知道如何执行此操作吗?

我们的 管理人物学报 article, “MTURK研究:审查和建议,”为每个问题提供答案。我们这样做是根据两个独立的文学审查,涉及超过600个来源。我们的评论包括管理,会计,消费者行为,医学研究,组织心理,政治,社会学等领域的文章和书籍。

这个视频摘要来自赫曼·阿奎尼斯,伊莎贝尔别墅和拉维S. ramani详细说明了他们的论文刚刚在线发布 管理人物学报.

我们发现了什么?首先,很明显,Mturk的令人难以置信的流行度是基于四个主要好处。首先,您可以使用大型和不同的参与者池。例如,MTurk允许研究人员访问更大且更具人口统计的参与者池。例如,与学生样本相比,Mturkers年龄较大,拥有多年的相关工作经验,并报告更大的计算机和互联网知识。其次,您可以非常快速地访问和收集数据。例如,大多数MTurk分配在12小时或更短的时间内完成,因为在任何给定的时间都有大约7,300个MTurkers可用。第三,与其他数据收集方法相比,MTurk非常便宜。例如,招聘100名参与者进行调查,需要10分钟的时间才能完成约120美元加20%的MTURK费用 - 总共只有145美元。最后,Mturk在研究设计选择方面为您提供了灵活性。例如,MTURK可用于实施实验,被动观察,准实验和纵向研究设计。

但是,尽管有这些美好的好处,但我们的评论发现了10个关键有效性相关的挑战,研究人员使用MTURK面部的研究人员,必须解决最可信的结论:(1)注意到(2)自我歪曲,(3)自选偏见, (4)高磨损,(5)英语语言流畅性,(6)非Naiveté,(7)Mturker社区的增长,(8)对网络机器人的漏洞(或“机器人”),(9)社会渴望偏见, (10)感知研究员不公平。

赫曼阿奎尼斯,Left,Isabel Villamor和Ravi S. Ramani

我们的文章提供了基于证据的建议,以解决10个挑战中的每一个。我们非常关心创造这个清单,建议是实际和可行的 - 不仅仅是“天空中的馅饼”。例如,为了解决对网球机器人的注意力和漏洞的威胁,我们建议包括CAPTCHA验证问题 - 其中Mturkers提供对响应努力的自我报告的问题,以及需要开放式回应的问题。作为第二个例子,为了衡量社会的可取性,我们建议在研究结束时重复相关的问题,以明确所需的响应,以及对较早呈现的问题的对比答案。作为解决方案的另一个例子,为了抵消粗心或努力响应不足的威胁,我们建议分析响应时间并排除在每件商品不到一到两秒钟内完成任务的参与者。我们提供类似的详细和可操作的解决方案,以处理10个危急挑战中的每一个。

我们的文章对于那些希望第一次使用Mturk的人有用,以及那些已经使用MTurk的人,但希望提高他们未来的研究的质量。此外,期刊编辑和审核人员可以使用清单来评估提交并提供发展反馈,以提高透明度和再现性。此外,MTURK研究的消费者,包括其他研究人员,还可以使用我们的清单来了解学习遵循最佳实践的程度,因此可以信任。

总的来说,我们希望我们的 管理人物学报 文章将作为更加强大,可重复,可信赖的MTurk的管理和其他领域的催化剂作为催化剂。如果您有任何疑问,请与我们联系!

4.5 2 投票
文章评级

赫曼阿奎尼斯,Isabel Villamor和Ravi S. Ramani

赫曼阿奎尼斯 (如图所示)是Avram Tucker杰出学者,管理教授,乔治华盛顿大学商业学院管理部主席。他已被选为管理科学院总统履行。 伊莎贝尔别墅 是一个博士学位。 GWU管理部的候选人。 Ravi S. Ramani. 是摩根州立大学伯爵G. Graves商业与管理学院的工商管理部门组织行为和人力资源管理助理教授。

订阅
通知
guest

本网站使用AkisMet减少垃圾邮件。 了解如何处理评论数据.

0 注释
Inline Feedbacks
查看所有评论
0
会喜欢你的想法,请评论。x