在家里进行社会科学实验的挑战——以及14个可以帮助的工具

作者Daniela Duca, SAGE出版公司高级产品经理

在COVID-19大流行和相关封锁期间,社会和行为科学从未像现在这样重要。需要更多的数据,以及最有力的分析和政策建议,这意味着经典的研究方法需要一些创造力,以过渡到一个社会距离较远的世界。数据收集方法的改变不仅仅是为了回答关于COVID的影响个人还有社会,还有加快了它们数字化实施的速度

数字方法对社会科学来说并不新鲜:自从90年代以来,调查就开始数字化了,最近的Mechanical Turk,多产,呼吁参与者,甚至社交媒体营销都加强了参与者的数字化招募。随着全球36亿人口使用社交媒体的增加,学术界既可以利用这些平台上的数据进行研究,也可以扩大样本滚雪球法。近年来,围绕着网络虚假信息和假新闻的趋势,促使许多学者开发了诸如GetBadNewsHoaxy它向普通互联网用户传授错误信息,同时也是检验学习和记忆理论的一种方式。

越来越多的社会科学研究人员正在转向数字化方法,但这不是一件容易的任务,这在封锁中更加明显。有些研究方法很难(甚至不可能)实现数字化,例如,只能亲自进行的实验或重点研究几乎不上网的群体或地区.甚至是我们在另一篇文章中提到的全数字虚拟现实实验博客当硬件不可用或只能在实验室中访问时是困难的。那么,如果你想继续做社会科学实验,并在在家工作时扩大规模,你能做些什么呢?

一只狗躺在书桌上,旁边是一台笔记本电脑。

我们选择了14个软件工具,你可以立即开始使用,在网上进行你的社会或行为实验。有些人是通过综合招聘来的,有些人则把这部分留给你;有些是用于异步实验,有些是让你在多个用户同时运行你的实验;有些为小团体工作,有些为数千人或更多的人工作。作为奖励,对于那些想要完全数字化而忘记招聘的人,我们提供了两个奖励工具,你可以用来设计和运行模拟或计算实验。

我们采访了一些这些工具的创造者,他们认为远程运行实验的最大挑战是什么。点击这里阅读他们的答案直接跳转到工具列表

克劳迪娅·冯·巴斯蒂安Tatool

远程进行实验的主要挑战是可移植性(跨平台、浏览器和设备进行实验,可用性(创建明确的指令,以确保参与者实际上在做你想让他们做的事,以及质量(进行检查以确定参与者生成数据集的数据质量)。

Chris WickensoTree

我认为运行在线多人游戏的一大挑战是辍学.在实验室中,你可以确保人们同时玩游戏,并且他们都能完成实验。在网上就更难了。在多人游戏中,有些参与者可能会被困在原地等待某人退出(或失去网络连接等)。

停的钱发现5个

我们从研究人员那里听说,转向在线实验的最大挑战是缺乏时间和技术资源beplay国际娱乐备用网址为了(重新)在网上创建他们的实验。此外,由于研究人员不能再邀请参与者到实验室,并让他们在标准化的实验室计算机上完成任务,另一个担忧也在起作用可变性在参与者的设备。例如,如果没有适当的修正,当参与者使用鼠标和使用笔记本触控板时,鼠标跟踪结果可能会有很大的不同。

乔埃弗利谢德的大猩猩

对于在线搜索的新手来说,一个担心是维护数据质量在进行在线实验时。值得庆幸的是,一旦您解开了所有可能影响数据质量的不同元素,这与在实验室中维护数据质量并没有太大区别。Jenni Rodd博士在BeOnline2020会议上做了一个精彩的演讲,视频可以观看在这里

杰森·雷德福的志愿者科学

进行在线实验有两大挑战:选择正确的软件招聘对象.不同的领域有不同的实验传统,所以如果你在多个领域工作,那么就很难找到合适的软件。当涉及到招募志愿者时,问题通常是缺乏资金,或者必须找出哪里可以找到志愿者。正是由于这些原因,我们把Volunteer Science设计成与学科无关的,让你可以选择建立自己的参与者池,与Mechanical Turk同步,或者利用我们现有的成千上万的志愿者池。

在线实验的软件工具

PEBL是专为心理学使用而设计的免费软件。它可以让你设计自己的实验或使用任何现成的。它也是教学中使用的一个很好的工具,因为您可以自由地构建和交换实验。

Tatool是一个开源的易于使用的工具,专家,以及新手。您可以下载该软件,或使用网络版本。您必须招募自己的参与者,但他们可以从任何地方和任何浏览器访问该工具。它也可以离线运行你的实验,但你可能需要在实验室里?

实验工厂是另一个开源工具,它提供了一系列实验和将招募与Mechanical Turk集成的能力。它仍处于测试阶段,但你可以在波特拉克实验室、斯坦福大学。

大猩猩是在行为科学领域设计和运行在线实验的较为知名的商业解决方案之一,整合了参与者招募。大猩猩非常适合研究和教学!

E-Prime是一款比较全面的行为研究软件。该公司也有一些非常棒的硬件工具和传感器,但你可能需要面对面地与人见面并设置它们。

OTree是一个开源平台,通常用于设计经济学和其他学科的实验,具有运行多玩家策略实验的能力。OTree还集成了Mechanical Turk。

母狮是一个免费的基于网络的平台,用于设计和运行你的实验,在经济学中也很受欢迎。它背后的团队非常努力地工作,使研究人员能够与同时进行实验的参与者进行激励,保持他们的注意力,不退出!

PsyToolKit是一个用于演示、编程和运行认知心理学实验和调查(包括人格测试)的免费工具包。这对做研究和教学都很好。

FindingFive是最新的在线实验工具之一。它有一些非常酷的功能,比如阻止任何试图再次做实验的人,并且当你通过Mechanical Turk招募参与者时,可以很容易地设置任何排除标准或先决条件。

Lab.js也是这个领域的新玩家之一。它是免费和开源的,您不需要任何编码技能,并且有很多资源可以开始做实验或教授它。beplay国际娱乐备用网址

nodeGame具有多种功能。它是基于网络的,也适用于移动设备。它是免费的,可以同时扩展到数千名参与实验的用户,但也可以让你用模拟机器人代替人类。我会说非常甜蜜!

Empirica是一个开源工具,与nodeGame非常相似,因为两者都是用JavaScript开发的,可以让你将实验扩展到数千个同时交互的用户。他们的任务是帮助研究人员轻松地对复杂的实验设计进行迭代。

志愿者科学是一个在线实验工具,使研究人员能够运行实时和纵向实验,同时或异步参与者。它非常适合在实验室里使用,无论是在家里还是在教室里。阅读Jason的建议如何招募参与者在一个大流行。

电路试验板是一个软件平台,由耶鲁大学的一组研究人员开发,支持研究人员在网络上与参与者设计和运行实验。该平台还支持招聘。

额外奖励:用于计算实验的工具

翅膀是一个语义工作流系统,帮助科学家设计计算实验。

CodaLab是一个生态系统,用于以更有效、可重复和协作的方式进行计算研究。CodaLab有两个方面:工作表和竞赛。工作表可以让您设计和运行您的机器学习实验在云中,另外,您可以通过发布实验在一个markdown文件或可执行的论文。竞赛部分是为主办和参与不同领域的比赛,需要一些计算工具和实验。

关于

丹妮拉Duca

作为SAGE Ocean的高级产品经理,Daniela负责新产品的开发,与初创公司合作,帮助他们将工具推向市场。bepaly提款会黑吗在加入SAGE之前,她与学生和研究人员领导的团队一起开发新的软件工具和服务,提供商业规划和市场开发指导和支持。她设计并运营了一个为期两年的项目,为与出版商合作开发新软件服务的研究人员提供创新资助,以支持研究数据的管理。她也是一名视觉艺术家,拥有金融技术经验和创新管理博士学位。你可以接通丹妮拉推特