逆转:心理学实验可重复性的争议


周不润, NeuroTimes   |   March 3, 2016



去年8月,社会心理学家Brian Nosek和其他269个共同作者组成的开放科学合作组织(The Open Science Collaboration,OSC),对3个心理学杂志(Psychological Science, Journal of Personality and Social Psychology, and Journal of Experimental Psychology: Learning, Memory, and Cognition)98篇心理学文章进行了重复实验,结果发现只有39%的文献重复成功了。而即使在重复成功的文章里,实验结果也并不像原文章里描述的那么明显。这篇文章发表在去年的Science上,也是去年最为轰动的几个研究之一。

在最新一期的Science中,哈佛大学心理学家Daniel Gilbert领导的团队反驳了OSC的Science论文,他们认为OSC的论文中,出现了3个统计学误差,导致最后的结论出错,心理学的可重复性并没有之前描述的那么差

Daniel Gilbert指出,第一个问题是样本的误差(error),如果重复的心理学实验使用了原实验被试人群中的新样本,就有导致抽样误差的可能。仅仅抽样误差就可能导致OSC所重复的实验中,有5%的可能重复不出来,8%可能没有显著性。然而,OSC的重复论文使用的并非原实验中的被试人群,实验流程也有不少与原实验有差异,这就可能导致误差增加。通过Daniel Gilbert等人的统计,这种抽样和流程的改变,会导致只有65.5%的“重复效应”会落在“原效应”的置信区间内,也就是说,仅仅这种偶然性就会导致100篇文章中的34篇重复不出来。

第二个问题是统计功效(power)。OSC的论文只重复了一遍原实验,而另一个重复心理学研究的项目Many Labs project (MLP)中,每一个实验都重复了35-36遍。在MLP的结论中,85%的实验都得到了顺利的重复。OSC只重复一遍的做法很有可能低估了真正的重复率。

第三个问题是偏向性(bias)。OSC在重复实验之前,向原作者征求过新实验流程的意见,问他们是否赞成。结果只有69%的原作者表示赞同。Daniel Gilbert等人对表示赞同和不赞同的重复试验进行了分析发现,原作者赞同的实验流程,重复率达到了59.7%,而原作者不赞同的流程,重复率只有15.4%。因此,与原实验的流程差异,带来的不仅仅是随机误差,现在看来更是有某种偏向性存在。如果OSC只对原作者表示赞同的研究进行重复,重复率可能会高得多。

Daniel Gilbert等人的结论是,OSC的Science文章没有严格按照科学规则来重复试验,他们其实是低估了心理学实验的可重复性。

在在同一期的Science中,Brian Nosek做出了回应。他认为,Daniel Gilbert等人的统计学误解,以及选择性使用数据带来的错误因果推论,让他们对心理学的可重复性过于乐观了。

而Daniel Gilbert等人又迅速在哈佛大学的网页上进行了回应

还没反应过来的功夫,这些人已经迅速地过了几招。无论如何,这种讨论总是有价值的。心理学实验毫无疑问存在问题,很多作者会刻意夸大实验结果。即使重复率达到60%,在各学科内仍然是低水平。如果每个人都能在这波讨论里,让自己的实验更加严谨和谨慎一点,那么这些口水仗也没有浪费。




分享到


© 2014-2015 NeuroTimes