科学出版是否面临危机?

当科学家们重做研究时,他们得到的结果并不相同……
2018年9月4日

采访

马尔科姆·麦克劳德,爱丁堡大学

papers-crop.jpg

报纸

分享

每年有超过150万篇描述新的科学突破的论文发表。但这种科学真的可信吗?答案是,如果是,那么应该有可能独立地重现结果。但是,当弗吉尼亚州开放科学中心的研究人员开始这样做时,即使在所谓的高影响力期刊上发表的论文,他们也并不总是得到相同的结果。伊兹·克拉克采访了爱丁堡大学的马尔科姆·麦克劳德,他回顾了他们的工作。

马尔科姆:本质上,他们想做的是说让我们从社会科学研究中获得一些发现这些发现已经发表在高影响力的期刊上,比如自然科学看看这些发现是否站得住脚当我们再次尝试测试时用完全相同的方法测试他们对21岁的人做了同样的测试他们发现,对13岁的人,他们可能站得住脚,而对其余的人则不太好。他们基本上发现了三种模式。在一些研究中,他们能够复制已经报道的影响的方向和影响的大小。对于其他人,他们显示出相同的影响方向,但效应大小要小得多。而对另一些人来说,在复制研究中完全没有影响这与我们现在看到的模式相吻合有些研究可以复制,有些则完全不能复制。

Izzie:所以当我们说这个方向时,我们是在说“我们已经做了他们在论文中所说的他们已经做过的事情,但实际上我们只得到了一些看起来有点像那个结果的东西,实际上它并不像他们报道的那么有效”。

马尔科姆-完全正确。所以平均而言,复制研究中的效应值大约是原始研究的一半。如果你正在考虑服用一种治疗中风的药物,并通过实验室细胞培养和动物模型进行测试,你会看到所有这些数据,你会说,哎呀,这种药物看起来非常有效,它能提高40%或50%的疗效。因此,如果我们正在进行人体临床试验,我们当然应该做一个,我们不需要很多人参加试验来证明它有效。”但如果真正的效应量要小得多那么你的临床试验设计错了实际上进行临床试验的整个原因可能是不完整的。这些研究是从那些发表在高影响力期刊上的研究中抽取的之前关于复制工作的一个评论是"当然,如果你看所有期刊上的所有东西那么你会得到一些有用的东西,一些没用的东西但是如果你看发表在高影响力期刊上的东西那么你就不会有这个问题"事实证明,你确实有这个问题。我认为这里有一个更广泛的背景,因为这些复制的努力通常被视为对特定领域的特定研究人员群体的批评。但事实是,无论我们在哪个领域寻找复制困难的证据,我们都发现了它们,而且随着这项最新研究的进展,这些问题越有可能在你选择研究的任何研究领域普遍存在。

Izzie:因为这就是我要问的问题,我的意思是其他科学是否处于危险之中,那么你如何减少这种风险。

Malcolm -其他科学也有危险。我们需要做更多的工作来改进这些研究的报告、设计和实施。我们能做的第二件事是我们可以试着理解为什么复制可能不会发生因为现在在这些复制研究中他们已经做了他们能做的一切来确定它所以他们做的是完全一样的事情他们认为对结果重要的每一个变量都是受控的这在两个研究中也是一样的。这意味着有一些我们不知道的重要变量导致了观察结果的差异如果我们理解了它,它可能会告诉我们更多关于被测试现象的信息。

伊兹:我明白了,我们怎么能相信出版的东西。

Malcolm:所以,如果你认为研究是一种产品,那么你需要研究的用户能够尽职调查研究是否像它在包装上说的那样。这涉及到批判性评估的技能我们现在在我们的大学和机构教授法律。这也意味着如果一个期刊真的能够对他们发表的作品进行批判性的评估,那么它将提高其产出的质量,准确性和可信度,期刊现在正在这样做。时间会证明这是否有效果。底线是,就像你不会买一辆没有试驾的车一样,你不应该仅仅因为一篇论文的研究发现有新闻价值就相信它是真的,并不意味着它是真的。

评论

添加注释