癌症研究的可重复性很差

“危机”可能有点夸张，但了解可重复性或缺乏可重复性对医学等科学主导行业的影响仍然很重要。来自弗吉尼亚州开放科学中心的蒂姆·埃林顿(Tim Errington)领导了一项探索癌症研究可重复性的倡议，他的研究结果发表在《eLife》杂志上。

蒂姆:所以我们在八年前开始这个项目，我们决定测试它的方式是确保我们可以首先从原始论文开始。所以找出我们能找到的所有信息，试着和那些原作者一起工作，以准确地理解原始研究的完成方式。然后我们与这些实验室的独立研究人员合作，看看他们是否能再次进行这项研究。他们的关键是要确保我们事先没有理由不得到完全相同的结果。我们花了八年的时间研究癌症生物学上发表的各种不同的论文。

克里斯:那你是怎么选择那些论文的?是那些被认为在该领域具有开创性的论文还是那些真正引导或推动该领域朝某个方向发展的论文，因此是其他所有人都在研究的关键发现?或者只是随机选择“我们将测试这个，测试这个，测试这个”，然后让其他人看看他们是否能有效地遵循相同的配方得到相同的结果?

蒂姆:所以我们在这里采用的方法是使用“影响”这个词——在这里要小心——这就是你刚才所说的。当我们开始这项研究时，哪些论文和发现在研究文献中引起了最多的关注?谁在读书?他们下载并引用了谁的研究结果?当我们开始的时候，这些论文刚刚发表，但我们一直在寻找那些得到最多关注的论文，因为我们认为，正如你所说的，“好吧，让我们看看这些论文，因为它们将具有最广泛的影响，可能会推动这些领域的发展。”让我们看看它们的可复制性。

克里斯:当你这么做的时候，结果是什么?你和你的独立团队，管理了多少这些真正具有高影响力或重要的领域驱动出版物，以重现相同的结果?

从各种各样的衡量标准来看，这绝对不到一半。我们找到的是低于50%。所以我认为这本身就是一个有趣的问题:这个数字。我认为更有趣的是关于这意味着什么的一些花絮。所以我们发现的两个重要方面是很难理解这些发现的透明度，对吧?数据并不总是共享的。方法——即使与作者交谈，也缺乏这些方法细节。我们并不是总能解决这个问题。所用的材料和试剂并不总是很容易得到。我们哪儿都找不到他们。 So that was one part which was a hard process to even attempt. And then the second one was, the one that sticks out to me more, is that effect size, right? The practical significance of those findings. So compared to those original outcomes, our replications were 85% smaller on average. A large effect size means that it's going to have a practical significance, especially in the cancer biology space versus the smaller effect size that we're finding, which kind of suggests that maybe there's not a practical application for it.

Chris -这当然不是指责别人，但是不同的科学家在世界不同的地方接受了不同的训练，有着不同的动机。当你做这个的时候，你测试过这个吗，还是你只看了一个国家的科学?

蒂姆:是的，这是个好问题。我们没有关注一个国家的科学。我们采用的方法只是在文献中发表的方法。是什么引起了人们的注意?因此，我们拥有的原始论文主要来自北美和西欧，说实话。但从所有实验室的研究结果来看，我们并没有把这方面分开。还有其他项目也在尝试这样做——只看一个国家，然后问，“如果我们只看一个国家的产出，情况会如何?”

Chris -我想知道是否有些国家会积极激励科学家:例如，在顶级期刊上发表一篇论文，你会在正常工资的基础上得到一年的报酬。我知道，有人告诉我，情况就是这样，比如在中国，如果你在大型期刊上发表文章，奖金就会很高。因此，有一种动机是确保你的科学研究超出了它的重量，这可能会导致一些人夸大主张，等等。这意味着什么?如果是在癌症领域你得到的结果比他们应该做的好85%，比方说，这是否意味着如果人们接受了别人说的他们已经发现的并且无法复制的东西，那么人们就有可能被误导了临床治疗的有效性?

蒂姆:这个问题我有两种回答，是和不是。因此，所有这些早期的发现肯定会出现在媒体、新闻、社交媒体和博客文章中。它超出了科学领域，对吧?我们知道这会影响人们的行为和政策。作为研究人员，我们可能会发现最有趣的研究告诉我们，饮酒对癌症的预测有XYZ作用，所以我可能会控制自己的行为，或者红酒对我有好处，所以现在我以另一种方式控制自己的行为。所以我认为首先会直接影响到个人本身。很明显，它甚至影响到了护理层面。我们知道很多这样的发现，特别是当他们着眼于诊断标记时，例如，可以找到治疗病人的方法，有医生和临床医生实际上会接受这些证据并正确地使用它，这是他们应该做的。但问题是，如果它站不住脚，或者我们不知道它的可复制性，它可能会无意中误导他们。我认为最后一件事，如果我们真的思考所有这些研究的发展方向，我们希望它能找到进入公众的途径，真正产生影响。 And this can actually slow that pipeline down. As we try to move findings, eventually trying to get them out into the public and be some type of intervention or drug or treatment that can actually help improve lives.

Chris -就在这一点上，如果你是一家公司，你正在购买权利和专利来利用一项技术或发现，这是否意味着你的观点和你的股东可能被误导了?

蒂姆:是也不是。我所看到和听到的——值得一提的是，这是轶事——我所得到的是，在我们发表的内容方面存在犹豫。根据这些和其他的发现，这太好了，不可能是真的，也许你应该等一会儿，从别人那里得到证据这样你就不会像你刚才说的那样被骗了。我认为，人们在接受这一观点并迅速将其付诸应用方面更为犹豫。