ChatGPT:聊天机器人改变了我们的工作方式

不要把ChatGPT告诉你的每件事都当真，这是明智的，尤其是因为该软件自己承认，你不应该把它说的每件事都当成真理。牛津大学的迈克·伍尔德里奇(Mike Wooldridge)在这个故事发生时接受了我们的采访，他现在和我们一起提供人性化的接触，希望能帮助我们理解这一切是如何成为可能的……

迈克:现在的情况是，人们已经意识到规模在人工智能中很重要。规模对于这些系统意味着三件事。首先，这意味着你的神经网络有多大?你的神经网络越大，包含的元素就越多。这很重要。你用来训练系统的训练数据量——现代人工智能绝对依赖于训练数据，所以这很重要。最后，您准备在训练这些程序时投入的计算工作量——这很重要。所以大约在五年前就有了这样的举动，“让我们看看我们能走多远。”让我们看看我们的神经网络能有多大。让我们看看我们能在这些问题上投入多少数据，看看我们准备使用多少计算资源。” And the first system, the ancestor of ChatGPT was GPT-2, which I think appeared in 2018 or 19. Famously, it was supposedly so good that they were not prepared to release it to the public because this unprecedented power was too much for us to handle. But what happened with GPT-3, the successor system, is basically it was an order of magnitude bigger, an order of magnitude more data, an order of magnitude more compute power. And that's the way things are going. There's been a race for scale. That's what we're seeing. We're seeing the benefits of that.

Chris -我刚刚在问James它的反应速度有多快，因为通常情况下，你习惯了你的电脑需要一段时间来加载游戏或其他东西，而它几乎是立即产生这个输出，就好像它只是一个人向你吐出一个结果。他们有什么样的计算能力使之成为可能?

迈克:好，你要区分两种不同的东西。首先是建立或训练模型;把数据扔给它，训练它，让它学会如何做出反应。这需要人工智能超级计算机运行数月。计算上，这是人们在计算中所做的最繁重的任务之一。现在有一个大问题是当你这么做的时候会产生大量的二氧化碳。我们相信支撑ChatGPT的GPT-3技术使用了24000个gpu——图形处理单元。这些是高性能的人工智能计算机，运行了好几个月，以便能够处理这些数据。这就是训练的部分。但是一旦你有了这个，你就有了你的神经网络结构，实际使用它们，我们称之为运行时，当你进行对话时，你在做什么，这要便宜得多但你不会在台式电脑上做，你不需要任何像秤这样的东西。 You don't need super computers to do that but you still need a lot more than a desktop computer. And the reason is those neural networks are very, very big. GPT-3 is 175 billion parameters. Basically, these are the 175 billion numbers that make up that neural network.

Chris -这就是我想问你的问题，因为它到底学到了什么?那台机器里的东西意味着当詹姆斯问它对颜色的看法时，它说，“嗯，我没有。”它是怎么做到的?

迈克:有一个长答案和一个短答案。简短的回答是，我们并不确切知道。长话短说，基本上，这些东西所做的与你的智能手机在建议你完成任务时所做的完全相同。所以，如果你打开智能手机，开始给你的伴侣发短信说:“我要去……”，这可能意味着“迟到了”或“去酒吧了”。它是怎么做到的?因为它查看了我发过的所有短信，它发现每当我输入“我要去……”时，最有可能的下一条短信是“迟到”或“在酒吧里”。GPT系统也在做同样的事情，但规模要大得多。对他们来说，训练数据不是你发送的短信，而是他们想训练它时可以得到的每一点数字文本。他们下载整个互联网，然后用所有的文本来训练它，试图预测句子中下一个最有可能出现的词是什么。

克里斯:问题是，迈克，互联网上到处都是垃圾。外面有很多不可靠的数据。那么，您如何确保您的系统能够将小麦从谷壳中分离出来呢?

迈克:所以你已经指出了目前这项技术的一个大问题。有太多的数据，在输入到机器之前，人类无法全部检查。再一次，关于这些公共系统是如何发生的细节是粗略的，但会有一些筛选，可能是自动筛选，寻找有毒物质，这将在一定程度上起作用。但这并不可靠。它会把事情搞砸。它将允许一些我们在理想情况下不允许的事情发生。它将无法检查输入的大量信息的真实性。我们从中得到的是某种总体情况。这就像是在网上看到的东西的平均值。但是，说实话，我们需要做更多的工作来确切地了解那里发生了什么，以及我们如何处理这些问题。这些都是降落在地球上的全新工具，我们还有很多工作要做，以了解它们。

克里斯-接下来我们能看到它做什么?

迈克:所以他们非常擅长的事情是处理文字。我强烈建议你们尝试一下，对吧?去BBC新闻网站，剪切和粘贴一个故事，并要求它总结它。根据我的经验，它通常在总结方面做得非常非常好。要求一个一段的摘要，要求它从新闻故事中提取出最重要的三个要点，它会做到的。拿两个关于同一件事的新闻故事，让它找出新闻故事中的共同点是什么?不同点在哪里?根据我的经验，这项技术在这方面做得非常好。它并不完美。你必须检查一下。 It comes out with falsehoods, but it's very good. Where are you going to see it? You're going to see it in your email system. So instead of showing you every email, you're going to get the top three bullet points from your email. I think that would be quite a useful thing to be able to do.

本周发表的一项研究表明，ChatGPT不仅能够生成与真实学生的作业毫无区别的作业，甚至还可以将科学内容写入一个标准，使其不被发现是计算机制作的。Catherine Gao是西北大学的一名重症监护医生，她的副业是机器学习研究。她看到了ChatGPT的能力，并想知道它在撰写科学摘要(发表在期刊上的研究论文的结果摘要)方面会做些什么。它让她的期望落空了，迫使她系统地推断，这与真正的科学家所写的科学是多么的难以区分……

第一，我们想知道它是否会触发抄袭探测器。ChatGPT摘要执行得非常好。他们的平均得分是100%原创。所以没有使用传统意义上的任何抄袭。

Chris -这告诉你的是，ChatGPT不只是去网上找一些资源，然后大量抓取抽象的内容，然后反刍它。它正在生成其他地方不存在的内容。

凯瑟琳:完全正确。它真的是从零开始编写这些摘要。我们研究的另一个任务是它是否会在不同类型的探测器上得分很高。它们存在于网上，这些人工智能输出探测器，你可以通过它们运行文本。所以真正的摘要得分都非常非常低。大多数人的得分是0.02%，假的。然而，大多数ChatGPT摘要的得分要高得多，平均得分为99.98%。

克里斯-所以一台机器可以发现另一台机器的工作。

凯瑟琳:对，没错。用机器来检测机器。非常正确。

Chris -但是，如果你把它生成的结果推到人面前，而不是机器面前呢?

凯瑟琳:就像我说的，我真的对它的好印象深刻。所以我们给了25个摘要的集合，这些摘要混合了真实的摘要和生成的摘要给不同的团队成员。这些都是我们生物医学实验室的成员。所以他们习惯于参与科学。我们说过有些是真实的，有些是生成的。请给我们一个你认为是哪一种情况的二分，然后也欢迎你给我们一些笔记，说明你是怎么想的。即使知道在这个组合列表中有生成的摘要，我们的人工审稿人也只能在68%的时间内识别生成的摘要。这些都是非常非常多疑的评论者。他们非常怀疑，甚至认为14%的真实摘要是生成的。

克里斯:内容的质量怎么样?因为你还没说什么，不管你看机器说的是什么，它实际上是准确的?

Catherine:你知道，一开始我以为它可能会提供一些模糊的总结，但我们发现，在生成的摘要中，ChatGPT实际上为他们的结果提供了完全虚构的数字。基本上是报告刚刚从以太中出来的完整研究。真正让我惊讶的是，它可以幻觉出这些数字，并以一种看起来仍然足够可靠的方式呈现它们，以至于读者可能无法区分95%的摘要是生成的——我认为这将是令人放心的。68%并不是很好，他们甚至知道其中一些摘要是生成的。所以我认为，如果有人在野外看到摘要，或者如果他们正在审查一些东西，他们可能不会意识到大型语言模型已经如此擅长生成摘要，并且可能不会想到它可能是假的。

Chris -人们也在关注，例如，使用像这样的工具来生成网页内容，因为在网络上，流量就是一切。让人们来到一个资源，你向他们投放广告，你通过这种方式获得收入，你有一个很高的落点，因为你在为你的网页创造内容。这是一个瓶颈，因为这是一个人必须参与的地方，这是一个钱必须参与的地方。

凯瑟琳:我认为这引出了一些非常有趣的问题，那就是我们该何去何从。在某种程度上，一个负责任的科学家是否可以用它来帮助减轻写作的负担，就像你说的，写作有时是传播科学工作的瓶颈之一。它是否有助于提高科学家之间的平等，特别是那些必须用非母语写作的科学家?我还担心的是，如果这项技术被用于邪恶，对吧?现在有一些组织叫做造纸厂，他们基本上是靠生产科学内容来盈利，现在这种技术是如此强大，如此容易获得，而且是免费的。这些邪恶的组织会不会利用这一点来垃圾科学，而这些科学实际上是不正确的，而且具有危险的说服力?

克里斯:嗯，你能进一步说，我有一家制药公司，它不是很好。这是欺骗性的，它想推销一种产品。所以它所做的就是产生数百篇论文来支持它发明的药物，说它有多好，鼓励真正的组织购买，无论是投资者还是想要购买这种药物或产品的组织，为这种冒险赚钱，而实际上这一切都是建立在伪科学的基础上的?

Catherine -这些模型训练的数据足够详细，它甚至知道在生成的结果中呈现的患者队列大小的正确范围。例如，当我们要求ChatGPT写一篇关于糖尿病研究的摘要时，它包含了大量的患者，因为很多患者都患有糖尿病，而当我们要求它写一篇关于猴痘的摘要时，猴痘是一种罕见的新疾病，它知道数字需要小得多。所以我当然认为，在这些更邪恶或恶意的用户手中，这可能是一项非常危险的技术。