ChatGPT是如何工作的?

不要把ChatGPT告诉你的每件事都当真，这是明智的，尤其是因为该软件自己承认，你不应该把它说的每件事都当成真理。牛津大学的迈克·伍尔德里奇(Mike Wooldridge)在这个故事发生时接受了我们的采访，他现在和我们一起提供人性化的接触，希望能帮助我们理解这一切是如何成为可能的……

迈克:现在的情况是，人们已经意识到规模在人工智能中很重要。规模对于这些系统意味着三件事。首先，这意味着你的神经网络有多大?你的神经网络越大，包含的元素就越多。这很重要。你用来训练系统的训练数据量——现代人工智能绝对依赖于训练数据，所以这很重要。最后，您准备在训练这些程序时投入的计算工作量——这很重要。所以大约在五年前就有了这样的举动，“让我们看看我们能走多远。”让我们看看我们的神经网络能有多大。让我们看看我们能在这些问题上投入多少数据，看看我们准备使用多少计算资源。” And the first system, the ancestor of ChatGPT was GPT-2, which I think appeared in 2018 or 19. Famously, it was supposedly so good that they were not prepared to release it to the public because this unprecedented power was too much for us to handle. But what happened with GPT-3, the successor system, is basically it was an order of magnitude bigger, an order of magnitude more data, an order of magnitude more compute power. And that's the way things are going. There's been a race for scale. That's what we're seeing. We're seeing the benefits of that.

Chris -我刚刚在问James它的反应速度有多快，因为通常情况下，你习惯了你的电脑需要一段时间来加载游戏或其他东西，而它几乎是立即产生这个输出，就好像它只是一个人向你吐出一个结果。他们有什么样的计算能力使之成为可能?

迈克:好，你要区分两种不同的东西。首先是建立或训练模型;把数据扔给它，训练它，让它学会如何做出反应。这需要人工智能超级计算机运行数月。计算上，这是人们在计算中所做的最繁重的任务之一。现在有一个大问题是当你这么做的时候会产生大量的二氧化碳。我们相信支撑ChatGPT的GPT-3技术使用了24000个gpu——图形处理单元。这些是高性能的人工智能计算机，运行了好几个月，以便能够处理这些数据。这就是训练的部分。但是一旦你有了这个，你就有了你的神经网络结构，实际使用它们，我们称之为运行时，当你进行对话时，你在做什么，这要便宜得多但你不会在台式电脑上做，你不需要任何像秤这样的东西。 You don't need super computers to do that but you still need a lot more than a desktop computer. And the reason is those neural networks are very, very big. GPT-3 is 175 billion parameters. Basically, these are the 175 billion numbers that make up that neural network.

Chris -这就是我想问你的问题，因为它到底学到了什么?那台机器里的东西意味着当詹姆斯问它对颜色的看法时，它说，“嗯，我没有。”它是怎么做到的?

迈克:有一个长答案和一个短答案。简短的回答是，我们并不确切知道。长话短说，基本上，这些东西所做的与你的智能手机在建议你完成任务时所做的完全相同。所以，如果你打开智能手机，开始给你的伴侣发短信说:“我要去……”，这可能意味着“迟到了”或“去酒吧了”。它是怎么做到的?因为它查看了我发过的所有短信，它发现每当我输入“我要去……”时，最有可能的下一条短信是“迟到”或“在酒吧里”。GPT系统也在做同样的事情，但规模要大得多。对他们来说，训练数据不是你发送的短信，而是他们想训练它时可以得到的每一点数字文本。他们下载整个互联网，然后用所有的文本来训练它，试图预测句子中下一个最有可能出现的词是什么。

克里斯:问题是，迈克，互联网上到处都是垃圾。外面有很多不可靠的数据。那么，您如何确保您的系统能够将小麦从谷壳中分离出来呢?

迈克:所以你已经指出了目前这项技术的一个大问题。有太多的数据，在输入到机器之前，人类无法全部检查。再一次，关于这些公共系统是如何发生的细节是粗略的，但会有一些筛选，可能是自动筛选，寻找有毒物质，这将在一定程度上起作用。但这并不可靠。它会把事情搞砸。它将允许一些我们在理想情况下不允许的事情发生。它将无法检查输入的大量信息的真实性。我们从中得到的是某种总体情况。这就像是在网上看到的东西的平均值。但是，说实话，我们需要做更多的工作来确切地了解那里发生了什么，以及我们如何处理这些问题。这些都是降落在地球上的全新工具，我们还有很多工作要做，以了解它们。

克里斯-接下来我们能看到它做什么?

迈克:所以他们非常擅长的事情是处理文字。我强烈建议你们尝试一下，对吧?去BBC新闻网站，剪切和粘贴一个故事，并要求它总结它。根据我的经验，它通常在总结方面做得非常非常好。要求一个一段的摘要，要求它从新闻故事中提取出最重要的三个要点，它会做到的。拿两个关于同一件事的新闻故事，让它找出新闻故事中的共同点是什么?不同点在哪里?根据我的经验，这项技术在这方面做得非常好。它并不完美。你必须检查一下。 It comes out with falsehoods, but it's very good. Where are you going to see it? You're going to see it in your email system. So instead of showing you every email, you're going to get the top three bullet points from your email. I think that would be quite a useful thing to be able to do.