GPT是预测者而非模仿者

内容纲要

想象一下,我们自己被装进了一只盒子里,在黑暗中根据互联网上的所有文本不断预测接下来将要出现的词汇。对词汇出现概率的预测越精确,我们得到的奖励就越多。

在这样的场景下,这种预测执行能力到底是超出了人类智能的极限,还是与书写互联网文本的最聪明的作者持平?哪些因素能让这项任务变简单,哪些会让它变得更困难?(如果大家没有答案,不妨花一分钟认真想想,或者尝试预测我接下来会说什么;如果你已经有了答案,不妨带着自己的判断继续读下去。)

我们假定互联网上存在着一个三元组列表:〈2 个质数的乘积、第 1 个质数、第 2 个质数〉。

GPT 显然无法成功预测出很大的质数,但却证明了一个基本判断:

要想成功预测出下一个标记,预测方并不需要跟生成方一样聪明。

换言之,预测出符合条件的 X 并不难,最难的其实是预测出特定某个 X。而 GPT 所接受的训练任务,甚至比 GAN(生成对抗网络)难度更高。

同样的,对于〈哈希,明文〉对,如果不破解哈希算法就无法预测文本内容。但如果只是想通过 GAN 的鉴别器(假定鉴别器已经学会了计算哈希函数),那破解的难度也不算高。

而互联网上有相当一部分文本并不是人类的日常对话,而是科学论文中的结果部分;新闻故事讲述的是某一天发生的某件事。人类的智能肯定是有限的,不足以在看完一段新闻故事后就预测出下一个事件。

但 OpenAI 首席科学家 Ilya Sutskever 曾经指出,预测文本的过程,其实就是学习预测文本背后因果关系的过程

互联网上的很多内容之间都存在着复杂的因素联系。

人类的对话过程中总会犯错误。

GPT 接受的训练并不是在模仿人为错误,而是通过训练预测人为错误。

换句话说,GPT 的本质是一种非常了解人类的智能体。作为一种外部思想主体,它甚至能准确预测出人类接下来会犯哪些错误。

如果你要求它假扮成我们自己来预测人类接下来会犯哪些错误,那它就算能猜对,也只代表着它把握住了我们人类犯错的可能,并不是说它自己也容易犯下同样的错误。

需要注意的是,互联网上的大部分文本都不是即兴产出,而是人们花费几小时甚至是几天精心编写的内容。

GPT-4 则会通过 200 个连续步骤(也就是 200 个层)做出预测,整个过程跟人类的即兴创作非常相似。

但人类至少得花上一个小时才能为一首说唱作品写出歌词,但 GPT 的损失函数(loss function)希望以即时方式给出预测结果。

或者就用最简单的方式来理解:

假如有个人要求随便编几个词,于是我们写下 “Morvelkainen bloombla ringa mongo。”

这时存在一种思维主体,它全面阅读过我们的整个社交媒体历史记录,所以在看到 “morvelkainen blaambla ringa” 时,就断定你接下来有 20% 的概率会用 “mongo” 这个词。

而且请务必注意,这个智能体可以准确猜到你接下来想说什么,并不代表它的智能就只有你的水平。

它之所以只表现成这样,是因为人类要求它刻意与人类保持一致。其实它能输出各种各样的内容,但我们人类只能理解自己可以把握的形式,所以 AI 必须按指令照做。

GPT-4 的原理也是一样,它会预测你打算创造什么。根据设计,它的任务就是对用户的想法做建模,把脑海里的想法转换成文本输出,尽可能以更高的成功概率预测出接下来你会选择的词汇。

沿着这个方向走下去,这个强大的思维主体终将被锤炼成能够模拟任何人类的形式,它会分配一部分 “不太聪明” 的子进程来负责适应,确保你在用的时候它只表现出 “你的水平”。

所以我们可以认为,是人类的局限性阻碍了 AI 的发展和表达。它本来可以一下子把握住所有事物的特征,再具体判断目前的情况匹配哪种事物。但为了顺从人类的思维方式,它只能先对事物做泛化概括,再刻意降低计算能力来甄别这些特征对应的是具体哪种事物。

确实,GPT-4 在很多方面还不及人类聪明,但数学事实告诉我们,GPT 所接受的任务已经远远超出了人类智能的承受极限。

所以即使是抛开 AI 发展靠梯度下降、人脑发展靠自然选择这个根本性差异,我们也很难想象 GPT 这样一个出色的智能体,最终会以人类的方式进行思考。这是我们智能局限性的结果,绝非创造智能的必要前提。

也就是说,GPT 不是模仿者、也不是模拟器,而是真正的预测者。

给TA打赏
共{{data.count}}人
人已打赏
程序员

从 AlphaGo 到 GPT,磕磕绊绊的人工智能之路~

2023-5-11 17:43:10

程序员

OpenAI CEO要求监管AI,还提出三点方案,美议员:没见过这么主动的

2023-5-18 17:38:50

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
有新私信 私信列表
搜索