github-actions[bot]
commented
1 year ago 世界的参数倒影：为何GPT通过Next Token Prediction可以产生智能
2023-05-29 10:36:36
“两位说英语的荒岛幸存者被困在相邻岛屿上，中间隔着危险水域。幸运的是，他们发现了前任居民留下的电报机，电报机通过一条水下电缆连接起来，他们能够通过电报传递信息。但是，他们不知道的是：附近水域里，生活着一个具备超级智能的章鱼，它劫持了水下电缆并拦截了他们之间传送的消息。尽管章鱼不懂英语，但其超级智能使其能够检测到电报信息文字的统计模式，并能准确表示各种电报信号间的统计关系。在章鱼觉得自己已经学好这些统计规律之后，它切断水下电缆，将自己两个长触手定位在电缆的两个末端，基于它所识别出来的统计模式，接收并自己来回复两名漂流者的电报信号。无论两位幸存者是否注意到交流对象已发生变化，章鱼发送出去的信息，在本质上似乎没有任何含义。毕竟，章鱼只是遵循它从人类之间的前期交流中学到的统计模式，而并没有看到过任何人类对信号的解释，比如“椰子”或“海水”所代表的真实含义。此外，章鱼甚至可能都不明白这些信号是具有意义的，或起到了促进交流的功能。“ —— “章鱼测试（The Octopus Test）”- Bender & Koller
如果我们把“章鱼测试”里的章鱼换成ChatGPT或GPT 4，您会怎么看这个问题呢？也就是说，下述两种观点，您支持哪一种呢？一种观点与“章鱼测试”看法类似，认为GPT 4这种LLM模型仅仅学会了语言中的单词共现等浅层的表面统计关系，其实并未具备智能，只是类似鹦鹉学舌的语言片段缝合怪而已；另外一种观点则认为：GPT 4不仅学会了语言元素间的表面统计关系，而且学到了人类语言甚至包括物理世界的内在运行规律，文字是由内在智能产生的，所以LLM具备类人智能。
这两种观点针锋相对，我不确定您属于哪一派。目前无论是学术界，还是社会层面，其实持有两方观点的人数都不少，相互之间争论很激烈。比如不认为大语言模型具备智能的反方知名代表人物，AI圈子里的大佬代表是LeCun，语言学界代表人物是乔姆斯基，都否认通过Next Token Prediction这种方式训练出来的大语言模型能够具备智能；而正方代表人物也
知乎每日精选 2023-07-11