一个Web3投资者看ChatGPT和AGI

近期听了陆奇博士和张宏江院士关于大模型和 ChatGPT 的分享，收获很大。整理了一些感想，和 Web3 从业者共勉：

1. 和家里宠物待的时间足够长，你会意识到猫只是比你简单几个维度的一个大模型或者说模型组合。

2. 模型的演化会很像基因和生命的演化，本质是一样的。Transformer 模型架构的出现就像分子第一次“无意”搭成了可复制的 RNA ；GPT-1、2、3、3.5、4，以及后面的模型发展演化只要没有慧星撞地球般的事件，可能就像生命爆发一样，越来越快，越来越“失控”。模型自身有不断复杂化的“内驱力”，这是宇宙规律。

3. 三十多年前，史蒂芬·平克发现了语言是人类的本能，就像我们现在意识到，原来文字语言能力才是模型训练里我们苦苦追求的泛化能力的来源。

为什么以前搞人工智能和语言研究走不通，因为路走反了！语言是人大脑神经元系统足够复杂之后涌现出来的本能，至于是演化成汉语、英语还是鸟语，和环境及部落有关。

泛化模型加上其他“模型”叠加产生了人这个“牛逼”的智能体。你要去主动设计和构建智能体或者 AGI，那就是路彻底走反了。我觉得可能也不是不行，而是要难 1 亿倍。

4. 如果我们这个宇宙“上面”有高维智能体或者“神”存在，当它看到地球上的寒武纪大爆发时的惊讶应该像今天我们看到 ChatGPT 一样。暂时无法完全解释，只能慢慢体会和学习，试着去了解。

5. AGI可拆解为Reason、Plan、Solve problems、Think abstractly、 Comprehend complex ideas 和 Learning。GPT4 目前除了 Plan 不行，Learning 算一半以外（因为基于预训练模型，不能实时学习），其他都已具备。

6. 人脑的平均学习能力进化速度缓慢，但硅基智能的发展一旦方向找对，速度可以是指数级的（看下 GPT4 和 GPT3.5 的差距）。

7. 大模型=大数据+大算力+强算法。全球只有美国和中国可以做。做大模型的难点在于芯片，CUDA（ GPU 的编程平台）开发者积累，工程构建，和高质量的数据（用于训练，调参和对齐）。对齐有两方面，一是对齐人类大脑的模型和表现方式，二是人类的道德标准和利益。

国内至少有两个方向的垂直模型赛道很有机会：医疗和教育。

8. GPT4 虽然还有弱点和缺点，但就像人脑一样，一旦给予更明确的指示或提示，可以更强，调用其他辅助工具后还可以更加完美。就像人脑也需要借助计算器等工具完成人脑本身不擅长的任务。

9. 大模型的参数量应该和人大脑神经元的突触数相比（而不是神经元），这个数字是100 万亿。GPT4 的参数量还没有公布，但估计大模型参数量很快会逼近。

10. GPT4 目前的幻觉率（ hallucination ）大概在 10%-14%，必须降下来。幻觉率是“类人”模型必然会出现的特征。这个比例和人相比，还是太高。能否有效降下来，决定几年后 AGI 发展是继续一路向上还是进入阶段性低谷期。

11. 对我个人来说，ChatGPT 最大的意义在于它最直接、毫无争议地证明了基于简单的计算节点和函数，只要数量足够多，模型足够大，就可以生成足够复杂的思考模式，而这个系统是有限的，不是无限的。

人类语言以及驱动语言的思考的背后可能并不是什么灵魂，可能就是 100 万亿的神经突触连接后，被环境的演化不断调教，“涌现”出来的东西。这一切非常符合人类最近两百年对“人来自于哪里”这个问题的突飞猛进般的各类研究。

12. 单细胞到人的形成，所有证据链条已经足够完备；关于复杂系统的形成，基因的存在和“动机”也已有完备的理论；但人能不能依据所有科学理论，设计出硅基的 AGI 呢？

有人认为是几年，有人认为是几十年，更多的人认为永远不会（即使在看到 AlphaGo 在围棋领域的表现后），但 ChatGPT 用铁一般的事实给出了最明确的答案。Sam 团队应该打心眼里没觉得人类大脑有什么了不起，才能如此坚定地走大模型的AGI路线，一个月烧1亿美元还是很考验信念的。

13. 由于底层硬件不同，所以 ChatGPT 的“策略”很可能和人的大脑是很不同的，而且是低效的，但令人惊讶的是，“Her” 产生的结果是如此像人的思考。人的思考本质上可能就是由简单规则驱动的。

14. 语言和思考的“规则”，可能并不是我们能够完全按“语法”总结出来的，这个规则目前来看是隐含，无法完全简约和总结的。所以目前只能用大模型来干出来，毕竟人的大脑架构也是从单细胞自然演化来的，即使有造物主，也应该是“开辟”了宇宙后，就撒手不管了，否则怎么会有这么多的 bug 和缺点，哈哈。

15. 我很佩服史蒂芬·平克，他可以在几十年前只用观察和推理，就令人信服地说明语言是所有人类的本能，是“刻”在我们基因里的。我不知道 Sam 有没有读过《语言本能》这本书，但他证明了 ChatGPT 这样的人造网络可以非常好的完成语言创立工作。

语言本能和逻辑思考没有想象中的复杂，ChatGPT 已经“默默地”地发现了语言背后隐含的逻辑。语言也会是所有硅基 AGI 区别其他硅基计算器和AI的“本能”。

16. 人脑和碳基大脑都喜欢做 generalize 提炼（可能是残酷的进化所逼），所以极其高效（能量使用方面）；但不擅长做 irreducible 的计算和处理，而我们知道很多计算模式可能只能一步一步做。

GPT4 的架构肯定还不是最优，没有太多的 generalization 和简化，所以能耗极高。但“此路可通”的全球共识已经形成，后面应该会看到美国和中国的多个团队在各方面加速推进：芯片算力，数据质量，算法优化，和工程架构等。

17. 人的大脑的价值评估体系应该是碳基分子形成的 DNA 和遗传基因“为了”最大化地提高自己的复制概率，通过自然演化的力量，给神经元的突触设置好权重，逐步演化确定下来。

这个碳基计算节点支撑的“模型”远非完美，演化速度缓慢，“权重”和“算法”调整极其低效，完全跟不上环境变化。所以我们才会有各种宗教提到的人的欲望和痛苦。

18. Why Buddism is True 一书里提到，人大脑至少有7个模块（应该是多模态并行大模型）。哪一个思维模块占据“当下”的主体，人的“决策”如何做出，其实都由“感觉”决定。而这个“感觉”就是由“人”进化带来的“陈旧”的价值评估体系来决定（载体之一可能是肠道细菌，哈哈）。建议大家可以读下我几年前写的读书笔记的第 6，7，9 部分。

19. 畅想一下，如果人类真的把硅基 AGI 和机器人创造出来了，驱动机器人大脑的价值评估体系是什么？机器人会不会也很困惑“我来自于哪里，我往哪里去”？人类有释迦摩尼，机器人为什么不能有？机器人觉醒会是怎样？某个机器人会不会某天写一本 Why Machinism is True 来呼吁机器人觉悟，呼吁机器人进入涅槃，来摆脱人类给他们设置的“轮回”？

20. 能量限制会是模式演化的硬顶。但未来硅基 AGI 的能量消耗模式应该会比现在高效很多，碳基人脑的模式毕竟迭代演化了十亿年，才到了乌鸦大脑般的能量高效。

未来硅基 AGI 的能耗可能是现在人类能使用能量的几亿倍甚至更高量级，但能处理的计算和完成的事情也会是几亿倍。可能可控核聚变技术信手捏来了也不一定。这样的话，地球上的能量可能就够了，更何况还有太阳系，银河系和更广袤的宇宙。

ChatGPT 和 AGI 很伟大，应该说超级超级伟大！我们有幸活在这个年代，不但肯定能搞懂人来自哪里，可能还能搞懂人往哪里去。

AI的快速发展，会极大地促进我们对 Web3 技术的需求：内容创作如何确权；如何确立人的身份（Sam在搞worldcoin）；Prompt 和开源代码能否做成NFT授权使用；价值如果不能在互联网上自由流动，生产力那么强有什么用？你能想象所有的内容订阅，还要用银行体系来完成转账和跨境划款吗？你能给一个物联设备开银行账户吗？你能同时给 1 万个用户转 0.01 分美元吗？...我上次说接下来三年是 Web3 的 iPhone 时刻，Web3 用户三年后肯定能突破1亿，甚至远远超过。大家可以看我们画的飞轮：

一直很喜欢看生命科学，复杂系统，（作为哲学的）佛教方面的书籍，推荐几本给大家，按我个人建议的阅读次序：《生机勃勃的尘埃》，《奇妙的生命》，《自私的基因》，《自下而上》，The Social Conquest of Earth，《语言本能》，《深奥的简洁》，《失控》，和 Why Buddism is True。我觉得这些作者如果还健在，还有能力写，都应该看着 GPT 未来的发展，把书都写个新版。

人的生命太短暂，很多伟大的想法都极其可惜地永远地遗失在了历史的长河里。书籍，音乐和影视的记录应该只是很小很小的一部分。即使记录下来，那么多的伟大的著作和真理其实一直都在那里，但一个人又能读多少呢？硅基 AGI 则完全没有这个问题。

是时候再把电影 The Matrix 里 Mopheus 和 Neo 的对白找出来再读一遍了。

摘自-高山书院