《What Is ChatGPT Doing ... and Why Does It Work?》的读后感大全

《What Is ChatGPT Doing ... and Why Does It Work?》是一本由Stephen Wolfram著作，Wolfram Research, Inc.出版的112图书，本书定价：Paperback，页数：2023-3-9，特精心收集的读后感，希望对大家能有帮助。

《What Is ChatGPT Doing ... and Why Does It Work?》读后感(一)：笔记

当前实现

- 大规模, 100x, 1000x larger NN

- transformer 架构. 我的理解是加了注意力的 RNN

- 预处理和 RLHF

和之前的 AlphaGo 一样, 对人类直觉的超强模仿和超越, 相当于荣格的 Ne 功能. N 功能都装在黑盒子里, 没有白盒思维(符号表示, 推理, 即作者所说的"计算不可约性"). 没有 Ti/Te 功能. 这就导致:

- 无法 100% 可靠

- 无法从根源上泛化(缺底层理解, 一切都是 fitting the data)

因此只靠这一种思路很快就会到瓶颈. 参考 LeCun 的观点

下一步发展

缺什么补什么. ChatGPT 缺符号表示和推理计算(心理类型的 Ti/Te), 下一步就补这些:

- 在神经网络里找符号. softmax 前面一层已经算符号, 但是还想找:

== 内部隐含层的表示

== 抽象概念的表示

== 自动发现符号表示

- 通过其他工具扩展. 作者推了一下自家的工具 wolfram, 标准符号流派的计算语言

《What Is ChatGPT Doing ... and Why Does It Work?》读后感(二)：天天用，但是你懂 ChatGPT 的原理吗？

2 个月前刚出炉的鲜货。作者是Stephen Wolfram，大名鼎鼎的 Wolfram 软件的创始人。他是牛津大学的本科（好像没拿文凭），加州理工的博士。他发明的Wolfram 工具也是一种人工智能系统，可以帮助一切数理化思考，也是牛到天上的人物了。作者帮初学者极其浅显直观地介绍了 ChatGPT 的工作原理，大致的训练方法，还有局限性。极大地满足了知道主义者的好奇心，另外这也是一场奇妙、兴奋又让人毛骨悚然的阅读体验！甚至对人生都有了新奇的启发。

GPT 是如何按照你的要求给出一段文字的呢？

简单地说，一个词一个词的“猜”和“编”。在我们人类语言中，或者说自然语言中，一个字母之后接的是什么字母，一个词之后接的是什么词，是有概率的，而不是随机分布的。“树”和“叶子”有更大的概率会在一个句子里，而“鱼”和“外汇交易”就不大可能在一起。我们通过喂养GPT海量的数据和文本（据说有 400 亿字的网页内容，所有出版书中5%的已经电子化了的书），让他去习得一种模式，就是人类大概就是这么说话，在这个场景下大概就是说这个话，这个内容。然后当你问他问题的时候，他就会根据你的关键词，用这套模式去给你答案。

所以它并不是真的“理解”你说的什么，他也不“理解”他给你说的答案是什么。但是那个结果就是我们想要的。

他给的答案，虽然有的似是而非，有的胡说八道，但是绝大部分已经有点突破图灵测试的感觉了。这是令人震惊的进步。出乎所有人的意料。

那整个猜的过程是用什么工具呢？神经网络技术。我们人类大脑有大约 1000 亿个神经元，大概他们相互之间能产生 100 兆个连接。GPT 就是使用了类似我们大脑的计算机构，去学习然后生成这些内容。你可以把神经网络想象成一组有生命的数学方程，里面有各种各样的参数。这组有野心的方程就是通过你给他的初始数据资料，去调自己的参数，然后达到各种学习目的：比如区分狗的样子，猫的样子。

这是这本书最有意思的地方。因为神经网络工作的机制是一个黑箱。它有一天，等你喂够了足够的资料，它消化了足够的时间，突然它就醒了！它就可以做出和人类大脑相似的认知动作。作者反复多次强调，不是人类教会了它怎么解决问题，它是自己“发现”解决办法的！更关键的是，这个发现是内隐的知识，也就是它自己说不出来（或是不愿说？：）），你只能观察到做成了的结果，但是不咋知道它是咋出来的过程。

比如说图像识别，学习的过程你需要给他类似但是稍有变化的图像，越多越好。大概百万级的实例，能训练出一个针对性的神经网络。整个过程和人类学习很像。突然有一天，当他的神经网络参数足够对，足够准确之后，突然他就能区分猫和狗。对于人类大脑来说，这个是很简单的事情，但是你也具体说不清楚猫和狗有什么区别，这就是内隐知识。

除了以上这些 GPT 底层的逻辑，更让我感到兴奋，甚至有些毛骨悚然的就是更加深切的顿悟了机器学习，人工智能发展的趋势。

1. 他们真的是突然就醒了。2012 年机器学习图像识别突然就有了突破。去年ChatGPT 突然就有了突破。理论上，只要你用神经网络的方法，给足够多足够好的素材，最终人工智能一定会超过人类大脑，去做任何事情。但是你意识到可怕的地方了吗？整个过程在工程上是黑箱的。工程化，是我们现代文明的基石。不能工程化，就意味着你不能解构，不能逐步组装，不能再现它的方法。突然有一天，如果人工智能具备了我们想象不到的能力，是完全可能的！

2. 计算机真的是逐步靠近宇宙真理的隐喻。从冯诺依曼最原始的计算机对于数理计算过程的模拟，到现在机器学习神经网络对于大脑的模拟，一点点更真实地逼近复杂性的真相。人生的意义是什么？最好的隐喻不是一段旅程，也不是一棵树，是神经网络的版本更新啊。每个人就是一张独特的神经网络，你是唯一版本的 GPT，人生的意义在于你把你的神经网络更新到了哪一个版本。每一个新版本都具有更多的参数，每个参数更新的权重，每一个版本看到的世界，以及输出世界的产出都是质的区别。

很有意思的小书。希望早日有中文版出来。不过，刚出版两个月，书中的内容就已经过时了。本书的初版日期是 2 个月前，2023 年 2 月 28 日。但半个月之后，ChatGPT 4 横空出世，极大地有提升了推理能力和数据库。在 GRE 考试中，已经能达到顶尖人类考生的水平……

《What Is ChatGPT Doing ... and Why Does It Work?》读后感(三)：天天用，但是你懂 ChatGPT 的原理吗？

2 个月前刚出炉的鲜货。作者是Stephen Wolfram，大名鼎鼎的 Wolfram 软件的创始人。他是牛津大学的本科（好像没拿文凭），加州理工的博士。他发明的Wolfram 工具也是一种人工智能系统，可以帮助一切数理化思考，也是牛到天上的人物了。作者帮初学者极其浅显直观地介绍了 ChatGPT 的工作原理，大致的训练方法，还有局限性。极大地满足了知道主义者的好奇心，另外这也是一场奇妙、兴奋又让人毛骨悚然的阅读体验！甚至对人生都有了新奇的启发。

GPT 是如何按照你的要求给出一段文字的呢？

简单地说，一个词一个词的“猜”和“编”。在我们人类语言中，或者说自然语言中，一个字母之后接的是什么字母，一个词之后接的是什么词，是有概率的，而不是随机分布的。“树”和“叶子”有更大的概率会在一个句子里，而“鱼”和“外汇交易”就不大可能在一起。我们通过喂养GPT海量的数据和文本（据说有 400 亿字的网页内容，所有出版书中5%的已经电子化了的书），让他去习得一种模式，就是人类大概就是这么说话，在这个场景下大概就是说这个话，这个内容。然后当你问他问题的时候，他就会根据你的关键词，用这套模式去给你答案。

所以它并不是真的“理解”你说的什么，他也不“理解”他给你说的答案是什么。但是那个结果就是我们想要的。

他给的答案，虽然有的似是而非，有的胡说八道，但是绝大部分已经有点突破图灵测试的感觉了。这是令人震惊的进步。出乎所有人的意料。

那整个猜的过程是用什么工具呢？神经网络技术。我们人类大脑有大约 1000 亿个神经元，大概他们相互之间能产生 100 兆个连接。GPT 就是使用了类似我们大脑的计算机构，去学习然后生成这些内容。你可以把神经网络想象成一组有生命的数学方程，里面有各种各样的参数。这组有野心的方程就是通过你给他的初始数据资料，去调自己的参数，然后达到各种学习目的：比如区分狗的样子，猫的样子。

这是这本书最有意思的地方。因为神经网络工作的机制是一个黑箱。它有一天，等你喂够了足够的资料，它消化了足够的时间，突然它就醒了！它就可以做出和人类大脑相似的认知动作。作者反复多次强调，不是人类教会了它怎么解决问题，它是自己“发现”解决办法的！更关键的是，这个发现是内隐的知识，也就是它自己说不出来（或是不愿说？：）），你只能观察到做成了的结果，但是不咋知道它是咋出来的过程。

比如说图像识别，学习的过程你需要给他类似但是稍有变化的图像，越多越好。大概百万级的实例，能训练出一个针对性的神经网络。整个过程和人类学习很像。突然有一天，当他的神经网络参数足够对，足够准确之后，突然他就能区分猫和狗。对于人类大脑来说，这个是很简单的事情，但是你也具体说不清楚猫和狗有什么区别，这就是内隐知识。

除了以上这些 GPT 底层的逻辑，更让我感到兴奋，甚至有些毛骨悚然的就是更加深切的顿悟了机器学习，人工智能发展的趋势。

很有意思的小书。希望早日有中文版出来。不过，刚出版两个月，书中的内容就已经过时了。本书的初版日期是 2 个月前，2023 年 2 月 28 日。但半个月之后，ChatGPT 4 横空出世，极大地有提升了推理能力和数据库。在 GRE 考试中，已经能达到顶尖人类考生的水平……