知乎专题：

（0）AI威胁论

事件回顾

2016年10月19日，斯蒂芬·霍金 (Stephen Hawking) 在剑桥大学再次重申：发展全面人工智能可能导致人类毁灭。正因为 AI 有着巨大的潜力，因此必须研究如何在利用其优势的同时避免落入潜在的危险中。

2023年3月29日，千位大佬的联名信：暂停超强AI训练六个月。图灵三巨头中，一位带头签名，一位强烈反对，还有一位不发一言。Bengio签名、Hinton沉默（站队Ilya）、LeCun反对

2023年11月，OpenAI“政变”背后，以Ilya为代表的“对齐派”和Sam为代表的“加速派”打得不可开交

2024年5月15日，Ilya出局

2024年6月20日，Ilya创立公司SSI，继续“对齐”人类价值观

这一系列事件让人不禁好奇：他们到底在争什么？AI真能威胁人类吗？

先想想：真正的人工智能是指什么？AGI吗？还是生物智能？

衍生出来的子问题：

下面逐个陈述，个人意见，仅供参考，如果新观点、资讯，欢迎贡献！

刨祖坟，找下AGI定义

人工智能按实现阶段可分为三类：

①狭义人工智能 (ANI)：Narrow AI，现有AI技术达到的状态，也称弱人工智能，此处的弱不是指能力，而是相对于人类智能。尽管可执行任务可能由高度复杂的算法和神经网络实现，依然是ANI，因为是单一目标驱动。

典型案例：人脸识别、搜索、自动驾驶。

②通用人工智能 (AGI)：可成功执行人类才能完成的智力型任务。与ANI一样，AGI 可以从经验中学习，发现和预测模式，但是 AGI 智能水平更胜一筹。AGI 从先前数据或算法未解决的各种任务中推断出这些知识。

典型案例：Summit 超级计算机，全球为数不多的可以演示 AGI 的超级计算机之一。每秒可以执行 200 千万亿次计算，而人类完成这些计算需要十亿年。

③超人工智能 (ASI)：ASI 拥有完全自我意识。除了简单模仿、理解人类行为，还能从根本上掌握人类行为。

ASI 不仅具备人类特质，还拥有远胜于人类的处理能力和分析能力，ASI呈现了一个反乌托邦式的科幻未来，到那时人类将被逐渐淘汰出局。

那么，什么是AGI：Artificial GeneralIntelligence 通用人工智能

OpenAI的定义：AI systems that aregenerally smarter than humans

表述模糊，不明所以。

【2023-11-11】谷歌DeepMind在论文（Levels of AGI）里对AGI做出了详细划分，提炼出六个原则：

基于这些原则，DeepMind 从性能和通用性两个维度提出了「AGI 等级（Levels of AGI）」。

详见论文表格：

各有各的观点，都有一定道理，暂无确定答案。

按照Google定义，知名产品/技术按照这个 AGI 等级划分：

Google认为LLM部分是AGI。

再看看不一样的观点

不少人相信GPT大模型不只通过图灵测试，还达到了AGI。部分专家也赞同。

【2023-10-18】MIT的Tegmark认为LLM有世界模型，是AGI.

杨植麟（TransformerXL作者）也赞成：

把AGI作为公司使命的OpenAI在官网文章（Planning for AGI and beyond）里提到：

【2023-10-10】Sam Altman表示：“距离AGI之路都还有很远”，无论是GPT-5还是GPT-6，都还远远不及AGI。

甚至就“像人”这一条，现阶段就还没AI Chatbot能做到：即使背后用上了最前沿的AI技术，也没让我感觉到在和一个“人”聊天。

真正的AGI将能够掌握“自行推理”，即随着时间推移发展出新知识。能根据物理学已有知识，写论文、做实验的AI，才能够得上AGI门槛。

【2024-7-14】OpenAI CEO奥特曼给AI的发展进程划分了五个阶段。

个人觉得，通常意义上的AGI是指机器具备生物一样的认知智能，自我意识、自学习，不只是掌握海量知识、下棋、做数学题等单一任务。

人类进化史四个阶段：

南方古猿是一个已经灭绝的类人猿属，其中物种有七八种，南方古猿因在埃塞俄比亚被发现而得名，南方古猿有一个著名的标本叫露西，被称为“人类的祖母”。

只是进化3000万年的人类，到现在还没搞清楚大脑工作原理。

所有脊椎动物 （动物骨头） 都有一个大脑，由以下部分组成︰

• ︰ 脊髓、 脑桥 组成。脑干控制自动功能，如血压和心脏的跳动、 边缘运动和内脏的功能，像消化或排尿。

• : 它是第二大的器官，它主要涉及控制姿势和运动。

• 和，负责内脏的功能，如调节体温和基本行为，喜欢吃，性反应，快乐，侵略…

• 人类大脑皮质是所有动物中最复杂的。它不仅更大，而且会卷起和折叠在本身形成凹槽和折痕，使其有典型的褶皱的外观。

  人类大脑重约 1.4-1.5 公斤 （3.3 磅），女性有量约 1130 cc (69 ci) 而男性有 1260 cc (77 ci)。

  它被称为脑膜的膜所覆盖，在被颅骨撞击时可以保护颅骨。

  甚至更多的保护，大脑”漂浮”在脑脊液中。

  据估计，人类的大脑由超过 1000 亿个神经元细胞，主要是神经胶质细胞和神经元。

  著名的“三重脑”理论将大脑功能进行初步划分：

  
  

  进化史：

  ①约3.6亿年前，为了适应陆地生活，爬行动物演化出了最初的“本能脑”。本能脑的结构很简单，只有一个原始的反射模块，可以让爬行动物对环境快速做出本能反应。

  ② 到了大约2亿年前，哺乳动物为了更好地适应环境，不仅让体温保持恒定，还进化出了情绪。相应的，哺乳动物的大脑里也发展出一个独特的情感区域（边缘系统），脑科学家称之为“情绪脑”。

  ③ 直到距今约250万年前，人类才在大脑的前额区域进化出了“新皮层”。这个新皮层直到7万~20万年前才真正成形，新的脑区称为“理智脑” 。

  现在大模型背后的人工神经网络也只是一种简单模拟而已，远不如真实的大脑。

  《思考快与慢》里提到 著名的system1（感性思考） and system2 （理性思考），AI圈子广为流传。

  Agent里使用反思（ReAct）慢思考就让结果大幅提升，让人见识到LLM的巨大潜力。

  可是，跟大脑相比，还是不值一提：

  
  

  实现AI一般有三条路径：

  最理想的研究状态：

  将认知神经科学与人工智能结合，分别从生物视觉的硬件层、模型层、算法层进行研究。

  经过时间洗礼后，留下两条主流路线

  脑科学研究之路绝非易事，平均一次发现间隔几十年。

  

  人类如何思考、机器如何思考这两个问题成为科学家关注焦点。诺贝尔奖激励脑科学不断前进，脑科学带动计算科学里的人工智能不断突破，图领奖在此等候。

  随着大脑神经元工作原理的新发现不间断蹦出来，不同类型的人工神经网络也随之诞生。

  
  

  近年来，脑科学和人工智能是两条平行线，互不相交。

  未来需要在两者之间构建一个桥梁，即认知计算。

  认知计算是通过先进神经技术揭示脑结构、脑功能与智能产生的多层次关联与多模态映射机制，从而建立认知模型与类脑智能体系的科学

  信息参考【2020-9-5】戴琼海：深度学习遭遇瓶颈，全脑观测启发下一代AI算法

  深度学习这么强，实现AGI没问题吧？不一定。

  深度学习为什么不是正途？不管技术有多花哨，本质上是贝叶斯归纳模型。只要是归纳模型就必须经受休谟的质疑

  
  

  很多人认为贝叶斯方法克服了休谟的质疑 —— 错误

  贝叶斯方法只是利用话术回避了休谟的质疑。

  只要将休谟的质疑改成 “如何保证过去的事件的概率分布在未来也成立”，那么问题又回来了。

  休谟问题把当今机器学习方向一板砖直接拍死：怎么保证数据样本间过去成立的关系未来一定成立？

  不管算法有多漂亮，计算的结构怎么变化，破不了这个问题，其他一切都挽救不了这些机器学习模型。

  有人会问：人也不能保证过去成立的未来一定成立啊？

  的确，但人超越归纳法的地方：有能力更加综合的考虑问题，比如，虽然谁也没见过太阳毁灭，但是可以预测太阳未来一定会毁灭。要走向真正的人工智能，搞清楚人是怎么进行这个综合的思考过程的至关重要。

  二十年内，如果AGI有本质突破，那么必然满足以下条件：

  对于GPT系列的爆火，有疯狂崇拜，有人积极跟进，有人则冷眼相待。

  举世皆浊我独清，众人皆醉我独醒。

  不管形势如何，总有些勇敢的少数派公开唱反调，值得敬佩。

  纽约大学教授马库斯赞同说：

  2023年3月24日，图领奖获得者Yann LeCun 一贯犀利，直言不讳地指出：

  GPT这类自回归模型有天生缺陷，无法兼顾事实、不可控：

  • 序列化生成过程将问题解空间一步步缩小，陷入局部深井，错误指数级别累积。

  语出惊人，颇有一股侠者风范。

  除了GPT，他还给机器学习几乎所有方向判了死刑。

  想用监督学习、强化学习和自监督学习实现AGI？不可能。

  与人、动物相比，机器学习

  而当前大部分基于机器学习的AI系统常常出现愚蠢错误，不会推理、规划

  反观，动物或人：

  人和动物具备常识，而机器表现得很肤浅

  【2024-5-28】李飞飞 和 Etchemendy（曾任斯坦福大学教务长）在《时代（Time）》上刊载新文章《No, Today’s AI Isn’t Sentient. Here’s How We Know》

  明确指出当前技术路线无法制造有感知能力的AI。

  该文得到了LeCun支持。

  那么，AGI出路在哪儿？Yann Lecun回答：「世界模型」

  构建一个能够进行推理和规划的认知架构，由 6 个独立模块组成：

  详见：《A path towards autonomous machine intelligence》

  因此，当前生成式AI尽管出尽风头，但还只是刚步入AGI门槛，并未真正站稳…

  2017年，朱松纯讲过《一只乌鸦给我们的启示》：体型大小都差不多的乌鸦和鹦鹉。

  鹦鹉有很强的语言模仿能力，一个短句，多说几遍，它就能重复，类似于当前的由数据驱动的聊天机器人。

  鹦鹉和聊天机器人都能说话，但都不明白语境和语义，不能把说的话对应到物理世界和社会的物体、场景、人物，不符合因果与逻辑。

  而乌鸦远比鹦鹉聪明，不仅会制造工具，还懂得各种物理的常识和人的活动的社会常识。

  研究人员在日本发现一只野生乌鸦，没人管，没人教。靠自己观察、感知、认知、学习、推理、执行，完全自主生活。

  乌鸦面临第一个任务是寻找食物。

  找到坚果还不能吃，需要砸碎，可是这个任务超出它的物理动作的能力。其它动物（如大猩猩）会使用工具，找几块石头，一块大的垫在底下，一块中等的拿在手上来砸。

  乌鸦怎么试都不行，它把坚果从天上往下抛，发现解决不了这个任务。这个过程中，发现一个诀窍：把果子放到路上让车轧过去（图b），“鸟机交互”。

  后来进一步发现，虽然坚果被轧碎了，但到路中间去吃很危险。车水马龙路，随时就game over了。

  这个过程没有大数据训练，也没有所谓监督学习，乌鸦的生命没有第二次机会。

  乌鸦头有多大？不到人脑的1%大小。人脑功耗大约是10-25瓦，它就只有0.1-0.2瓦，就实现了自主学习，根本不需要核动力发电、大模型。

  所以说，监督学习和强化学习都行不通。

  然后，它又开始观察了，图c。发现在靠近红绿灯的路口，车子和人有时候停下了。这时必须领悟出红绿灯、斑马线、行人指示灯、车子停、人流停这之间复杂的因果链。甚至，哪个灯在哪个方向管用、对什么对象管用。

  搞清楚之后，乌鸦就选择了一根正好在斑马线上方的一根电线蹲下来（图d）。也许它观察和学习的是别的地点，没有这些蹲点的条件。它必须相信，同样的因果关系可以迁移当前的地点。

  当前很多机器学习方法是做不到。比如

  一些增强学习方法，让机器人抓取一些固定物体，如积木玩具，换一换位置都不行；

  打游戏的人工智能算法，换一换画面，又得重新开始学习。

  它把坚果抛到斑马线上，等车子轧过去，然后等到行人灯亮了（图e）。这时车子都停在斑马线外面，它终于可以从容不迫地走过去，吃到了地上的果肉。

  乌鸦多聪明，这才是真正的智能！

  乌鸦的启示：

  我们要寻找“乌鸦”模式的智能，而不是“鹦鹉”模式的智能。当然，不能否认，“鹦鹉”模式的智能在某些垂直应用有效。

  AI研究者应该寻求乌鸦智能，而不是鹦鹉智能。

  完全的自主智能：感知、认知、推理、学习和执行里，目前的LLM/LVM

  当前的大模型应该转向小型化、推理、自学习方向，引入脑科学的成就，或许能缩小生物大脑的差距。

  另外，人工神经网络中，除了FFN/Attention组成的transformer结构，就没有别的吗？论信息传递效率，脉冲神经网络更好。

  按照唯物主义观，碳基、硅基都是物质，既然碳基可以，硅基也可以。

  只是，AGI之路，道阻，且长。