译者 | 凌梓郡、Li Yuan
撰稿 | 卫诗婕
当今，Yann LeCun 、Geoffrey Hinton 以及 Yoshua Bengio 四位生物学家并称为广度自学三巨头。更为重要的是，三巨头之中，LeCun 对 AI 产业发展峭腹的立场是最悲观的。在此之前在特斯拉明确提出「人工智慧给现代文明文明带来了潜在性风险」时，LeCun 曾公开驳斥，指出人工智慧极难产业发展到给现代文明造成危害的程度。有关 AI 接下去该怎样产业发展，在昨天上午于上海举行的 2023 i2414701人工智慧讨论会上，他刊登了名叫《迈向能自学、逻辑推理和总体规划的大数学模型》的演说，抒发了控制系统的思索。
比利时该地时间下午五点，LeCun 从比利时的家里联络人i2414701讨论会的上海当晚。虽然 OpenAI 的 GPT 走线锋头正旺，许多人指出大词汇数学模型将通向 AGI，LeCun 却直截了当：需要舍弃聚合数学模型、加强自学方法这样的非主流走线。他指出，如前所述自监督管理的词汇数学模型难以赢得有关虚拟世界的科学知识。虽然词汇聚合的内容产品质量一直提升，但是这些数学模型在其本质上是不受控的。对词汇数学模型的不足之处认知，也如前所述他在此之前的一个基本看法：现代文明有许多科学知识是目前难以被词汇控制系统所触达的。
因此，想让 AI 赢得展毛一般对虚拟世界自学、应付和总体规划的潜能，他展现了自己在一年前所刊登的学术论文中明确提出的构架「独立自主智能化」(autonomous intelligence）。这是由一个实用性组件控制整个控制系统，如前所述输出重要信息，进行预估、逻辑推理、重大决策的构架。其中的「世界组件」具有估算缺位重要信息、预估未来外间状态的潜能。
极客公园团队在i2414701讨论会当晚观看了这场演说，以下为核心看法精彩摘要以及经过撰稿的演说内容。
LeCun 核心看法精彩摘要：
AI 的潜能距离现代文明与鸟类的潜能，还有差距——差距主要体现在逻辑逻辑推理和总体规划，大数学模型目前只能「本能反应」。
什么是自监督管理自学？自监督管理自学是捕捉输出中的依赖关系。训练控制系统会捕捉我们看到的部分和我们尚未看到的部分之间的依赖关系。
目前的大数学模型如果训练在一万亿个 token 或两万亿个 token 的数据上，它们的性能是惊人的。我们很容易被它的流畅性所迷惑。但最终，它们会犯很愚蠢的错误。它们会犯事实错误、逻辑错误、不一致性，它们的逻辑推理潜能有限，会产生有害内容。由此大数学模型需要被重新训练。
怎样让 AI 能像现代文明一样能真正总体规划？可以参照现代文明和鸟类是怎样加速自学的——通过观察和体验世界。
Lecun 指出，未来 AI 的产业发展面临三大挑战，并由此明确提出「世界数学模型（World Model）」
以下为演说全文的部分摘要，经极客公园撰稿后发布：
很抱歉我不能亲自到场，已经很久没有去中国了。
今天我将谈一下我眼中的人工智慧的未来。我会分享一下 AI 在未来十年左右的方向，以及目前的一些初步结果，但还没有完整的控制系统。
其本质上来说，现代文明和鸟类的潜能和今天我们看到的AI的潜能之间，是有差距的。简单来说，机器自学和现代文明鸟类相比并不特别好。AI 缺位的不仅仅是自学的潜能，还有逻辑推理和总体规划的潜能。
过去几十年来，我们一直在使用监督自学，这需要太多的标注。加强自学效果不错，但需要大量的实验。最近几年，我们更多使用机器自我监督管理，但结果是，这些控制系统在某种程度上是专业化和脆弱的。它们会犯愚蠢的错误，它们不会逻辑推理和总体规划，它们只是加速地反应。
那么，我们怎样让机器像鸟类和现代文明一样认知世界的运作方式，并预估其行动的后果？是否可以通过无限步骤的逻辑推理执行链，或者将复杂任务分解为子任务序列来总体规划复杂任务？
这是我今天想讲的话题。
但在此之前，我想先谈一下什么是自我监督管理自学？自我监督管理自学是捕捉输出中的依赖关系。在最常见的范例中，我们遮盖输出的一部分后将其反馈送到机器自学控制系统中，然后揭晓其余的输出——训练控制系统会捕捉看到的部分和尚未看到的部分之间的依赖关系。有时是通过预估缺位的部分来完成的，有时不完全预估。
这种方法在自然词汇处理的领域取得了惊人的成功（如翻译、文本分类）。最近大数学模型的所有成功都是这个想法的一个版本。
同样成功的是聚合式人工智慧控制系统，用于聚合图像、视频或文本。在文本领域这些控制系统是自回归的。自监督管理自学的训练方式下，控制系统预估的不是随机缺位的单词，而是仅预估最后一个单词。控制系统不断地预估下一个标记，然后将标记移入输出中，再预估下一个标记，再将其移入输出中，不断重复该过程。这就是自回归 LLM。
这就是我们在过去几年中看到的流行数学模型所做的事情：其中一些来自 Meta 的同事，包括开源的 BlenderBot、Galactica、LLaMA、Stanford 的 Alpaca（Lama 如前所述 LLaMA 的微调版）、Google 的 LaMDA 、Bard、DeepMind 的 Chinchilla，当然还有 OpenAI 的 ChatGPT 和 GPT-4。如果你将这些数学模型训练在一万亿个 Token 或两万亿个 Token 的数据上，它们的性能是惊人的。但最终，它们会犯很愚蠢的错误。它们会犯事实错误、逻辑错误、不一致性，它们的推理潜能有限，会产生有害内容。
因为它们没有有关基础现实的科学知识，它们纯粹是在文本上进行训练的。这些控制系统在作为写作辅助工具、帮助程序员编写代码方面非常出色。但是它们可能会产出虚构的故事或者制造幻觉。
我同事给我开了一个玩笑。他们说，你知道 Yann Lecun（杨立昆）去年发行了一张说唱专辑吗？我们听了一下（AI 根据这个想法聚合的假专辑），当然这是不真实的，但如果您要求它这样做，它会这样做。目前的研究重点是，怎样让这些数学模型控制系统能调用搜索引擎、计算器、数据库查询等这类工具。这被称为扩展词汇数学模型。
我和我的同事合作撰写过一篇有关扩展词汇数学模型的学术论文。我们很容易被它们的流畅性所迷惑，指出它们很聪明，但它们实际上并不那么聪明。它们非常擅长检索记忆，但它们没有任何有关世界运作方式的认知。这种自回归的聚合，存在一种主要缺陷。
如果我们想象所有可能答案的集合，即标记序列的树（tree），在这个巨大的树中，有一个小的子树对应于给定提示的正确答案。因此，如果我们想象任何产生标记的平均概率 e 都会将我们带出正确答案集合的集合，而且产生的错误是独立的，那么它们可能会看到 n 的答案的相似度是（1-e）的 n 次方。这意味着会存在一个指数级的发散过程将我们带出正确答案的树。这就是自回归的预估过程造成的。除了使 e 尽可能小之外，没有其他修复方法。
因此，我们必须重新设计控制系统，使其不会这样做。这些数学模型必须重新训练。
那么怎样让 AI 能像现代文明一样能真正总体规划？我们先来看现代文明和鸟类是怎样能加速自学的。
我们看到婴儿在生命的前几个月内掌握了大量有关世界运作方式的基础概念：如物体永恒性、世界是三维的、有机和无机物体之间的区别、稳定性的概念、自然类别的自学以及重力等非常基本的概念。婴儿在 9 个月左右就能会这些。
根据我同事制作的图表，如果您向 5 个月大的婴儿展现下面左下角的场景，其中一个小汽车在平台上，你将小汽车从平台上推下来，它似乎漂浮在空中，5 个月大婴儿不会感到惊讶。但是 10 个月大的婴儿会非常惊讶，因为在此期间，婴儿已经知道了物体不应该停留在空中，它们应该在重力下下落。这些基本概念是通过观察世界和体验世界来习得的。我指出我们应该用机器复制这种通过观察世界或体验世界自学世界运作方式的潜能。
我们有流利的控制系统，可以通过法律考试或医学考试，但我们没有可以清理餐桌并填满洗碗机的家庭机器人，对吧？这是任何孩子都可以在几分钟内学会的事情。但我们仍然没有机器可以接近这样做。
我们显然在当前拥有的 AI 控制系统中缺少了非常重要的东西。我们远远没有达到现代文明水平的智能化，那么我们该怎样做到这一点？实际上，我已经确定了未来几年 AI 面临的三个主要挑战。
首先是自学世界的表征和预估数学模型，当然可以采用自我监督管理的方式进行自学。
其次是自学逻辑推理。这对应着心理学家丹尼尔·卡尼曼的控制系统 1 和控制系统 2 的概念。控制系统 1 是与潜意识计算相对应的现代文明行为或行动，是那些无需思索即可完成的事情；而控制系统 2 则是你有意识地、有目的地运用你的全部思维力去完成的任务。目前，人工智慧基本上只能实现控制系统 1 中的功能，而且并不完全；
最后一个挑战则是怎样通过将复杂任务分解成简单任务，以分层的方式运行来总体规划复杂的行动序列。
所以大约一年前，我发布了一篇学术论文，是有关我指出未来 10 年人工智慧研究应该迈向的愿景，你可以去看一下，内容基本上是你们在这个演讲中听到的提议。在我明确提出的这个控制系统中，核心是世界数学模型（World Model）。世界数学模型可以为控制系统所用，它可以想象一个场景，如前所述这样的场景作为依据，预估行动的结果。因此，整个控制系统的目的是找出一系列根据其自己的世界数学模型预估的行动，能最小化一系列成本的行动序列。
（编者注：有关 Lecun 有关世界数学模型的论述，感兴趣的读者可以自行搜索 Lecun 的这篇学术论文《A Path Towards Autonomous Machine Intelligence》。）
问答环节 Q & A：
提问人：朱军｜清华大学教授，i2414701首席生物学家
Q：聚合式数学模型通常将输出定义为多个选择的概率。当我们应用这些聚合数学模型时，我们通常也希望它们拥有创造力，产生多样化的结果。这是否意味着这些数学模型实际上难以避免事实错误或逻辑的不一致性呢？即使您拥有平衡的数据，因为在许多情况下，数据会产生冲突的影响，对吗？您之前提到了输出的不确定性，您对此有何看法？
A：我指出，通过保留自回归聚合来解决自回归预估数学模型聚合数学模型的问题是不可行的。这些控制系统其本质上是不受控的。所以，它们将必须被我明确提出的那种构架所取代，在逻辑推理过程中，你需要让控制系统优化某种成本和某些准则。这是使它们受控、可操纵和可总体规划的唯一方法。这样的控制系统将能计划其回答。
就像我们像现在这样讲话，我们都会计划讲话的过程，怎样从一个看法到另一个看法，怎么解释事物，这些都在你的脑海里。当我们设计演讲时，不是一字一句地即兴发挥。也许在低层次上，我们在即兴发挥，但在高层次上，我们一定是在总体规划。所以总体规划的必要性是非常明显的。现代文明和许多鸟类都具备总体规划潜能，我指出这是智能化的一项重要特征。所以我的预估是，在相对短的几年内，理智的人肯定不会再使用自回归元素。这些控制系统将很快被舍弃，因为它们是难以修复的。
Q：您之后将参与一个辩论，探讨人工智慧会不会成为现代文明生存的威胁。
参会者还有 Yoshua Bengio，Max Tegmark 和 Melanie Mitchell。您能讲讲您届时将阐述什么看法吗？
A：在这场辩论中，Max Tegmark 和 Yoshua Bengio 将站在「是」的一边，指出强大的 AI 控制系统可能对现代文明构成存在风险。而我和 Melanie Mitchell 将站在「否」的一边。我们的论点不是说没有风险，而是这些风险虽然存在，但通过谨慎的工程设计可以轻易地加以减轻或抑制。
我对此的论点是，今天问人们是否能使超智能化控制系统对现代文明安全，这个问题难以回答，因为我们还没有超智能化控制系统。所以，直到你能基本设计出超智能化控制系统，你才能讨论怎样让它变得安全。这就好比你在 1930 年问一位航空工程师，你能使涡喷发动机安全可靠吗？工程师会说，什么是涡喷发动机？因为涡喷发动机在 1930 年还没有被发明出来，对吧？所以，我们处于一种有点尴尬的境地。现在，宣称我们难以使这些控制系统安全还为时过早，因为我们还没有发明出它们。一旦我们发明了它们，或许就是按照我所明确提出的设计蓝图，再讨论怎样使它们安全也许是值得的。
