这是前 OpenAI 首席科学家 IlyaSutskever，在离开 OpenAI 后最完整的一次深度访谈。
Scaling 时代已经结束了，单纯把规模扩大 100 倍，也不会带来模型能力质的变化。
当前，真正的瓶颈不在于算力，而是模型的泛化能力远不如人类。
逐步部署和让世界感受 AI 的能力，比纯粹的思考更重要。
最终对齐的目标是，让超级智能真正关心和感知所有生命，因为未来的「感知体」大多数会是 AI 自己。
「情感」作为一种价值函数，未来一定会被广泛使用。简单的东西，往往能在更广泛的情境下发挥作用。
未来，这些按照「盲目扩大规模」路子来走的 AI 公司也许能获得惊人的收入，但不一定有利润，因为需要费劲地在同质化竞争中寻找差异化。
……
在与 Dwarkesh Patel 长达一个半小时的对谈中，Ilya 分享了他对于当下的 LLM 研究、如何实现 ASI、研究品味、未来 AI 公司的竞争等方面的思考，同时回应了对于其创业公司 SSI 的未来规划。
干货非常多。基于完整的原对谈内容，Founder Park 整理了其中最精彩的 18 个问答，希望能够帮你快速、但深入地理解 Ilya 到底讲了什么以及他在思考什么。
部分原对话内容参考自账号「一只小茄墩」的编译内容。
Scaling 时代已经结束了，接下来是研究时代
我们到底在「扩展」什么？
其实我们扩展的是预训练（Pre-training），这是一套特定的扩展配方。
预训练带来的最 大突破，就是让我们意识到这套配方真的很棒。你会发现：只要把一些算力、一些数据，扔进一个特定大小的神经网络里搅拌一下，就能出结果。而且你很清楚，只要把这个配方按比例放大，效果一定会更好。大公司爱死这个了，因为这提供了一种风险极低的资源投资方式。
但到了某个节点，预训练的数据总会用光的。数据显然是有限的。所以，现在搞一种魔改版的预训练，去做强化学习或者其他。
现在算力规模已经很大了，真的非常大。仅仅把规模扩大 100 倍就能带来质的飞跃吗？我不这么认为。所以，从某种意义上说，我们又回到了研究时代。
从 2012 年到 2020 年，是研究时代；从 2020 年到 2025 年，是扩展时代。
新配方会是着什么？
「情感」价值函数。也许等大家把价值函数玩明白了，利用资源的效率就会大大提升。如果你找到了一种全新的模型训练方法，你会说这是扩展吗？还是仅仅是使用资源？我觉得界限开始变得模糊了。
回想当年的研究时代，大家的状态是：试这几个，再试那几个。你看，好像有意思的事情发生了。我认为这种状态将会回归。
我想强调的是，我认为价值函数能让强化学习变得更高效，这确实能带来改变。但凡是能用价值函数做到的事，不用它也照样能做，只不过速度会慢一些。
这些模型的泛化能力依然比人类差得远。这才是一个非常根本的问题。
「情感」作为一种价值函数，特别关键
「情感」价值函数是什么？
举个例子，一个人因为中风或事故造成了某种脑损伤，导致他失去了情感处理能力，在做任何决策时都变得极其糟糕。
这说明人类内置的情感对于让我们成为一个能够在这个世界上生存并有效行动的个体，起着至关重要的作用。
这种「情感」可以类比为大模型中的某种价值函数。但现阶段，这种价值函数并没有扮演非常核心的角色。
目前最朴素的强化学习做法是，要等任务全部做完后，才会打分反馈给整个过程中的每一个动作。这意味着，如果你在做一件耗时很长的事情，直到你提出最终方案之前，模型是学不到任何东西的。
但价值函数的作用是：不用等到最后，就能随时告诉你现在做得是好是坏。价值函数能让你能抄近道，省去了等待最终结果的时间。
这种价值函数是人类通用的一种感知能力，且这种能力极其稳健。除了像药物成瘾这种极少数的例外，人类的价值函数非常可靠。
我的预期是，「情感」价值函数应该是很有用的，而且我完全相信即使现在还没普及，未来也一定会被广泛使用。复杂的东西可能非常有用，但简单的东西往往能在广泛情境下发挥作用。
为什么人类的泛化能力远超大模型？
为什么预训练数据量虽然大，但并不一定比 RL 更能带来泛化？
AI 预训练数据的数量是非常、非常惊人的。
我觉得，预训练的主要优势在于：第 一，量大管饱；第二，不需要费尽心思去挑数据。
它是非常自然的数据，包含了人类的所作所为、所思所想以及各种特征。就像是整个世界投射在文字上的倒影，而预训练试图用海量数据去捕捉这个倒影。
但预训练很难去剖析，因为很难搞懂模型到底是以什么方式依赖这些预训练数据的。每当模型犯错，是不是纯属巧合，因为预训练数据里刚好缺了这一块的支持？预训练支持这个词可能不太严谨。这方面我也不知道还能补充什么有用的了。
我觉得预训练这个过程，在人类身上找不到对应的类比。
为什么模型的泛化能力，依然比人类差得很远？
拿编程竞赛举例。
假设有两个学生。学生 A 决定要成为最强的竞赛程序员，于是狂练了 10,000 小时。他刷遍了所有题目，背下了所有解题技巧，能极其快速且正确地实现所有算法。他因此成了顶 尖高手。
学生 B 觉得：噢，编程竞赛挺酷的。也许只练了 100 小时，但也考得挺好。
现在的模型基本就是第 一种学生，甚至有过之无不及。因为我们会说，模型得擅长编程竞赛，那就把史上所有的竞赛题都拿来。这还不够，再搞点数据增强，造出更多题目来训练。现在你得到了一个超级竞赛程序员。既然它是靠死记硬背练出来的，掌握了所有算法和技巧，那它在其他事情上无法触类旁通（泛化），也就是情理之中的事了。
泛化能力包含两个子问题：一是样本效率，二是为什么想教会模型我们想要的东西那么难，而教人类却很容易。
人类的样本效率极高，可能是来自进化。
进化把极少量、但最核心有用的信息赋予了人类，比如视觉、听觉和运动能力。举个例子，人类的灵巧度。现在的机器人如果放在模拟环境中进行海量训练，也能变得很灵巧。但想在现实世界中训练一个机器人，让它像人一样迅速掌握一项新技能，这目前还遥不可及。
在运动、视觉等方面，人类可能天生就带着某种不可思议的先验知识。但在语言、数学和编程等领域的能力说明，让人类擅长学习的根本原因，可能不是复杂的进化先验知识，而是人类单纯就是拥有更好的机器学习算法，也就是前边提到的「情感」价值函数。
模型的能力是「锯齿状」的
为什么现在的模型看起来很聪明，但实际能力跟不上？
这也是目前最让人困惑的地方之一。
它们在评测（evals）上表现得那么好，另一方面又在某些情况下像复读机一样犯傻？
举个例子，假设你用 Vibe coding 做点东西。你遇到一个 bug，告诉模型：请修好它。结果它修好了，但引入了第二个 bug。然后你告诉它：现在有新 bug 了。结果它改了回去，把第 一个 bug 又带回来了。就这样在两个 bug 之间反复横跳。
我有两个可能的解释。
一是：也许是强化学习训练让模型变得有点过于一根筋、视野太窄了。虽然 RL 让它们在某些方面变强了，但也让它们在其他方面变得迟钝，导致连基础的事情都做不好。
二是：当年做预训练的时候，关于用什么数据这个问题，答案很简单：用所有数据。你不需要纠结选这个还是选那个，全都要就行。但在做强化学习训练时，就得动脑子选了。你得决定：我们要在这个任务上用这种 RL，在那个任务上用那种 RL。据我所知，所有公司都有团队专门制作新的 RL 环境，加到训练混合料里。但问题是，这些环境是什么？选择太多了，自由度太大了。
我觉得大家无意中做了一件事：从评测题中找灵感。我想让模型发布时表现炸裂，我想让评测分数好看，什么样的 RL 训练能提升这个任务的分数？
如果把这一点与模型泛化能力其实不足结合起来看，大概就能解释我们看到的现象了：为什么评测分数和真实世界表现之间存在巨大的断层。直到今天，我们甚至都没完全搞懂这个断层到底意味着什么。
Dwarkesh Patel 补充：
我觉得有两种理解方式。
如果模型在编程竞赛中变成超人，并不自动意味着它能写出更有品味、更好的代码架构，那就应该扩展训练环境，不能只盯着编程比赛，还得看它能不能开发出最 好的应用程序 X、Y 或 Z。
另一点，带来的思考是，也许正确的路子不是不断堆砌训练环境的数量和多样性，而是找到一种方法，让模型能从一个环境中学习，然后自然地提升在其他事情上的表现。
未来，AI 公司可能根本赚不到利润
未来，继续沿用现在的「不断扩展规模」思路的公司会陷入停滞吗？
我觉得即使技术停滞了，这些公司依然能赚取惊人的收入，但可能不一定有巨额利润，因为他们得费劲地在同质化竞争中寻找差异化。
我觉得未来事情会这样发展。 一是，一家公司搞出了个突破，另一家公司赶紧跟进，过段时间也搞出了类似的东西，然后他们开始在市场上竞争，把价格打下来。
另一种是，可以把 AI 做得很专，依然可以既有用又超级聪明。可以拥有很多专才型的超级智能 AI。 假设你有很这种 AI，一家公司靠它们赚了很多钱。然后另一家公司进来竞争。竞争的方式将是专业化。 在现在的市场上，你会看到很多不同的细分生态位，很多不同的公司占据着不同的生态位。 未来，不同的 AI 公司可能会分别专注在不同复杂的领域。
这种大规模部署 AI，会引发某种智能爆炸吗？
我认为，大规模的部署 AI 很有可能会带来经济的飞速增长。一旦你有了一个学得很快的 AI，并且拥有很多这样的 AI，将其部署到经济体系中的动力会非常强。
但问题在于增长到底会有多快？这很难预料。因为一方面，你拥有非常高效的 AI ；但另一方面，世界太大了，实体事物很多，而且实体事物的运转速度是不一样的。
什么是好的研究品味？
什么是好的研究品味？
有一件事指引着我个人，那就是通过思考人是怎样的，来形成关于 AI 应该是怎样的审美。但关键在于必须是正确的观察。
我们需要从多个角度去审视，去寻找近乎美的东西——那种美感与简洁感。
丑陋是没有立足之地的。你需要的是美感、简洁、优雅，以及从大脑中汲取的正确灵感。所有这些要素必须同时存在。当它们重叠得越多，你就越能确信这种自顶向下的信念。
当你面对实验结果的打击时，就是这种自顶向下的信念在支撑着你。这种品味能让你在实验持续失败、所有数据都说「你错了」时，依然坚持调试而不是放弃。
这种自顶向下，建立在那多维度的美感和源自大脑的灵感之上。
最终要构建的是一个能真正关心、感知生命的 AI
SSI 的计划是什么？
我的思维方式发生了一些变化，我现在更看重在早期阶段、渐进式地部署 AI。
谈论 AI 有个难点是我们在讨论一些目前还不存在、很难想象的东西。在现实中，人们很难真切地感觉到通用人工智能（AGI）的存在。
既然大家想象不到，该怎么办？你必须把东西做出来给大家看。我坚持认为，即使是大多数 AI 从业者也想象不到未来的景象，因为那和我们日常看到的东西太不一样了。
接下来，假设 AI 被造出来了，我们要怎么做？
目前人们之所以感觉不到 AI 的强大，是因为它还会犯错。但我相信，到了某个临界点，AI 会开始让人真正感觉到它的强大。当那一刻来临时，所有 AI 公司对待安全的方式将发生巨变。
最终对齐的目标是什么？
未来，到底应该立志造出什么样的 AI？目前大家都被困在一个大概念里：自我进化的 AI。
但我坚持认为，更好的构建目标是：一个真心实意关爱感知生命的 AI。制造一个关爱所有感知生命的 AI，可能比制造一个只关爱人类的 AI 更容易。因为未来的感知体大多数会是 AI 自己。
比如，镜像神经元（Mirror Neurons）和人类对动物的同理心。我认为这是一种涌现属性，源于我们用模拟自己的大脑回路去模拟其他生物，因为这是最高效的处理方式。
超级智能什么时候来？
未来 5-20 年，可能会有具备人类级别学习能力、能走向超智能的系统。
你怎么看待超级智能？
我认为超级智能肯定会非常强大。
我觉得最可能发生的情况是：如果算力集群足够大，会有多个这样的 AI 在大致相同的时间被创造出来。
但我们讨论的是还不知道怎么造的系统。现在的路子能带我们走一段，然后就会慢下来。它会继续改进，但这还不是最终形态。这很大程度上取决于我们能否理解可靠的泛化。
对齐之所以难，是因为 AI 学习和优化人类价值观的能力都很脆弱。
你不觉得这些都是不可靠泛化的例子吗？为什么人类的泛化能力强这么多？如果 AI 也能这么强，会发生什么？这些问题目前还无法回答。
我们如何与人工智能实现长期平衡？
一种解决方案是：让人类成为部分人工智能。这不是最理想的，但它弥合了理解的鸿沟，我们把 AI 的处境当作自己的体验。
人类可能通过增强版 Neuralink 变成半 AI 生物。结果就是，AI 理解了什么，我们也理解了，因为这是全盘传输的。这样一来，AI 处于某种情境，你也完全卷入其中。我认为这才是终 极平衡的答案。
SSI 的未来规划、目标和商业模式
SSI 打算怎么赚钱？
我的回答是：现阶段，我们只专注于研究。这个问题的答案自然会浮现，我觉得会有很多种可能的答案。
SSI 的计划依然是一步到位直通超级智能吗？
也许吧。我觉得这个策略有它的优点。最 大的优点是我们可以不受日常市场竞争的干扰。
但我觉得有两个原因可能会让我们改变计划：
第 一是务实的原因，如果研发时间线拉得特别长，这完全有可能。
第二，我认为让最强大、最顶 尖的 AI 尽早问世并影响世界，本身就有巨大的价值。这是一件非常有意义的事情。
但我认为即便是在最理想、最直接的情况下，我们也必须分阶段发布模型。这种循序渐进是任何计划中不可或缺的一部分。关键在于，你推出的第 一款产品到底是什么，这是第 一点。
第二点，持续学习非常重要。
比如，现在 AGI 和预训练这两个概念让我们有点用力过猛了。如果你在预训练的语境下思考 AGI 这个词，你会发现人类其实并不是 AGI。人类有基础技能，但我们缺很多知识，持续学习很重要。
所以，当我们说假设我们要造出一个安全的超级智能时，怎么定义它呢？它在持续学习的曲线上处于什么位置？
这就好比我造出一个绝顶聪明的 15 岁少年，充满干劲，虽然懂的不多，但是个好学生。我会对他说：去当个程序员，去当个医生，去学习吧。所以，AI 的部署过程本身就是一个试错和学习的时期，而不是直接丢一个完 美的成品。
SSI 到底打算做些什么不同的事情？
我认为有一些想法非常有前景，我想去深入研究，验证它们到底行不行。就这么简单。这是一次尝试。 如果这些想法，特别是我们讨论过的关于理解泛化的那些，被证明是正确的，那我们将创造出非常有价值的东西。 它们会是正确的吗？这就是我们在做研究的原因。我们是一家彻头彻尾处于研发时代的公司。我们在过去一年其实取得了相当不错的进展，但我们还需要更多进展，做更多研究。我是这么看的：这是一种尝试，我们想在这个领域发出声音，并参与其中。
SSI 最 大的不同是什么？
SSI 最 大的不同在于技术路线。我们有一种不同的技术方法，我认为它很有价值，我们正在全力以赴。 但我坚持认为，最终大家的技术路线都会发生收敛。 随着 AI 变得越来越强大，每个人都会大概看清该采取什么策略。这会是一种共识：你需要找到某种方式让 AI 之间能够交流，你需要确保你的第 一个真正的超级智能是对齐的，是关心感知生命的，是关心人类的，是民主的，或者是这些特质的某种组合。 我认为这是每个人都应该追求的状态。这也是 SSI 正在追求的。我想，如果不算现在的话，在这个时刻到来时，所有其他公司也会意识到这也是他们的目标。 我认为随着 AI 变强，世界将发生真正的巨变。事情会变得非常不同，人们的行为模式也会完全改变。
