继李飞飞、Bengio、何恺明之后开yun体育网，在昨天的 NeurIPS 2024 中，Ilya Sutskever 最新演讲也来了。

固然时长仅有 15 分钟傍边，但本色依旧看头完全。

举例这一句：

Pre-training as we know it will end.

咱们所熟知的预历练行将斥逐。

而之于改日，Ilya 还权衡谈：

what comes next is superintelligence: agentic， reasons， understands and is self aware. 接下来将是超等智能：代理、推理、贯串和自我意志。

为何会有如斯发言？咱们一皆来望望齐备演讲。

记忆十年本领发展

Ilya 先是用一张十年前的 PPT 截图开启了此次演讲，那时，深度学习还处于探索阶段。

在 2014 年的蒙特利尔，他和团队（还有 Oriol Vinyals 和 Quoc Le）初度提议了如今成为 AI 鸿沟基石的深度学习理念。

Ilya 展示了其时的一张 PPT，揭示了他和团队的中枢职责：自转头模子、大型神经汇注和大数据集的计划。

在十年前，这些元素并不被平庸看作得胜的保证，而今天，它们如故成为东谈主工智能鸿沟最首要的基础。

举例在谈到深度学习假定时，Ilya 强调了一个首要不雅点：

若是有一个 10 层的大型神经汇注，它就能在一秒钟内完成东谈主类能作念的任何事情。

他讲授说，深度学习的中枢假定是东谈主工神经元与生物神经元的相似性。

基于这一假定，若是东谈主类草率在 0.1 秒钟内完成某项任务，那么相通的任务，一个历练细致的 10 层神经汇注也能完成。

这一假定股东了深度学习的计划，并最终竣事了其时看似斗胆的方针。

Ilya 还先容了自转头模子的中枢念念想：通过历练模子权衡序列中的下一个 token，当模子权衡得敷裕准确时，它就能捕捉到通盘序列的正确散播。

这一念念想为自后的谈话模子奠定了基础，止境是在天然谈话惩办鸿沟的行使。

天然除了"押对宝"的本领除外，也有"押错"的。

LSTM（犀利期牵记汇注）就是其中之一。

Ilya 提到，LSTM 是深度学习计划者在 Transformer 之前使用的主要本领之一。

尽管 LSTM 在其时为神经汇注提供了坚贞的才能，但它的复杂性和局限性也了然于目。

另一个即是并行化（parallelization）。

尽管咫尺咱们知谈，pipeline 并不是一个好主意，但其时，他们通过在每个 GPU 上启动一层汇注，竣事了 3.5 倍的速率进步。

Ilya 以为，鸿沟假定（scaling hypothesis）是深度学习得胜的要津。

这一假定标明，若是你有一个特地大的数据集，并历练一个敷裕大的神经汇注，那么得胜险些是不错料到的。

这个不雅点如故成为今天深度学习鸿沟的中枢规矩。

Ilya 进一步弘扬了勾通主义的念念想，以为东谈主工神经元与生物神经元之间的相似性给了咱们信心，以为即使不完全效法东谈主脑的结构，弘大的神经汇注也能完成与东谈主类相似的任务。

预历练期间行将扫尾

上述本领的发展也让咱们迎来了预历练的期间。

预历练是股东总共逾越的能源，包括大型神经汇注和大鸿沟数据集。

但 Ilya 接下来权衡说：

固然推测才能在不断增长，硬件和算法的逾越使得神经汇注的历练效果获得了进步，但数据的增长却已接近瓶颈。

他以为，数据是 AI 的化石燃料，跟着公共数据的舍弃，改日东谈主工智能将靠近数据瓶颈。

固然现时咱们仍然不错使用现存数据进行有用历练，但 Ilya 以为，这一增长趋势终将放缓，预历练的期间也会缓缓扫尾。

超等智能将是改日

在谈到改日的发展主义时，Ilya 提到了" Agent "和"合成数据"的观念。

很多群众都在盘考这些话题，以为 Agent 系统和合成数据将是冲突预历练瓶颈的要津。

Agent 系统指的是草率自主推理和有商量的东谈主工智能，而合成数据则不错通过模拟环境创造新的数据，弥补实践宇宙数据的不及。

Ilya 还援用了一个生物学上的例子，展示了哺乳动物躯壳与大脑大小的联系，表现不同生物可能通过不同的"鸿沟规矩"进化出不同的智能发挥。

这一念念想为深度学习鸿沟的进一步蔓延提供了启示，标明东谈主工智能也许不错通过不同的神态冲突咫尺的鸿沟舍弃。

Ilya 临了谈到了超等智能的远景。

他指出，固然现时的谈话模子和 AI 系统在某些任务上发挥出超东谈主类的才能，但它们在推理时仍显得不理会和不可权衡。

推理越多，系统变得越不可权衡，这少量在一些复杂任务中发挥得尤为特出。

他还提到：

咫尺的 AI 系统还弗成实在贯串和推理，固然它们能模拟东谈主类的直观，但改日的 AI 将会在推理和有商量方面展现出愈加不可权衡的才能。

Ilya 进一步推测，改日的 AI 将不单是是践诺任务的用具，而会发展成" Agent "，草率自主进行推理和有商量，致使可能具备某种形状的自我意志。

这将是一个质的飞跃，AI 将不再是东谈主类的蔓延，而是一个具有独处智能的存在。

参考连络：https://x.com/vincentweisser/status/1867719020444889118

本文来自微信公众号：量子位开yun体育网，作家：金磊