你可能没有听说过，但湾区上周晚些时候陷入了混乱。不是地震，而是大语言模型（LLM）架构的新发展，它可以让人工智能走上更接近人类的道路。
谷歌研究人员发布了 纸 描述了使法学硕士的学习和记忆与人类大脑的工作方式更紧密地结合起来的努力。这项工作建立在为杰弗里·辛顿 (Geoffrey Hinton) 赢得 2024 年诺贝尔奖 用于对生物过程进行人工神经网络建模——当今人工智能革命背后的根本性突破。
然而，现有的法学硕士面临着一个重大限制：健忘症。每次重新训练模型时，它都会将新信息视为与已知信息脱节。在人工智能世界中，这个缺陷被称为“灾难性遗忘”。为了解决这个问题，工程师们构建了越来越大的系统（数十亿个参数），消耗了大量的计算能力和电力。
谷歌的新研究旨在通过“嵌套学习”（NL）的概念来克服这种网络心不在焉的现象。 NL 扩展了 Hinton 的大脑模型概念，引入了以不同速度更新的记忆层。短期层适应速度快；中间的巩固模式；长期层变化缓慢以反映持久的变化。这模仿了人类学习的运作方式：知识积累，随着时间的推移而稳定，同时保留知识 塑料——整合新信息的能力。
目前，NL 作为一个名为 HOPE 的概念验证网络存在于纸面上和受控实验室实验中。 但其影响可能是巨大的。 NL 似乎是递归 AI 的一个元素, 随着时间的推移，算法不断发展并完善自己的学习能力。它还可以增强机器的泛化能力——将之前训练的经验教训应用到新的环境中，这是机器人等领域向前迈出的一大步。从长远来看，嵌套学习还可以通过减少频繁且昂贵的再训练周期的需要来提高人工智能效率。所有这些综合学习和知识对于人工智能主导的创新至关重要。
如果它被证明是可扩展的，NL可能标志着人工智能进化的一个转折点——从存储和反刍信息的系统到像我们一样学习、记忆和适应的系统。从实验室实验到日常应用的道路可能很漫长，但谷歌的工作暗示了人工智能在未来不仅会变得更大，而且会变得更智能、更可预测，而且更强大。 人类 以它学习的方式。
#教机器记住美国企业研究所