[前研究小组，金武成]
永恒阳光
《永恒的阳光》由米歇尔·冈瑞 (Michel Gondry) 执导，是一部浪漫的科幻电影，讲述了金凯瑞和凯特温斯莱特夫妇的回忆和离别。在电影中，有一种可以抹去记忆的技术。主角金凯瑞和女友吵架，很快就后悔了，去找她和解。然而，他发现他的女朋友凯特温斯莱特抹去了和他约会的记忆。金凯瑞还要求采取一种程序来消除他对她的记忆。和…
我们正在制造人造海马
什么电影故事？如果你这么说，那是因为我今天要介绍的是DeepMind最近发表的一篇关于'Agent Memory System'的论文。事实是，每个人都承认 DeepMind 是一个研究小组，想要给人工智能一个叫做“记忆”的东西，它不是唯一的，但几乎是唯一的“记忆”。就连在AlphaGo期间访问韩国的DeepMind负责人Demis Hassabis也公开表示，他正在进行研究，以人工模仿“海马体”，在人脑中被认为非常接近“记忆”。
从那以后，DeepMind 一直在稳步提出一种受哺乳动物海马体启发的“人工智能记忆系统”。补充记忆系统考虑到海马体的快速模式记忆部分和大脑皮层的慢速广义记忆部分同时工作），情景记忆系统，编码预测的记忆系统，分离模态的双重编码记忆系统要记忆的内容，以及基于记忆是“生成”反映经验实例的点的生成模型，而不是存储-检索、记忆系统等。所有这些都是通过在工程论文发表时应用最新的深度学习模型而提出的，同时反映了人类记忆的某些方面。
精神上的时间旅行
在《永恒的阳光》中，一个男人（金凯瑞饰）去看了一位声称要抹掉他记忆的医生。你的任务是在你的头上戴上一个奇怪的装置并思考关于她的一堆事情。当记忆被回忆起的那一刻，医生（设置）解释说，可以通过对激活的大脑区域施加电磁冲击来擦除特定的记忆，然后开始记忆去除程序。
睡着的男人，仿佛在做梦一样，看着记忆中的一幕。他和她的争吵到了分手的地步。我阴郁地看着它，场景变得更暗，我回到了新过去的某个时刻。它已被删除！
是不是感觉像一个时间旅行者？ – 你只能回到过去 – 金凯瑞就这样穿越了他的记忆。这是一个非常有趣的电影设备，但令人惊讶的是，认知科学家还将记忆的某些方面描述为时间旅行的隐喻。
记忆可以从几个方面来描述，其中，从存储的方式来看，可以分为“情景记忆”和“语义记忆”。其中，情景记忆是围绕个人事件构建的记忆。记住“我第一次骑自行车的那一刻”和“我出国旅行的那一天”与记住“易孙信出生的那一天”和“解放日历史意义的知识”是不同的。心理学家将这种情景记忆称为心理时间旅行，因为它就像回到过去的特定时间点。在电影中，男人不断目睹与她约会的场景（回忆）。这个时候，我没有任何关于“我和她去餐厅”的知识，而是我和她在一起的那一刻的声音、音乐、味道、气味、语言、面孔和情绪。
高铁
现在，最后，对论文进行介绍。之前的一个笑话。在这里将要介绍的论文中，DeepMind 将其记忆系统简称为 HTM。如果您对受生物启发的人工智能感兴趣，难道没有想到吗？是的，一个叫做 Numenta 的研究小组一直在推动的模型也是 HTM。但是，Numenta 的 HTM 是 HTM（Hierarchical Temporal Memory），而这篇 DeepMind 论文的 HTM 是 HTM（Hierarchical Transformer Memory）。尽管如此，我的前任努门塔一定不知道我一直想要的缩写。 （https://discourse.numenta.org/t/why-is-htm-ignored-by-google-deepmind/2589），但是看看这些点，它们似乎保持了一些距离（你知道这有点一个笑话，对吧？）。
这是一个很长的题外话，但我想向您展示 DeepMind 与现有的基于认知科学灵感的 AI 研究小组有何不同。有很多不同，但基本上可能是DeepMind战略聪明的体现。他们希望创建基于生物（准确地说是神经科学）灵感的人工智能系统。但我并不是要保留生物学细节。它的前身 Numenta 的 HTM 努力忠实地反映许多实际神经科学中揭示的现象和局限性。但是，DeepMind 认为系统方面比这更重要。我们更多地考虑内存系统的结构方面，并尝试通过在这一点上像乐高积木一样正确堆叠机器学习模块来构建细节。所以，这次推出的 HTM 是在这些天最热的变压器的基础上改进的。
迈向精神时间旅行：强化学习代理的分层记忆
这篇论文的关键词是：强化学习代理、情景记忆、分层注意力转换器、记忆跨度（块）。问题如下。也有不少研究试图将记忆系统整合到强化学习代理中。然而，当他们被赋予新的任务或混淆的混合元素时，他们中的大多数往往会失败。新的学习事件或类似任务对过去学习经验的干扰是基于深度学习的模型的一个众所周知的弱点。并且已经有不少研究试图将转换器用作强化学习代理的记忆模块。在那之前，它是使用 LSTM 实现的，但我认为使用更好的转换器会提高性能。然而，据报道，在其他领域比预期高效的 Transformer 在强化学习情况下表现不佳。为了克服这个问题，改进了变压器的结构。但并没有多大改善。我还认为自我注意的灵活性可以让我有效地记住和处理更长的过去（一长串事件），但它并没有我想象的那么好。
本文提出了两个原因。一是“要记住的过去”需要分解成更多的块。记忆不仅仅是一系列事件。几个不连续的情节混合在一起。正如金凯瑞在电影永恒的阳光中跳过他过去的场景一样，本文的论点是过去应该以某个块的形式存储，并在必要的块之间跳转。
另一个是，一旦这些破碎的过去的相关块被选中，我们只需要关注细节。换句话说，我们不是一边看缩略图一边快速浏览视频，当我们感兴趣时，我们就停下来慢慢播放吗？应该以这种方式处理轶事记忆。
因此，让我们使用基于“过去摘要”的注意力（较高注意力）进行分层配置，该注意力分为块和查看块细节的注意力（较低注意力）。是 HTM 的核心。为了测试其性能，我们在基于 Unity 的虚拟环境中提供视觉/语言（文本）刺激并执行多项记忆任务。结果比现有模型更好或更有效。
飞机不会模仿鸟的翅膀扇动。
有趣的论文，但这些结果是否促进了代理的“记忆系统”？如果是这样，很难肯定地回答。与此同时，DeepMind 一直在提出一种记忆模型，但现实中的涟漪效应并没有我想象的那么大。原因可能是，从根本上说，赋予人工智能“记忆”是一个难以解决的问题。但似乎还有另一个原因。虽然DeepMind已经尽量避免直接转移“生物灵感”而不是前辈的错误，但与较新的务实研究小组相比，他们仍然更接近前辈。正如 DeepMind 在一篇论文中承认的那样，他们说他们的记忆模型表现更好，但太复杂了，无法扩展到大规模系统，也无法与其他研究人员进行进一步的改进。所以，本论文在一定程度上也追求简单，我倾向于转向一种实际使用变压器的方法。但是，我认为没有什么比建立像 OpenAI 的 GPT-3 这样的简单结构来扩大规模并将数据注入强大规模的策略更令人印象深刻的了。人工智能想要模仿和获得的某些人类心理功能具有结构方面的特征，这是一个有效的论点。不过目前似乎还没有证明通过特定结构来解决是否合理（我个人比较支持这个）。目前，我们别无选择，只能承认和观察两个方向。
永恒的光芒照耀着无罪的心
在人工智能的学术方面，“记忆”——特别是，以我们今天介绍的方式提出解决方案有什么好处？人工智能可以解决更复杂和更长的问题。它还可以更好地解决元学习或 pew-shot 学习任务。您可以构建一个不断学习和改进复杂问题的模型。
但“记忆”也是人类的一个重要元素。它是定义“我”和“关系”的关键元素。在电影《永恒的阳光》中，主角想要在记忆被抹去的同时停止它。由于最近的记忆被删除了，首先删除的主要是分手前的不好的事情和情绪。然而，随着删减的深入过去，他所遇到的场景都是忠实的回忆，充满喜悦和兴奋，充满意义和同情。现在这不仅仅是关于另一个人，它是你自己的重要组成部分。
所以，这部电影的原名似乎是“一尘不染的心灵永恒的阳光”。因为“记忆”会永远照亮我们，那些场景中一定有一颗完美无瑕的心。
因此，我认为给予人工智能的“记忆”越多，我们就越有可能见证一个更“人类”的人工智能。人工智能将与我们一起成长，因为“记忆”有可能反映我们开始拥有“无瑕疵头脑”的那一刻。
很多处女和
被遗忘的世界遗忘的世界
永恒的光芒照耀着无罪的心，
祈祷
辞职的愿望有多幸福
无可指责的外衣有多幸福？
世人遗忘，被世人遗忘。
一尘不染的心灵的永恒阳光。
每一个祈祷都被接受，每一个愿望都被放弃了。
参考
- 迈向精神时间旅行：强化学习代理的分层记忆 – https://arxiv.org/abs/2105.14039
