[先前的研究团队，Jihyun Song]
自从我对 Open Domain 聊天机器人感兴趣并看到有关 Blender 1.0 和 Meena 的论文以来，已经有 2 年多了。当时，有一个问题是，制定一项计划需要多少年才能进行一致的 Long-Ton 对话和准确的知识响应，他们声称将来会克服这些问题。原因是目前已经发布的开放域聊天机器人的局限性与人类对话相去甚远，例如基于存储的数据进行搜索，对话时间长时胡言乱语，以及对缺少信息的问题给出模糊的答案。因为。
不过，Facebook AI 此次发布的 Blender 2.0 克服了之前提出的开放域聊天机器人的局限性，被评估为优于 GPT-3。
在本文中，我想分享现有模型的特性，Blender 2.0 特性的总结，以及对相关论文的回顾。
Google Meena 和 Facebook Blender 1.0 过去版本的功能
最近发布的 Facebook Blender 2.0 的功能
对比上述机器人的特点，现有的机器人与最近发布的blender 2.0的不同之处在于可以进行多轮对话，可以长时间保持人物角色，并且可以通过互联网搜索实时更新信息.
如果你看上面blender 2.0的特点（左图），学习了大量数据的GPT-3，提供过去的信息作为答案并提出问题，而blender 2.0回答的是最新的信息。虽然之前发布的 Blender 1.0 会在您不知道答案时模糊地提出问题，但 Blender 2.0 会搜索并将新信息反映到对话中以给出自然的答案。 Bot的实时搜索功能似乎不仅可以帮助对方获取信息，还可以继续自然对话。
Facebook AI 做了什么来克服这个限制？以下是对最近发表的一篇论文的评论。
Facebok AI Blender 论文回顾 ：超越金鱼记忆：长期开放域对话
为了克服现有开放域聊天机器人长期记忆的局限性，据说总结以前的对话、增加回忆功能、搜索和更新信息的方法与现有模型相比表现更好。
- 多会话聊天：MSC
在本文中，我们精心构建了一个数据集来解决长期记忆问题，并将该数据用于微调。- 在会话 1 中，基于现有 PERSONACHAT 的简短对话内容，它作为对话任务进行，其中仅共享有关第一次见面的两个人的简要信息。
- 从会话 2 到会话 4，设置一个固定的时间段（以 1 到 7 小时为单位或以 1 到 7 天为单位），并保持现有角色并进行反映先前对话的对话。就像两个人之前有过一次谈话，随着时间的推移再次谈话一样，随着话题的扩展，保持谈话与之前的谈话保持一致。
- 对话摘要（扩展角色） 可以看到工人之间以前的对话，即使在可以理解以前的历史的环境中，人们在有限的时间内阅读和利用信息的方式也是有限的。因此，记录和总结每个会话中的要点，作为会话的参考。
- 查看数据集静态数据，与之前构建的 2.6 到 14.77 圈的短时间相比，MSC 有很多镜头，例如 53 到 66 圈。
- 建模多会话聊天
- 变压器编码器
使用现有blender1.0中内置的BST 2.7B作为预训练模型，使用上面的MSC进行微调。 - 检索增强
搜索系统用于查找和选择要包含在解码器提供的最终编码中的上下文部分。 - 总结记忆增强
它由两个主要组件组成。
1. 编码器-解码器摘要器：此功能用于将上次对话中包含的新信息（如果有）添加到长期记忆中。
2.记忆增强生成器：用于访问对话上下文和长时记忆以生成下一个答案。
- 变压器编码器
- 实验
- 使用会话对话上下文
- 使用摘要对话上下文
- 比较开场白的表现
- 比较不同的上下文长度
- 摘要上下文性能
- 改变训练次数
- 预测汇总模型
- 检索增强模型
- 总结 内存模型变体
- 人工评估
我们讨论了第 5 次会议，并提供了我们交谈过的前 4 次会议的摘要。
- 结论
在这项研究中，通过研究各种架构并通过新的众包工作 Multi-Session Chat 收集数据，克服了以前模型的长期记忆的局限性。
在自动度量和人工评估方面都取得了优异的成绩，在未来的工作中，我们将研究添加用于建立长上下文和对话的架构。
Blender 2.0 增加了通过实时搜索提供信息的能力，而不是通过学习来提供知识，同时拥有类似于人的个性化信息并具有记忆力。这是一项创新，无需花费大量精力训练大型模型。
下一个聊天机器人会给我们带来什么惊喜？谷歌米娜 2.0？或者 Facebook 研究团队正在开发下一个版本，blender 3.0？我期待看到未来会出现哪些其他高性能技术。
参考
https://ai.facebook.com/blog/blender-bot-2-an-open-source-chatbot-that-builds-long-term-memory-and-searches-the-internet/
https://arxiv.org/abs/2107.07567
