[服务开发团队Jeon Jeon Jeon]
Facebook AI 于上个月 28 日推出了用于机器人开发的 Droidlet 平台,该平台可用于真实和虚拟环境。尽管发布的代码还没有完整的文档和教程,但它是开源的,正在从 Facebook 上的现有代码积极更新。
一个在真实环境中运行的机器人,只有对环境有感知,对用户的指令有准确的识别,才能很好地工作。为了帮助这个机器人代理编程,Facebook 发布了 Droidlet,发布的代码可以在真实环境中使用。 机器人 或用于虚拟环境中的机器人开发。 我的世界 我们正在使其与游戏兼容。它由控制机器人或游戏中代理的 end-2-end 代码组成,但由于它是由模块组成的,似乎可以通过制作训练有素的 ML 模型并链接它来创建一个新的智能机器人与 Droidlet。
Minecraft 是一款游戏,它允许您与开放世界世界中由块组成的各种对象以及玩家和动物等非玩家角色(生物)进行交互。 Facebook AI 长期以来一直将 Minecraft 游戏用于实验环境,例如 NLU Tasks。 (为什么要在 Minecraft 中构建助手?)
工艺辅助提出了在 Minecraft 环境中开发智能代理的框架。 CraftAssist 使用对话管理器和记忆等结构,通过与其他玩家和对象的交互来派生创建建筑物或对象的动作。我们正在帮助开发可通过结构化数据在 Minecraft 中使用的代理。 CraftAssist 包含在源代码中,因此它可以与 Droidlet 的其他模块有机地结合使用。
我使用 Doridlet 为 Minecraft 制作了一个代理。 Facebook 还提供了 NLU 模型,当用户在聊天中键入对话时,通过服务器传输到 NLU 模型,模型可以通过输出动作来控制代理的行为来执行特定的动作。正如您在视频中看到的,我基本上能够进行简单的对话并制作形状和物体。
如今,虚拟世界“metaverse”成为人们关注的焦点,在这个metaverse环境中,需要一个智能代理来给用户更真实的体验,创造一个感觉更真实的虚拟环境。 Droidlet 似乎非常有助于提供一个环境,您可以在其中创建和试验各种智能代理。
github: https://github.com/facebookresearch/droidlet
纸: https://arxiv.org/abs/2101.10384