【2023年12月29日 - AI世界发生了什么】 AI+robotics 1、Unified-IO 2：使

Peter

【2023年12月29日 - AI世界发生了什么】

AI+robotics
1、Unified-IO 2：使用视觉、语言、音频和动作扩展自回归多模态模型

%5B2312.17172v1%5D%20Unified-IO%202%3A%20Scaling%20Autoregressiv...
我们推出了Unified-IO 2，这是首个能够处理图像、文本、音频和动作的自回归多模态模型。为了统一不同模态的数据，我们对输入和输出（包括图像、文本、音频、动作、边界框等）进行了分词，并将它们映射到共享的语义空间，然后使用单一的编码器-解码器Transformer模型进行处理。由于以这么多样化的模态进行训练具有挑战性，我们提出了各种架构改进来增强模型训练的稳定性。我们从头开始在一个包含来自不同来源的大型多模态预训练语料库的环境中训练了我们的模型，并通过多模态混合去噪目标进行微调。为了使模型具备广泛的技能，例如遵循多模态指令，我们构建并微调了一个包含120个数据集、提示和增强的集合。通过一个整合的模型，Unified-IO 2在GRIT基准测试中取得了最先进的性能，在超过35个基准测试中都展现出强大的结果，涵盖图像生成和理解、自然语言理解、视频和音频理解以及机器人操控等方面。我们已向研究界发布了我们的所有模型。


AI Agents/AGI
1、挑战智能体对推理进行推理：揭示大语言模型中的认知深度的基准测试

[url=https://arxiv.org/abs/2312.17080v1]%5B2312.17080v1%5D%20Challenge%20LLMs%20to%20Reason%20About%20Reas.

试读已结束，加入《Affiliate营销圈》全文更精彩

您尚未登录，请登录后操作