【2023年12月14日 - AI世界发生了什么】 AI+robotics 1、机器人实现手部灵

James

【2023年12月14日 - AI世界发生了什么】

AI+robotics
1、机器人实现手部灵巧动作，Jim Fan评价：手指上的触觉感应是明显的正确发展方向

https%3A%2F%2Ftwitter.com%2FDrJimFan%2Fstatus%2F17349602127866...
Jim Fan表示，我已经与团队成员核实过，他们并没有对视频进行加速。在实时实现如此流畅的动作，尤其是手部灵巧性方面，将来将为我们解锁许多新的能力。无论你如何在数字世界中训练模型，缓慢和不可靠的硬件始终是物理世界的根本瓶颈。触觉感应在手指上的应用显然是正确的发展方向。现在我们有能力训练真正的多模态机器人变压器，它们可以处理文本、视频、音频、触觉、本体感知（位置、方向、运动感知），甚至有一天可能还包括嗅觉和触觉。输出是类似人类运动控制的结果。Optimus是否能够旋转笔呢？有人能够尝试一下我们的欧瑞卡方法并告诉我吗？

2、机器人学中的基础模型：应用、挑战和未来

%5B2312.07843v1%5D%20Foundation%20Models%20in%20Robotics%3A%20Appl...
我们对预训练基础模型在机器人领域的应用进行了调查。传统的深度学习模型通常根据特定任务的小型数据集进行机器人领域的训练，这限制了它们在不同应用中的适应性。相比之下，基于互联网规模数据预训练的基础模型似乎具有更强的泛化能力，并在某些情况下展现出对于训练数据中不存在的问题具有涌现性的零样本解决能力。基础模型可能有潜力增强机器人自主性堆栈的各个组件，从感知到决策和控制。例如，大型语言模型能够生成代码或进行常识推理，而视觉-语言模型则能够实现对开放式词汇的视觉识别。然而，仍然存在一些重要的研究挑战，特别是涉及机器人相关的训练数据稀缺性、安全保证和不确定性量化以及实时执行的方面。在本调查中，我们研究了最近的论文，这些论文使用或构建基础模型来解决机器人问题。我们探讨了基础模型如何提高机器人在感知、决策和控制领域的能力。我们还讨论了阻碍基础模型在机器人自主性中应用的挑战，并提供了未来发展的机会和潜在路径。
附：
GitHub%20-%20robotics-survey%2FAwesome-Robotics-Foundati...


AI Agents/AGI
1、LLM能否找到绿色的圆？探究与人类引导的工具操作以进行组合泛化

%5B2312.07763v1%5D%20Can%20LLM%20find%20the%20green%20circle%3F%20Inve...
复杂短语在自然语言中的含义是由其各个组成部分构成的。评估模型理解新组合组成部分的能力是通过组合泛化任务来实现的。之前的研究主要训练了一些较小、专门任务的模型，它们在泛化能力上表现较差。尽管大型语言模型在许多任务中通过上下文学习展现出了出色的泛化能力，但它们在组合泛化方面的潜力尚未被深入研究。本文通过

加入社区,可阅读全站10w+资源

您尚未登录，请登录后操作

 非会员试读19%,加入社区后可阅读全文