【2023年12月14日 - AI世界发生了什么】 AI+robotics 1、机器人实现手部灵
【2023年12月14日 - AI世界发生了什么】AI+robotics1、机器人实现手部灵巧动作，Jim Fan评价：手指上的触觉感应是明显的正确发展方向https%3A%2F%2Ftwitter.com%2FDrJimFan%2Fstatus%2F17349602127866...Jim Fan表示，我已经与团队成员核实过，他们并没有对视频进行加速。在实时实现如此流畅的动作，尤其是手部灵巧性方面，将来将为我们解锁许多新的能力。无论你如何在数字世界中训练模型，缓慢和不可靠的硬件始终是物理世界的根本瓶颈。触觉感应在手指上的应用显然是正确的发展方向。现在我们有能力训练真正的多模态机器人变压器，它们可以处理文本、视频、音频、触觉、本体感知（位置、方向、运动感知），甚至有一天可能还包括嗅觉和触觉。输出是类似人类运动控制的结果。Optimus是否能够旋转笔呢？有人能够尝试一下我们的欧瑞卡方法并告诉我吗？2、机器人学中的基础模型：应用、挑战和未来%5B2312.07843v1%5D%20Foundation%20Models%20in%20Robotics%3A%20Appl...我们对预训练基础模型在机器人领域的应用进行了调查。传统的深度学习模型通常根据特定任务的小型数据集进行机器人领域的训练，这限制了它们在不同应用中的适应性。相比之下，基于互联网规模数据预训练的基础模型似乎具有更强的泛化能力，并在某些情况下展现出对于训练数据中不存在的问题具有涌现性的零样本解决能力。基础模型可能有潜力增强机器人自主性堆栈的各个组件，从感知到决策和控制。例如，大型语言模型能够生成代码或进行常识推理，而视觉-语言模型则能够实现对开放式词汇的视觉识别。然而，仍然存在一些重要的研究挑战，特别是涉及机器人相关的训练数据稀缺性、安全保证和不确定性量化以及实时执行的方面。在本调查中，我们研究了最近的论文，这些论文使用或构建基础模型来解决机器人问题。我们探讨了基础模型如何提高机器人在感知、决策和控制领域的能力。我们还讨论了阻碍基础模型在机器人自主性中应用的挑战，并提供了未来发展的机会和潜在路径。附：GitHub%20-%20robotics-survey%2FAwesome-Robotics-Foundati...AI Agents/AGI1、LLM能否找到绿色的圆？探究与人类引导的工具操作以进行组合泛化%5B2312.07763v1%5D%20Can%20LLM%20find%20the%20green%20circle%3F%20Inve...复杂短语在自然语言中的含义是由其各个组成部分构成的。评估模型理解新组合组成部分的能力是通过组合泛化任务来实现的。之前的研究主要训练了一些较小、专门任务的模型，它们在泛化能力上表现较差。尽管大型语言模型在许多任务中通过上下文学习展现出了出色的泛化能力，但它们在组合泛化方面的潜力尚未被深入研究。本文通过实证研究首先探讨了当前上下文学习方法在处理组合泛化时的问题。我们发现，由于在长时间推理步骤中积累的错误和处理复杂制造工具所需的复杂逻辑，这些方法在解决复杂组合问题时仍然面临困难。因此，我们提出了一种人类指导的工具操作框架（HTM），用于生成子问题的工具并整合多个工具。我们的方法在最小化人力投入的情况下提高了工具的创建和使用效果。实验证明，我们的方法在两个组合泛化基准测试上取得了最先进的性能，并在非会员试读20%,加入社区后可阅读全文
页:
[1]
