英伟达本周在机器人学习大会上公布的全新AI和模拟工具及工作流程，加快开发人形机器人等AI驱动的机器人的工作。
英伟达推出全新NVIDIA Isaac Lab机器人学习框架，六个专为GR00T项目设计的人形机器人学习工作流程，这是一项加速人形机器人开发的计划，以及用于视频数据管理和处理的新型世界模型开发工具，包括用于视频处理的NVIDIA Cosmos tokenizer和NVIDIA NeMo Curator。
英伟达开源的Cosmos tokenizer(标记器)通过将图像和视频分解为极高压缩率的高品质标记，为机器人开发人员提供卓越的视觉标记功能。 它的运行速度比目前标记器快 12 倍，而 NeMo Curator 提供的图像处理管理速度比未优化的处理流程快 7 倍。
NVIDIA 还在 CoRL 期间发表 23 篇论文并举办了 9 场与机器人学习相关的工作坊，并发布针对开发者的训练和工作流程指南。 此外，Hugging Face和英伟达合作，将通过LeRobot、NVIDIA Isaac Lab和英伟达 Jetson 来为开发者社区加速开源机器人研究加速开源机器人研究。
英伟达Isaac Lab加速机器人开发NVIDIA Isaac Lab是一个基于NVIDIA Omniverse的开源机器人学习框架，该平台用于开发OpenUSD应用，以实现产业数字化和实体AI模拟。
开发者可以利用Isaac Lab来大规模训练机器人策略。 这个开源的统一机器人学习框架适用于任何形态的机器人，从人形机器人、四足机器人到协作机器人以应对日益复杂的动作和互动。
全球领先的商业机器人制造商、机器人应用开发者及机器人研究机构都在采用 Isaac Lab，其中包括 1X、Agility Robotics、The AI Institute、Berkeley Humanoid、波士顿动力、Field AI、Fourier、Galbot、Mentee Robotics、Skild AI、 Swiss-Mile、Unitree Robotics 和小鹏机器人。
英伟达GR00T项目是通用人形机器人的基础，英伟达指出，构建先进的人形机器人极其困难，需要多层技术和跨学科方法来使机器人有效地感知、移动和学习技能，以实现人机互动和机器人环境互动。
GR00T项目是一项开发加速库、基础模型和数据渠道的计划，旨在加速全球人形机器人开发者生态系统。
NVIDIA 实体人工智能资深研究经理 Jim Fan 表示，人形机器人是实体 AI 的下一波浪潮。 NVIDIA的研究和工程团队正在公司内部以及与开发者生态系合作，构建 GR00T 项目，以帮助推动全球人形机器人开发者的进步和发展。
世界模型构建者的新开发工具，如今，机器人开发者正在构建世界模型，这是 AI 表现世界的方式，能够预测物体和环境对机器人移动反应。 建立这些世界模型需要大量的运算和数据密集型工作，模型需要数千小时的真实世界、精选图像或影片数据。
NVIDIA Cosmos 标记器提供高效、高品质的编码和解码，简化了这些世界模型的开发过程。 它们树立了最低失真和时间不稳定性的全新标准，实现了高质量的影像和影片重建。
Cosmos 标记器提供高质量的压缩和高达 12 倍的快速视觉重建，为各种视觉领域的可扩展、稳健和高效的生成式应用开发创造了条件。
人形机器人公司1X已更新1X世界模型挑战数据集，以使用Cosmos标记器。
1X Technologies的AI副总裁Eric Jang表示，NVIDIA Cosmos标记器在保持视觉真实度的同时，实现了数据高时间和空间的压缩，能以更高的运算效率训练具有长视野影片生成的模型。
其他人形和通用机器人开发者，包括小鹏机器人和Hillbot，也在使用英伟达A Cosmos标记器来管理高分辨率的图像和视频。
NeMo Curator 现在包括一个视频处理管道，使机器人开发者能够提高其世界模型在处理大规模文本、图像和视频数据时的准确性。
由于视频数据规模庞大，管理视频数据带来了挑战，需要可扩展的渠道和高效的编排以实现跨GPU的负载平衡。 此外，过滤、字幕和嵌入的模型需要优化，以最大限度地提高吞吐量。
NeMo Curator 通过自动管道编排简化数据管理，从而大大缩短处理时间，从而克服了这些挑战。 它支持跨多节点多 GPU 系统的线性扩展，有效处理超过 100 PB 的数据。 这简化了 AI 开发、降低了成本并加快了上市时间。
在CoRL推进机器人学习社区NVIDIA机器人研究团队在CoRL期间发表了20多篇论文，涵盖了在整合视觉语言模型以改善环境理解和任务执行、时间机器人导航、为复杂的多步任务开发长期规划策略以及利用人类示范进行技能习得等方面的突破。
人形机器人控制和合成数据生成的开创性论文包括 SkillGen(一个基于合成数据生成的系统，用于以最少的人类演示训练机器人) 和 HOVER(一种用于控制人形机器人运动和操作的机器人基础模型)。
NVIDIA Isaac Lab 1.2 现已推出，并在 GitHub 上开源。 NVIDIA Cosmos 标记器现已在 GitHub 和 Hugging Face 上提供。 用于影片处理的 NeMo Curator 将于本月底推出。 新的 NVIDIA GR00T 项目工作流程即将推出，以帮助机器人公司更轻松地建立人形机器人功能。
