自动驾驶技术栈(AV)正在从多个独立模型向统一的端到端架构演进,可直接从传感器数据执行驾驶操作。这种转变使得高质量传感器数据的需求大幅增加。这些数据主要用于训练、测试和验证。
英伟达(NVIDIA)于6月11日发布新一代世界基础模型Cosmos Predict-2。该模型在前代产品基础上,显著提升了文本和视觉输入的上下文理解能力,减少了幻觉现象,并能生成更丰富的视频细节。
通过最新优化技术,Cosmos Predict-2在NVIDIA GB200 NVL72系统和NVIDIA DGX Cloud平台上大幅提升了数据生成速度。开发者可以利用该模型生成匹配现有环境的视频内容,并将单一视角的行车记录仪画面转换为多视角视频数据。
NVIDIA研究团队使用20,000小时真实驾驶数据对模型进行训练,显著提升了模型在雾天和雨天等复杂环境下的性能表现。系统还可以替换因损坏或遮挡而无法使用的摄像头数据。
多家行业领先企业已开始应用Cosmos系列模型。自动驾驶卡车公司Plus正利用NVIDIA DRIVE AGX平台,通过对Cosmos Predict进行训练,生成真实的驾驶场景数据。自动驾驶软件公司Oxa也采用该模型生成高保真度的多摄像头视频。
为进一步完善生态系统,英伟达推出了Cosmos Transfer预览版服务和NuRec Fixer模型。全球最大的开源自动驾驶模拟器CARLA已集成这些新工具,使其15万开发者能够便捷地生成各类场景数据。
英伟达今年推出的NVIDIA Halos安全平台,整合了完整的汽车硬件和软件安全技术栈。博世(Bosch)、Easyrain和Nuro等领先企业已加入NVIDIA Halos AI系统检测实验室,共同推进自动驾驶安全发展。