9月20日杭州云栖大会消息, NVIDIA DRIVE Orin系统级芯片实现了与阿里云通义千问多模态大模型Qwen2-VL的深度适配。阿里云、斑马智行联合NVIDIA英伟达推出舱驾融合大模型解决方案,基于通义大模型开发“能听会看”的智能座舱助理,让车内人员通过语音交流就能操作座舱内的各类应用,享受极致丰富的交互体验。
AI大模型正在引领新一轮产业变革,汽车行业是最受关注的大模型应用领域之一。作为“大模型上车”的重要切入点,汽车座舱的智能进化广受期待。大模型接入智能座舱,有望为乘客提供座舱环境控制、车内休闲娱乐、驾驶行为监测等拟人化的服务。
通义大模型的智能座舱解决方案,能为座舱配备一位具备感知、思考、决策能力的“智能助理”,它不仅能观察理解用户的语音、手势,还能根据环境信息和常识判断做出自主决策。乘客无需物理按键,只要动动嘴巴,就能让智能助理完成各种任务。
这个解决方案以通义大模型为“大脑”,集成了通义大语言模型Qwen2-7B和通义多模态模型Qwen2-VL。Qwen2-VL是阿里通义实验室研发的新一代视觉语言模型,具备业界最强的图片识别能力和视觉智能体能力,在多个国际权威测评中创下同等尺寸最优成绩。Qwen2-VL的2B和7B参数模型因其性能和尺寸的“极致性价比”,尤其适合汽车等端侧场景。同时,通义实验室最新发布的 Mobile Agent V3 首次落地汽车座舱场景,提供座舱屏幕感知、复杂任务规划以及座舱应用 UI的操作决策能力,大大扩展座舱智能助理的能力边界。
跑在NVIDIA DRIVE Orin芯片上的Qwen-VL,可以自动识别右侧画面信息,并回答用户的提问,如“我可以在这停车吗?”
本次解决方案基于端云一体架构,端侧通义大模型经NVIDIA 英伟达自动驾驶和座舱芯片NVIDIA DRIVE Orin加速。NVIDIA英伟达提供了强大的芯片适配技术支持,通过优化GPU 架构和驱动软件,确保充分发挥大模型的性能潜力。NVIDIA的模型加速技术有效降低了大模型在实时处理复杂任务时的计算成本和时间延迟,为用户创造了流畅无阻的智能体验。未来,通义大模型还将采用 NVIDIA DRIVE Thor新一代集中式车载计算平台。
阿里旗下的智能出行解决方案提供商斑马智行,为舱驾融合多模态大模型解决方案的落地提供了工程环境,将大模型能力丝滑嵌入汽车座舱、匹配用户操作习惯。
---------------------
不保证以上内容的准确性和真实性。市场有风险,投资交易需谨慎。所涉标的不做任何推荐,据此投资交易,风险自担。
,资深财经媒体人创办,财经报道先锋,年阅读观看量数亿。关注研究重大财经动态、企业家精神、商业文明发展历程,报道大型企业、上市公司、创业公司关键发展节点。内容同步数十家网络平台。欢迎提供报道线索和采访机会。