12月13日,第二届人形机器人场景应用生态年会在苏州顺利召开。网易伏羲受邀参与此次会议,与各界专家共同探讨人形机器应用发展。网易伏羲产品总监Jeff应邀在会上发表人机协作智能体助力人形机器人产业发展主题演讲,并于现场正式发布了网易伏羲具身智能解决方案。该方案的发布标志着网易伏羲多年技术积累与创新探索进入了一个新的阶段,也为人形机器人产业发展注入了新的动力。
Jeff在演讲中指出:“当前,具身智能发展已成为国家工业4.0和新质生产力重要部分,正在逐渐从理论走向实践,加速落地。”然而与此同时,具身智能发展也面临一系列挑战,如实现通用智能时需要人类智能的介入以及数据缺乏等。为突破这些壁垒,网易伏羲依托过往7年游戏AI与AI机器人积累,打造网易伏羲有灵人机协作智能体平台(以下简称“有灵平台”),并推出具身智能解决方案,旨在为企业提供涵盖感知能力、模型化交互和实时决策等全方位的数据标注采集及模型训练支持。
该方案提供全面的数据标注服务,涵盖人脸表情、骨骼动作、工具物品识别、大模型标注及语音识别等音视图文数据,支持在线与离线处理。依托游戏和数字孪生技术积累的海量仿真数据,构建完整仿真数据集供应链,同时拥有机械臂操作、视觉识别、大模型训练、虚拟场景等多领域算法积累,通过有灵平台的主动学习和数据闭环机制,加速算法迭代与落地,推动具身智能在多个领域的广泛应用。
三大核心优势,应对行业发展挑战
“我们相信,持续优化的数据闭环机制是推动算法快速迭代和进步的关键。”Jeff强调,“通过不断循环的数据收集、分析与反馈,数据闭环加速了模型训练的速度,并显著提升了模型的准确性和适应性。网易伏羲具身智能解决方案凭借以下三大核心优势——海量数据、成本质量控制和高效的数据闭环,不仅能够有力应对当前行业发展的挑战,更为未来的技术创新奠定了坚实的基础。”
1.海量数据
有灵平台依托过往游戏虚拟场景、无人零售和机器人等场景,积累了丰富的音视图文视频数据,并通过数字孪生技术构建了完整的仿真数据集供应链,确保数据的广泛性和高质量。
2.成本质量控制
有灵平台的众包产品注册用户已达到近百万,能够以较低的成本快速响应大规模数据任务,并通过群体智能算法实现多人决策下的高置信度数据结果。
3.数据闭环
有灵平台支持模型上传并在线运行,通过主动学习、螺旋迭代等方式,实现数据筛选优化及模型自动训练优化,持续提升模型性能。
多元应用场景,构建人机协作生态系统
“网易伏羲的愿景是‘人机协作,万物有灵’,我们始终致力于利用前沿人工智能技术释放劳动者的生产力,探索人机协作的全新时代。”Jeff在演讲中表示,在这个愿景的指引下,网易伏羲具身智能解决方案适用于以下多种应用场景,将有效助力构建更加紧密的人机协作生态系统。
1.机械臂场景
有灵平台支持动态捕捉任务的采集,基于AOP自闭环数据构建方案,积累了超过百万条双臂抓取视频数据集。通过训练仿真数字孪生技术,生成了大量用于环境理解和交互模拟的多格式图文数据。结合网易伏羲在强化学习(RL)方面的技术积累,该解决方案已在内部工程机械和理疗服务场景中成功落地,显著提升了机械臂操作的精度和效率。
2.视觉识别场景
有灵平台提供多元化视频、图片采集方案,在人物表情识别、商品识别、人体动作意图识别等多个场景中积累了丰富的数据集和优化的数据处理方案。这些技术已经在虚拟场景和无人零售等领域实现了广泛应用,为用户提供更加自然和智能的交互体验。
3.大模型场景
有灵平台基于成熟的游戏AI NPC应用场景,储备网易伏羲易生诸相多模态大模型,专注中文场景角色扮演能力,并针对对话能力、角色一致性、角色扮演吸引力三大类场景提供文本撰写、对比打分排序等针对Fine-tune与RLHF的数据标注能力,并支持三方LLM对话模型接入,提供MoE专家模型策略。
4.虚拟交互场景
有灵平台拥有深厚的虚拟场景算法数据积累,涵盖ASR语音、音色定制、虚拟形象创造,人脸表情迁移等多个场景,已成功应用于游戏资产生产和文旅电商等多个行业。
目前,网易伏羲具身智能解决方案已经在多个领域取得了成功应用。在理疗领域,通过AI自主学习和自研关节机械臂技术,网易伏羲智能理疗机器人能够精准识别全身穴位,提供多种专业理疗服务;在工程机械领域,网易灵动挖掘机器人利用具身智能和数字孪生系统,实现了高效、精确的自动装车操作。网易灵动装载机器人在搅拌站场景中实现了24小时连续无人作业,且效率达到作业师傅的120%。