当前位置: 首页 » 资讯 » 新科技 » 正文

腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大

IP属地 北京 编辑:郑佳 快科技 时间:2024-11-05 17:32:31

11月5日消息,腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。

Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。

在技术创新方面,Hunyuan-large通过高质量的合成数据来增强模型训练,弥补了自然数据的不足。

其中,该模型预训练支持处理高达256K的文本序列,大幅提升了长文本上下文的处理能力,能够更高效地完成长文本任务。

据了解,Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异,在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先,超越了Llama3.1和Mixtral等一流开源模型。

此外,腾讯还宣布将推出自研的长文评测集“企鹅卷轴(PenguinScrolls)”,以填补行业在真实长文评测集上的空白。

企鹅卷轴基于公开的金融、法律、学术论文等长文本构建,文本长度从1K到128K不等,覆盖深度阅读理解和长文推理任务。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新