当前位置: 首页 » 资讯 » 新科技 » 正文

稀宇科技发布并开源新一代 MiniMax 01 系列模型,参数量达4560亿

IP属地 北京 编辑:杨凌霄 IT之家 时间:2025-01-15 14:01:55

1 月 15 日消息,稀宇科技(MiniMax)今日宣布推出新一代 01 系列模型,包含基础语言大模型 MiniMax-Text-01 和视觉多模态大模型 MiniMax-VL-01。

为方便开发者研究,该公司还在 Github 上开源了两个模型的完整权重。这一系列模型的后续更新,包括代码和多模态相关的后续强化仍待上传。

该系列模型首次大规模实现线性注意力机制打破 Transformer 传统架构记忆瓶颈,能够处理 400 万 token 的输入,可输入长度是 GPT-4o 的 32 倍,Claude-3.5-Sonnet 的 20 倍。

据介绍,这个模型的参数量高达 4560 亿,其中单次激活 459 亿,模型综合性能比肩海外顶尖模型,在大多数任务上追平了海外公认最先进的两个模型,GPT-4o-1120 以及 Claude-3.5-Sonnet-1022。

在长文任务上,随着输入长度变长,MiniMax-Text-01 性能衰减更少,显著优于谷歌 Gemini。因此,01 系列模型在处理长输入的时候有非常高的效率,接近线性复杂度。

定价方面,发现该系列模型标准定价是输入 1 元 / 百万输入 token、8 元 / 百万输出 token。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新