当前位置: 首页 » 资讯 » 新科技 » 正文

自家芯片助力:SambaNova 推出最快 DeepSeek-R1 671B 推理云服务

IP属地 北京 编辑:顾雨柔 IT之家 时间:2025-02-21 17:32:29

2 月 21 日消息,AI 芯片与解决方案企业 SambaNova 宣布在其基于自研 SN40L RDU 处理器的云平台上推出号称“市面最快”的 DeepSeek-R1 671B 模型推理云服务,并表示其 token 输出速度可达每 prompt 每秒 198 个。

SambaNova 的 SN40L RDU 芯片基于台积电 5nm 制程,BF16 算力可达 638 TFLOPS。其采用了一种三层存储结构:片上的 520MB SRAM 缓存、2.5D 封装集成的 64GB HBM 内存、片外的 1.5TB 超大容量 DDR DRAM 内存,这使得单芯片能容纳的参数远超一般竞品

此外 SN40L RDU 在结构上的灵活性使得其能动态重新配置硬件资源和数据流,提升计算与访存效率。

SambaNova 宣称,其仅需一台容纳 16 个 SN40L RDU 芯片的机架就能完成 DeepSeek-R1 671B 部署。

免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新