鞭牛士 3月1日消息,DeepSeek今日中午在X平台宣布one more thing:DeepSeek-V3/R1推理系统概述。
据介绍,DeepSeek-V3/R1的推理系统采用了跨节点EP驱动的批量扩展、计算与通信重叠、负载平衡来实现吞吐量和延迟的优化。
同时,DeepSeek还给出了其在线服务的统计数据:
每个H800节点每秒有73.7k/14.8k个输入/输出令牌;
(理论)成本利润率达545%。
DeepSeek今日在知乎官方账号发布的《DeepSeek-V3/R1推理系统概览》文章,披露了DeepSeek的理论成本和利润率等关键信息。官方表示:“假定GPU租赁成本为2美金/小时,总成本为$87,072/天。……如果所有 tokens全部按照DeepSeek R1的定价计算,理论上一天的总收入为$562,027,成本利润率545%。”