DeepSeek带火了本地化部署和推理市场，降低了算力成本，能让更多的企业享受到AI大模型带来的效率提升。但就当下的硬件设备来说，以大模型运行的核心设备——服务器为例，一台GPU服务器动辄几十万，上百万的价钱，对于中小企业来说依旧是高昂的开销。

中小企业应用大模型，算力平台如何选择？

在大模型快速向各行业渗透的今天，与预训练、后训练等训练过程相比，企业对于大模型的推理需求更为迫切。据IDC数据，到2027年，智能算力规模5年增长1.7倍，用于推理的工作负载占比72.6%，AI算力需求将面临巨大的供应缺口，未来所有的算力都需要具有智能的能力。

另一方面，随着DeepSeek的火爆，带火了一体机的市场，市面上目前已经有超过60家企业推出了结合DeepSeek的一体机产品。虽然这些推出DeepSeek一体机的企业有本来就做硬件的设备厂商，也有来自优刻得、青云科技这样的云服务商，更有格灵深瞳这样的新兴科技企业，但从售价上来看，企业采购一台一体机的成本在几十万到上百万，甚至两百万不等。“即便是支持DeepSeek-R1蒸馏版本的一体机售价也达到了几十万，支持满血版DeepSeek的一体机售价上百万，”浪潮信息副总经理赵帅指出，“这对于大部分中小企业，或教育、科研用户来说，投入巨大。”

赵帅进一步与分享了中小企业和科研院校在使用大模型赋能时的痛点，他指出，当下，用户十分想使用诸如DeepSeek这些大模型创造价值，但如果选择上云（API调用）的方式将面临私有数据上云，“一些企业和科研机构的业务，涉及到商业机密或保密数据的特性，让他们没法选择通过云的方式使用大模型。”赵帅指出。

另一方面，就如前文所述，如果企业部署一个满血版的服务器或一体机，初始投资费用很高，尤其是在各行业都选择降本增效的大背景下，管理层在选择应用技术和采购设备的时候会充分考虑ROI，尤其是一些对大模型赋能业务仍然存疑的企业，高昂的初始投资费用，足以让他们望而却步。

除此之外，对于中小企业来说，在应用大模型的业务场景中，因为人员规模、业务规模均较小，满血版提供的高并发能力在他们那就显得资源浪费，“对于规模在100~200人的企业来说，小并发量下在人均20token/s就已经有很流畅的体验了，”赵帅进一步指出，“这些企业就需要一个更高性价比，更易部署、更易管理、更易用的硬件设备。”

与此同时，通过对市场上客户的调研发现，中小企业在使用服务器运行大模型的同时，还想要将企业诸如OA、邮件等在内的其他业务也能同时通过服务器纳管起来，“这些业务诉求都是非常现实的需求点，也是对硬件厂商提出的考验。”赵帅明确到。

CPU推理服务器让大模型门槛更低

在企业部署大模型的过程中，参数规模与其应用场景息息相关。基础大模型的创新非常重要，而基于基础大模型蒸馏后的小模型备受中小企业青睐企业。浪潮信息与IDC联合发布的《2025年中国人工智能计算力发展评估报告》显示，目前92%企业使用的生成式人工智能模型平均参数量小于50B。一般而言，671B等超大规模参数的模型性能更强，但对硬件资源要求高，部署成本昂贵；而32B级模型在理解能力和知识储备上有显著优势，能够平衡性能和部署成本。

以参数量为32B的模型为例，DeepSeek-R1 32B在知识问答、智能写作、内容生成等方面表现优秀，QwQ-32B则在数学推理、编程任务和长文本处理等方面的性能优异。DeepSeek-R1 32B和QwQ-32B的训练数据中包含海量的高质量中文语料库，会更适合于国内企业应用，而Llama 70B主要基于英文语料进行训练，对中文用户而言不够友好。

“基于此，大多数企业应用场景中，如企业知识库问答、文档写作、会议纪要整理等场景，32B参数级别的模型往往是上佳选择，既能提供强大的能力支持，又能保持合理的硬件投入。”赵帅指出。

另一方面，在某些特定场景，使用CPU的推理服务器成本比GPU的服务器有明显的优势，例如，大模型推理需要的内存超过了单块GPU的显存容量，需要多块或更高配GPU卡时，采用CPU部署的方案，可以降低成本。

企业如何能更好地拥抱大模型？如何能将性价比达到极致？这些问题对于企业来说是需要考虑的事情，而对于硬件设备厂商来说，更是他们接下来“卷”的重点。

从成本角度出发，显然使用纯CPU的推理服务器解决方案要远比使用GPU的方案更为便宜，但纯CPU的方案也带来了一些诸如模型参数上的限制。不过赵帅表示，就目前浪潮信息的研究和客户反馈来看，对于规模在500人以下的中小企业来说，使用32B参数的DeepSeek-R1或QwQ模型就足以支撑他们当前的业务，而节省的投入费用却是一个不小的金额。

正是基于此，浪潮信息在近日推出了元脑CPU推理服务器，据了解，该款服务器采用4颗英特尔至强6448H处理器（32核心/颗）和多通道内存系统设计，支持32组DDR5内存，最大容量16TB，内存带宽达1.2TB/s，结合AMX加速技术提升AI推理效率，通过先进的张量并行策略和AMX加速技术，单机即可高效运行DeepSeek-R1（32B）和QwQ-32B推理模型，单用户性能超20tokens/s，可同时处理20个并发用户请求。

测试数据显示，基于单台NF8260G7，在使用DeepSeek-R1 32B进行带思维链深度思考的短输入长输出的问答场景下，解码性能超过20tokens/s，20个并发用户下，总token数达到255.2tokens/s；在使用QwQ-32B进行模型推理时，支持20个并发用户数，总token数达到224.3Tokens/s，可以提供流畅稳定的用户体验。

赵帅介绍，目前CPU推理服务器的询单客户很多，已经有不少金融、教育、初创企业，以及高校科研团队的咨询用户对CPU推理服务器表达了较强的采购意愿。

软硬协同是关键

若想利用CPU就实现本地推理过程，仅依靠纯硬件的性能是并不能实现的，软件的优化与适配也很关键。

相较于硬件设备，实现利用CPU完成推理的过程，更需要软硬件协同优化的能力，赵帅表示，“浪潮信息通过张量并行计算AWQ量化的方式，采用了逐通道测放的方式，然后通过网格搜索来找到最佳的缩放因子，通过这种方式是减少了量化的误差。”

赵帅进一步指出，“除此之外，在研发过程中，我们还采用TP并行的方式，将权重分成四份，分别把每一份的权重放到对应CPU的内存内，从而提升了整机的内存带宽，可以利用整机性能对模型解码进行加速。”

“元脑CPU推理服务器仅基于通用处理器进行软硬协同优化，可为企业32B模型推理与云计算、数据库等通用关键业务场景融合提供更高效、更灵活、更稳定的AI通用算力支撑。”赵帅介绍。

值得注意的是，赵帅告诉，CPU在运行DeepSeek-R1这种MoE架构的模型方面，可以通过一个路由器选择某个专家模型，对于数据选择来说，CPU比GPU的推理解决方案更友好。

除此之外，用户使用CPU推理服务器还有一个重要的需求：易用能力。而这种用户对大模型在本地化部署过程中的易用能力的需求，不光是集中在CPU推理服务器上，也集中在本地化部署的一体机和GPU服务器上。

从市面上常见的软硬件服务商的布局可以看出，平台化的软件产品与硬件的结合，是当下提升硬件易用性的最优解，围绕此，神州数码推出了神州文学平台、浪潮信息推出了EPAI平台、青云科技推出了AI智算平台.......

以浪潮信息为例，赵帅对表示，比如在推理一体机里，服务器能够预装AI操作系统，以及AIStation管理平台，“通该过平台，用户可以自由选择诸如QwQ-32B、DeepSeek-R1 32B，甚至可以再往下包括14B、8B这样的模型，”赵帅进一步指出，“用户可以根据自己的应用场景，通过简单的界面点选就能够现在最适用的平台。整个RAG的应用会更简单，更方便用户去使用。”

显然，软硬协同是端侧大模型能否落地的关键。从目前技术发展上看，面向中小企业，纯CPU的服务器用于AI推理有比较大的推广前景，但对于大规模高并发的用户需求，还是需要使用高性能的AI推理服务器。对此，赵帅也向坦言，如果用户规模较小，利用CPU推理服务器也可以运行DeepSeek-R1 671B的模型，小并发下单用户性能在7~8token/s，也能有顺畅的推理性能表现。“但对于规模比较大的企业，要建自己的小型智算中心，就需要采用更高性能的推理服务器，才能支撑海量并发下的推理需求。”

据了解，今年春节期间，浪潮信息就收到了许多客户订单咨询，希望快速供货支撑大并发需求的服务器，“如果要建设自己的小型智算中心，1~20台的区间，会是企业部署私有化算力比较适合的规模，20台机器大概可满足上万人规模大型公司全员流畅的应用体验。”赵帅如是说。

虽然CPU推理服务器在企业本地确实有不少发挥的场景，也确实能帮助中小企业快速落地小参数的模型产品，但由于硬件本身性能上限的限制，对于大型企业，以及一些追求高并发、高性能模型的企业来说，还是选择GPU的服务器部署业务较好，因此企业在选择的相对应的产品的过程中，需要根据切实的业务需求来选择，才能达到最高的性价比。（本文首发于，作者｜张申宇，编辑丨盖虹达）