开年,各个企业都在争相接入DeepSeek,初创团队在公有云上连夜调用API开发智能客服等轻量化应用,金融机构迫切采买DeepSeek一体机,各地政府则悄然在政务云上部署了DeepSeek……不同赛道的企业正以迥异姿态涌入这场智能升级的军备竞赛。
对于CTO而言,DeepSeek的惊人模型效果,无疑让技术从业者们振奋。但更多的CTO也开始焦虑:在企业大面积使用大模型之后,如何通过大模型加速自己企业的智能化升级?如何规划?如何投入?做什么方向?聚焦哪些业务场景?如何更新技术栈……
企业到底怎么在业务流程中用好包括DeepSeek在内的大模型?
在京东云看来,企业应用大模型将经历四个阶段,答案也在其中:
开始时,不管能否找到应用价值,企业都选择先让员工把大模型用起来,目前,国内大多数企业都处在这个阶段,将DeepSeek的部署作为首要工作。 随着通用模型使用的深入,企业会开始轻量化的尝试,首选就是智能体,部分企业已开始这一阶段的探索。 智能体应用深入后,企业会发现通用模型在解决企业专业问题上存在瓶颈,大中型企业就会利用自己的数据蒸馏垂直模型,这就进入了第三阶段,用垂直模型替换通用模型。 最后垂直模型强化智能体的能力,部分智能体就会成长为超级智能体,多智能体协同产生新的业态,进入终极的场景智能。 轻量智能体破局:从“能用”到“好用”智能体是打开大模型价值的第一把钥匙。科技行业已达成一个共识,智能体已经成为企业数智化转型的核心驱动力。作为主流应用形态,智能体不仅能提升运营效率,还能降低AI使用的门槛。
根据德勤《2025年技术趋势》预测,智能体将成为未来企业的重要组成部分。
作为智能体落地的先驱,目前京东自有的多场景中,已落地超1万个智能体,累计提升人效上亿元。基于此,京东云作为京东对外输出技术与服务的核心平台,充分解耦京东智能体实战经验,总结出五大核心场景:协同办公、专业助手、客户服务、营销推广和数据应用。
这些场景已在京东内部发挥巨大业务价值。例如在专业助手方面,JoyCoder智能编码助手能帮助开发者预测代码、生成注释、进行智能评审,生成的代码采纳率超过40%,开发周期缩短30%。在营销上,通过AIGC技术可以快速生成高质量的营销文案和商品场景图,制作效率提升高达90%。比如,言犀数字人能自动生成直播脚本,已经覆盖7500个直播间,带货GMV总量超百亿。
京东云相关负责人表示:“我们总结出的五个场景,已经能覆盖企业用智能体,提升业务效率的80%通用需求,在现阶段,智能体落地过程中,把核心场景打穿打透,远比一味追求智能体数量,重要得多。”
目前京东云将这些智能体能力,沉淀在言犀智能体平台,对外支持更多企业在智能体方面探索。
例如,食品行业上下游角色分散,会议对决策管理至关重要。在味全食品,京东云搭建了一套会议管理系统,可自动生成会议文本记录,并分类归档,有效提升公司运转效率;在中国飞机租赁,该公司专业知识复杂,人工查询影响决策效率,京东云构建一个智能问答系统,提供高效、准确的问答交互,并依据反馈持续优化性能,大幅提升员工办公效率。
企业在智能体上取得成效后,对于很多中型和大型企业来说,考虑到未来AI应用越来越深入广泛,自建智算基础设施将成为决策的必答题。
构建智算底座:技术决策者的“重投入时刻”
当AI算力密度突破40kW/机柜,模型参数迈向万亿级,企业构建智算基础设施已超越技术升级范畴,成为重塑产业话语权的战略抉择。那些率先完成智能化改造的企业,正像百年前电气化革新的先行者那样,在数字时代的版图上刻下新的坐标。
从通用计算向智算升级,基础设施面临三重挑战:高密度智算的供电/制冷、算力集群的微秒级互联、异构算力的动态调度。例如,随着服务器功耗提高,单机柜功率上升趋势明显,目前普通数据中心是4-6kW,为满足GPU服务器的运行,现在新建智算中心单机柜的功率需求已经达到20~40kW,按照最新发布的GPU服务器的参数,智算中心单机柜功率需求将达到40~120kW。 同时,现在GPU服务器要求网络组网距离越近越好,并且有明确的传输距离的要求,这种要求直接造成机房房间功率密度也同时增加。
基于京东集团复杂场景实践,京东云构建了一站式大模型产品矩阵,从底层的智算基础设施,到中间层的模型服务和工具,再到上层的Agent应用开发,支持企业快速部署大模型及应用。
在高密度智算的供电/制冷方面,智算中心功率密度是传统数据中心的5倍,对供电、散热的要求严苛。京东云自研的阿尔法智能算力模块,支持液冷系统一体化交付,PUE控制在1.15以内,同等规模成本直降15%;新一代液冷服务器,散热效能提升 50%,单机柜20kW年度省电8500度。
在算力集群互联互通方面,计算、存储、网络的“黄金三角”,对大模型高效使用至关重要。
京东云超智算一体化算力集群,单集群万卡、全局10万卡级集群调度能力,依托软硬件协同优化,驱动大模型算力利用率(MFU)跃升至75%。 云海AI存储,千亿级大模型全栈支持,4K随机写IOPS突破1000万级极速响应,存算分离架构实现性能与成本双30%突破,构建超大规模AI训练的普惠存储底座。 京东云高性能云网络,RDMA带宽提升至3.2T级,端到端通信时延压降至2微秒级,支撑千亿参数模型无损训练,释放AI算力极限。在异构算力的动态调度方面,京东云vGPU AI算力平台,为应对大模型异构算力需求而生。支持多元算力统一纳管与精细化运维,通过深度优化DeepSeek架构,满血版推理性能提升50%。同时借助AI全场景密态计算以及容器隔离技术,确保模型参与训练数据双域零泄露,为用户提供金融级安全防护。
在行业实践中,京东云成功支持某新能源汽车头部厂商、某全球新能源科技领导企业,打造覆盖全集团的智能计算底座,实现千卡级AI算力集群的精细化管理。技术上一方面创新多元算力调度,显著提升GPU利用率,另一方面创建全生命周期AI开发环境,实现开箱即用,大幅提升研发效率。目前,该平台已支撑起企业智能驾驶研发、人形机器人等20余个核心场景,成为集团的"数智发动机"。预计一年内,两家企业大模型训练周期将缩短40%,每年节省的算力成本相当于新建两座数据中心。
垂直模型蒸馏:迈向全面智能场景的关键一跃
当通用大模型完成技术启蒙,千载难逢的良机属于那些拥有高质量自有数据的企业。他们通过运用自有数据完成模型蒸馏,率先推动产业效率变革,让AI应用走向真实价值深水区,打开全面智能场景。
京东云认为,全面智能场景形成,可以通过两种途径实现:一是智能体成长为超级智能体,成为新的业态。二是对过去数字化场景的智能升级。
在京东内部,一场针对大模型小型化的效率改造正在悄然展开。通过在通用大模型注入京东零售、金融、健康等体系内复杂、真实、动态的领域数据,言犀大模型已经跑在了健康咨询、金融营销、代码生成、协同办公等多个智能场景,在特定任务中的准确率较通用模型提升超过20%。更关键的是,神经元剪枝技术实现"瘦身不减智",模型显存节约70%、推理速度提升1.5倍,让千亿、万亿级参数模型也能轻盈落地。
效果突破的背后,是京东在模型蒸馏、数据治理与混合、训练配方优化、大小模型协同等多领域沉淀下来的大模型开发计算技术。最近,京东探索研究院自研的这套模型开发计算研究成果也将首登Nature,并通过言犀AI开发计算平台,向外部企业开放服务。
大模型应用的技术红利形成多点开花的应用图景,向外生长:
在数据要素领域,大模型正在重构企业数据价值链。面对海量非结构化数据,传统人工处理仅50-60%的准确率,企业数据要素服务平台通过大模型可实现99%的精准识别; 在智能运维领域,AI NOC智能运维系统将重大故障定位时间从小时级压缩至秒级,背后是沉淀了超万名研发人员经验的运维知识库; 在城市治理领域,"一表通"系统通过智能体自动抓取数据,将基层工作效率提升70%,ICOS城市平台将政务应用开发周期缩短60%。 在智能营销领域,超35万商家借助AIGC生成商品图,30亿字的营销种草文案由AI生成、50万条AI采销短视频实时投放中...产业数据的转化效率已发生质变。金融增长云还开放了包括4.6亿京东金融用户运营Knowhow,通过交互式营销、广告投放、营销内容生成三大智能场景,帮助银行客户实现AUM、MAU增长超30%。这些场景验证了垂直模型的两大价值支点——既要深入业务毛细血管获取数据养分,又要通过工程化改造适配真实业务场景。京东通过自身复杂业务场景锤炼出的模型蒸馏技术,正在降低更多企业的AI准入门槛,轻松拿到大模型时代的入场券。
当京东云向产业打开他的大模型“工具箱”,CTO们的焦虑有了新注脚:技术部署只是起点,真正的竞争在于如何将AI转化为业务进化基因,重塑AI生产力。那些在轻量化应用中积累场景认知、在智算底座建设时预留技术弹性、在垂直蒸馏中构建知识壁垒的企业,正悄然拉开身位。
有业内人士断言:“大模型淘汰的不是技术,而是组织的迟钝。”当DeepSeek将AI能力民主化,CTO的焦虑本质上是企业数字化转型的集体阵痛——这场关乎生存的进化竞赛中,焦虑或许是最好的清醒剂。(本文首发于)