中科类脑常峰谈国产算力下半场：AI基础设施从“堆卡”转向“效率”

中国信通院《2026综合算力全景分析》显示，全国仅7个省份智算中心上架率超过75%。更让人焦虑的是，Token需求两年多增长了约5000倍，而分布式集群的MFU却长期在30%到50%徘徊。需求在爆炸，有效算力释放却不足。

供需不平衡的背后，还藏着一层结构性的错位：2026年上半年，按IDC出货量口径，国产AI芯片市场份额已接近70%，英伟达占30%以上。但国产芯片目前更多以“量”填补推理侧空缺，在绝对性能和高端训练市场上仍未占据主导。

如果继续靠“堆卡”去填这个缺口，不仅填不满，还会撞上电力、芯片供给和资本开支的三重天花板。行业的痛点，已经从“有没有卡”，变成了“卡到底用得好不好”。

既然只堆数量行不通，技术破局点在哪？

中科类脑合伙人、副总经理常峰

在2026世界算力网大会（WCNC）分论坛“算力网基础软硬件技术”上，合肥中科类脑智能技术有限公司（简称：中科类脑）合伙人、副总经理常峰以《国产算力建设及软硬件优化的实践分享》为主题作分享。他在演讲后告诉36氪，国产算力下一程比的不是谁的卡多，而是谁把卡用得更有效率。产业关键词正从“替代”换成“效率”，而这场效率战争的主战场，就叫超节点。

这家2017年从中国科大类脑国家工程实验室孵化的公司，是国内最早一批异构算力调度与运营服务商。中科类脑的实践，恰好是这场效率战的一个样本。

不拼单卡，拼超节点

目前，国产芯片份额的快速上升，有相当一部分来自供给约束下的结构性替代。国产算力真正要积累的，不是份额数字，而是份额换不来的东西，即单位算力的Token产出效率。

效率之争落在哪？过去几年，算力基础设施的组织形态已经给出了线索：单卡之后是单节点，单节点之后是分布式集群，分布式集群之后是超节点。这可以理解成从单兵到班组，再到集团军。每一步都在解决同一个敌人，即通信墙，即指集群扩大后卡间、节点间通信成为瓶颈，加卡不增效。

据行业测试，单节点8卡的全互联线性加速比可以做到7到8倍，可一旦扩展到千卡级跨网络集群，MFU就跌到30%到50%，国产千卡级集群普遍在35%到40%；All-Reduce通信开销占比可超过30%，相当一部分算力被卡间、节点间的数据搬运吃掉了。

简言之，堆卡堆不出效率，通信墙不破，算力线性增长但有效性能会遭遇边际递减，卡越多浪费越大。常峰认为：“AI基础设施的演进，本质上是在解决计算、存储、网络这三者之间的协同关系。超节点的好处是突破了通信上的一些问题。”

超节点干脆把墙拆掉，用百/千卡级的全互联和统一内存池，把原本要在节点间倒腾的数据，变成内部直接读取，逼近一张“虚拟单大卡”的效果。既然单卡性能有物理天花板，系统能力就可以靠互联、内存层级和软件栈的工程能力补回来，这是国产算力在没有最先进制程的情况下，最现实的仗。

中国日均Token调用量出现了爆发式增长

而中国恰好在电力成本、机电工程和集群运维上有比较优势。

但需要清醒地认识到，超节点不是谁都能上的车。它对芯片有一套隐形筛选标准：互联够不够快、显存层级跟不跟得上、软件栈默不默契。具备全栈能力的厂商更容易进入；过不了关的二线芯片，可能被挤向推理盒子、边缘计算等相对低价值市场。

可以说效率战的第一道门槛，就已经把某些芯片筛掉了。

通信墙拆掉之后，新的矛盾浮出水面。常峰表示，现行方案如“SGLang或者是vLLM”，多采用静态配置，没有充分考虑输入输出长度变化带来的动态负载需求。他认为：“中科类脑的这个调度系统可以利用超节点里面的高带宽互联，来动态调整P/D实例配比与输出策略。”

在常峰看来，系统效率的最后一块拼图藏在软件里，而且这块拼图没有人会替国产体系拼好，国际开源方案不会优先为国产芯片做适配。常峰的工程答案是三个方向：动态P/D优化、超节点原生KVCache管理、推理与调度协同。

这三项方向看似是技术问题，落到生意上，则是三笔需要细算的账。

AI芯片的“三笔效率账”

先看动态P/D这第一笔账。一般而言大模型推理分两步：Prefill和Decode。可以把它想成餐厅后厨的“备菜”和“炒菜”。备菜吃人手，炒菜吃灶台，两种活计要的人手和工具不一样，业界干脆把它们拆开部署。

大模型推理分两步：Prefill和Decode

麻烦在于，客人的点单偏好一直在变。有时是长文本输入、要个短结果偏Prefill，有时是简单提问、要写篇长文偏Decode，最优的人力配比得跟着业务随时漂移。据中科类脑测试，输入1K、输出1K时，最优P/D配比约为12:20；换成输入8K、输出1K，直接倒挂成20:12。

常峰告诉36氪，P和D的任务需求不同，而输入输出文本长度变化大，“其实是需要做一些动态负载的调度策略”。

中科类脑的做法，是让资源分配变成像“潮汐车道”一样的实时调整。系统会一直盯着任务排队情况、P和D哪边压力更大、会不会影响对用户的承诺，然后动态调整P和D的比例。借助超节点的高带宽，它能快速切换P和D的角色和运行方式，把模型权重和缓存数据快速搬过去，切换时服务基本不受影响。据常峰介绍，在特定模型和负载场景下测试验证处理能力最高提升约26%。

这26%的提升，约等于单位Token成本下降21%。在毛利普遍15%到25%的算力云生意里，成本降两成，利润率会得到明显提升。

第二笔账是KVCache。可以把它想成大模型对话时的“记忆本”。长上下文推理有个硬约束：即便用了稀疏注意力，完整的KV历史仍然要放在显存里，这就卡住了同时处理的对话数量。而HBM的容量，恰恰是国产芯片最硬的短板。HBM就像手边的小本子，又贵又小；Host Memory像旁边的大柜子，便宜但远。

HBM的成本刚性极强

常峰说，“HBM的成本刚性极强”。为此，中科类脑把完整的KVCache放到Host Memory，NPU只保留热点和当前步骤要用的那一小部分（Top-K工作集），用便宜的DRAM加上超节点带宽，换出宝贵稀缺的HBM。

据中科类脑的数据，在国产910C集群上，DeepSeek-V3.2和GLM-5.1的解码速度分别提升约81%和60%，精度几乎不变；同样的硬件，能同时服务的对话数从2个变成8个。并发能力提升4倍，直接改写了长上下文推理的成本账。

实际上，业界有HiSparse、LMCache、Mooncake等大模型推理系统对标。但在常峰看来，国产芯片的软件适配眼下不是成本问题，而是窗口期问题。这些“没人替你做”的适配，本身就是国产推理栈的生存空间。国产芯片的HBM约束是硬约束，但用便宜的DRAM加超节点带宽置换出昂贵HBM，正是这条生存空间里最现实的工程路径。

最后一笔账是调度。常峰说：“推理引擎做任务调度，响应是毫秒级的。而集群管理系统的调度是秒级的。”可以把它想成指挥交通，中间没有交警做缓冲，洪峰一来，前端和后端就会互相踩踏，直接堵死。两者没协同，就会出现时间尺度错配、状态切换延迟等问题。在常峰看来，这条鸿沟不填，洪峰一来，对用户的承诺（SLA）先破，前面所有推理优化都要打折。

调度也至关重要

据常峰介绍，解法是两级调度。秒级的一层管集群扩缩容和全局负载均衡，毫秒级的一层嵌进推理引擎入口，维护实时批处理队列、动态限流分流。在突发大流量下，排队延迟可降低40%到60%。

但这一笔里真正关键的数字是冷启动。调度协同的另一面是弹性，冷启动就是弹性的极限测试。传统拉起一个推理实例要数十秒甚至分钟级，通过镜像与权重流式加载、内存快照分级热备，常峰说：“我们优化之后，Serverless推理冷启动延迟从原来的分钟级降到数十秒以内。”进一步优化后可压缩至1到3秒，非高峰空置GPU成本节省70%以上。

这句工程判断背后是一笔生意账：传统GPU云卖预留实例，本质是把闲置风险卖给客户；Serverless按需付费，则要平台自己消化闲置。只有冷启动足够短，缩容至零才不牺牲对用户的承诺，那70%的空置节省才落得进利润表。对于交互式AI应用而言，1到3秒，是Serverless GPU从概念变成生意的那条线，而跨越这条线的核心，就在于推理引擎与调度系统的深度协同（如流式加载、多级缓存等）。

简言之，调度不再是机房里的运维问题，而是决定了能不能赚钱的商业问题。

常峰认为：“存储、计算和通信这三件事是我们长期以来坚定不移的攻关方向。”动态P/D对应计算，KVCache对应存储，调度协同对应通信。存储优化最终会反映到计算和调度效率上，这三件事合起来，解决了国产超节点从“能用”到“好用”之间那段距离。

算力云生意已经转轨

实际上，这三笔账指向同一件事：算力云的生意正在换轨。

传统算力云按机时计价，赚的是资源价差，护城河是“持有多少卡”，终点是同质化价格战。当Token被直接计量和计价，算力云赚的是效率价差，即每度电产出的Token数之差。当Token被计量、被确权、被融资，算力云的定价语言就变了。从“一度电产出多少Token”这个公式开始，效率不再只是内部指标，而是对外承诺。

切换已经在发生。2026年，据公开报道，国家数据局为Token定名“词元”，并探索跨芯片的计量口径；多家银行推出“Token贷”，Token第一次像水电一样被计量、确权、融资。计量单位统一之后，下一步必然是比拼智能转化效率。“一度电产出多少有效Token”，会从企业内部指标变成整个产业的定价语言。

中科类脑的算力平台

产业端已经有人按这个逻辑在做。中科类脑是国内最早的一批异构算力调度与运营服务商，其Bitahub AI云对外提供算力与Token服务。这家公司提出过一个“度电智能”公式：有效Token/kWh = 能源效能×计算效能×模型效能×调度效能。

四个乘数，每一项都得有可量化的产出，最后落到一个数上：一度电产出多少有效Token。常峰披露的三大优化，恰好落在后三个乘数上。动态P/D优化与超节点KVCache管理，共同榨取计算与模型效能，两级调度与秒级冷启动则压榨调度效能。

有人把这四个乘数分得很清楚：能源效能是“行业β”，低电价是全行业红利；计算、模型、调度才是“公司α”。其中调度效能壁垒最高，因为它依赖运行时数据闭环，是一个越跑越强的数据飞轮。顺着这个逻辑再推一步：“每度电Token数”一旦做成可审计的对外承诺，类似IDC行业的PUE承诺，它就不再是叙事，而是定价工具。

但效率红利不会因为账算清了就自动落袋。实验室数据到生产环境有折扣，均值指标掩盖长尾，架构折旧真实存在，Token商品化可能让领先窗口只有两三个季度。这四件事，每一件都在给效率红利打折。但正因为有折扣，才更早做、更早跑出数据飞轮的人，才能把窗口期变成壁垒。

把镜头拉远，这场效率战不是中国独有。

美国正面临“有需求、有高毛利，却被电网接入和电价拖住扩张”的窘境；欧洲受制于电价与监管，中东试图将廉价能源转化为算力，东南亚则在承接外溢时面临电网短板。

而中国西部有绿电，东部有需求，中间缺的是把绿电变成Token的系统能力。东数西算、绿电直连、超节点、Token计量，本质上都在解同一道题，让能源优势沉淀为基础设施能力，从输出绿电转向输出Token。所以，全球算力竞争正在从单卡竞赛，变成“能源—算力—Token”的系统效率竞赛。

从超节点的全互联内存池，到KVCache的层级套利，再到冷启动1到3秒的弹性调度，这些看似分散的工程优化，本质是同一件事：把国产算力从“资产”变成“运营对象”，从“建起来”变成“用得值”。Token需求还在持续增长，算力供给短期内注定追不上。能填上缺口的不是更多的机房，而是效率。

算力竞赛的上半场，比的是谁的卡多；下半场，比的是谁把每一度电、每一张卡、每一次调度，兑换成更多的有效Token。