当“Token工厂”进入国芯时代:大模型商业化竞争悄然移向芯片

发稿时间:2026-11-19 14:31:00 来源: 环球网

  【环球网科技综合报道】“建一座能赚钱、扛得住大流量的 Token 工厂,绝不是买来算力卡插上电就万事大吉。” 清昴智能创始人兼 CEO 关超宇说道。

  在他看来,早年铺下去的 A100、H20 及更早期国产卡并非面向混合专家架构与百万上下文设计,硬件上限本就有限。更普遍的问题出在软件栈:Agent 长上下文场景下,Prefill 阶段算力消耗大,Decode 阶段受限于键值缓存的显存带宽,混合运行时容易出现“算力等数据、带宽被挤占”的情况。即便换成新一代高算力芯片,软件协同不到位,同样难以获得具备商业竞争力的吞吐效率。

  更现实的挑战,是模型按周迭代与二十余家芯片之间的落差。各家微架构与底层指令集互不兼容。

  由北京智源人工智能研究院牵头、已开源四年的统一系统软件栈 FlagOS,成为填补这一生态断层的关键,也是清昴等商业团队的底层选择。

  从清昴这类一线 Token 工厂的视角来看,迭代至 2.2 版本的 FlagOS 承接了最繁重、最容易重复消耗人力的底层工作。这套开源底座基于 Triton 沉淀了超过一千四百五十个通用算子,统一编译器 FlagTree 在单一代码仓库下覆盖了二十家芯片厂商的后端,把主流推理与训练框架直接对接到多元算力上,给 Token 工厂省去了大量底层重复开发工作。

  开源软件栈如何提升产线算法上限

  一线商业团队将 FlagOS 接入业务流水线,带来的改变不仅是省下工期,更直接提升了商业公司核心优化算法的工程上限。但让 AI 自己去优化硬件,在工程上存在一道隐形门槛。

  关超宇提到这个核心难点:“要让 AI 学会优化 AI,前提是算法必须先看懂基础设施长什么样,知道底层有哪些硬件细节和边界条件需要注意。 如果直接把底层的裸硬件指令空间暴露给自动调优算法,虽然表面上灵活性最大,但这个搜索空间会变得极其‘稀疏’,算法在参数空间中稍有偏差,就会触发硬件报错或性能下降,很难搜索出稳健的可用方案。”

  而 FlagOS 提供的标准化编译器、三层渐进式抽象以及经过严格验证的 Triton 统一算子生态,相当于在裸硬件之上铺平了一层高确定性的中间层。接入 FlagOS 工具链,配合其内置自动调优器将搜索提效二百九十八倍的能力,原本稀疏的搜索空间变得“密集”起来,自动调优算法能找到的有效可行解大幅增加,整条产线的探优效率随之提升。

  即便面向未来完全由 AI 自主生成算子的演进趋势,这套公共底座也不会被边缘化,其作为工程支点的价值愈发凸显。正如关超宇所判断的,任何自我进化的优化系统要稳定、高效运行,都必须建立在完善的观测体系、衡量基准和基础工具链之上,没有哪一套单一系统能够从零完成所有的底层环节。未来的 FlagOS 编译器与算子库本身,也会持续吸纳这种自动迭代的思路向前演进。

  另一方面,FlagOS 在开源形态上保持了克制。

  过去不少基础软件开源项目追求“大而全”,试图把所有逻辑收进一个封闭完整的单体系统里,商业团队采用后往往被整套框架绑定,丧失面向客户定制的灵活性,遇到线上真实流量波动也难以调整。FlagOS 提供了一套完整可用的参考系统,同时把 FlagTree 编译器、FlagGems 融合算子库、FlagCX 通信库以及各类引擎插件拆分为高度解耦的标准化模块。商业团队可以根据真实产线需求,选取使用频率最高、最适配的模块接入自身系统,即插即用。底层跨芯片适配工作由公共底座承担后,商业公司的研发节奏随之改善,工程师可以把精力集中在高阶的内存编排、异构调度与产线利润优化上。

  商业交付遭遇性能卡点,联合调优实现国芯突破

  理论架构最终都要接受真实企业机房的检验。清昴等团队将国芯 Token 工厂推向一线交付时,遇到了具体的性能问题。一方面,行业客户要求在新一代旗舰集群华为昇腾 910C 上线智谱最新的 GLM-5.3-Flash 模型,原生链路运行速度只有每秒二十多个 Token,难以支撑企业级在线交互,无法通过客户验收。另一方面,国内机房里已有大量上线的存量 910B 服务器,但在面对百万级上下文的 Agent 高频多轮对话时,传统部署的首字延迟动辄高达十几秒,集群吞吐偏低,算力资产利用率不高。

  面对这些影响商业落地的痛点,硬件底座本身已具备条件——无论是昇腾 910C 内部 Cube 矩阵单元与 Vector 向量单元的协同潜力,还是存量 910B 的集群规模,都足以支撑高强度推理,所缺的是打通开源模型生态与硬件调度。

  工厂侧团队联合开源社区,基于 FlagOS 底座开展“底层基建 + 业务深改”的联合调优,避免了重写底层栈的高昂代价。

  在这一过程中,分工较为清晰。FlagOS 底座负责打通基础算子与编译链路。针对 GLM-5.3-Flash 的 DSA 加 KDA 混合注意力结构,联合团队借助 FlagOS 统一中间表示层已打通昇腾 CANN 开源生态的基础,调用 FlagGems 面向 vLLM 和 SGLang 的融合算子库与 FlagTree 编译优化,着力解决昇腾 910C 的计算协同与显存搬运问题。

  联合调优取得了实际效果。在清昴的昇腾 910C 商业产线实测中,仅 Decode 阶段的优化就将字间延迟降低 10% 以上,每输出 Token 时间降低 8% 以上;叠加全链路业务调优后,GLM-5.3-Flash 在昇腾 910C 上的整体输出速度从二十多 TPS 提升至五十多 TPS,达到商业级可用水平。而在高并发智能体负载的存量 910B 集群验证中,这套联合架构同样取得成效。集群的前缀缓存命中率从 82.65% 提升至 94.15%,首字延迟中位数从 16.63 秒下降 81.4%,降至 3.10 秒,真实线上服务的中位首字延迟约 2.3 秒,单字生成间隔约 22 毫秒;整套系统的逻辑服务吞吐达到优化前的 2.04 倍,在指定条件下按租金折算,单位算力成本比对应的商业 API 计费参考低 19.4% 至 27.6%,使存量机柜的利用效率明显提高。

  这种依托底座的方案并不局限于单一芯片。在平头哥 810E 上运行 DeepSeek-V4.1-Flash,推理性能相比厂商原生 SGLang 版本提升 77% 到 82%,可支撑 16 路并发与最大 80 路并发;在海光 BW1100 上运行 GLM-5.3-Flash,整体性能提升超过 25%,多并发下单路速度保持在 90 TPS 以上;在摩尔线程、沐曦以及英伟达等多款架构卡上,这套底座同样取得了超过厂商原生版本的吞吐表现。

  通用软件栈在守住甚至提升性能的同时,让 Token 工厂具备了横跨多元硬件、平滑迁移交付的能力。(古雨)

责任编辑: