Cerebras 和 AMD 合作推出解耦式两段 AI 推理架构,把大模型推理拆成 Prefill 提示词预处理、Decode token 生成两个独立阶段,分别交给不同硬件处理,AMD Helios 机架系统负责计算密集的 Prefill,Cerebras 晶圆级引擎 WSE 专门承接带宽密集的 Decode 解码;传统单 GPU 方案是同一套硬件同时扛两项任务,批量 Prompt 涌入时会打断正在生成的回答,出现 token 速度不稳、尾延迟拉高的问题,这套异构拆分方案把两类负载物理隔离,Prefill 集群只管消化长上下文、批量请求,算出 KV 缓存之后通过高速互联传给 Cerebras,由它持续稳定输出 token,整体实现更高每瓦 token 效率,适合 AI 代码助手、智能 Agent、实时对话这类对响应速度敏感的业务。
两段推理阶段特性对比表
| 阶段 | 负载特征 | 瓶颈类型 | 分配硬件 | 核心诉求 |
|---|---|---|---|---|
| Prefill(提示预处理) | 一次性并行处理全部输入 token | 算力密集 | AMD Helios / Instinct GPU | 高吞吐、大批量、长上下文处理 |
| Decode(解码生成) | 逐个串行输出回答 token | 内存带宽密集 | Cerebras WSE 晶圆级引擎 | 极低 token 延迟、稳定单流速度 |
这套方案的核心优势清单
- 消除负载互相干扰
- 硬件按需匹配工作负载
- 资源弹性独立扩缩
- 能效提升
批量新来的 Prompt 不会抢占正在回答的解码资源,Decode 侧 token 输出速度保持平稳,P99 尾延迟明显优化。
GPU 天生适合大规模矩阵并行计算,主打 Prefill;Cerebras WSE 靠片上超大 SRAM 获得超高带宽,刚好适配 Decode 反复读取 KV 缓存的场景。
业务波动时,可以单独扩容 Prefill 集群承接大量提问,或者单独增加 Cerebras 节点提升输出 token 速度,不用整体扩容。
官方数据对比同规格同功耗集群,这套异构拆分方案每瓦 token 产出最高提升 5 倍,算力资源浪费更少。
两段推理完整执行流程
- 用户请求送入 AMD Helios 集群,启动 Prefill 阶段,并行计算输入上下文,生成 KV 缓存。
- 高速 RDMA / 低延迟互联链路,把 KV 缓存数据包传输给 Cerebras 晶圆级引擎。
- Cerebras WSE 接管任务,持续执行 Decode,逐个生成输出 token 返回给用户。
- 如果用户继续追加对话,新的上下文增量再次回到 AMD 侧做 Prefill,循环流转。
- 调度系统持续做负载分流,根据当前排队量动态调配两边节点资源比例。
和普通同机推理、同 GPU 集群 PD 分离的区别
- 传统单卡推理:Prefill、Decode 混跑,负载冲突明显,大批量请求时对话卡顿。
- 纯 GPU 集群 PD 拆分:Prefill 池、Decode 池都是 GPU,架构相同,只是分开调度,带宽上限依旧受 HBM 约束。
- Cerebras+AMD 异构两段方案:Decode 交给带宽规格完全不同的 WSE,不是简单拆节点,是硬件架构差异化分工,解码延迟优势更大。
适用与不适合场景
✅ 适合:实时对话 Agent、代码 Copilot、低延迟客服、长上下文交互、对首 token、连续 token 速度敏感的业务
❌ 不太适合:离线批量摘要、一次性大批量文本生成、对单 token 延迟不敏感、追求极致低成本离线任务
【相关 FAQ】
问题 1:Cerebras、AMD 把推理拆成两段,这两段分别是什么?
回答 1:Cerebras、AMD 把推理拆成两段,分别是 Prefill 提示词预处理阶段和 Decode 解码 token 生成阶段,AMD 硬件负责 Prefill,Cerebras 晶圆引擎负责 Decode。
问题 2:Cerebras、AMD 两段拆分推理方案,相比单 GPU 混跑推理最大好处是什么?
回答 2:Cerebras、AMD 两段拆分推理方案,能避免批量 Prefill 请求打断解码任务,token 输出更稳定、尾延迟更低,同时发挥两类硬件各自的强项,提升整体能效。
问题 3:Cerebras、AMD 拆分推理链路,KV 缓存在两段推理之间怎么传递?
回答 3:Cerebras、AMD 拆分推理链路,AMD Prefill 计算出来 KV 缓存后,依靠高速低延迟互联通道传输给 Cerebras WSE,由 WSE 拿着 KV 缓存持续做解码生成。
【参考资料】
[2026-11-17](Cerebras Launches Disaggregated Inference)Cerebras 官网博客
[2026-07-23](AMD 与 Cerebras Systems 推出超低延迟高吞吐 AI 推理方案)AMD 官网新闻
[2026-08-18](Introducing Cerebras CS-4)Cerebras 官网
[2026-10-08](DI Series: Serving Kimi-K3 MXFP4 Wide-EP Disaggregated on AMD Instinct MI300X)AMD ROCm 技术博客
【免责声明】
本文为 Cerebras 与 AMD 两段式解耦推理方案资讯整理,方案性能增益、延迟指标基于官方测试环境;实际线上效果受互联带宽、模型规模、流量配比、调度策略影响;该方案为面向数据中心的高端推理架构,内容不构成 AI 算力采购、集群部署决策依据。
本文来自作者[频流脉冲]投稿,不代表江南网立场,如若转载,请注明出处:https://epaper.jnwb.net/guanca/202611/4092.html
评论列表(4条)
我是江南网的签约作者“频流脉冲”!
希望本篇文章《Cerebras 联合 AMD 拆分推理链路Prefill 与 Decode 异构分离,兼顾吞吐与 token 生成低延迟》能对你有所帮助!
本站[江南网]内容主要涵盖:互联网行业的追踪与探索
本文概览:Cerebras 和 AMD 合作推出解耦式两段 AI 推理架构,把大模型推理拆成 Prefill 提示词预处理、Decode token 生成两个独立阶段,分