Cerebras 联合 AMD 拆分推理链路Prefill 与 Decode 异构分离,兼顾吞吐与 token 生成低延迟

Cerebras 和 AMD 合作推出解耦式两段 AI 推理架构,把大模型推理拆成 Prefill 提示词预处理、Decode token 生成两个独立阶段,分别交给不同硬件处理,AMD Helios 机架系统负责计算密集的 Prefill,Cerebras 晶圆级引擎 WSE 专门承接带宽密集的 Decode 解码;传统单 GPU 方案是同一套硬件同时扛两项任务,批量 Prompt 涌入时会打断正在生成的回答,出现 token 速度不稳、尾延迟拉高的问题,这套异构拆分方案把两类负载物理隔离,Prefill 集群只管消化长上下文、批量请求,算出 KV 缓存之后通过高速互联传给 Cerebras,由它持续稳定输出 token,整体实现更高每瓦 token 效率,适合 AI 代码助手、智能 Agent、实时对话这类对响应速度敏感的业务。

两段推理阶段特性对比表

阶段负载特征瓶颈类型分配硬件核心诉求
Prefill(提示预处理)一次性并行处理全部输入 token算力密集AMD Helios / Instinct GPU高吞吐、大批量、长上下文处理
Decode(解码生成)逐个串行输出回答 token内存带宽密集Cerebras WSE 晶圆级引擎极低 token 延迟、稳定单流速度

这套方案的核心优势清单

  1. 消除负载互相干扰
  2. 硬件按需匹配工作负载
  3. 资源弹性独立扩缩
  4. 能效提升

批量新来的 Prompt 不会抢占正在回答的解码资源,Decode 侧 token 输出速度保持平稳,P99 尾延迟明显优化。

GPU 天生适合大规模矩阵并行计算,主打 Prefill;Cerebras WSE 靠片上超大 SRAM 获得超高带宽,刚好适配 Decode 反复读取 KV 缓存的场景。

业务波动时,可以单独扩容 Prefill 集群承接大量提问,或者单独增加 Cerebras 节点提升输出 token 速度,不用整体扩容。

官方数据对比同规格同功耗集群,这套异构拆分方案每瓦 token 产出最高提升 5 倍,算力资源浪费更少。

两段推理完整执行流程

  1. 用户请求送入 AMD Helios 集群,启动 Prefill 阶段,并行计算输入上下文,生成 KV 缓存。
  2. 高速 RDMA / 低延迟互联链路,把 KV 缓存数据包传输给 Cerebras 晶圆级引擎。
  3. Cerebras WSE 接管任务,持续执行 Decode,逐个生成输出 token 返回给用户。
  4. 如果用户继续追加对话,新的上下文增量再次回到 AMD 侧做 Prefill,循环流转。
  5. 调度系统持续做负载分流,根据当前排队量动态调配两边节点资源比例。

和普通同机推理、同 GPU 集群 PD 分离的区别

  • 传统单卡推理:Prefill、Decode 混跑,负载冲突明显,大批量请求时对话卡顿。
  • 纯 GPU 集群 PD 拆分:Prefill 池、Decode 池都是 GPU,架构相同,只是分开调度,带宽上限依旧受 HBM 约束。
  • Cerebras+AMD 异构两段方案:Decode 交给带宽规格完全不同的 WSE,不是简单拆节点,是硬件架构差异化分工,解码延迟优势更大。

适用与不适合场景

✅ 适合:实时对话 Agent、代码 Copilot、低延迟客服、长上下文交互、对首 token、连续 token 速度敏感的业务

❌ 不太适合:离线批量摘要、一次性大批量文本生成、对单 token 延迟不敏感、追求极致低成本离线任务

【相关 FAQ】

问题 1:Cerebras、AMD 把推理拆成两段,这两段分别是什么?

回答 1:Cerebras、AMD 把推理拆成两段,分别是 Prefill 提示词预处理阶段和 Decode 解码 token 生成阶段,AMD 硬件负责 Prefill,Cerebras 晶圆引擎负责 Decode。

问题 2:Cerebras、AMD 两段拆分推理方案,相比单 GPU 混跑推理最大好处是什么?

回答 2:Cerebras、AMD 两段拆分推理方案,能避免批量 Prefill 请求打断解码任务,token 输出更稳定、尾延迟更低,同时发挥两类硬件各自的强项,提升整体能效。

问题 3:Cerebras、AMD 拆分推理链路,KV 缓存在两段推理之间怎么传递?

回答 3:Cerebras、AMD 拆分推理链路,AMD Prefill 计算出来 KV 缓存后,依靠高速低延迟互联通道传输给 Cerebras WSE,由 WSE 拿着 KV 缓存持续做解码生成。

【参考资料】

[2026-11-17](Cerebras Launches Disaggregated Inference)Cerebras 官网博客

[2026-07-23](AMD 与 Cerebras Systems 推出超低延迟高吞吐 AI 推理方案)AMD 官网新闻

[2026-08-18](Introducing Cerebras CS-4)Cerebras 官网

[2026-10-08](DI Series: Serving Kimi-K3 MXFP4 Wide-EP Disaggregated on AMD Instinct MI300X)AMD ROCm 技术博客

【免责声明】

本文为 Cerebras 与 AMD 两段式解耦推理方案资讯整理,方案性能增益、延迟指标基于官方测试环境;实际线上效果受互联带宽、模型规模、流量配比、调度策略影响;该方案为面向数据中心的高端推理架构,内容不构成 AI 算力采购、集群部署决策依据。

本文来自作者[频流脉冲]投稿,不代表江南网立场,如若转载,请注明出处:https://epaper.jnwb.net/guanca/202611/4092.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 频流脉冲
    频流脉冲 2026年11月18日

    我是江南网的签约作者“频流脉冲”!

  • 频流脉冲
    频流脉冲 2026年11月18日

    希望本篇文章《Cerebras 联合 AMD 拆分推理链路Prefill 与 Decode 异构分离,兼顾吞吐与 token 生成低延迟》能对你有所帮助!

  • 频流脉冲
    频流脉冲 2026年11月18日

    本站[江南网]内容主要涵盖:互联网行业的追踪与探索

  • 频流脉冲
    频流脉冲 2026年11月18日

    本文概览:Cerebras 和 AMD 合作推出解耦式两段 AI 推理架构,把大模型推理拆成 Prefill 提示词预处理、Decode token 生成两个独立阶段,分

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们