SA：谷歌TPU：在AI推理市场争夺一席之地
稻草财经 视角 · 独立逻辑线拆解
1. TPU外部化战略：从内部芯片到多客户产品
事实：Since then, we have been proven right over and over again with Oracle, OpenAI, A；partnering with upstream maintainers across the entire ecosystem, including the
2. AgentX首批TPUv7官方基准结果
事实：delivering 1.2x to 2.7x the tokens per dollar of B200, B300, and MI355X from 60；it is 1.67x better perf per dollar than even FP4 GB300 NVL72；NVIDIA NVFP4 still beats TPUv7 FP8, but with accuracy / quality loss
3. NVIDIA的反制与组织层面挑战
事实：their first GB300 FP4 counter submission is still 1.64x worse per dollar than TP；have been stuck in “internal NVIDIA legal review” for three months；they overtuned decode at the expense of prefill, hurting overall end-to-end perf
4. Meta Muse Spark Open：对TPU不友好的模型仍具竞争力
事实：TPUv7 is competitive for decode performance per dollar even when using the cost；Muse Spark Open’s 64 head dim, which means that for long-context attention, 25%
5. GLM-5.2/5.3与FP4格局： cheapest FP8，但FP4 GPU仍领先
事实：GB300 and GB200 FP4 deliver 3.6x and 3.5x the tokens per dollar of TPUv7；we will need to wait until Q1 2027 for TPUv8 with FP4 support；With TPUv7 delivering 1.15x to 2.5x the tokens per dollar of GB200, B200, B300,
6. Qwen3.5 397B与llm-d分解式服务：FP8口径全面超越GB300
事实：Qwen3.5 397B became the first model Google submitted to AgentX；certain major hyperscalers/AI lab use Qwen3.5 397B and multi trillion parameter；TPUv7 with llm-d beats GB300 at every interactivity, from >2x at high throughput；routing to the exact data-parallel rank raised decode cache hit rates from 56% t
核心逻辑
证据边界在于：上述结论均基于SemiAnalysis自家的InferenceX/AgentX基准及其TPUv7测试提交，在FP8同精度对比中TPUv7多款模型每美元性能领先或可比；但NVIDIA NVFP4在多数速度点仍提供更高每美元token数（如GLM场景下GB300 FP4为TPUv7的3.6倍），只是伴随精度下降。结论成立条件是外部客户口径的成本基准与FP8对FP8的比较。
主要风险
- FP4精度与性价比权衡：TPUv7无原生FP4支持，GLM场景100 tok/s/user下GB300和GB200 FP4分别提供TPUv7的3.6倍和3.5倍每美元token数，但FP4相对FP8有精度/质量损失；TPUv8要到2027年一季度才有FP4支持。
- TPU端到端时延仍待改进：Muse Spark Open场景下TPUv7端到端时延仍需改进（如继续优化prefill内核）；llm-d逐轮路由算法使TPU端到端性能不及GB300 TRTLLM FP4；NVIDIA反制提交在decode上胜过TPUv7 FP8。
- 模型架构对TPU的适配性风险：Muse Spark Open的64 head dim使长上下文注意力下TPU脉动阵列25%被填充浪费；拥有大量TPU算力的实验室通常需协同设计模型以适配TPU。
- NVIDIA组织调整的不确定性：报告认为NVIDIA内部官僚作风是其护城河的最大风险之一，但也指出部分团队（如ex-CentML vLLM团队）正在突破流程限制，一周内合并了Megakernel支持。
展开完整深度解读（报告综述·更多利好与风险）
报告综述
本材料为SemiAnalysis于2026年11月5日发布的报告《Google's TPU Stakes Its Claim on Inference》，作者包括Bryan Shan、Dylan Patel等。报告指出，自2025年11月该机构首次披露谷歌对外销售TPU以来，Oracle、OpenAI、Anthropic、Meta已相继成为TPU客户。本次报告发布首批TPUv7（Ironwood）在长上下文、多轮Agent推理基准AgentX上的官方结果，覆盖四个模型：GLM-5.2 FP8下TPUv7在60至300 tok/s/user区间提供B200、B300、MI355X的1.2倍至2.7倍每美元token数；Qwen3.5 397B FP8下每美元性能达FP4 GB300 NVL72的1.67倍；Kimi K3下为GB200、B200、B300、MI355X的1.15倍至2.5倍；Meta Muse Spark Open结果可比。报告同时指出NVIDIA FP4在多数场景仍领先，但存在精度损失，且NVIDIA首个FP4反制提交在端到端上仍落后。