训练一次大模型烧钱以亿计，但真正天天在烧的是「推理」——每一次用户提问，都在消耗 GPU。把单位成本打下来，是 2026 年最实在的竞争力。

一、为什么推理贵

自回归模型逐 token 生成，过程中要常驻 KV Cache，并发一高显存就爆；加上大批量请求，单卡吞吐很快触顶。贵的不是「一次」，而是「每秒几万次」。

二、MoE：同样的参数，更少的算力

混合专家（Mixture-of-Experts）让模型「总参数量很大，但每次只激活一小部分专家」。算力随 token 走，推理又快又便宜。DeepSeek、Mixtral 都是这条路线的代表。

三、蒸馏与量化：把大块头压小

• 知识蒸馏：用大模型「教」小模型，小模型部署便宜、延迟低，适合边缘与批量场景。
• 量化：FP16 → INT8 / INT4，显存和带宽直接砍半到四分之一，精度损失可控；再配合 KV Cache 量化，效果更明显。

四、系统层也不能少

连续批处理（continuous batching）、PagedAttention、投机解码（speculative decoding）进一步榨干吞吐。降本从来不是单点魔法，而是模型结构 + 压缩 + 推理引擎的组合拳。