大模型推理太贵？聊聊 MoE、蒸馏与量化怎么把成本打下来

我最近在算一笔账：跑一个模型到底贵在哪。算下来发现，训练一次烧钱以亿计听着吓人，但那是一次性的；真正天天在烧的是「推理」——每一次提问都在消耗 GPU。把...
  • 极客港
  • 2026 年 08 月 25 日
  • 暂无评论