资讯动态

卡加了，吞吐为何没跟上？大模型推理中的等待，有了新解法

大模型走向大规模在线服务，一个常见却又有些反直觉的现象是： 卡加得越来越多，吞吐却涨得越来越慢 问题出在哪？在 DeepSeek 等 MoE 模型的一类部署中，多组计算卡并行处理大量请求，每组既处理各自的请求，又要通过跨组通信，共同完成每一步解码。这意味着解码是齐步走： 只要最忙的一组没算完，其他组算得再快也只能等 更麻烦的是，请求即使分得一样多，各组实际承担的负载也可能不同，于是较轻的一组提前算