search

deepseek-ai / DeepSeek-V2

DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
MIT License
3.47k stars 143 forks source link

缓存C<sup>KV</sup><sub>t</sub> 多卡并行推理是否需要每张卡缓存一份 #41

Open c-dafan opened 4 months ago

c-dafan commented 4 months ago

缓存CKVt在推理时，是否需要重新计算kCt，vCt？如果需要，在多卡推理的时候，每张卡需要完整的CKVt，这样需要存储多份吧