Multi-Head Latent Attention: Boosting Inference Efficiency

Introduction

• 作者提出 Multi-head Latent Attention (MLA)，通过将 KV 压缩为 Compressed Latent KV，在减小 KV cache 的同时保持模型精度
  
  
  
  

Method

Low-Rank Key-Value Joint Compression

  Decoupled Rotary Position Embedding

  References

• DeepSeek-AI, et al. “DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model.” arXiv preprint arXiv:2405.04434 (2024).
  
• 苏剑林. (May. 13, 2024). 《缓存与结果的极限拉扯：从MHA、MQA、GQA到MLA 》[Blog post]. Retrieved from https://kexue.fm/archives/10091
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。