Kimi终于开源了，联手清华开源大模型推理架构Mooncake
在人工智能敏捷发展的时代，大型模型的智能化水平不断提拔，但随之而来的推理体系服从挑衅也越来越明显。如何应对高推理负载、降低推理成本、缩短响应时间，已成为业界共同面对的重要题目。https://i-blog.csdnimg.cn/direct/fec39da3a8cd424c85d69c8fc621af29.png
Kimi 公司团结清华大学的 MADSys 实行室，推出了基于 KVCache 的 Mooncake 推理体系操持方案，该方案于2024年6月正式发布。
Mooncake 推理体系通过创新的 PD 分离架构和以存换算为中心的理念，明显提拔了推理的吞吐能力，吸引了广泛的行业关注。为了进一步推动这一技术框架的应用与普及，Kimi 与清华大学 MADSys 实行室团结多家企业，如 9#AISoft、阿里云、华为存储等，推出了开源项目 Mooncake。11月28日，Mooncake 的技术框架在 GitHub 平台正式上线。
Mooncake 开源项目围绕超大规模 KVCache 缓存池睁开，致力于通过分阶段的方式逐步开源高性能的 KVCache 多级缓存 Mooncake Store。同时，该项目将兼容多种推理引擎和底层存储、传输资源。
现在，传输引擎 Transfer Engine 的部分已经在 GitHub 上环球开源。Mooncake 项目的终极目的是为大模型时代构建一个新型高性能内存语义存储的标准接口，并提供相关的参考实现方案。
Kimi 公司的工程副总裁许欣然表现:“通过与清华大学 MADSys 实行室的精密互助，我们共同打造了分离式的大模型推理架构 Mooncake，实现了推理资源的极致优化。
Mooncake 不光提拔了用户体验，还降低了成本，为处理长文本和高并发需求提供了有效解决方案。” 他等待更多企业和研究机构加入 Mooncake 项目，共同探索更高效的模型推理体系架构，让 AI 助手等基于大模型技术的产品可以或许惠及更广泛的人群。
页:
[1]