论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
IT评测·应用市场-qidao123.com
»
论坛
›
软件与程序人生
›
云原生
›
Kimi终于开源了,联手清华开源大模型推理架构Mooncake ...
Kimi终于开源了,联手清华开源大模型推理架构Mooncake
灌篮少年
金牌会员
|
2024-12-27 20:25:13
|
显示全部楼层
|
阅读模式
楼主
主题
941
|
帖子
941
|
积分
2823
在人工智能敏捷发展的时代,大型模型的智能化水平不断提拔,但随之而来的推理体系服从挑衅也越来越明显。如何应对高推理负载、降低推理成本、缩短响应时间,已成为业界共同面对的重要题目。
Kimi 公司团结清华大学的 MADSys 实行室,推出了基于 KVCache 的 Mooncake 推理体系操持方案,该方案于2024年6月正式发布。
Mooncake 推理体系通过创新的 PD 分离架构和以存换算为中心的理念,明显提拔了推理的吞吐能力,吸引了广泛的行业关注。为了进一步推动这一技术框架的应用与普及,Kimi 与清华大学 MADSys 实行室团结多家企业,如 9#AISoft、阿里云、华为存储等,推出了开源项目 Mooncake。11月28日,Mooncake 的技术框架在 GitHub 平台正式上线。
Mooncake 开源项目围绕超大规模 KVCache 缓存池睁开,致力于通过分阶段的方式逐步开源高性能的 KVCache 多级缓存 Mooncake Store。同时,该项目将兼容多种推理引擎和底层存储、传输资源。
现在,传输引擎 Transfer Engine 的部分已经在 GitHub 上环球开源。Mooncake 项目的终极目的是为大模型时代构建一个新型高性能内存语义存储的标准接口,并提供相关的参考实现方案。
Kimi 公司的工程副总裁许欣然表现:“通过与清华大学 MADSys 实行室的精密互助,我们共同打造了分离式的大模型推理架构 Mooncake,实现了推理资源的极致优化。
Mooncake 不光提拔了用户体验,还降低了成本,为处理长文本和高并发需求提供了有效解决方案。” 他等待更多企业和研究机构加入 Mooncake 项目,共同探索更高效的模型推理体系架构,让 AI 助手等基于大模型技术的产品可以或许惠及更广泛的人群。
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
灌篮少年
金牌会员
这个人很懒什么都没写!
楼主热帖
【靶场】THM-Pickle Rick-练习
每日算法之二叉搜索树的后序遍历序列 ...
【WinUI3】ListView / GridView 学习总 ...
【邂逅Django】——(一)创建项目 ...
SAP WM高阶之下架策略M(Small Large Qu ...
Dubbo原理解析(非常透彻)
JDBC核心技术
K3S系列文章-使用AutoK3s在腾讯云上安 ...
线程池
Arrya类常见方法学习
标签云
运维
CIO
存储
服务器
浏览过的版块
前端开发
.Net
移动端开发
物联网
快速回复
返回顶部
返回列表