论坛
潜水/灌水快乐,沉淀知识,认识更多同行。
ToB圈子
加入IT圈,遇到更多同好之人。
朋友圈
看朋友圈动态,了解ToB世界。
ToB门户
了解全球最新的ToB事件
博客
Blog
排行榜
Ranklist
文库
业界最专业的IT文库,上传资料也可以赚钱
下载
分享
Share
导读
Guide
相册
Album
记录
Doing
搜索
本版
文章
帖子
ToB圈子
用户
免费入驻
产品入驻
解决方案入驻
公司入驻
案例入驻
登录
·
注册
只需一步,快速开始
账号登录
立即注册
找回密码
用户名
Email
自动登录
找回密码
密码
登录
立即注册
首页
找靠谱产品
找解决方案
找靠谱公司
找案例
找对的人
专家智库
悬赏任务
圈子
SAAS
ToB企服应用市场:ToB评测及商务社交产业平台
»
论坛
›
软件与程序人生
›
移动端开发
›
IOS
›
极致效率,云原生数据库TDSQL-C安身立命的根本 ...
极致效率,云原生数据库TDSQL-C安身立命的根本
傲渊山岳
金牌会员
|
2022-6-23 21:10:28
|
显示全部楼层
|
阅读模式
楼主
主题
695
|
帖子
695
|
积分
2085
云原生时代需要什么样的数据库?如何构建数据库服务?腾讯云数据库技术负责人程彬认为,云数据库未来趋势会从以托管为核心升级到以极致效率为核心,助力业务降本增效。从数据库管理和应用角度来看,云厂商、资源、客户三角关系
背后包含了三个维度的效率:系统效率、运营效率、业务效率,当这些效率都做到极致,成本会大幅下降。腾讯云数据库是如何围绕这三个纬度,打造极致效率来赋能业务的呢?
本期带来
腾讯云数据库技术负责人程彬
在第四届云原生产业大会主论坛的分享实录:
视频完整版:
《云原生时代的数据库技术沿革》
大家好,我是腾讯云数据库工程师程彬,代表团队和大家谈谈对云原生时代数据库技术的思考和腾讯云在云原生数据库领域的落地实践。
业务背景
我们观察到,在IT架构领域,
云原生已经取代云计算
,迎来了一个新阶段。在腾讯内部,每个业务系统会去看自己系统的云原生成熟度得分,不断地去优化和提升。云原生相比云计算,有三个变化。
应用场景上
,从泛互联网行业进入到了一个全行业数字化,进而带来了数据规模的进一步的增大。
基础设施上
,也发生了变化。
云上IaaS PaaS变得更加成熟
,创业公司、独角兽、头部上市公司乃至关乎民生的应用,他们的IT架构都构建在云上。
这些变化引起了我们团队的思考,
云原生时代需要什么样的数据库呢?我们怎么去构建数据库服务?
我们认为,
云数据库应该从以托管为核心升级到以极致效率为核心
。
在讲极致效率之前,我们先看看云数据库背后的一个三角关系。这个三角关系就是云厂商利用和管理硬件资源,为客户提供服务,客户使用服务背后的资源来开展业务活动。它背后有三个效率,系统效率、运营效率和业务效率。
第一个
系统效率
,系统效率说的是两个层面的事情,一个层面就是把CPU内存、硬盘这些资源全部用出去,不要闲置;另外一个层面是,用相同的资源能处理更多的请求。
第二个
运营效率
是说云厂商线上规模化运营效率,比较常见的就是数据库调优,1w个实例1个DBA可以搞定,10w个实例或是100w个实例时,DBA人数就需要10个、100个吗?
第三个
业务效率
是指怎么帮助业务提升开发效率。举个例子,游戏出海需要全球同服,之前非常考验业务架构师的水平,如果数据库能提供低延时全球化部署能力,是不是能大大简化业务架构呢?
大家仔细想想,这三个效率背后又指向了同一个词“
成本
”。
系统效率
接下来,我就和大家分享,腾讯云数据库怎么打造极致效率来帮助业务降本增效。
传统数据库架构都是基于资源一体化来进行设计的,这种设计在延时上带来好处,但失去了灵活性和弹性,严重影响到了系统的效率。
我们设计了
计算存储分离的云原生架构
,将存储池化,计算无状态化,大幅提升系统资源利用率。架构的变化当然会引入很多新的问题,比如计算存储分离的网路延时问题。除了引入RDMA网络降低网络延时之外。我们还
创新性地引入了多层存储:在计算节点中加入了二级缓存,把热数据缓存在本地,减少远程IO
。存储上,除了多副本机制,我们还实现了
纠删码+压缩功能
,在不降低数据可靠性的前提下,提供了低于1副本的低成本存储能力。
做好系统效率
一定先要保证架构效率
。什么是架构效率呢?举个例子,同样是计算存储分离架构,插入一条1KB记录,需要传输多少数据到后端存储呢?很多产品要传输16KB,放大了15倍,而我们架构设计只需要1KB加几个字节就可以了。
很多时候,架构上带来的量级gap,很难靠软件工程去弥补。所以,我们特别追求架构上的极致效率,因为产品需要有一个优秀基因。
运营效率
关于运营效率,主要和大家分享两个点,
业务连续性和自治
。
针对业务连续性,我们提出了
全景化的业务连续性方案
,引入了
故障预测机制
来提前主动处理潜在隐患。在故障切换时,我们通过
缓存预热
来做到对业务的无损切换。
在故障诊断能力上,结合客户负载变化和多级检测信息,生成
全链路诊断报告
和
根因分析
,提升运维效率并持续发现优化更多异常场景。
相比传统数据库架构,我们
把业务连续故障场景切换耗时降低了74%
。
随着业务规模快速增长,客户多样化,不合理使用数据库的案例越来越多,数据库问题分析和调优工作给我们带来了极大挑战。
怎么解决这个问题呢?我们走上了
AI for system
这条路。通过DB结合AI,用AI替代人工调优、诊断、优化。
我们先从数据库调参开始,通过深度强化学习等AI算法
实现调参无需人为介入
。在此基础上,通过沉淀内部专家经验和结合多种Al算法,做到了调优速度可以通过增加并发度实现准线性的降低。
目前我们支持数千种调参场景、
线上应用性能最高提升235%
,调优时效从原来人工花费几个小时缩短到几分钟,节省人力的同时,也大大降低了调优时长。
以上智能调参成果也被数据库顶会SIGMOD两次录用,点击延伸阅读
《三篇论文入选国际顶会SIGMOD,厉害了腾讯云数据库》
。
业务效率
业务效率上,我们首先想到了云原生最初的核心:
极致弹性,按需付费,不使用不付费
。举个例子,在公有云的实例中,有相当一部分中小规格的长尾业务,比如周期性开发测试、个人博客、低频资料查找等,他们对数据库的使用负载并不高,对使用成本更敏感。
针对这类用户,打破传统固定规格的产品形态,打造根据业务的负载对计算资源
进行自动伸缩,按照实际使用计费,不使用不计费的serverless形态
。为了实现计算资源的自动伸缩,数据库在
启停
方面做了很多优化,保证系统能在几秒内完成停机和重启恢复,提升极致业务体验。
目前我们数据库serverless产品仅在微信生态上就为超过50W小程序开发者提供数据库底座,点击延伸阅读
《腾讯云数据库协同微信云托管,助力业务降本增效》
。
我们发现以社交、游戏、广告为代表的跨国企业在使用数据库时存在一大痛点,业务通常会在全球多地部署应用,例如,游戏出海,玩家在世界各地登陆账号。为了保证登陆体验,会在世界各地部署多个账号数据库,并实现彼此间的数据库同步,这需要大量人力和精力维护。客户亟需一个可以实现全球同步和就近访问的数据库,以此简化应用架构。
针对这个问题,我们即将推出全球数据库功能,
提供跨Region部署能力
,并在各地提供访问点,方便客户就近读写。通过物理日志复制技术,解决了跨地域复制的延时问题。
光为用户提供一个好的数据库引擎还远远不够,要提升业务效率,还需要为用户
提供方便好用的各类SaaS工具
。
腾讯云原生数据库提供了多种SaaS化工具,例如,数据库代理帮助业务高性能应对流量洪峰,数据库自治工具智能调优帮助客户提高整个系统级的SQL性能,数据库加密、备份回档、审计全链路帮助企业数据更安全、更合规。
在
混合负载处理场景
上,我们也进行了一体化的设计,通过一套系统,对业务透明的方式提供OLTP和OLAP两种数据查询能力,目前灰度中,很快会上线。
未来展望
未来我们继续探索
架构的先进性、极致的软件工程能力
。与此同时,我们会深刻理解客户业务场景,把架构能力、软件工程能力覆盖到更多的业务场景中。比如,探索数据模型的融合,一库多用、利用统一框架支撑更多的混合负载处理,来帮助业务降低数据库架构的复杂度,从而提升应用效率。
同样,我们继续践行AI for system,
从外挂智能到内嵌智能,让数据库实现最高级别的自治能力
。我们继续在最优效率的数据库道路上踏步前进。
今天我的分享就到这里了,再次感谢大家和云原生产业大会,谢谢。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!
本帖子中包含更多资源
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
回复
使用道具
举报
0 个回复
倒序浏览
返回列表
快速回复
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
or
立即注册
本版积分规则
发表回复
回帖并转播
回帖后跳转到最后一页
发新帖
回复
傲渊山岳
金牌会员
这个人很懒什么都没写!
楼主热帖
K8S 性能优化 - K8S APIServer 调优 ...
2022你不容错过的软件测试项目实战(we ...
2022年春节后这波疫情对于国内SAP咨询 ...
变量的定义和使用
全球各类卫星遥感图像的下载方法汇总 ...
gRPC之.Net6中的初步使用介绍
Java面向对象--接口和多态
kubernetes top查看内存CPU使用情况 ...
MySQL数据库-数据表
有效字母异位词
标签云
挺好的
服务器
快速回复
返回顶部
返回列表