我的Serverless实战——引领云盘算的下一个十年(2),2024年最新我在美团大
培养自己的Serverless头脑与认知以前很多开发者都是接纳的单体架构,为了保证服务的稳固性,只需要维护一台服务器及数据库就可以啦,但是随着业务的增长会面对两个问题,假如流量比力大,这个服务器可能顶不住这么大的流量,其次硬件啥的破坏也会导致整个系统瘫痪。
https://img-blog.csdnimg.cn/20210508224719592.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
解决这个问题的办法就是使用负载均衡,分担各个服务器的压力。然后整个系统就有一定的水平伸缩能力,假如一台服务器坏了,其它的服务器也能正常运行,保证系统稳固运行。
https://img-blog.csdnimg.cn/20210508225558426.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
随着业务的进一步增长,增长大量的开发职员行止置惩罚这种单体应用,就会出现大量的辩说问题,这个就需要管理者举行人工协调,公司团体研发服从比力低,后台大家想到一个好办法就是把这个单体应用分为一个个独立开发、测试及摆设。每个环节都是独立而又有一定的联系,这个就是微服务的雏形。服务和服务之间接纳API通信,这种微服务架构大大提拔了研发职员的工作服从。
再到厥后,估计大家都有所相识,假如从物理的角度思考这个问题就会发现分布式的一些困难与挑战,比如大家使用分布式服务及框架,使用一些Redis缓存、设置服务ACM以及分布式追踪系统等。这个微服务架构给运维也带来不少的难题,感觉运维大哥都快玉成能底层人才了,以前运维只需要维护一个应用,如今估计一个人都得看几十个、几百个应用。对应用分发、主动化弹性等能力有一定的要求。
https://img-blog.csdnimg.cn/20210508230949898.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
如今很多人都谈云盘算,云架构,简朴理解就是这个架构长在“云”上就是云架构。 有了应用分发的标准和生命周期的标准,云就能提供标准化的应用托管服务。在整个架构的演变的过程中,我们发现,研发运维职员希望用平台系统的去管理机器,而不是人去管理这些个玩意。这可能就是server is less.
Serverless的使用代价及常见的架构模式
我们抛去这些抽象的概念,看一下这个Serverless的使用代价紧张有以下几点:
1.不用过多的关注服务器。
(Serverless平台具备主动识别故障,移除故障的能力)
2.主动弹性。
(Serverless平台主动实时稳固的实现主动弹性)
3.按照现实资源的消耗举行计费。
(Serverless模式下,按照现实消耗资源及使用存储举行计费)
4.更少的代码,更快的交付速率。
(Serverless提供成熟的代码构建发布、版本切换等特性,交付速率更快)
https://img-blog.csdnimg.cn/20210508232820726.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
Serverless由开发者实现的服务端逻辑运行在无状态的盘算容器中,它由事件触发, 完全被第三方管理,其业务层面的状态则被开发者使用的数据库和存储资源所记载。Serverless涵盖了很多技能,分为两类:FaaS和BaaS。
FaaS(Function as a Service,函数即服务)
FaaS意在无须自行管理服务器系统或自己的服务器应用程序,即可直接运行后端代码。此中所指的服务器应用程序,是该技能与容器和PaaS(平台即服务)等其他现代化架构最大的差异。
FaaS可以代替一些服务处置惩罚服务器(可能是物理盘算机,但绝对需要运行某种应用程序),这样不仅不需要自行供应服务器,也不需要全时运行应用程序。
FaaS产物不要求必须使用特定框架或库举行开发。在语言和情况方面,FaaS函数就是常规的应用程序。比方AWS Lambda的函数可以通过Javascript、Python以及任何JVM语言(Java、Clojure、Scala)等实现。然而Lambda函数也可以实行任何捆绑有所需摆设构件的历程,因此可以使用任何语言,只要能编译为Unix历程即可。FaaS函数在架构方面确实存在一定的局限,尤其是在状态和实行时间方面。
在迁往FaaS的过程中,唯一需要修改的代码是“主方法/启动”代码,此中可能需要删除顶级消息处置惩罚程序的相关代码(“消息监听器接口”的实现),但这可能只需要更改方法签名即可。在FaaS的世界中,代码的别的所有部门(比方向数据库实行写入的代码)无须任何变革。
相比传统系统,摆设方法会有较大变革 – 将代码上传至FaaS供应商,其他事变均可由供应商完成。现在这种方式通常意味着需要上传代码的全新定义(比方上传zip或JAR文件),随后调用一个专有API发起更新过程。
FaaS中的函数可以通过供应商定义的事件类型触发。对于亚马逊AWS,此类触发事件可以包罗S3(文件)更新、时间(筹划任务),以及加入消息总线的消息(比方Kinesis)。通常你的函数需要通过参数指定自己需要绑定到的事件源。
大部门供应商还答应函数作为对传入Http请求的响应来触发,通常这类请求来自某种该类型的API网关(比方AWS API网关、Webtask)。
BaaS(Backend as a Service,后端即服务)
BaaS(Backend as a Service,后端即服务)是指我们不再编写或管理所有服务端组件,可以使用范畴通用的远程组件(而不是历程内的库)来提供服务。理解BaaS,需要搞清晰它与PaaS的区别。
首先BaaS并非PaaS,它们的区别在于:PaaS需要到场应用的生命周期管理,BaaS则仅仅提供应用依赖的第三方服务。典范的PaaS平台需要提供手段让开发者摆设和设置应用,比方主动将应用摆设到Tomcat容器中,并管理应用的生命周期。BaaS不包含这些内容,BaaS只以API的方式提供应用依赖的后端服务,比方数据库和对象存储。BaaS可以是公共云服务商提供的,也可以是第三方厂商提供的。其次从功能上讲,BaaS可以看作PaaS的一个子集,即提供第三方依赖组件的部门。
BaaS服务还答应我们依赖其他人已经实现的应用逻辑。对于这点,认证就是一个很好的例子。很多应用都要自己编写实现注册、登录、暗码管理等逻辑的代码,而对于不同的应用这些代码往往大同小异。完全可以把这些重复性的工作提取出来,再做成外部服务,而这正是Auth0和Amazon Cognito等产物的目标。它们能实现全面的认证和用户管理,开发团队再也不用自己编写或者管理实现这些功能的代码。
函数盘算介绍及其应用
https://img-blog.csdnimg.cn/20210508233028419.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
从用户角度,他需要做的只是编码,然后把代码上传到函数盘算中。上传代码就意味着应用摆设。当有高并发请求涌入时,开发者也无需手动扩容,函数盘算会根据请求量毫秒级主动扩容,弹性可靠地运行任务,并内置日志查询、性能监控、报警等功能帮助开发者发现问题并定位问题。
https://img-blog.csdnimg.cn/20210508233212602.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
函数盘算是事件驱动的无服务器应用,事件驱动是说可以通过事件源主动触发函数实行,比如当有对象上传至OSS中时,主动触发函数,对新上传的图片举行处置惩罚函数盘算支持丰富的事件源类型,包罗日志服务、对象存储、表格存储、消息服务、API网关、CDN等。
https://img-blog.csdnimg.cn/20210508233339835.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
除了事件触发外,也可以直接通过API/SDK直接调用函数。调用可以分为同步调用与异步调用,当请求到达函数盘算后,函数盘算会为请求分配实行情况,假如是异步调用,函数盘算会将请求事件存入队列中,等待消费。
函数的测试与摆设
服务是函数盘算资源管理的单元,同一个服务下有很多函数,这些函数共享服务的网络 设置、权限设置、存储设置、日志设置。 服务可以对应成一个“应用”,这个应用由很多函数共同组成,这些函数具有相同的访 问权限、网络设置,日志也记载到相同的 logstore。这些函数本身的设置可以各不相同, 比如同一服务下有的函数内存是 3G,有的函数内存是 512M,有些函数用 Python 写, 有些函数用 Node.js 写。
开发流程
https://img-blog.csdnimg.cn/20210508233818725.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
函数测试部门,Serverless轻菲薄弱一点,软肋,这个调试一般可以接纳云调试、下令行工具、VSCode 插件、无工具调试等方式,具体怎么调试我就不一一说明白,有爱好的可以实验一下。
https://img-blog.csdnimg.cn/2021050823444332.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
至于摆设,比力简朴,我们可以使用在线摆设、客户端摆设(通过下令行工具、通过 VSCode 插件)。下令行工具的 - h 指令真的很棒, 无论使用什么指令,我们都可以通过 - h 查看到使用方法。
https://img-blog.csdnimg.cn/20210508234711413.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzNzU1Mg==,size_16,color_FFFFFF,t_70
Serverless容器服务及摆设
自我介绍一下,小编13年上海交大结业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到如今。
深知大多数大数据工程师,想要提拔技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技能停滞不前!
因此网络整理了一份《2024年大数据全套学习资料》,初志也很简朴,就是希望能够帮助到想自学提拔又不知道该从何学起的朋侪。
https://img-blog.csdnimg.cn/img_convert/8094ee2eacda52db4dfd45f06a04f57e.png
https://img-blog.csdnimg.cn/img_convert/57f15c7bfb9b3526912c2c4c4e25d79b.png
https://img-blog.csdnimg.cn/img_convert/04615a750026fff5ea3402e58a45e484.png
https://img-blog.csdnimg.cn/img_convert/28ca48e22a99ec678f73ab082920c81a.png
https://img-blog.csdnimg.cn/img_convert/f758ebf476627bbbb9a5a7cb7cbb1aeb.png
既有适合小白学习的零底子资料,也有适合3年以上经验的小伙伴深入学习提拔的进阶课程,根本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比力大,这里只是将部门目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码课本、实战项目、解说视频,而且后续会连续更新
假如你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
https://img-blog.csdnimg.cn/img_convert/232f551b8363b3b3b877d197ec36f54f.png
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感爱好的新人,都接待扫码加入我们的的圈子(技能交流、学习资源、职场吐槽、大厂内推、口试辅导),让我们一起学习成长!
解说视频,而且后续会连续更新**
假如你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-8Szta4Xf-1713032412356)]
一个人可以走的很快,但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感爱好的新人,都接待扫码加入我们的的圈子(技能交流、学习资源、职场吐槽、大厂内推、口试辅导),让我们一起学习成长!
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]