ToB企服应用市场:ToB评测及商务社交产业平台
标题:
12.SpringCloudAlibabaSentinel实现熔断和限流
[打印本页]
作者:
科技颠覆者
时间:
2024-11-28 22:46
标题:
12.SpringCloudAlibabaSentinel实现熔断和限流
1.Sentinel
1.1 官网
sentinel官网
,类似Spring Cloud Circuit Breaker。
1.2 是什么
面向分布式、多语言异构化服务架构的流量治理组件。
1.3 下载地址
https://github.com/alibaba/Sentinel/releases
1.4 能干吗
Sentinel以流量为切入点,从流量控制、流量路由、熔断降级、系统自适应过载保护、热门流量防护等多个维度保护服务的稳固性。
Sentinel的特征:
丰富的应用场景:Sentinel 承接了阿里巴巴近 10 年的双十一大促流量的核心场景,例如秒杀(即突发流量控制在系统容量可以承受的范围)、消息削峰填谷、集群流量控制、实时熔断卑鄙不可用应用等。
完备的实时监控:Sentinel 同时提供实时的监控功能。您可以在控制台中看到接入应用的单台机器秒级数据,乃至 500 台以下规模的集群的汇总运行环境。
广泛的开源生态:Sentinel 提供开箱即用的与其它开源框架/库的整合模块,例如与 Spring Cloud、Apache Dubbo、gRPC、Quarkus 的整合。您只需要引入相应的依靠并进行简单的设置即可快速地接入 Sentinel。同时 Sentinel 提供 Java/Go/C++ 等多语言的原生实现。
完善的 SPI 扩展机制:Sentinel 提供简单易用、完善的 SPI 扩展接口。您可以通过实现扩展接口来快速地定制逻辑。例如定制规则管理、适配动态数据源等。
Sentinel的紧张特性:
2.服务雪崩、降级、熔断、限流、隔离、超时区别
2.1 服务雪崩
多个微服务之间调用的时候,假设微服务A调用微服务B和微服务C,微服务B和微服务C又调用其它的微服务,这就是所谓的“扇出”。如果扇出的链路上某个微服务的调用响应时间过长大概不可用,对微服务A的调用就会占用越来越多的系统资源,进而引起系统崩溃,所谓的“雪崩效应”。对于高流量的应用来说,单一的后端依靠可能会导致所有服务器上的所有资源都在几秒钟内饱和。比失败更糟糕的是,这些应用程序还可能导致服务之间的延迟增加,备份队列,线程和其他系统资源紧张,导致整个系统发生更多的级联故障。这些都表示需要对故障和延迟进行隔离和管理,以便单个依靠关系的失败,不能取消整个应用程序或系统。
所以,通常当你发现一个模块下的某个实例失败后,这时候这个模块依然还会吸收流量,然后这个有题目的模块还调用了其他的模块,这样就会发生级联故障,大概叫雪崩。
复杂分布式体系结构中的应用程序有数十个依靠关系,每个依靠关系在某些时候将不可避免地失败。
2.2 服务降级
服务降级,说白了就是一种服务托底方案,如果服务无法完成正常的调用流程,就使用默认的托底方案来返回数据。
例如,在商品详情页一般都会展示商品的介绍信息,一旦商品详情页系统出现故障无法调用时,会直接获取缓存中的商品介绍信息返回给前端页面。
2.3 服务熔断
在分布式与微服务系统中,如果卑鄙服务由于访问压力过大导致响应很慢大概一直调用失败时,上游服务为了包管系统的团体可用性,会临时断开与卑鄙服务的调用连接。这种方式就是熔断。
类比保险丝到达最大服务访问后,直接拒绝访问,拉闸限电,然后调用服务降级的方法并返回友好提示。
服务熔断一般环境下会有三种状态:闭合、开启和半熔断;
闭合状态(保险丝闭合通电OK):服务一切正常,没有故障时,上游服务调用卑鄙服务时,不会有任何限制。
开启状态(保险丝断开通电Error):上游服务不再调用卑鄙服务的接口,会直接返回上游服务中预定的方法。
半熔断状态:处于开启状态时,上游服务会根据一定的规则,实验恢复对卑鄙服务的调用。此时,上游服务会以有限的流量来调用卑鄙服务,同时,会监控调用的乐成率。如果乐成率到达预期,则进入关闭状态。如果未到达预期,会重新进入开启状态。
2.4 服务限流
服务限流就是限制进入系统的流量,以防止进入系统的流量过大而压垮系统。其紧张的作用就是保护服务节点大概集群后面的数据节点,防止瞬时流量过大使服务和数据崩溃(如前端缓存大量实效),造成不可用;还可用于平滑请求,类似秒杀高并发等操作,严禁一窝蜂的过来拥挤,大家排队,一秒钟N个,有序进行。
限流算法有两种,一种就是简单的请求总量计数,一种就是时间窗口限流(一般为1s),如令牌桶算法和漏牌桶算法就是时间窗口的限流算法。
2.5 服务隔离
有点类似于系统的垂直拆分,就按照一定的规则将系统划分成多个服务模块,并且每个服务模块之间是互相独立的,不会存在强依靠的关系。如果某个拆分后的服务发生故障后,可以或许将故障产生的影响限制在某个具体的服务内,不会向其他服务扩散,天然也就不会对团体服务产生致命的影响。
互联网行业常用的服务隔离方式有:线程池隔离和信号量隔离。
2.6 服务超时
整个系统接纳分布式和微服务架构后,系统被拆分成一个个小服务,就会存在服务与服务之间互相调用的现象,从而形成一个个调用链。
形成调用链关系的两个服务中,自动调用其他服务接口的服务处于调用链的上游,提供接供词其他服务调用的服务处于调用链的卑鄙。服务超时就是在上游服务调用卑鄙服务时,设置一个最大响应时间,如果超过这个最大响应时间卑鄙服务还未返回结果,则断开上游服务与卑鄙服务之间的请求连接,释放资源。
3.安装Sentinel
3.1 Sentinel组件由2部分组成
Sentinel 分为两个部分:
核心库(Java 客户端)不依靠任何框架/库,可以或许运行于所有 Java 运行时环境,同时对 Dubbo / Spring Cloud 等框架也有较好的支持。
控制台(Dashboard)基于 Spring Boot 开发,打包后可以直接运行,不需要额外的 Tomcat 等应用容器。
3.2 安装步骤
3.2.1 下载
略,见上文1.3的,下载地址。
3.2.2 运行命令
前提:JDK环境OK。8080端口不能占用。
命令:
java -jar sentinel-dashboard-1.8.6.jar
复制代码
3.2.3 访问Sentinel管理界面
http://localhost:8080
登录账号密码均为sentinel
4.微服务8401整合Sentinel入门案例
4.1 启动Nacos8848
启动命令
startup.cmd -m standalone
复制代码
前台界面
http://localhost:8848/nacos
4.2 启动Sentinel8080
java -jar sentinel-dashboard-1.8.6.jar
复制代码
建议,启动命令,固定为start.bat文件。
4.3 新建微服务8401
4.3.1 新建Module
cloudalibaba-sentinel-service8401
4.3.2 POM
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>com.atguigu.cloud</groupId>
<artifactId>cloud</artifactId>
<version>1.0-SNAPSHOT</version>
</parent>
<artifactId>cloudalibaba-sentinel-service8401</artifactId>
<properties>
<maven.compiler.source>17</maven.compiler.source>
<maven.compiler.target>17</maven.compiler.target>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
</properties>
<dependencies>
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-datasource-nacos</artifactId>
</dependency>
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-sentinel</artifactId>
</dependency>
<dependency>
<groupId>com.alibaba.cloud</groupId>
<artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId>
</dependency>
<dependency>
<groupId>com.atguigu.cloud</groupId>
<artifactId>cloud-api-commons</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>cn.hutool</groupId>
<artifactId>hutool-all</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.28</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
复制代码
4.3.3 YML
server:
port: 8401
spring:
application:
name: cloudalibaba-sentinel-service #8401微服务提供者后续将会被纳入阿里巴巴sentinel监管
cloud:
nacos:
discovery:
server-addr: localhost:8848 #Nacos服务注册中心地址
sentinel:
transport:
dashboard: localhost:8080 #配置Sentinel dashboard控制台服务地址
port: 8719 #默认8719端口,假如被占用会自动从8719开始依次+1扫描,直至找到未被占用的端口
复制代码
4.3.4 主启动
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.cloud.client.discovery.EnableDiscoveryClient;
@SpringBootApplication
@EnableDiscoveryClient
public class Main8401 {
public static void main(String[] args) {
SpringApplication.run(Main8401.class, args);
}
}
复制代码
4.3.5 业务类
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
/**
* @auther zzyy
* @create 2023-05-24 15:35
*/
@RestController
public class FlowLimitController{
@GetMapping("/testA")
public String testA(){
return "------testA";
}
@GetMapping("/testB")
public String testB(){
return "------testB";
}
}
复制代码
4.4 启动8401微服务后检察Sentiel控制台
Sentinel接纳的懒加载分析:想使用Sentinel对某个接口进行限流和降级等操作,一定要先访问下接口,使Sentinel检测出相应的接口。
执行一次访问,在Sentinel前台界面,看到。
5.流控规则
5.1 基本介绍
Sentinel可以或许对流量进行控制,紧张是监控应用的QPS流量大概并发线程数等指标,如果到达指定的阈值时,就会被流量进行控制,以避免服务被瞬时的高并发流量击垮,包管服务的高可靠性。参数见最下方:
名称作用1资源名资源的唯一名称,默认就是请求的接口路径,可以自行修改,但是要包管唯一。2针对泉源具体针对某个微服务进行限流,默认值为default,表示不区分泉源,全部限流。3阈值类型QPS表示通过QPS进行限流,并发线程数表示通过并发线程数限流。4单机阈值与阈值类型组合使用。如果阈值类型选择的是QPS,表示当调用接口的QPS到达阈值时,进行限流操作。如果阈值类型选择的是并发线程数,则表示当调用接口的并发线程数到达阈值时,进行限流操作。5是否集群选中则表示集群环境,不选中则表示非集群环境。
5.2 流控模式
5.2.1 直接模式
默认的流控模式,当接口到达限流条件时,直接开启限流功能。
设置
表示1秒钟内查询1次就是OK,若超过次数1,就直接-快速失败,报默认错误。
测试
快速访问http://localhost:8401/testA,结果Blocked by Sentinel (flow limiting)
思考,直接调用默认报错信息,技术方面OK,但是是否该有我们的后续处理,类似fallback的兜底方法。
5.2.2 关联模式
当关联的资源到达阈值时,就限流自己。
设置A
当关联资源/testB的qps阀值超过1时,就限流/testA的Rest访问地址,当关联资源到阈值后限制设置好的资源名,B惹事,A挂了。
使用Jmeter模拟并发密集访问testB
jmeter下载地址
大批量的访问testB,在访问testA会发现A,访问出现Blocked by Sentinel (flow limiting)。
5.2.3 链路模式
来自差别链路的请求对同一目的访问时,实施针对性的差别限流措施,比如C请求来访问就限流,D请求来访问就是OK。
修改
YML
spring:
application:
name: cloudalibaba-sentinel-service #8401微服务提供者后续将会被纳入阿里巴巴sentinel监管
cloud:
nacos:
discovery:
server-addr: localhost:8848 #Nacos服务注册中心地址
sentinel:
transport:
dashboard: localhost:8080 #配置Sentinel dashboard控制台服务地址
port: 8719 #默认8719端口,假如被占用会自动从8719开始依次+1扫描,直至找到未被占用的端口
web-context-unify: false # controller层的方法对service层调用不认为是同一个根链路,新增
复制代码
业务类
FlowLimitController类
/**
* 流控-链路演示demo
* C和D两个请求都访问flowLimitService.common()方法,阈值到达后对C限流,对D不管
*/
@Resource
private FlowLimitService flowLimitService;
/**流控-链路演示demo
* C和D两个请求都访问flowLimitService.common()方法,阈值到达后对C限流,对D不管
*/
@GetMapping("/testC")
public String testC() {
flowLimitService.common();
return "------testC";
}
@GetMapping("/testD")
public String testD() {
flowLimitService.common();
return "------testD";
}
复制代码
FlowLimitService类
import com.alibaba.csp.sentinel.annotation.SentinelResource;
import org.springframework.stereotype.Service;
@Service
public class FlowLimitService {
@SentinelResource(value = "common") #该注解,后面介绍
public void common() {
System.out.println("------FlowLimitService come in");
}
}
复制代码
Sentinel设置
分析:C和D两个请求都访问
flowLimitService
.common()方法,对C限流,对D不管。
测试
C链路,超过每秒1次,限流。D链路OK。
5.3 流控结果
5.3.1 直接
快速失败(默认的流控处理),直接失败,抛出异常,Blocked by Sentinel (flow limiting)。
5.3.2 预热Warm Up
限流 冷启动:当流量忽然增大的时候,会希望系统从空闲状态到繁忙状态的切换的时间长一些。
公式:阈值除以冷却因子coldFactor(默认值3),经过预热时长后才会到达阈值。
官网:Warm Up(RuleConstant.CONTROL_BEHAVIOR_WARM_UP)方式,即预热/冷启动方式。当系统长期处于低水位的环境下,当流量忽然增加时,直接把系统拉升到高水位可能刹时把系统压垮。通过"冷启动",让通过的流量迟钝增加,在一定时间内逐渐增加到阈值上限,给冷系统一个预热的时间,避免冷系统被压垮。详细文档可以参考
流量控制 - Warm Up 文档
,具体的例子可以参见
WarmUpFlowDemo
。
源码:
public class WarmUpController implements TrafficShapingController {
protected double count;
private int coldFactor;
protected int warningToken = 0;
private int maxToken;
protected double slope;
protected AtomicLong storedTokens = new AtomicLong(0);
protected AtomicLong lastFilledTime = new AtomicLong(0);
public WarmUpController(double count, int warmUpPeriodInSec, int coldFactor) {
construct(count, warmUpPeriodInSec, coldFactor);
}
public WarmUpController(double count, int warmUpPeriodInSec) {
construct(count, warmUpPeriodInSec, 3);
}
...
}
复制代码
WarmUp设置
默认 coldFactor 为 3,即请求QPS从(threshold / 3) 开始,经多少预热时长才逐渐升至设定的 QPS 阈值。
案例,单机阈值为10,预热时长设置5秒。系统初始化的阈值为10 / 3 约等于3,即单机阈值刚开始为3(我们人工设定单机阈值是10,sentinel计算后QPS判断为3开始);然后过了5秒后阀值才慢慢升高恢复到设置的单机阈值10,也就是说5秒钟内QPS为3,过了保护期5秒后QPS为10
应用场景:秒杀系统在开启的刹时,会有很多流量上来,很有可能把系统打死,预热方式就是把为了保护系统,可慢慢的把流量放进来,慢慢的把阈值增长到设置的阈值。
5.3.3 排队等待
这种方式紧张用于处理间隔性突发的流量,例如消息队列。想象一下这样的场景,在某一秒有大量的请求到来,而接下来的几秒则处于空闲状态,我们希望系统可以或许在接下来的空闲期间逐渐处理这些请求,而不是在第一秒直接拒绝多余的请求。
留意:匀速排队模式临时不支持 QPS > 1000 的场景。
修改FlowLimitController
@GetMapping("/testE")
public String testE()
{
System.out.println(System.currentTimeMillis()+" testE,排队等待");
return "------testE";
}
复制代码
按照单机阈值,一秒钟通过一个请求,10秒后的请求作为超时处理,放弃。
5.4 流控结果(并发线程数)
Jmeter模拟多个线程并发,循环请求。
Jmeter打满了,只有Jmeter线程切换,系统判断没访问时,才能访问到。
6.熔断规则
6.1 官网
https://github.com/alibaba/Sentinel/wiki/熔断降级
6.2 基本介绍
Sentinel 熔断降级会在调用链路中某个资源出现不稳固状态时(例如调用超时或异常比例升高),对这个资源的调用进行限制,让请求快速失败,避免影响到其它的资源而导致级联错误。当资源被降级后,在接下来的降级时间窗口之内,对该资源的调用都自动熔断(默认行为是抛出 DegradeException)。
6.3 熔断规则实战
6.3.1 慢调用比例
慢调用比例 (SLOW_REQUEST_RATIO):选择以慢调用比例作为阈值,需要设置答应的慢调用 RT(即最大的响应时间),请求的响应时间大于该值则统计为慢调用。当单位统计时长(statIntervalMs)内请求数目大于设置的最小请求数目,并且慢调用的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态(HALF-OPEN 状态),若接下来的一个请求响应时间小于设置的慢调用 RT 则结束熔断,若大于设置的慢调用 RT 则会再次被熔断。
6.3.2 名词解释
进入熔断状态判断依据:
在统计时长内,现实请求数目>设定的最小请求数且现实慢调用比例>比例阈值 ,进入熔断状态。
1.调用:一个请求发送到服务器,服务器给与响应,一个响应就是一个调用。
2.最大RT(Response Time):即最大的响应时间,指系统对请求作出响应的业务处理时间。
3.慢调用:处理业务逻辑的现实时间>设置的最大RT时间,这个调用叫做慢调用。
4.慢调用比例:在所以调用中,慢调用占有现实的比例=慢调用次数/总调用次数。
5.比例阈值:自己设定的 , 比例阈值=慢调用次数/调用次数。
6.统计时长:时间的判断依据。
7.最小请求数:设置的调用最小请求数,上图比如1秒钟打进来10个线程(大于我们设置的5个了)调用被触发。
6.3.3 触发条件 + 熔断状态
熔断状态(保险丝跳闸断电,不可访问):在接下来的熔断时长内请求会自动被熔断。
探测恢复状态(探路前锋):熔断时长结束后进入探测恢复状态。
结束熔断(保险丝闭合恢复,可以访问):在探测恢复状态,如果接下来的一个请求响应时间小于设置的慢调用 RT,则结束熔断,否则继续熔断。
6.3.4 测试
/**
* 新增熔断规则-慢调用比例
* @return
*/
@GetMapping("/testF")
public String testF()
{
//暂停几秒钟线程
try { TimeUnit.SECONDS.sleep(1); } catch (InterruptedException e) { e.printStackTrace(); }
System.out.println("----测试:新增熔断规则-慢调用比例 ");
return "------testF 新增熔断规则-慢调用比例";
}
复制代码
按照上述设置,熔断触发:
多次循环,一秒钟打进来10个线程(大于5个了)调用/testF,我们希望200毫秒处理完一次调用,和谐系统;
假如在统计时长内,现实请求数目>最小请求数且慢调用比例>比例阈值 ,断路器打开(保险丝跳闸)微服务不可用(Blocked by Sentinel (flow limiting)),进入熔断状态5秒;
后续我制止jmeter,没有这么大的访问量了,单独用浏览器访问rest地址,断路器关闭(保险丝恢复,合上闸口),微服务恢复OK。
6.3.5 异常比例
异常比例 (ERROR_RATIO):当单位统计时长(statIntervalMs)内请求数目大于设置的最小请求数目,并且异常的比例大于阈值,则接下来的熔断时长内请求会自动被熔断。经过熔断时长后熔断器会进入探测恢复状态(HALF-OPEN 状态),若接下来的一个请求乐成完成(没有错误)则结束熔断,否则会再次被熔断。异常比率的阈值范围是 [0.0, 1.0],代表 0% - 100%
6.3.6 测试
/**
* 新增熔断规则-异常比例
* @return
*/
@GetMapping("/testG")
public String testG()
{
System.out.println("----测试:新增熔断规则-异常比例 ");
int age = 10/0;
return "------testG,新增熔断规则-异常比例 ";
}
复制代码
按照上述设置,单独访问一次,必然来一次报错一次(int age = 10/0)到达100%,调一次错一次报错error;
开启jmeter后,直接高并发发送请求,多次调用到达我们的设置条件了。
断路器开启(保险丝跳闸),微服务不可用了,不再报错error而是服务熔断+服务降级,出提示Blocked by Sentinel (flow limiting)。
6.3.7 异常数
异常数 (ERROR_COUNT):当单位统计时长内的异常数目超过阈值之后会自动进行熔断。经过熔断时长后熔断器会进入探测恢复状态(HALF-OPEN 状态),若接下来的一个请求乐成完成(没有错误)则结束熔断,否则会再次被熔断。
6.3.7 测试
/**
* 新增熔断规则-异常数
* @return
*/
@GetMapping("/testH")
public String testH()
{
System.out.println("----测试:新增熔断规则-异常数 ");
int age = 10/0;
return "------testH,新增熔断规则-异常数 ";
}
复制代码
http://localhost:8401/testH
,第一次访问绝对报错,由于除数不能为零,我们看到error窗口;开启jmeter后,直接高并发发送请求,多次调用到达我们的设置条件了。
上述设置表示,在1秒钟内最少请求2次,当异常数大于1时,会触发熔断操作断路器开启(保险丝跳闸),微服务不可用了,熔断的时长为5秒,不再报错error,而是服务降级了出提示Blocked by Sentinel (flow limiting)
7.@SentinelResource
7.1 是什么
SentinelResource是一个流量防卫组件的注解,用于标识防护资源,方便对资源进行流量控制,熔断降级等功能。
7.2 注解分析
[code]@Target({ElementType.METHOD, ElementType.TYPE})@Retention(RetentionPolicy.RUNTIME)@Inheritedpublic @interface SentinelResource { //资源名称 String value() default ""; //entry类型,标记流量的方向,取值IN/OUT,默认是OUT EntryType entryType() default EntryType.OUT; //资源分类 int resourceType() default 0; /** * 处理BlockException的函数名称,函数要求: * 1. 必须是 public * 2.返回类型 参数与原方法同等 * 3. 默认需和原方法在同一个类中。若希望使用其他类的函数,可设置blockHandlerClass ,并指定blockHandlerClass内里的方法。 */ String blockHandler() default ""; //存放blockHandler的类,对应的处理函数必须static修饰。 Class[] blockHandlerClass() default {}; /** * 用于在抛出异常的时候提供fallback处理逻辑。 fallback函数可以针对所 * 有类型的异常(除了 exceptionsToIgnore 内里排除掉的异常类型)进行处理。函数要求: * 1. 返回类型与原方法同等 * 2. 参数类型需要和原方法相匹配 * 3. 默认需和原方法在同一个类中。若希望使用其他类的函数,可设置fallbackClass ,并指定fallbackClass内里的方法。 */ String fallback() default ""; //存放fallback的类。对应的处理函数必须static修饰。 String defaultFallback() default ""; /** * 用于通用的 fallback 逻辑。默认fallback函数可以针对所有类型的异常进 * 行处理。若同时设置了 fallback 和 defaultFallback,以fallback为准。函数要求: * 1. 返回类型与原方法同等 * 2. 方法参数列表为空,大概有一个 Throwable 类型的参数。 * 3. 默认需要和原方法在同一个类中。若希望使用其他类的函数,可设置fallbackClass ,并指定 fallbackClass 内里的方法。 */ Class[] fallbackClass() default {}; //需要trace的异常 Class
欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)
Powered by Discuz! X3.4