分布式系统及云盘算原理

打印 上一主题 下一主题

主题 912|帖子 912|积分 2740

一、分布式系统的特征

1.1 分布式系统简介

   1.分布式系统界说:    一个其硬件或软件组件  分布  在  连网  的盘算机上,组件之间通过  消息  举行通信或动作协调的系统。     2.显着的特征:  ①并发 ②全局时钟 ③故障独立  性    3.  构造分布式系统的主要动力之一:是来源于  资源共享协作  1.2 部分术语



  •        服务    —    表示盘算机系统中管理相干资源并提供功能给用户和应用的一个单独的部分
  •        服务器    -    ---    是指在连网的盘算机上的一个运行的程序(进程),这个程序接收来自其他盘算机上正在运行的程序的哀求,执行一个服务并得本地做出响应。
  •        客户    ——    发出哀求的进程称为    。(    客户    和    服务器    指的是进程而不是运行    客户    或    服务器    的盘算机   

二、系统模型

2.1 简介

1.分布式系统的困难威胁:①利用模式的多样性 ②系统环境的多样性 ③内部问题 ④外部威胁

2.物理模型:描述系统的最显式的方法,系统的硬件组成

3.体系布局模型:描述系统的盘算元素执行的盘算和通讯使命

2.2 物理模型

   分布式系统的趋势    ◦  泛在互联网技术    ◦  移动和无处不在的盘算    ◦  分布式盘算作为公共设施  -  云盘算  2.3 体系布局模型

1.用独立指定的组件以及这些组件之间的关系来表示的布局
2.主要设计目标:


  • 可靠性
  • 可管理性
  • 适应性
  • 性价比
2.3.1 体系布局四个关键问题



  • 通信的两边参与者具体是什么?
  • 它们如何保持通信,利用什么通信范型?
  • 扮演什么脚色,承担什么责任?
  • 如何被映射到物理分布式基础设施上?
一、体系布局元素——参与者



  • 从系统角度来看,分布式系统中通信的实体通常是进程。
  • 从编程观点来看,进程大概对应了一个对象Object。
二、体系布局元素——通信范型(分布式系统中实体如何通信)



  • 进程间通信
  • 进程调用
  • 间接通信
1.进程间通信:指用于分布式系统进程之间通信的相对底层的支持,包括消息传递原语、直接访问由互联网协议提供的API和对多播通信的支持。
2.长途调用:是分布式系统中最常见的通信范型,覆盖一系列分布式系统中通信实体之间基于双向交换的技术,包括调用长途操作、过程或方法。


  • 长途过程调用(Remote Procedure Call,RPC):长途盘算机上进程中的过程调用与本地调用同等
  • 长途方法调用(Remote Method Invocation, RMI):与长途过程调用类似,但仅应用于分布式对象环境,且底层细节对用户隐蔽
3.间接通信:
(1)通过第三个实体,答应在发送者和接收者之间的深度解耦合


  • 发送者不需要知道正在发送给谁(空间解耦合)
  • 发送者和接收者不需要同时存在(时间解耦合)
(2)组通信


  • 组通信涉及消息传递给若干接收者,是支持一对多通信的多方通信泛型
(3)发布—订阅系统


  • 大量生产者(或发布者)为大量的斲丧者(订阅者)发布他们感兴趣的信息项
  • 关键特征:中间服务---用于确保由生产者天生的信息被路由到需要这个信息的斲丧者
(4) 消息队列


  • 提供点对点服务
  • 生产者发送消息到指定队列,斲丧者能从队列中接收消息,大概被通知队列有消息到达
  (5)分布式共享(外部)存储


  • 进程可以把任意的布局化数据项放到一个持久分布式存储空间,其他进程可以指定感兴趣的模式,从而可以在共享空间读取大概删除数据。
(6)分布式共享内存(Distributed Shared Memory,DSM)


  • 系统提供一种抽象,用于支持在不同共享物理内存的进程之间共享数据
三、体系布局元素——脚色和职责



  • 进程相互交互完成一个有用的活动
  • 进程在系统中扮演给定的脚色
  • 客户---服务器
  

1.C/S模式(主从模式):


  • 直接、简朴,但是伸缩性差
  • 会合化的提供服务和管理
  • 受到盘算机处理资源和网络带宽等资源条件限制大
2.P2P模式(对等体系)


  • 不区分客户和服务器或运行它们的盘算机
  • 所有参与进程运行雷同的程序
  • 而且在相互之间提供雷同的接口集合
  

3.混合模式
对等方式选出主节点,之后采取主从模式
四、体系布局元素——放置placement/映射

1.对象实体如何映射到底层物理分布基础设施
2.物理分布基础设施由大量呆板组成,呆板通过任意复杂的网络互联
3.决定了分布式系统的特性:性能、可靠性、安全性
4.如何放置客户和服务器需要细致设计


  • 思量实体间的通信模式
  • 呆板的可靠性和负载
  • 不同呆板间通信质量
静态映射:映射到多个服务器


  • 对象将分区分部到各个服务器上
  • 在几个主机上分别放置副本

动态映射:移动代码

位置感知的映射:

2.4 故障模型

2.4.1 故障模型



  • 分布式系统中,进程和通信通道都大概出故障

  • 故障模型界说了故障大概发生的方式,以便明白故障所产生的影响



  • 越在外层的错误模型(如Byzantine failure)所作的假设越少,越在内层的错误模型(如Crash failure)所作的假设越多。
  • 一个在内层模型中可行的共识方案未必可以在外层模型中可行。
2.4.2 故障分类

故障分别

表明

Byzantine failure

拜占庭故障

节点可以任意篡改发送给其他节点的数据

Authentication detectable byzantine failure (ADB)

Byzantine failure的特例;节点可以篡改数据,但不能伪造其他

节点的数据

Response failure

响应故障

ADB的特例,节点可以返回错误数据,但只能返回受限的错误

数据

Timing failure

时序/性能故障

偶尔也称为Performance failure性能故障, 服务进程做出了精确的

响应,但是这个响应在错误的时间抵达(过早大概过晚)。比如

网络产生的拥堵、哀求重试等。

Omission failure

遗漏故障

Timing failure的特例;节点收到数据的时间无限晚,即收不到数

据;

对应的 服务器 的响应大概永远无法到达。比如产生了消息丢失。

Crash failure

瓦解故障

Omission failure的特例;在omission failure的基础上,增长了节

点制止响应的假设,也即持续性地omission failure

Fail-stop failure

失败停机故障

Crash failure的特例;在Crash failure的基础上增长了错误可检测

的假设

  灰色部分是值相干故障:节点接收到的数据值发生了故障;
白色部分是时间相干故障:节点接收到数据的事件发生的故障
2.4.3 拜占庭将军问题

只能依靠不可靠通信相互交流,又不知道谁是叛徒,怎么能不受叛徒们的影响,让这些忠诚的将军快速的达到同等的作战计划。
1. 在分布式系统领域, 拜占庭将军问题中的脚色与盘算机世界的对应关系如下:


  • · 将军, 对应盘算机节点;
  • · 忠诚的将军, 对应运行良好的盘算机节点;
  • · 叛变的将军, 被非法控制的盘算机节点;
  • · 信使被杀, 通信故障使得消息丢失;
  • · 信使被间谍更换, 通信被攻击, 攻击者篡改或伪造信息。
拜占庭将军问题提供了对分布式共识问题的一种情景化描述,是分布式系统领域最复杂的模型。

2. 拜占庭问题的重新兴起


  • 拜占庭假设是对现实世界的模型化,由于硬件错误、网络拥塞或断开以及遭到恶意攻击,盘算机和网络大概出现不可预料的举动。
  • 随着比特币和区块链的兴起,这个著名问题又重新被大家广泛研究。
2.4.4 可检测拜占庭问题——Authentication detectable byzantine failure (ADB)



  • 是服务进程偶尔大概会出现 拜占庭问题 ,但是它不会否认自己之前达成的共识。
  • 通常是服务进程瓦解后,马上被重新启动时,会出现该问题,由于在瓦解前会根据当前情况响应一些哀求,但是瓦解重启后,一些未达成共识的状态大概被丢弃,再次举行响应时,大概会跟瓦解的响应不同。
2.4.5 时序故障——忙不外来&时钟错误

对进程执行时间、消息传递时间和时钟漂移率均有要求
  

2.4.6 遗漏故障



  • 是指进程大概通信通道不能完成它应该做的动作,偶尔也翻译为 失效故障;
  • 节点收到数据的时间无限晚,即收不到数据;
  • 对应的 服务器 的响应大概永远无法到达。比如产生了消息丢失。
一、遗漏故障——信息遗漏故障



  • 通信原语send和receive
  • 进程p将消息m插入到它外发消息缓冲区来执行send
  • 通信通道将m传输到q的接受消息缓冲区
  • 进程q通过将m从接受消息缓冲区取走并完成传递来执行receive

如果通信信道不能将消息从p传递到q,那么就产生了遗漏故障(发送遗漏、接受遗漏、通道遗漏)


  • 接收端或中间网关缺乏缓冲区
  • 网络传输错误
二、 遗漏故障Omission failure——丢三落四

遗漏故障Omission failure故障模型的寄义包括两个层面:


  • 针对某个特定消息来说,节点A大概永远无法收到来自节点B回复(即:存在消息丢失)
  • 但对于该消息之后的消息,节点A大概重新收到来自节点B回复(即:恢复对后续消息的响应)



  • 当故障是节点引起时,Omission failure描述了以下场景:节点B在短暂宕机后,又恢复了运转;与此同时,网络一直在正常毗连。
  • 当故障是网络引起时,Omission failure描述了以下场景:网络在短暂断开后,大概又恢复了毗连;但与此同时,节点B一直在正常运转。这种场景实际上是我们熟悉的网络分区(Partition)现象。
也就是说:网络分区故障实际上是Omission failure的一个特例。
2.4.7 瓦解故障、失败制止故障

Crash failures


  • 瓦解故障 就是服务进程制止了任何响应,比如进程瓦解等。  
  • 在omission failure的基础上,增长了节点制止响应的假设,也即持续性地omission failure。
Fail-stop failures


  • 当服务进程进入  瓦解故障 后,而且能够被别的正常服务进程检测到它的故障,则

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

王國慶

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表