一、云盘算概述
1.云盘算的贸易模式
(1)软件即服务(SaaS)
有些景区给游客提供烧烤场地,游客需要自己挖坑或者砌烧烤台,然后买肉、串串、烧烤。
(2)平台即服务(PaaS)
有些景区给游客提供烧烤场地,同时搭建好烧烤台,游客只需要自己带食材和调料、串串、烧烤。
(3)基础设施即服务(IaaS)
有些景区给游客提供烧烤场地,同时搭建好烧烤台,还有专门的厨师来烧烤,用户不需要关心前面的全部标题,只需要烤好以后直接拿来吃。
二、Google文件体系GFS
1.概述
(1)大型分布式文件体系。
(2)为Google云盘算提供海量存储。
(3)处于全部核心技能的底层。
(4)Google的GFS接纳便宜的商用机器构建,对硬件设施要求不高。
(5)GFS将容错交给文件体系完成,利用软件的方法解决体系可靠性标题
(6)命名空间(Name Space),也就是整个文件体系的目录结构。
2.由三部门构成:Master,Client,Chunk Server
(1)控制流和数据流分离
(2)I/O高度并行
3.Chunk Serve:
(1)负责具体的存储工作,数据以文件的形式保存,可以有多个,其数目直接决定了GFS的规模。
(2)Chunk:GFS将文件按照固定大小分块,每一块称为一个Chunk,默认大小64MB,每个Chunk对应一个索引号。
(3)标识chunk的句柄是一个稳定的、全局唯一的64位的ID。
(4)Chunk副本的位置信息保存在各个Chunk Server上,在Master启动时或有新的 Chunk参加时,向各个Chunk Server轮询它们所存储的Chunk位置信息。
(5)GFS接纳副本的方式实现Chunk Server的容错,每一个Chunk有多个存储副本(默认为三个)。
(6)对于每一个Chunk,必须将全部的副本全部写入乐成,才视为乐成写入。
(7)相关的副本出现丢失或不可恢复等环境,Master自动将该副本复制到其他 Chunk Server。
4.特点
(1)接纳中央服务器模式:
可以方便地增长Chunk Server,Master掌握体系内全部Chunk Server的环境,方便举行负载均衡,不存在元数据的一致性标题。
(2)不缓存数据:
客户端的文件操纵大部门是流式读写,不存在大量重复读写,使用Cache对性能提高不大,Chunk Server上数据以文件形式存储,本地的文件体系天然会将其缓存。
(3)在用户态下实现:
利用POSIX(可移植操纵体系接口)存取数据,不需要了解体系的内部实现机制和接口,低落了实现难度,提高通用性。
(4)只提供专用接口:低落了实现难度,不需要在内核级实现,直接在应用层实现。
5.体系管理技能
(1)大规模集群安装技能:GFS集群中通常有非常多的节点,需要相应的技能支撑。
(2)故障检测技能:GFS构建在不可靠便宜盘算机之上的文件体系,由于节点数目众多,故障发生非常频仍。
(3)节点动态参加技能:新的Chunk Server参加时,只需裸机参加,大大淘汰GFS维护工作量。
(4)节能技能:Google接纳了多种机制低落服务器能耗,如接纳蓄电池取代昂贵的UPS、 48V取代12V电源架构等。
三、MapReduce
1.概述:
map函数对输入数据举行第一次处理(分类等),输出键值对,然后把这个生成的键值对发给reduce举行二次处理(归并等)。
四、习题
第2题 1分
下列不属Google云盘算产品的是( )。
A GFS
B MapReduce
C Bigtable
D SQL Azure
答案:D
第8题 1分
以下( )文件体系接纳便宜的商用机器构建,对硬件设施要求不高。
A GFS(Google FS)
B GFS(Global FS)
C GPFS(General Parallel FS)
D Lustre(Sun FS)
答案:A
第10题 1分
Google文件体系GFS中,数据以( )的形式存在于Chunk Server上。
A 文件
B 链接
C 索引
D 目录
答案:A
第11题 1分
MapReduce中,Map的输出结果是( )。
A 键值对
B 最终结果
C 原始数据
D Key
答案:A
第14题 1分
云盘算是在2006年8月,由( )公司首席执行官提出。
A Google
B 微软
C Amazon
D Tecent
答案:A
第16题 1分
GFS使用( )来实现对GFS Master服务器的选取。
A Bigtable
B Dapper
C MapReduce
D Chubby
答案:D
第20题 1分
将硬件装备等基础资源封装成服务提供给用户使用,基础设施即服务的是( )。
A IaaS
B PaaS
C SaaS
D 以上都不对
答案:A
第21题 3分
云盘算按照服务范例可以分为[填空1]、[填空2]和[填空3]三类。
答案:IaaS、PaaS、SaaS
第22题 1分
MapReduce中,Map的输出结果是[填空1]。
答案:键值对
GFS的默认Chunk大小是[填空1]。
答案:64 MB
第25题 4分
云盘算技能体系结构分为四层,分别是[填空1]、[填空2]、[填空3]和[填空4]。
答案:物理资源层、资源池层、管理中间件层、SOA构件层
第1题 1分
Master是GFS的管理节点,它保存体系的( ),负责整个文件体系的管理。
A 元数据
B 核心数据
C 数据库
D 索引
答案:A
第6题 1分
( )决定了Google文件体系GFS的规模。
A Chunk的数目
B Client的数目
C Chunk Server的数目
D Master的数目
答案:C
1. GFS的三个角色中,需要缓存数据的是( )
A 客户端
B 数据库服务器
C Chunk Server
D Master
答案:D
GFS对存储在Master中的元数据接纳缓存策略
第21题 2分
在用MapReduce框架举行编程的时候,我们使用[填空1]函数来举行映射,使用[填空2]函数举行归并化简。
答案:Map、Reduce
第23题 1分
GFS的设计实现了控制流和[填空1]的分离。
答案:数据流
第25题 1分
Chunk数据块的默认大小为[填空1]MB。
答案:64
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |