【云盘算 复习】第1节 云盘算概述和 GFS + chunk
一、云盘算概述1.云盘算的贸易模式
（1）软件即服务（SaaS）
有些景区给游客提供烧烤场地，游客需要自己挖坑或者砌烧烤台，然后买肉、串串、烧烤。
（2）平台即服务（PaaS）
有些景区给游客提供烧烤场地，同时搭建好烧烤台，游客只需要自己带食材和调料、串串、烧烤。
（3）基础设施即服务（IaaS）
有些景区给游客提供烧烤场地，同时搭建好烧烤台，还有专门的厨师来烧烤，用户不需要关心前面的全部标题，只需要烤好以后直接拿来吃。
二、Google文件体系GFS
1.概述
（1）大型分布式文件体系。
（2）为Google云盘算提供海量存储。
（3）处于全部核心技能的底层。
（4）Google的GFS接纳便宜的商用机器构建，对硬件设施要求不高。
（5）GFS将容错交给文件体系完成，利用软件的方法解决体系可靠性标题
（6）命名空间（Name Space），也就是整个文件体系的目录结构。
2.由三部门构成：Master，Client，Chunk Server
（1）控制流和数据流分离
（2）I/O高度并行
https://img-blog.csdnimg.cn/direct/c0b0f9c123a94021ba5a34a761020db4.png
3.Chunk Serve：
（1）负责具体的存储工作，数据以文件的形式保存，可以有多个，其数目直接决定了GFS的规模。
（2）Chunk：GFS将文件按照固定大小分块，每一块称为一个Chunk，默认大小64MB，每个Chunk对应一个索引号。
（3）标识chunk的句柄是一个稳定的、全局唯一的64位的ID。
（4）Chunk副本的位置信息保存在各个Chunk Server上，在Master启动时或有新的 Chunk参加时，向各个Chunk Server轮询它们所存储的Chunk位置信息。
（5）GFS接纳副本的方式实现Chunk Server的容错，每一个Chunk有多个存储副本（默认为三个）。
（6）对于每一个Chunk，必须将全部的副本全部写入乐成，才视为乐成写入。
（7）相关的副本出现丢失或不可恢复等环境，Master自动将该副本复制到其他 Chunk Server。
4.特点
（1）接纳中央服务器模式：
可以方便地增长Chunk Server，Master掌握体系内全部Chunk Server的环境，方便举行负载均衡，不存在元数据的一致性标题。
（2）不缓存数据：
客户端的文件操纵大部门是流式读写，不存在大量重复读写，使用Cache对性能提高不大，Chunk Server上数据以文件形式存储，本地的文件体系天然会将其缓存。
（3）在用户态下实现：
利用POSIX（可移植操纵体系接口）存取数据，不需要了解体系的内部实现机制和接口，低落了实现难度，提高通用性。
（4）只提供专用接口：低落了实现难度，不需要在内核级实现，直接在应用层实现。
5.体系管理技能
（1）大规模集群安装技能：GFS集群中通常有非常多的节点，需要相应的技能支撑。
（2）故障检测技能：GFS构建在不可靠便宜盘算机之上的文件体系，由于节点数目众多，故障发生非常频仍。
（3）节点动态参加技能：新的Chunk Server参加时，只需裸机参加，大大淘汰GFS维护工作量。
（4）节能技能：Google接纳了多种机制低落服务器能耗，如接纳蓄电池取代昂贵的UPS、 48V取代12V电源架构等。
三、MapReduce
1.概述：
map函数对输入数据举行第一次处理（分类等），输出键值对，然后把这个生成的键值对发给reduce举行二次处理（归并等）。
https://img-blog.csdnimg.cn/direct/c89acf61b4a249f2b384f7d645d90a2d.png
四、习题
第2题 1分
下列不属Google云盘算产品的是（ ）。
A GFS
B MapReduce
C Bigtable
D SQL Azure
答案：D
第8题 1分
以下（ ）文件体系接纳便宜的商用机器构建，对硬件设施要求不高。
A GFS(Google FS)
B GFS(Global FS)
C GPFS(General Parallel FS)
D Lustre(Sun FS)
答案：A
第10题 1分
Google文件体系GFS中，数据以（ ）的形式存在于Chunk Server上。
A 文件
B 链接
C 索引
D 目录
答案：A
第11题 1分
MapReduce中，Map的输出结果是（ ）。
A 键值对
B 最终结果
C 原始数据
D Key
答案：A
第14题 1分
云盘算是在2006年8月，由（ ）公司首席执行官提出。
A Google
B 微软
C Amazon
D Tecent
答案：A
第16题 1分
GFS使用（ ）来实现对GFS Master服务器的选取。
A Bigtable
B Dapper
C MapReduce
D Chubby
答案：D
第20题 1分
将硬件装备等基础资源封装成服务提供给用户使用，基础设施即服务的是（ ）。
A IaaS
B PaaS
C SaaS
D 以上都不对
答案：A
第21题 3分
云盘算按照服务范例可以分为[填空1]、[填空2]和[填空3]三类。
答案：IaaS、PaaS、SaaS
第22题 1分
MapReduce中，Map的输出结果是[填空1]。
答案：键值对
GFS的默认Chunk大小是[填空1]。
答案：64 MB
第25题 4分
云盘算技能体系结构分为四层，分别是[填空1]、[填空2]、[填空3]和[填空4]。
答案：物理资源层、资源池层、管理中间件层、SOA构件层
第1题 1分
Master是GFS的管理节点，它保存体系的（ ）,负责整个文件体系的管理。
A 元数据
B 核心数据
C 数据库
D 索引
答案：A
第6题 1分
（ ）决定了Google文件体系GFS的规模。
A Chunk的数目
B Client的数目
C Chunk Server的数目
D Master的数目
答案：C
1. GFS的三个角色中，需要缓存数据的是( )
A 客户端
B 数据库服务器
C Chunk Server
D Master
答案：D
GFS对存储在Master中的元数据接纳缓存策略
第21题 2分
在用MapReduce框架举行编程的时候，我们使用[填空1]函数来举行映射，使用[填空2]函数举行归并化简。
答案：Map、Reduce
第23题 1分
GFS的设计实现了控制流和[填空1]的分离。
答案：数据流
第25题 1分
Chunk数据块的默认大小为[填空1]MB。
答案：64
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]