【云盘算 复习】第1节 云盘算概述和 GFS + chunk

打印 上一主题 下一主题

主题 672|帖子 672|积分 2016

一、云盘算概述

1.云盘算的贸易模式

   
(1)软件即服务(SaaS)

  
有些景区给游客提供烧烤场地,游客需要自己挖坑或者砌烧烤台,然后买肉、串串、烧烤。

  
(2)平台即服务(PaaS)

  
有些景区给游客提供烧烤场地,同时搭建好烧烤台,游客只需要自己带食材和调料、串串、烧烤。

  
(3)基础设施即服务(IaaS)

  
有些景区给游客提供烧烤场地,同时搭建好烧烤台,还有专门的厨师来烧烤,用户不需要关心前面的全部标题,只需要烤好以后直接拿来吃。

  

二、Google文件体系GFS

1.概述

   
(1)大型分布式文件体系。

  
(2)为Google云盘算提供海量存储。

  
(3)处于全部核心技能的底层。

  
(4)Google的GFS接纳便宜的商用机器构建,对硬件设施要求不高。

  
(5)GFS将容错交给文件体系完成,利用软件的方法解决体系可靠性标题

  
(6)命名空间(Name Space),也就是整个文件体系的目录结构。

  

2.由三部门构成:Master,Client,Chunk Server

   
(1)控制流和数据流分离

  
(2)I/O高度并行

  

  

  
3.Chunk Serve:

   
(1)负责具体的存储工作,数据以文件的形式保存,可以有多个,其数目直接决定了GFS的规模。

  
(2)Chunk:GFS将文件按照固定大小分块,每一块称为一个Chunk,默认大小64MB,每个Chunk对应一个索引号。

  
(3)标识chunk的句柄是一个稳定的、全局唯一的64位的ID。

  
(4)Chunk副本的位置信息保存在各个Chunk Server上,在Master启动时或有新的 Chunk参加时,向各个Chunk Server轮询它们所存储的Chunk位置信息。

  
(5)GFS接纳副本的方式实现Chunk Server的容错,每一个Chunk有多个存储副本(默认为三个)。

  
(6)对于每一个Chunk,必须将全部的副本全部写入乐成,才视为乐成写入。

  
(7)相关的副本出现丢失或不可恢复等环境,Master自动将该副本复制到其他 Chunk Server。

  

4.特点

   
(1)接纳中央服务器模式:

  
可以方便地增长Chunk Server,Master掌握体系内全部Chunk Server的环境,方便举行负载均衡,不存在元数据的一致性标题。

  
(2)不缓存数据:

  
客户端的文件操纵大部门是流式读写,不存在大量重复读写,使用Cache对性能提高不大,Chunk Server上数据以文件形式存储,本地的文件体系天然会将其缓存。

  
(3)在用户态下实现:

  
利用POSIX(可移植操纵体系接口)存取数据,不需要了解体系的内部实现机制和接口,低落了实现难度,提高通用性。

  
(4)只提供专用接口:低落了实现难度,不需要在内核级实现,直接在应用层实现。

  

5.体系管理技能

   
(1)大规模集群安装技能:GFS集群中通常有非常多的节点,需要相应的技能支撑。

  
(2)故障检测技能:GFS构建在不可靠便宜盘算机之上的文件体系,由于节点数目众多,故障发生非常频仍。

  
(3)节点动态参加技能:新的Chunk Server参加时,只需裸机参加,大大淘汰GFS维护工作量。

  
(4)节能技能:Google接纳了多种机制低落服务器能耗,如接纳蓄电池取代昂贵的UPS、  48V取代12V电源架构等。

  

三、MapReduce

1.概述:

   
map函数对输入数据举行第一次处理(分类等),输出键值对,然后把这个生成的键值对发给reduce举行二次处理(归并等)。

  

  

、习题

   
第2题 1分
下列不属Google云盘算产品的是( )。
A GFS
B MapReduce
C Bigtable
D SQL Azure

  
答案:D

  

  
第8题 1分
以下( )文件体系接纳便宜的商用机器构建,对硬件设施要求不高。
A GFS(Google FS)
B GFS(Global FS)
C GPFS(General Parallel FS)
D Lustre(Sun FS)

  
答案:A

  

  
第10题 1分
Google文件体系GFS中,数据以( )的形式存在于Chunk Server上。
A 文件
B 链接
C 索引
D 目录

  
答案:A

  

  
第11题 1分
MapReduce中,Map的输出结果是( )。
A 键值对
B 最终结果
C 原始数据
D Key

  
答案:A

  

  
第14题 1分
云盘算是在2006年8月,由( )公司首席执行官提出。
A Google
B 微软
C Amazon
D Tecent

  
答案:A

  

  
第16题 1分
GFS使用( )来实现对GFS Master服务器的选取。
A Bigtable
B Dapper
C MapReduce
D Chubby

  
答案:D

  

  
第20题 1分
将硬件装备等基础资源封装成服务提供给用户使用,基础设施即服务的是( )。
A IaaS
B PaaS
C SaaS
D 以上都不对

  
答案:A

  

  
第21题 3分
云盘算按照服务范例可以分为[填空1]、[填空2]和[填空3]三类。

  
答案:IaaS、PaaS、SaaS

  

  
第22题 1分
MapReduce中,Map的输出结果是[填空1]。

  
答案:键值对

  

  
GFS的默认Chunk大小是[填空1]。

  
答案:64 MB

  

  
第25题 4分
云盘算技能体系结构分为四层,分别是[填空1]、[填空2]、[填空3]和[填空4]。

  
答案:物理资源层、资源池层、管理中间件层、SOA构件层

  

  
第1题 1分
Master是GFS的管理节点,它保存体系的( ),负责整个文件体系的管理。
A 元数据
B 核心数据
C 数据库
D 索引

  
答案:A

  

  
第6题 1分
( )决定了Google文件体系GFS的规模。
A Chunk的数目
B Client的数目
C Chunk Server的数目
D Master的数目

  
答案:C

  

  
1. GFS的三个角色中,需要缓存数据的是(        )

  
A 客户端

  
B 数据库服务器

  
C Chunk Server

  
D  Master

  
答案:D

  
GFS对存储在Master中的元数据接纳缓存策略

  

  
第21题 2分
在用MapReduce框架举行编程的时候,我们使用[填空1]函数来举行映射,使用[填空2]函数举行归并化简。

  
答案:Map、Reduce

  

  
第23题 1分
GFS的设计实现了控制流和[填空1]的分离。

  
答案:数据流

  

  
第25题 1分
Chunk数据块的默认大小为[填空1]MB。

  
答案:64


免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

知者何南

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表