云计算知识点

云计算知识点-CSDN博客
云计算选择题及答案-CSDN博客
云计算试题及答案-CSDN博客
云计算简答题-CSDN博客
云计算简答题（二）-CSDN博客
云计算单选题及答案-CSDN博客
云计算多选题及答案-CSDN博客
云计算选择题（二）-CSDN博客

• 简述AWS的EC2，S3，VPC的基本功能，以及如何利用EC2访问S3，如安在VPC中摆设EC2
  

EC2是AWS最早提供的IaaS云计算服务，它具有任何一台个人PC所具备的功能。根用户可以完全控制EC2实例。与个人PC可以摆设在局域网中类似，EC2可以被摆设在AWS的VPC中。 S3是AWS继EC2之后推出的又一个IaaS云计算服务。用户无需自选区域（AWS region），由AWS主动就近分配一个region。因此，EC2访问S3，需要通过网络，以及权限认证。这个认证方式，可以是密钥的形式，也可以是通过AWS IAM 角色的分配来实现。 VPC是AWS为用户提供的私有网络设置，通过对外的Internet网关和对内的弹性网络接口实现内网的联通和外网的访问。 利用EC2访问S3： （1）进入IAM设置界面，创建策略 （2）进入角色设置界面，关联创建的策略 （3）将创建的角色附加到EC2 在VPC中摆设EC2： （1）创建一个VPC （2）为路由表添加子网 （3）创建一个VPC安全组 （4）在VPC上运行EC2实例

• 简述非对称加密如何保护数据的真实性。
  

在非对称加密算法中，有公钥和私钥两种密钥，此中，公钥是公开的，不需要保密，私钥由个人持有，必须妥善保管和留意保密。加密息争密利用两种不同的密钥，是它得名的缘故原由。 公钥私钥的利用原则 ①每一个公钥都对应一个私钥。 ②密钥对中，让大家都知道的是公钥，不告诉大家，只有自己知道的，是私钥。 ③如果用此中一个密钥加密数据，则只有对应的谁人密钥才可以解密。 ④如果用此中一个密钥可以举行解密数据，则该数据一定是对应的谁人密钥举行的加密。 信息交换的基本过程： A（客户）想给B（服务器）发送一段文字，但是不想让别人看到，因此想利用非对称加密方法来加密这段文字，当然，B需要有一对公钥和私钥： ① B将他的公钥发送给A ② A用B给他的公钥加密这段文字，然后传给B ③ B用他的私钥解密A发过来的消息，这里要夸大的是，只要B的私钥不泄漏，这封信就是安全的，即使落在别人手里，也无法解密。 通过这几步，B就能乐成收到A发送的信息，同时又到达了保密的目的。 反之，如果B利用私钥加密，A利用公钥解密，如果能解开就代表这串信息来自于B，保证了信息的真实性。

• GFS的写利用如何实现原子性与划一性？
  

GFS的写利用分为write类型利用和append类型的利用。Write类型的写利用，不具备原子性，因此，单用户的一个乐成的write利用具有划一性和界定性，但多用户并发的write利用如果乐成，是不具界定性的划一。append类型的写利用，具备原子性，因此，无论单用户照旧多用户并发，都具有界定性，但是会夹杂着不划一的数据。
4.试形貌MapReduce的Shuffle过程
分Map阶段的Shuffle和Reduce阶段的Shuffle。此中，map阶段的shuffle包括分区、溢写、排序、合并、归并等子过程，reduce阶段的Shuffle包括溢写和归并。可分别简单形貌一下各自过程。

• 简述HDFS的优缺点。
  

HDFS的优点：
高容错性。2）恰当大数据处置惩罚。3）流式文件访问。4）可构建在便宜的呆板上。
HDFS的缺点：
1）不恰当低延时数据访问。2）不恰当大量小文件的存储。3）不恰当并发写入、文件随机修改。

• 简述MapReduce的基本设计思想。
  

1）分而治之
对大数据并行处置惩罚采用“分而治之”的设计思想。如果一个大数据文件可以分为具有同样计算过程的多个数据块，并且这些数据块之间不存在数据依靠关系，那么进步处置惩罚速度的最好办法就是采用“分而治之”的策略对数据举行并行化计算。
2）抽象成模型
MapReduce把函数式编程思想构件成抽象模型-Map和Reduce。MapReduce借鉴了函数式程序设计语言Lisp中的函数式编程思想定义了Map和Reduce两个抽象类，程序员只需要实现这两个抽象类，然后根据不同的业务逻辑实现具体的map函数和reduce函数即可快速完成并行化程序的编写。
上升到架构
MapReduce以统一架构为程序员隐蔽系统底层细节。并行计算方法一样寻常缺少统一的计算框架支持

• 请简答ACID和BASE的寄义
  

ACID是传统的关系数据库特性，包括原子性(事务中的事务要么都做，要么都不做)，划一性(系统必须处于强划一性状态)，隔离性(一个事务的执行不能被其他事务干扰)和持久性(一个已提交的事务对数据库中的数据改变是永世性的)。 
BASE是云计算环境下的数据存储特性，包括基本可用性(系统可以或许基本运行，一直提供服务)，柔性状态(系统不需要一直保持强划一状态)和最终划一性(系统在某一时刻后到达划一性要求)。从分布式领域的CAP理论角度看，ACID追求划一性，BASE更加关注可用性。

• 如果一个Job有N给63m的小文件构成，请计算最少需要多少个map任务节点
  

在split与block大小不同时，Hadoop提供另一种计算map任务数的方法：a.默认的map数default_num=tal_size/block_size;b.可以通过mapred.map.tasks设置渴望的map数，但是这个数只有在大于default_num时才会见效;goal_num=pred.map.tasks;c.可以通过mapred.min.split.size设置每个task处置惩罚的split大小，但是这个数只有在大于block的时候才会有效。split_size=x(mapred.min.split.size,block_size);split_num=tal_size/split_size;d.compute_map_num=n(split_num,max(default_num,goal_num));e.final_map_num=x(compute_map_num,input_file_num); 
因此，如果想减少map数，可以把mapred.min.split.size设置的大一些；然而，如果要处置惩罚许多个小文件，依然想减少map数，则需要把n个小文件合并为一个大文件，再将mapred.min.split.size调大一点才能实现

• 请简介AWS对于身份与访问管理云安全机制的具体实现。
  

AWS的IAM是一种Web服务，可以帮助AWS客户安全地控制对AWS资源的访问。AWS客户可以利用IAM控制对哪个用户举行身份验证和授权以利用资源。当AWS客户初次创建AWS账户时，最初利用的是一个对账户中所有AWS服务和资源有完全访问权限的单点登陆身份。此身份称为AWS账户的根用户。但是不建议利用跟用户执行日常任务，即使是管理任务。然后妥善保存根用户凭证，仅用它们执行少数账户和服务管理任务。因此,AWS用户也要为自己创建一个IAM用户，并授予该IAM用户管理权限，以利用该IAM用户执行所有的利用。在为访问本账户的人员创建单独的IAM用户时，AWS客户可授予每个IAM用户一组独特的安全凭证。AWS客户还可以向每个IAM用户授予不同的权限。如果有必要，AWS客户还可以随时更改和取消IAM用户的权限。

• Zookeeper集群中节点的数目为什么必须要奇数个？
  

在正常工作期间，Zookeeper的任务有统一命名、应用设置等管理任务，实现Zookeeper小集群内部节点之间关于各种状态的统一。在非正常工作环境下，即master节点不可用，需要重新启动新节点接替master任务时，行使推选，推选出新的master。而Zookeeper的集群数量一样寻常为奇数，是为了保证有过半Server可用，整个系统即保持可用性，方便区分过半这个概念。

• 简述Chubby的实现对CAP的意义。
  

Chubby夸大系统的可靠性以及高可用性等，而不追求高吞吐量以及协调系统内存储大量数据。其理论底子是Paxos，通过相互通讯并投票，对某个决定告竣划一性的认识。因此Chubby的实现对CAP的划一性和可用性做出了巨大的贡献。Chubby中主要存储一些管理信息和底子数据，其目的不在于数据存储而是对资源的同步管理，不保举在Chubby中存储大量数据。同时Chubby提供了订阅机制，即客户端可以订阅某些存储在Chubby上的数据，一旦该数据发生改变，Chubby就会关照客户端。如：将分布式集群的一份设置文件存在Chubby上，集群中所有的呆板都订阅这份设置文件，一旦设置文件发生改变，所有的节点都会受到消息，根据设置文件做出改变。

• 请列举传统分布式计算的优缺点。
  

传统的分布式计算由分布在不同地理位置上的多个处置惩罚机或计算机，通过网络互联，实现资源共享和协同工作。出现给用户的是单个完备的计算机系统（这个特点也叫分布式系统的透明性）。因此，分布式计算相比集中式计算，具有可扩展性、容错性和快速相应等优点，但是在数据保密性和数据同步方便面对着挑衅。

• 如何明白云安全机制？
  

加密（encryption）机制是一种数字编码系统，专门用来保护数据的保密性和完备性，用来把铭文数据编码成受保护的、不可读的格式。加密技术通常依靠于称为加密部件的尺度化算法，把原始的明文数据转换成加密的数据，称密文。当对明文举行加密时，数据与一个称为密钥的字符串结成对，此中密钥是由被授权的各方创建和共享的秘密消息。密钥用来把密文解密回原始的明文格式。加密机制可以帮助对抗流量窃听、恶意媒介、授权不敷和信任边界重叠等安全威胁。例如，试图举行流量窃听的恶意服务署理如果没有密钥，就不能对传输的消息解密。

• 请简述分布式系统的CAP定理。
  

CAP指出，一个分布式系统不大概同时保证划一性（Consistency）、可用性（Availability）和分区容忍性（Partition Tolerance）。对于一个大型的分布式计算机网络存储系统，可用性和可扩展性是首要保证的，那么唯一可以牺牲的只有划一性。对于绝大多数场景而言，只要到达最终划一性即可（非强划一性）。在早期金融网络中，要求强划一性，即收付款两边要求同步到账和扣款。本日的金融系统绝大多数都是规模庞大的分布式系统，要求强划一性只大概会造成瓶颈，无法保证及时划一性。

• 简述MapReduce计算模型的原理。
  

MapReduce属于MIMD类型，即多指令流多数据流类型的分布式并行计算系统。MapReduce计算模型借鉴了函数型语言（如LISP）中的内置函数map和reduce的概念，其本质思想是基于分治法（Divide-and-Conquer）将大数据集分别为小数据机，小数据分别为更小的数据集，将最终分别的小数据分布到集群节点上以并行方式完成计算处置惩罚，然后再将计算结果递归融汇，得到最后结果。

• 试简述Paxos算法对于Zookeeper的意义。
  

paxos算法是Zookeeper的核心。一切划一性协议都是paxos的变种。Chubby或者Zookeeper此中采取的算法也是变种中的此中之一。在正常工作期间，Zookeeper的任务有统一命名、应用设置等管理任务，实现Zookeeper小集群内部节点之间关于各种状态的统一。在非正常工作环境下，即master节点不可用，需要重新启动新节点接替master任务时，行使推选，推选出新的master。因此，Paxos实现的划一性，本质上是共识划一性，确保了系统的可用性。

• 简述划一性哈希算法与Dynamo环的原理。
  

划一性哈希算法是如今主流的分布式哈希表（DHT）协议之一，于1997年由MIT提出。划一性哈希算法通过修正简单哈希算法，解决了网络中的热门问题，使得HDT可以真正地应用于P2P环境中。划一性哈希算法的基本过程为：对于系统中的每个装备节点，为其分配一个随机的标记，这些标记可以构成一个哈希环。在存储数据时，计算出数据的键值的哈希值，将其存放到哈希环顺时针方向上第一个标记大于或等于键的哈希值的装备节点上。
应用题

• 在集群设置的管理中，在传统的方式下，如果要修改集群中每个节点的设置信息，利用起来比力繁琐。如何设计一个应用，可以解决这类问题。简述设计的主要思路。
  

为了实现设置信息的集中式管理和动态更新，采用发布/订阅模式将设置信息发布到Zookeeper节点上，供订阅者动态获取数据。为了模仿实现集群设置信息的订阅发布，具体实现思路如下所示：
（1）首先需要启动Zookeeper服务，规划集群设置信息存放的节点/config。
（2）然后通过ConfigWatcher类对/config节点注册监视器watcher，监控集群设置信息厘革。
（3）最后通过ConfigUpdater类不断更新/config节点设置信息，从而模仿实现集群设置信息订阅发布结果。
----评分尺度：答出利用Zookeeper来实现得2分，具体实现思路：设置一个设置信息节点/config得1分，给这个/config节点设置监视器得1分，不断监控/config节点的厘革得1分。
2.简述云计算这门课你学到了哪些内容。
知识点：Hadoop实现并行分布式计算、MapReduce框架、YARN管理框架可以支持不同的应用接口、HBase是面向列的数据库、Hive是数据仓库、Zookeeper实现分布式协调服务、Mahout实现呆板学习相关的算法、Pig提供一种高层的抽象语言，实现大规模数据集的分析、Sqoop实现SQL和Hadoop之间数据交换、Flume实现日记收罗、Kafka分布式消息系统、Storm及时流计算框架、Spark内存计算框架、HDFS实现分布式文件存储等大数据相关的知识点。
----评分尺度：答对2个知识点得1分，答对10个以上得5分。
其他环境酌情给分。
3. 2020年全国春运将于1月10日（嫡）启动，预计发送旅客30亿人次。30亿人次旅客中，铁路4.4亿人次。网购火车票遭遇12306网站“崩溃”怎么办？为确保旅客顺遂购票，铁路部门正在动手对12306网站售票系统举行优化和扩容，计划从去年1500余万的日售票本领扩大到本年的2000余万。试给出一个系统优化的建议方案。
一。从网站的架构适应性方面来看，12306是一个范例的需要动态伸缩、机动性强的服务来支持的网站，因此云计算平台非常适用于12306平台。例如云计算的伸缩性很恰当平衡高峰期和低谷期。因此，可以思量将网站放到第三端的云平台上，在这一过程中，要留意以下的问题： 
①首先要有评估期，可以分别用Amazon公司和Google公司或者其他公司的云平台举行高并发测试，观察哪个云计算平台更加恰当自己的网站。 
②确定用Paas照旧Iaas，我个人感觉用Paas更加恰当12306网站，由于Paas是平台即服务，第三方提供一个平台，你可以在这个平台上举行开发，不用思量硬件问题，所以很大程度上可以缓解高并发的对网站带来的影响。除此之外，Paas的多租户资源池架构，负载均衡架构和动态可扩展架构也非常恰当于12306网站。例如在高并发购票来暂时，通过负载均衡架构和动态可扩展架构，可以公道分配空间，利用资源，低落高并发带来的陵犯。 
③假造化是云计算的基石，可以低落企业的运营成本，进步资源利用率，因此可以将一些运算量和I/O要求不高的业务迁徙到假造化。在低流量时段可以销毁节点，使物理实体机处于低功耗状态下运行，在高峰来暂时可以敏捷摆设上线提供服务。同时要留意在迁徙过程中，要做好数据的备份和回滚设计。 
④可以思量把网站搭载在多个云平台上，当高并发来暂时，一个云平台如果着实承受不住，可以敏捷转到另一个云平台上提供服务。 
⑤可以思量带宽的问题，做到成本与收益符合合。 
二。从网站的团体架构来看，一个高并发的网站还需要思量其他层的优化问题。例如①前端举行优化，减小业务带来的流量问题。②运用缓存，在高并发的时候可以减少后端存储的I/O压力。③引入署理层，可以拆分业务，例如将登录、注册、车票查询等业务分开，这样即使查询业务出现延迟堵塞，也不会影响到用户的支付。④开发与本网站相适应，配合的数据库。⑤采用负载均衡策略。⑥在业务层采取策略，例如对购票时间点举行分流，减少高并发的出现环境。

• 2019年双11，支付宝自主研发的分布式数据库OceanBase每秒处置惩罚峰值到达6100万次。2019年10月2日，数据库领域最权势巨子的国际机构国际事务处置惩罚性能委员会(TPC，Transaction Processing Performance Council)在官网发表了最新的TPC-C基准测试结果。蚂蚁金服自主研发的金融级分布式关系数据库OceanBase以两倍于Oracle(甲骨文)的结果，冲破数据库基准性能测试的世界纪录，成为环球数据库演进史的紧张里程碑。从2017年开始，OceanBase数据库开始对外开放，服务包括银行、保险等金融机构。OceanBase已在蚂蚁金服和阿里巴巴的业务系统中得到了广泛应用，凭借强劲的性能成为已往多年“双11”支付宝生意业务处置惩罚系统的守护神。数亿人可以或许随时随地网购、移动支付，背后靠的都是OceanBase数据库的力量。OceanBase在技术上对标的是Google Spanner数据库。试从CAP的角度，报告一下云计算的十年发展对分布式系统的贡献。
  

CAP说的是对于一个分布式计算系统来说，不大概同时满足划一性，可用性和分区容忍性。在实际的生活中，我们通常必须要保证可用性和分区容忍性，对于划一性，很多环境下只需要满足最终划一性即可。这就导致例如支付宝的一些业务大概没有办法实现的很好，例如蚂蚁金服属于金融服务，要求高性能，低成本和强划一，但是在例如双十一这种时期，云云高并发的环境下，如何保证划一性和可用性以及分区容忍性是很大的一个困难。而云计算的发展很大程度上解决了这一问题，例如阿里自主开发的飞天云，采用协调服务(女娲的分布式底层服务，基于Paxos算法，采用分布式系统(盘古)，也是利用Paxos算法，很大程度上保证了划一性的问题。还有，阿里自主研发的SOFA DTX分布式中间件基于两种理论实现了 两种模式：基于BASE理论的TCC模式和基于ACID理论的FMT模式。在极限峰值环境下，支付宝向淘宝发送Confirm，确保五分钟后可以执行，淘宝就可以放心的告诉用户可以买了。而峰值通常持续时间不长，过了峰值之后就可以开释空间和资源处置惩罚“蓄洪”的那部门利用，实际上照旧延迟提交，是最终划一性的表现。但是异步只在极限环境下采用，过了双十一零点，又是同步和强划一了。除此之外，在软件方面，淘宝早期采用的是Oracle,MySQL开源数据库，后来阿里自主研发OceamBase，与分布式事务相互配合，共同实现数据的及时划一性。正是有了这些技术，阿里才可以或许保证在高并发的环境下也能正常的提供业务。实际上，这些上风很大程度上都泉源于云计算的发展。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。