Hadoop是根据Google三大论文为基础研发的，Google 三大论文分别是: MapReduce、 GFS和BigTable。
Hadoop的核心是两个部分：
一、分布式存储（HDFS，Hadoop Distributed File System）。
二、分布式计算（MapReduce）。
MapReduce
MapReduce是“ 任务的分解与效果的汇总”。
Map把数据切分——分布式存放、计算。
Reduce把分布计算得到的效果举行整合，汇总（Shuffle）得出终极的效果。
MapReduce是一种“分治”计算头脑，把一个大任务分割成许多小单元，末了再将每个小任务单元效果汇总，求得终极效果。
HDFS
HDFS把文件切分成block块举行存储（默认block大小尺寸为128m），然后这些block块被复制到多个计算机中（DataNode）。这有一个容错机制，副本策略，默认一块数据会有三个block，当前呆板存储一份（数据当地化），另外一个机架存储一份，该机架的差别呆板存储一份。
Hadoop在处理大数据时间特别必要注意：
1、 非常得当处理超大规模的数据集（TB，PB量级），非常不得当处理大量小文件。
2、 Hadoop一次写入，多次读写。Hadoop不支持随机修改文件。
3、Hadoop数据处理高延迟，数据的及时性不高。原因很显然，由于处理的数据规模非常大且是以分布式方式存储，读写访问必要花费更多时间。
Hadoop特点总结
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
