大数据开发（Hadoop口试真题）
一、HDFSⅠ、HDFS底子概念和架构
1、HDFS的作用
HDFS是Hadoop中的一个分布式文件系统，其重要作用是用于存储和管理大规模数据集。
作用包括：
[*]存储大规模数据集：HDFS能够存储大规模的数据集，可以处理PB级别的数据。它将数据分割成多个块，并将这些块分布式存储在集群的差别节点上，从而实现数据的高容错性和可扩展性。
[*]数据冗余备份：HDFS会将数据块复制到差别的节点上，以提供数据的冗余备份。默认环境下，每个数据块都有三个副本，在集群中的差别节点上进行存储，以保证数据的可靠性和容错性。
[*]高吞吐量的数据访问：HDFS接纳了流式数据访问的方式，可以实现高吞吐量的数据读写操作，这种方式实用于一次写入多次读取的场景，如大规模数据分析和批处理使命。
[*]自动故障检测和自动恢复：HDFS能够自动检测节点的故障，并将存储在故障节点上的数据块复制到其它节点上，以实现数据的自动恢复。这种本领使得HDFS具有高可用性和容错性。
[*]简化的数据访问接口：HDFS提供了简化的文件系统接口，使得开发者可以方便地对数据进行读写操作。这些接口包括命令行工具、Java API和其它编程语言地库。
2、介绍下HDFS，说下HDFS优缺点，以及使用场景？
HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的简称。它是一个可扩展的分布式文件系统，设计用于存储和处理大规模数据集的应用程序。
优点：
[*]高容错性：HDFS将文件划分为多个块，并在多个节点上进行复制存储，以实现数据的冗余备份。当某个节点或块发生故障时，HDFS可以自动恢复数据，保证数据的高可用性。
[*]高吞吐量：HDFS通过并行处理数据块，能够以较高的速率读取和写入数据。它恰当存储大量数据，并且能够高效地进行批处理操作。
[*]适应大文件存储：HDFS实用于存储大型文件，因为它将文件划分为固定巨细的块，并将这些块分布在多个节点上。这种方式可以更好地处理大文件的存储和处理。
缺点：
[*]不恰当低延迟数据访问：由于数据块的复制和分布，以及数据的冗余备份，HDFS在低延迟数据访问方面体现较差。这使得HDFS不恰当需要快速相应查询的应用场景。
[*]不恰当小文件存储：HDFS对于小文件的存储不敷高效，因为对于每个文件，都需要在差别的节点上存储和管理多个副本，这会导致存储空间的浪费和元数据管理的复杂性增长。
使用场景：
[*]大数据存储和批处理：HDFS恰当存储大规模数据集，并且能够高效地进行批处理操作，比方数据清洗、ETL、数据堆栈等。
[*]日记分析：HDFS可以用于存储和分析海量地日记数据，支持快速的数据写入和批量处理，方便进行及时或离线的日记分析。
[*]大型集群计算：HDFS作为Hadoop生态系统的核心组件，可以与Hadoop的计算框架（如MapReduce、Spark等）无缝集成，支持大规模集群上的分布式计算使命。
3、请解释一下Hadoop中NameNode和DataNode的作用。
在Hadoop中，NameNode和DataNode是HDFS的关键组件。它们分别完成以下功能：
-NameNode：NameNode是重要控制节点。它维护整个文件系统的元数据信息，包括文件结构、权限以及每个文件块存储在哪个DataNodes上等。客户端通过与NameNode进行交互来实行诸如读取、写入或删除文件等操作。
-DataNode：DataNode是现实存储数据的节点。它负责管理自身上分配给其它节点的磁盘空间，并按照指令将块（block）写入磁盘或返回给客户端请求读取特定块时提供该块。别的，DataNodes还会向NameNode汇报各自所拥有和管理的数据块信息
4、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的？
在HDFS架构中，NameNode负责管理文件系统元数据信息，并保存在内存中。而DataNode则负责保存具有文件快的数据。它们之间通过以下方式进行通信。
[*]心跳消息：DataNode定期向NameNode发送心跳消息来保持活跃状态，并汇报存储状态。
[*]数据块陈诉：DataNode周期性地向NameNode发送数据块陈诉，以更新分布式文件系统地团体信息。
[*]元数据操作：客户端对于文件系统的元数据操作（如创建、删除、更改）会首先与NameNode通信，获取相应操作的权限息争析路径等信息。
5、HDFS NameNode高可用如何实现？需要哪些脚色？
HDFS NameNode的高可用实现重要通过以下两种方式：
[*]HDFS Federation：HDFS联邦机制通过将一个HDFS集群分成多个命名空间，每个命名空间包含一个独立运行的NameNode。这样，即使一个NameNode发生故障，其它NameNode仍然可用继承提供服务，确保系统的高可用性。
[*]HDFS High Availability（HA）：HDFS高可用性机制使用了Active-Standby的架构，此中一个NameNode处于活动状态，而另一个NameNode处于备用状态。当活动状态的NameNode发生故障时，备用状态的NameNode会自动接受并成为活动节点，确保服务的持续性。
为了实现HDFS NameNode的高可用性，需要以下脚色：
[*]Active NameNode：处于活动状态的NameNode，负责处理客户端的读写请求，并管理文件系统的命名空间和块映射表。只有一个活动NameNode。
[*]Standby NameNode：处于备用状态的NameNode与活动NameNode保持同步，并监控活动NameNode的状态。当活动NameNode发生故障时，备用NameNode会接替并成为活动节点。
[*]JournalNode：用于存储NameNode的编辑日记，确保在NameNode切换时数据的一致性。通常建议使用奇数个JournalNode以保证容错性。
[*]ZooKeeper：用于监控和管理活动和备用NameNode之间的切换。ZooKeeper会和谐NameNode的状态变化，以确保在故障发生时能够进行快速而可靠的切换。
6、HDFS中DataNode怎么存储数据的？
DataNode是Hadoop分布式文件系统（HDFS）中的一个组件，负责存储现实的数据块。下面是DataNode存储数据的过程：
[*]客户端通过HDFS的API将文件切分成数据块，并将这些数据块发送给NameNode，同时记录数据块的副本数目。
[*]NameNode吸收到数据块后，将数据块的副本位置信息返回给客户端。
[*]客户端根据副本位置信息，将数据块发送给对应的DataNode。
[*]DataNode吸收到数据块后，将数据块存储在本地磁盘上。每个DataNode都有一个默认的数据存储目录，可用在HDFS配置中进行设置。
[*]DataNode在存储数据块时，会在本地磁盘上创建一个临时文件，将数据块写入该文件中。一旦数据块完全写入，DataNode会将该临时文件转换为永久文件。
[*]DataNode会周期性地向NameNode汇报存储的数据块信息，包括块的ID、位置、存储路径等。
[*]当客户端需要读取数据时，根据文件的块位置信息，向对应的DataNode发送读取请求。
7、HDFS使用NameNode的利益？
[*]元数据管理：NameNode负责管理HDFS中全部文件和目录的元数据，包括文件的位置、块巨细、副本数等信息。它维护了一个文件系统树的结构，并记录了每个文件的块信息。这样，用户可以通过NameNode快速定位和访问文件。
[*]故障恢复：NameNode保存了整个文件系统的元数据，包括文件的块分布和副本位置等信息。当某个数据节点（DataNode）出现故障或文件损坏时，NameNode可以快速辨认并恢复数据。它会监控DataNode的状态，并在需要时重新复制丢失的块。
[*]块分配：NameNode负责为新写入的文件分配块，并决定每个块的副本数。它会根据集群的状态和策略，选择符合的DataNode进行块的复制。这种集中式的块分配策略可以帮助优化数据的存储和访问服从。
[*]简化客户端操作：客户端在访问HDFS时，只需要与NameNode进行通信，获取文件的元数据和块信息。这样，客户端可以通过与NameNode的交互，快速定位并直接访问所需的数据块，而无需与多个DataNode进行通信。这样可以低落网络开销和延迟。
[*]高可用性：NameNode可以配置为高可用模式，通过使用多台机器构成的Active-Standby集群，实现故障切换和冗余备份。当Active NameNode出现故障时，Standby NameNode会自动接受工作，从而保证HDFS的持续可用性。
8、HDFS的容错机制
HDFS的容错机制重要包括以下几个方面：
[*]数据冗余：HDFS将文件切分为块（通常是128MB），并将每个块复制到多个数据节点上。这样即使某个数据节点发生故障，其它副本仍然可用，确保数据的可靠性和可用性。
[*]心跳机制：HDFS的每个数据节点都定期向NameNode发送心跳信号，以通知其正常运行。如果NameNode在一段时间内未收到某个数据节点的心跳信号，会认为该节点发生故障，并将其标志为不可用。
[*]副本恢复：当某个数据节点发生故障或标志为不可用时，HDFS会自动启动副本恢复机制。该机制会将该节点上的块副本复制到其它可用的数据节点上，以保证数据的完整性和可靠性。
[*]容错检测和恢复：HDFS会定期检测数据节点和块的完整性，并自动修复损坏的块。如果某个数据块的副本数目低于设定的阈值，HDFS会自动创建新的副本来替换。
9、HDFS的副本机制？
HDFS的副本机制是指在Hadoop分布式文件系统中，数据会被分为多个块，并且每个块都会有多个副本存储在差别的数据节点上。
HDFS的副本机制有以下几个特点：
[*]冗余存储：HDFS会将每个块的副本存储在差别的数据节点上，以提高数据的冗余性和可靠性。默认环境下，HDFS会将每个块的副本数设置为3，可以通过配置文件进行调整。
[*]数据本地性：HDFS的副本机制会尽量将数据存储在离计算节点近的数据节点上，以淘汰数据的网络传输开销。这样可以提高数据处理的服从和性能。
[*]副本放置策略：HDFS的副本机制会根据节点的可用空间、负载等因向来选择符合的数据节点存储副本。副本的放置策略可以通过配置文件进行调整，以满足差别的需求。
[*]副本同步：当数据节点上的副本发生变化时，HDFS会自动进行副本的同步。比方，当某个数据节点宕机或者新增一个数据节点时，HDFS会自动将副本从其它节点复制到新的数据节点上，保持副本的数目和位置的均衡。
10、HDFS如何保证数据不丢失？
HDFS通过以下机制来保证数据不丢失：
[*]数据复制：HDFS将文件划分为固定巨细的数据块，通常为128MB，然后将每个数据块复制到集群中的多个节点上。默认环境下，数据块会复制到3个差别的节点上，这些节点通常位于差别的机架上，以提高数据的可靠性。如果某个节点上的数据块丢失，HDFS可以从其它副本中恢复。
[*]心跳检测：HDFS会周期性地向数据节点发送心跳信号，以确认数据节点的健康状态。如果某个数据节点长时间没有发送心跳信号，HDFS会将其标志为不可用，并将其上的数据块复制到其它可用的数据节点上。
[*]数据完整性校验：HDFS会使用校验和来验证数据块的完整性。当客户端写入数据时，HDFS管帐算数据块的校验和，并将其存储在NameNode上。当读取数据时，HDFS会实用校验和来验证数据块的完整性，如果发现数据块损坏，HDFS会尝试从其它副本中获取正确的数据块。
[*]容错机制：HDFS具有容错机制，即使在节点故障或网络故障的环境下，数据也能够保持一致性和可用性。当节点故障时，HDFS会自动将其上的数据块复制到其它可用节点上，以确保数据的可靠性。
Ⅱ、HDFS操作和管理
1、HDFS读写流程是什么样子？
HDFS是Apache Hadoop生态系统的一部分，用于存储大规模数据的分布式文件系统。HDFS的读写流程包括以下步骤：
HDFS写入流程：
客户端请求：当一个应用程序需要将数据存储到HDFS中，首先由客户端发送写请求。
数据划分：要写入的数据被划分成一系列数据块（通常是128MB或256MB）。这些数据块会被分布式存储在HDFS集群的差别节点上。
选择DataNode：HDFS的NameNode被用于维护文件系统的元数据信息，它记录了每个数据块存储在哪个DataNode上。客户端会向NameNode发送数据块的位置请求，以确定要写入的DataNode。
客户端写入：客户端将数据块写入选定的DataNode。
数据复制：数据复制是HDFS的一个关键特性，通常每个数据块都会复制到多个差别的DataNode上，以防数据丢失。
数据流水线：数据的写入是通过数据流水线（pipeline）进行的，以提高写入速率。在流水线上的DataNodes之间数据以块的情势传输，而不是整个文件。
确认写入：当全部数据块都写入乐成并复制到足够的DataNode时，客户端会收到写入乐成的确认。
HDFS读取流程：
客户端请求：当一个应用程序需要读取HDFS中的文件时，客户端向HDFS的NameNode发送读取请求。
元数据查询：NameNode负责维护文件系统的元数据，它会返回文件的位置信息，包括哪些DataNodes上存储了数据块。
DataNode读取：客户端开始从最近的DataNode读取数据块。如果某个DataNode不可用，客户端会尝试从副本中的其它DataNode读取数据。
数据传输：数据会通过网络传输到客户端，通常以块的情势传输，而不是整个文件。
数据组装：客户端将从差别DataNodes读取的数据块组装成完整的文件。
需要留意的是，HDFS是为大规模数据存储和分析设计的，因此在读写时会有一些额外的优化的容错机制，以确保数据的高可用性和可靠性。别的，HDFS还支持数据压缩和数据复制策略的配置，以满足差别应用场景的需求。流程中的一些具体细节可能会因Hadoop版本和配置而有所差别。
2、在Hadoop中，什么是输入分片（Input Splits）？它的作用是什么？
输入分片是将大文件切割成恰当并行处理的小块数据，每个小块数据叫做一个输入分片。作为MapReduce使命的基本单元，输入分片使得多个计算节点可以同时处理差别的输入数据，并发实利用命。这样可以提高团体使命的实行服从和并发度。
3、Hadoop的默认块巨细是什么？为什么要设置这么大？
Hadoop的默认块巨细是128MB。这个设置是颠末仔细考虑的。
首先，大块巨细可以淘汰寻址开销。在处理大型数据集时，如果块太小，会导致较多的寻址操作，增长了磁盘寻道时间，低落了团体的性能。通过增大块巨细，可以淘汰寻址次数，提高数据的读写速率。
其次，大块巨细可以提高数据的本地性。Hadoop是为了处理大规模数据而设计的，通常在集群中的差别节点上存储数据。当使命需要读取数据时，如果数据块巨细较大，这些数据块有很大的概率可以在本地节点上找到，淘汰了网络传输的需求，提高了团体的服从。
末了，大块巨细可以提高处理小文件的服从。在Hadoop中，每个文件都被拆分成多个块进行处理，如果块太小，会导致小文件的数目增长，从而增长了管理和调度的开销。通过增大块巨细，可以淘汰小文件的数目，简化了整个系统的管理和调度过程。
4、介绍下HDFS的Block？
HDFS是Apache Hadoop中的分布式文件系统，用于存储和管理大规模数据集。HDFS将文件分割成固定巨细的块（Block）并将其分散存储在集群中的差别节点上。
HDFS的块是默认巨细为128MB的连续字节序列。块的巨细是固定的，不会根据文件巨细而变化。这种固定巨细的块有助于提高数据处理的服从。
HDFS的块是文件的基本存储单元。当一个文件被存储在HDFS中时，它会被分割成一系列的块，并且每个块都会被复制到集群中的多个节点上以实现数据的冗余和容错性。
HDFS的块存储在数据节点（DataNode）上。数据节点是集群中存储现实数据的节点。每个数据节点可以存储一个或多个块，并负责管理块的复制和传输。
HDFS的块复制策略确保了数据的可靠性和容错性。每个块默认会被复制到集群中的三个差别的数据节点上，这样即使某个节点发生故障，数据仍然可以从其它节点中获取。
5、HDFS的块默认巨细，64M和128是在哪个版本更换的？怎么修改默认块巨细？
HDFS的块默认巨细是128M。在Hadoop 2.3版本中，将HDFS的块默认巨细从64M更改为128M。
要修改HDFS的默认块巨细，可以按照以下步骤进行操作：
[*]打开HDFS的配置文件hdfs-site.xml。
[*]在该文件中找到或添加以部属性：dfs.blocksize。
[*]将属性值设置为所需的块巨细，单元为字节。比方，如果要将块巨细设置为256M，则属性值为268435456。
[*]保持并关闭配置文件。
[*]重启HDFS集群，以使配置更改生效。
6、导入大文件到HDFS时如何自界说分片？
在导入大文件到HDFS时，可以通过自界说分片来更好地管理和利用存储空间。以下是几种常见的自界说分片方法：
[*]使用Hadoop Archive（HAR）文件：HAR文件是将多个小文件打包成一个大文件的一种方式。可以使用Hadoop提供的’hadoop archive’命令将多个小文件打包成HAR文件。这样可以淘汰NameNode的元数据开销，并提高文件读取服从。
[*]使用SequenceFile：SequenceFile是一种二进制文件格式，可以将多个小文件合并成一个大文件，并保留原始文件的键值对关系。使用SequenceFile可以手动控制每个分片的巨细，以适应特定的需求。
[*]自界说InputFormat：Hadoop提供了自界说InputFormat的接口，可以自界说数据输入的格式和分片方式。通过实现自界说InputFormat，可以根据特定的规则将大文件切分为多个分片。
[*]使用MapReduce的自界说分片器：在MapReduce作业中，可以通过自界说分片器（如’FileInputFormat.setMinInputSplitSize()‘和’FileInputFormat.setMaxInputSplitSize()’）来控制输入文件的分片方式。可以根据文件巨细、行数或其它规则来自界说分片策略。
7、HDFS中向DataNode写数据失败了怎么办？
[*]检查网络连接：首先，确保HDFS集群的网络连接正常。可能是由于网络故障导致写入失败，可以通过检查网络连接或者尝试重新连接来解决题目。
[*]检查DataNode状态：检查DataNode的状态是否正常。可能是由于DataNode的故障或者过载导致写入失败。可以通过查看DataNode的日记或者使用HDFS管理工具来确定DataNode的状态，并接纳相应的措施。
[*]检查磁盘空间：检查DataNode上的磁盘空间是否足够。如果磁盘空间不足，写入操作将失败。可以通过清理磁盘空间或者添加额外的存储来解决题目。
[*]检查配置文件：检查HDFS的配置文件是否正确配置。可能是由于配置错误导入写入失败。可以检查配置文件中的桉树，并进行必要的修正。
[*]重启服务：如果上述方法都无法解决题目，可以尝试重启相关的HDFS服务。偶然候，服务的重新启动可以解决一些临时的题目。
8、Hadoop2.x的HDFS快照
Hadoop2.x的HDFS快照是一种用于创建文件系统快照的功能。它允许在不影响正在运行的作业和使命的环境下，对文件系统的特点时间点进行拍摄和恢复。
快照是目录或文件系统的只读副本。当创建快照时，系统会记录文件的当前状态，并创建一个指向该状态的只读指针。这意味着快照可以提供文件系统在特定时间点的视图，以便进行数据分析、备份和恢复等操作。
以下是一些Hadoop2.x的HDFS快照的重要究竟和功能：
[*]快照是只读的：快照创建后，它们是只读的，这意味着不能对快照进行修改。只有在进行恢复操作时，才能将快照还原到文件系统中。
[*]快照与原始文件系统之间的共享：快照与原始文件系统共享存储空间，因此它们不会占用额外的磁盘空间。这使得快照的创建和管理变得高效。
[*]多个快照：HDFS支持创建多个快照，因此可以在差别的时间点创建和管理多个快照。
[*]创建和删除快照：可以使用HDFS shell命令或HDFS Java API来创建和删除快照。创建快照时，可以指定一个名称来标识快照，并可以选择在特定目录下创建快照。
[*]快照恢复：可以使用HDFS shell命令或HDFS Java API来恢复快照。恢复快照会将文件系统还原到快照创建时的状态。
9、直接将数据文件上传到HDFS的表目录中，如安在表中查询到该数据？
要在表中查询到直接上传到HDFS表目录中的数据，可以按照以下步骤进行操作：
[*]确保数据文件已经上传到HDFS的表目录中，比方，将数据文件上传到’/user/hive/warehouse/table_name’目录下。
[*]进入Hive命令行或使用Hive客户端，连接到Hive数据块。
[*]创建一个外部表（External Table），该表与HDFS表目录中的数据文件进行映射，可以使用如下Hive语句创建表：
CREATE EXTERNAL TABLE table_name (
column1 datatype1,
column2 datatype2,
...
)
LOCATION '/user/hive/warehouse/table_name';
在上述语句中，'table_name’表现表的名称，‘column1’，'column2’表现表的列名和对应的数据范例，'LOCATION’指定了表的数据存储位置为HDFS表目录。
4. 完成表的创建后，可以使用Hive的查询语句进行数据查询，比方：
SELECT * FROM table_name;
上述语句将查询并返回表中的全部数据。
Ⅲ、HDFS优化和题目解决
1、Hadoop里Block划分的原因？
Hadoop中的数据存储是通过将大文件划分为固定巨细的块（Block）来进行管理的。这样做的重要原因有以下几点：
[*]分布式存储：Hadoop是一个分布式系统，数据存储在集群中的多个节点上。通过将文件划分为块，可以将这些块分散存储在差别的节点上，实现数据的分布式存储和并行处理。
[*]数据冗余：Hadoop使用副本机制来确保数据的可靠性和容错性。将数据划分为块后，可以将每个块的多个副本分布在差别的节点上，以防止数据丢失或节点故障。
[*]数据范围性：Hadoop接纳了数据局部性原则，即将计算使命分配给存储数据的节点，以淘汰数据的网络传输和提高计算服从。将数据划分为块后，可以更好地实现数据局部性，因为计算使命可以针对某个块进行处理，而不需要处理整个文件。
[*]管理和调度：将数据划分为块后，Hadoop可以更方便地管理和调度数据。块的巨细可以根据具体应用和硬件配置进行调整，以优化数据处理和存储地性能。
2、Hadoop小文件处理题目？
Hadoop小文件处理题目是指在Hadoop集群中处理大量小文件时可能遇到的性能和服从题目。这些小文件的特点是文件体积较小，可能只有几KB或几MB，但数目庞大，可能到达百万级别。
处理小文件可能会导致以下题目：
[*]存储开销：每个小文件都需要占用磁盘空间，而Hadoop默认的块巨细是64MB或128MB，因此大部分小文件会浪费磁盘存储空间。
[*]元数据开销：Hadoop的NameNode会为每个文件分配一个元数据块，当小文件数目庞大时，会导致元数据存储和访问的开销增长。
[*]数据读取服从低：Hadoop是面向大数据处理的分布式计算框架，大部分环境下是按照块来读取数据的，而小文件的数目庞大会导致大量的寻址和网络传输开销，低落数据读取服从。
[*]使命调度开销：Hadoop的MapReduce使命是以块为单元进行调度的，而小文件的数目庞大会导致使命调度的开销增长。
为相识决Hadoop小文件处理题目，可以考虑以下方法：
[*]合并小文件：将多个小文件合并成一个大文件，可以使用Hadoop提供的工具或编写自界说脚本进行合并操作。合并后的大文件可以淘汰存储和元数据开销，并提高数据读取服从。
[*]SequenceFile格式：将小文件转换成SequenceFile格式，将多个小文件合并一个SequenceFile文件。SequenceFile是Hadoop提供的一种二进制文件格式，可以有效地存储和处理大量小文件。
[*]数据归档：将小文件按照某种规则进行归档，可以将多个小文件打包成一个大文件，然后进行归档存储。归档后地文件可以淘汰存储和元数据开销，并提高数据读取服从。
[*]数据压缩：对小文件进行压缩处理，可以淘汰存储空间和网络传输开销。Hadoop支持多种压缩算法，可以根据现实环境选择符合地压缩算法进行处理。
3、HDFS HA怎么实现？
[*]配置基本参数：需要在HDFS配置文件中界说HA相关的参数，包括NameNodes的地址、故障切换的时间隔断等。
[*]启动和配置ZooKeeper：ZooKeeper是用于和谐和管理集群中各个组件的分布式和谐服务。需要启动ZooKeeper并配置它作为HDFS HA的和谐服务。
[*]启动NameNodes：在配置文件中指定两个NameNodes的地址，并将它们分别启动。
[*]NameNode状态切换：一开始，此中一个NameNode会被指定为Active状态，另一个是Standby状态。Active NameNode处理全部的客户端请求，同时将元数据操作的日记记录到共享存储（如共享的编辑日记）。Standby NameNode会监控Active NameNode的状态。
[*]故障切换：如果Active NameNode发生故障，Standby NameNode会检测到，并自动切换为Active状态，接受客户端的请求。这齐备换过程是无缝的，客户端不需要进行额外的配置或操作。
Ⅳ、HDFS数据格式和存储优化
1、HDFS的常见数据格式，列式存储格式和行存储格式异同点，列式存储优点有哪些？
HDFS的常见数据格式包括文本文件、序列文件、Avro文件、Parquet文件、ORC文件等。
列式存储格式和行存储格式的重要区别在于数据的组织方式。在行存储格式中，数据按行存储，即一行的全部字段值都连续存储；而在列式存储格式中，数据按列存储，即同一列的全部值连续存储。
列式存储格式相较于行存储格式具有以下优点：
[*]压缩服从高：由于同一列的数据范例相同，因此可以接纳更高效的压缩算法进行数据压缩，从而淘汰存储空间的占用。
[*]查询性能优异：对于特定查询需求的列，列式存储格式只需读取该列的数据，而不需要读取其他列的数据，从而提高查询性能。尤其在需要对大量列进行聚合、过滤和分析的场景中，列式存储格式能够显著提高查询速率。
[*]更好的列式压缩：由于同一列的数据范例相同，列式存储格式可以接纳更恰当该列数据范例的压缩算法，进一步提高压缩比，淘汰存储空间的占用。
[*]更好的数据压缩与解压缩服从：由于列式存储格式在读取时只需解压缩需要的列数据，因此具有更高的解压缩服从，从而提高数据读取速率。
Ⅴ、Hadoop和HDFS相关技能
1、简要介绍HDFS和HBase，并描述它们实用的场景。
HDFS是Hadoop生态系统中的一部分，是一种高容错、高可靠性、分布式文件系统。数据以块的情势进行存储，在集群中分布在多个节点上。HDFS恰当用于大规模数据处理，具有高吞吐量和扩展性，并且支持并行读写操作。
HBase是一个构建在Hadoop上的面向列的NoSQL分布式数据块。它提供了快速随机访问大型数据集的本领，并具有强盛的横向扩展本领。HBase恰当用于需要及时访问和查询海量结构化数据的场景，比方提供及时分析和查询。
2、Hadoop中fsimage和edit的区别是什么？
在Hadoop中，fsimage和edit是两个关键的组件，用于存储和管理文件系统的元数据。
[*]fsimage：fsimage是一个静态的文件，用于存储Hadoop文件系统的团体状态。它包含了文件和目录的条理结构、文件和目录的属性信息、权限和访问控制列表等。fsimage文件在NameNode启动时加载到内存中，并用于相应客户端的元数据请求。
[*]edit：edit是一个动态的文件，用于记录Hadoop文件系统的变化操作。当有文件系统操作（如创建、删除、重命名文件或目录）时，edit文件会记录这些操作的细节。edit文件不停地增长，记录了文件系统地汗青变化。NameNode在启动时会将fsimage文件加载到内存中，然后再将edit文件的操作应用于内存中地fsimage文件，以保持文件系统地最新状态。
区别：
-fsimage是一个静态的文件，用于存储文件系统的团体状态，而edit是一个动态的文件，用于记录文件系统的变化操作。
-fsimage文件在NameNode启动时加载到内存中，用于相应客户端的元数据请求，而edit文件的操作会被应用到已加载的fsimage文件中，以保持文件系统的最新状态。
-fsimage文件相对较大，而edit文件相对较小，只记录了变化操作的细节。
-fsimage文件的加载和应用较慢，而edit文件的处理速率较快。
总结：fsimage是文件系统的静态状态，而edit是文件系统的动态变化记录。两者共同作用于文件系统元数据的管理和维护。
3、HDFS的默认副本数？为什么是这个数目？如果想修改副本数怎么修改？
HDFS的默认副本数是3。这个数目是基于可靠性和容错性的考虑。通过将数据副本分布在差别的节点上，可以提高系统的可用性和数据的冗余性，以防止单个节点故障导致数据丢失。
如果想修改HDFS的副本数，可以通过修改HDFS的配置文件hdfs-site.xml中的参数dfs.replication来实现。可以手动修改该参数的值所需的副本数，并重新启动HDFS集群以使修改生效。需要留意的是，在修改副本数之前，需要考虑集群的硬件资源和容量，以及对数据可靠性和性能的考虑。
二、MapReduce
Ⅰ、MapReduce工作原理
1、解释Hadoop MapReduce的工作原理。
Hadoop MapReduce是一种分布式计算模型，被广泛应用于大规模数据处理。其工作原理如下：
[*]Input Splitting：输入数据被拆分为更小单元，称为Input Splits。
[*]Mapping：Mapper节点将Input Splits并行地转换为<key,value>键值对。
[*]Shuffling and Sorting：Mapper节点会根据Key进行排序，并将相同Key的Value聚合起来。
2、MapReduce模型中Map和Reduce阶段各自的作用。
在MapReduce模型中，Map阶段负责将输入数据切割成多少独立的数据块，并对每个数据块应用相应的映射函数，将其转换为一系列(key,value)键值对。这些键值对之后根据key进行排序和分区，以便在Reduce阶段进行合并。
Reduce阶段吸收到通过Shuffle过程重新组织的(key,value)集合，根据相同的key将全部value进行分组以便处理。Reduce函数会对每个key及其关联的value集合实行计算逻辑，从而天生最终效果。
总而言之，Map阶段实现了使命的划分、映射和排序；而Reduce阶段负责吸收Map输出中拍好序并分组后才能实行逻辑计算来得到效果。
3、MapReduce为什么肯定要有环型缓冲区？
MapReduce中的环形缓冲区是为相识决数据传输和处理的服从题目而设计的。它的作用是在Map和Reduce阶段之间传输数据，使得数据可以在差别的节点之间进行流转和处理。
环型缓冲区的存在有以下几个原因：
[*]淘汰磁盘IP：在传统的MapReduce中，Map和Reduce之间的数据传输是通过磁盘进行的，这会引入大量的磁盘IO操作，低落了处理速率。而环型缓冲区可以将这些传输操作放在内存中进行，淘汰了磁盘IO的开销，提高了数据传输的服从。
[*]并行处理：环型缓冲区可以同时吸收多个Map使命和输出，这样可以并行处理多个使命，提高了团体的处理速率和服从。每个Map使命的输出可以被放入缓冲区中，并在Reduce使命开始前进行整理和排序，这样可以提高Reduce使命的处理服从。
[*]节流资源：使用环形缓冲区可以避免在Map和Reduce之间进行数据的重复读取和写入，节流了网络带宽和存储资源的使用。
4、MapReduce为什么肯定要有Shuffle过程？
MapReduce中的Shuffle过程是非常重要的，它负责对Map阶段的输出效果进行排序和重新分区，以便将相同key的值聚集在一起。Shuffle过程有以下几个重要的作用：
[*]数据排序：Shuffle过程对Map使命的输出效果进行排序，确保Reduce使命能够按照key的次序进行处理。这样可以方便地进行后续的数据分析和处理操作。
[*]数据聚合：Shuffle过程将相同的key的值聚集在一起，使得Reduce使命能够对这些值进行合并、统计或其它计算操作。这样可以淘汰数据的传输量和计算量，提高团体的服从。
[*]数据传输：Shuffle过程将Map使命的输出效果按照key分发到对应的Reduce使命上，确保相同key的值能够被发送到同一个Reduce使命进行处理。这样可以淘汰数据的网络传输量，提高团体的性能。
Ⅱ、数据排序与倾斜题目
1、如安在Hadoop集群中实现数据的排序？
在Hadoop集群中，可以使用MapReduce框架来实现数据的排序。具体步骤如下：
[*]实现自界说Mapper类和Reducer类，此中Mapper类将输入数据映射成键值对（key-value pair），然后输出给Reducer类进行进一步处理。
[*]在Mapper类的map()方法中，提取要排序的字段作为键（key），将字段值作为值（value）输出。
[*]在Reducer类的reduce()方法中，吸收来自多个Mapper使命产生的输入，并按照键进行排序。最终效果即为按需求排序好的数据。.
2、什么是数据倾斜（Data Skew）？如何解决在MapReduce使命中的数据倾斜题目？
数据倾斜指在分布式计算环境下，某个或几个计算节点负责处理的数据量远大于其它计算节点。这导致部分计算节点负载过重、使命实行时间延长。为相识决MapReduce使命中的数据倾斜题目，可以接纳以下措施：
-使用Combiner函数来淘汰网络传输和磁盘IO。
-在一个作业中包含特别慢速运行的使命，将这些使命选择性地合并到一个独立地输出文件中。
-增长reduce容量或增长reducer数目，以便更好地利用资源，并使工作负载均衡。
-使用二次排序技能对key进行排序和分区操作。
3、MapReduce Map Join为什么能解决数据倾斜？
MapReduce Map Join可以通过将关联字段相同的记录分发到同一个reduce节点上进行聚合，从而解决数据倾斜的题目。具体来说，MapReduce Map Join的解决方法如下：
[*]首先，将关联字段相同的记录发送到同一个reduce节点上。这样，相同关联字段的记录将被聚合在一个reduce节点上进行处理，淘汰了数据倾斜的可能性。
[*]其次，对于数据倾斜的环境，MapReduce Map Join还可以接纳一种特殊的处理方式，即将数据倾斜的部分记录拆分成多个小文件，然后将这些小文件发送到多个reduce节点上进行处理。这样可以将数据倾斜的压力分散在多个节点上，提高了处理的服从。
总的来说，MapReduce Map Join通过将关联字段相同的记录聚合在同一个reduce节点上，并接纳特殊的处理方式来解决数据倾斜的题目，提高了MapReduce程序的实行服从。
Ⅲ、性能优化
1、Hadoop的Combiner的作用？
Hadoop的Combiner的作用是在Map阶段之后，在数据传输到Reduce阶段之前对Map输出的中间劫夺进行本地合并和压缩，以淘汰数据的传输量和提高团体的性能。Combiner可以将相同key的多个Map输出效果进行合并，淘汰了网络传输的数据量，从而淘汰了Reduce阶段的负载。通过使用Combiner，可以在不影响最终效果的环境下，提高整个作业的实行服从。
2、ReduceTask数目和分区数目关系？
在MapReduce使命中，Map阶段将输入数据分割为多个分区，并为每个分区分配一个MapTask来处理。而Reduce阶段将Map输出的效果按照键进行排序，并将具有相同键的记录发送给同一个ReduceTask进行处理。因此，ReduceTask的数目可以是多于或即是分区数目的，但不会少于分区数目。这是因为每个ReduceTask可以处理多个分区的输出效果，也可以处理一个分区的输出效果。通常，ReduceTask的数目是根据需求来进行调整的，以得到更好的性能和负载均衡。
3、Mapper端进行combiner之后，除了速率会提升，那从Mapper端到Reduce端的数据量会怎么变？
从Mapper端到Reduce端的数据量在应用Combiner之后会淘汰。Combiner是在Mapper阶段对输出的键值对进行合并和压缩，淘汰了传输到Reduce阶段的数据量。这是因为Combiner会将相同的键的值进行局部聚合，淘汰了传输的数据量。因此，使用Combiner可以淘汰网络传输和磁盘IO的开销，提高团体的性能。
Ⅳ、Join操作
1、MapReduce mapjoin的原理（实现）？应用场景？
MapReduce mapjoin是一种处理大数据集的技能，它将两个或多个数据集连接在一起，以便在MapReduce作业中进行处理。
实现原理如下：
[*]在Map阶段，将两个数据集分别加载到差别Mapper中。
[*]在Map阶段，每个Mapper将自身所拥有的数据集进行处理，并将处理效果输出为键值对情势。
[*]在Reducer阶段，通过对相同的键的效果进行合并，将来自差别Mapper的键值对连接在一起。
应用场景：
[*]大规模数据集的连接：当需要连接两个或多个大型数据集时，使用MapReduce mapjoin可以提高处理服从和性能。
[*]数据清洗和处理：当需要对多个数据集进行清洗和处理时，可以使用MapReduce mapjoin来连接数据集，并对其进行相应的处理。
[*]数据分析和计算：当需要对多个数据集进行分析和计算时，使用MapReduce mapjoin可以在分布式环境下高效地完成使命。
2、MapReduce reduce join 如何实行？
MapReduce的reduce join通过Map阶段将具有相同键的数据进行标志，然后通过Shuffle阶段将具有相同键的数据发送到同一个Reduce使命中，末了在Reduce阶段将具有相同键的数据进行连接操作，天生最终的效果。这样可以有效地处理大数据集合，实现数据地聚合和关联操作。
Ⅴ、Shuffle过程详解
1、Reduce怎么知道去那里拉Map效果集？
Reduce在知道去那里拉Map效果集之前，需要先相识MapReduce的过程。
在MapReduce过程中，Map使命会将输入数据分割成多少个独立的片断，并为每个片断创建一个Map使命进行处理。每个Map使命会将其处理效果分成多少个键值对，并将这些键值对按照键的哈希值进行分区。
Reduce使命的数目可以通过配置来指定。当Map使命处理完毕后，Reduce使命会按照预先界说的分区规则，将全部具有相同键的键值对发送到同一个Reduce使命进行处理。这个过程通常称为分区操作。
因此，Reduce使命知道去那里拉Map效果集是通过分区操作来实现的。每个Reduce使命会收集到属于本身的分区中的键值对，然后对这些键值对进行处理，最终天生最终的效果。所以，Reduce使命知道去那里拉Map效果集是通过分区规则和数据的键确定的。
2、MapReduce Shuffle的排序算法？
MapReduce Shuffle是在MapReduce计算模型中的一个重要步骤，用于在Map阶段和Reduce阶段之间进行数据传输和整理。在Shuffle过程中，Map使命的输出数据被分区、排序和分组，然后传输给Reduce使命进行处理。
排序算法在Shuffle过程中的作用是对Map使命的输出键值对进行排序，以便Reduce使命能够按照特定的次序吸收和处理数据。排序算法的选择对Shuffle的性能和服从有重要影响。
在MapReduce中，Shuffle的排序算法通常接纳基于排序的合并（Sort-Based Merge）算法。具体来说，Map使命会将输出键值对按照键进行排序，然后将排序后的数据划分成多个分区，并将每个分区的数据传输给对应的Reduce使命。对于每个分区，Reduce使命会将吸收到的数据进行合并排序，以确保相同的键值对连续出现。
常见的排序算法包括快速排序、归并排序和堆排序。在MapReduce中，快速排序通常被用作排序算法，因为它具有较好的匀称时间复杂度和空间复杂度。
3、MapReduce shuffle为什么要排序？
MapReduce shuffle需要排序的原因是为了保证Reducer能够按照键的次序进行合并和处理。在Map阶段，每个Mapper会将输出的键值对按照键进行分区，并发送给对应的Reducer。在Reducer端，为了合并同一键的全部值，需要对这些键值对进行排序，以便将相同键的值聚合在一起。这样可以确保Reducer能够按照键的次序进行处理，从而得到正确的效果。排序也有助于淘汰Reducer端的内存占用和磁盘IO，提高团体的性能。
Ⅵ、MapReduce配置与调优
1、Hadoop序列化和反序列化。
Hadoop序列化和反序列化是指将数据从内存中转换为字节流的过程，并在需要时将字节流重新转换为原始数据范例。这是Hadoop生态系统中处理大数据的关键技能之一。
Hadoop序列化是将数据对象转换为字节流的过程。在Hadoop中，数据对象通常是以Java对象的情势存在的，但是在网络传输或磁盘存储时，需要将这些对象转换为字节流。序列化的目的是将数据压缩成字节流的情势，以便在网络传输或磁盘存储中占用更少的空间。Hadoop提供了多种序列化机制，如Java默认的Serialzable接口、Avro、Thrift和Protocol Buffers等。
Hadoop反序列化是将字节流转换回原始数据范例的过程。在吸收到字节流后，需要将其还原为原始数据对象。反序列化的过程是序列化的逆向过程，它将字节流转换为Java对象或其它原始数据范例。Hadoop提供了相应的反序列化机制来与序列化机制配置使用，以便在数据传输和数据处理过程中与原始数据进行转换。
2、HDFS的Mapper和Reducer的个数如何确定？Reducer的个数依据是什么？
HDFS是一种用于存储和处理大数据的分布式文件系统，而Mapper和Reducer是Hadoop框架用于分布式计算的关键组件。
Mapper和Reducer的个数可以根据以下因素进行确定：
[*]数据量：Mapper的个数通常由输入数据的分片数决定。HDFS将输入数据分为多个块，每个块由一个Mapper进行处理。因此，输入数据越大，Mapper的个数就越多。
[*]硬件资源：在确定Reducer的个数时，需要考虑集群中可用的硬件资源，如计算节点的数目和处理本领。一般来说，Reducer的个数不应高出集群中可用的计算节点数。
[*]使命的性质：根据使命的性质和目的，可用适当调整Mapper和Reducer的个数。比方，对于计算麋集型使命，可以增长Reducer的个数以提高计算速率。而对于I/O麋集型使命，可以增长Mapper的个数以加速数据处理速率。
Reducer的个数依据重要有两个方面：
[*]数据倾斜：如果输入数据在某个键上分布不均衡，即某个键的数据量远大于其它键，可以增长Reducer的个数来实现更好的负载均衡。这样可以确保每个Reducer处理的数据量更均衡，提高团体使命的实行服从。
[*]目的输出：Reducer的个数通常与期望的输出效果有关。如果需要天生特定数目的输出文件或者进行特定聚合操作，可以调整Reducer的个数以满足需求。比方，如果需要天生10个输出文件，可以设置10个Reducer。
3、MapReduce哪个阶段最费时间？
在MapReduce中，最费时间的阶段往往是Reduce阶段。这是因为在Map阶段中，数据被划分并分发给各个Map使命进行处理，这些使命可以并行实行。而在Reduce阶段中，全部的Map使命的输出效果需要通过网络传输到Reduce使命进行合并和计算。这个过程可能涉及大量的数据传输和磁盘读写操作，因此需要较长的时间来完成。别的，Reduce阶段中还需要进行排序和归并操作，进一步增长了时间消耗。因此，Reduce阶段通常是整个MapReduce过程中最费时间的阶段。
4、MapReduce的map历程和reducer历程的JVM垃圾回收器怎么选择可以提高吞吐量？
为了提高MapReduce的吞吐量，我们可以选择适当的垃圾回收器。在选择垃圾回收器时，可以考虑以下几点：
[*]吞吐量优先：选择垃圾回收器时，应优先考虑吞吐量，因为MapReduce使命通常是大规模的数据处理使命，需要高效地处理大量的数据。因此，选择具有高吞吐量的垃圾回收器是很重要的。
[*]低延迟次要：与吞吐量相比，MapReduce使命通常更留意团体的吞吐量，而不是单个使命的低延迟。因此，在选择垃圾回收器时，可以适当地低落低延迟地需求，以得到更高的吞吐量。
[*]并行处理：由于MapReduce使命通常是并行处理的，可以选择支持并行处理的垃圾回收器。这样可以更好地利用多核处理器地性能，提高吞吐量。
[*]内存占用：MapReduce使命通常需要处理大量地数据，因此会占用大量的内存。选择垃圾回收器时，应考虑其对内存的使用环境，避免内存占用过高导致性能下降。
5、MapReduce作业实行的过程中，中间的数据会存在什么地方？不会存在内存中吗？
在MapReduce作业实行的过程中，中间的数据会存在本地磁盘上，而不是存储在内存中。这是因为MapReduce框架通常处理大规模的数据集，无法完全存储在内存中。中间数据存储在本地磁盘上可以确保数据的持久化和可靠性，并允许处理大量的数据。当然，一些优化技能也可以用于淘汰中间数据的存储量，如压缩、合并等。
6、MapReduce map输出的数据超出它的文件内存之后，是落地到磁盘还是落地到HDFS中？
MapReduce map输出的数据会先缓存到内存中，当到达肯定阈值时，会通过Partitioner将数据分区后写入磁盘。这些分区文件会存储在本地磁盘上。接着，这些分区文件会被复制到HDFS中，以便后续的reduce阶段可以从HDFS中读取并进行处理。所以，MapReduce map输出的数据最终会落地到磁盘和HDFS中。
7、MapReduce Map到Reduce默认的分区机制是什么？
MapReduce中默认的分区机制是根据Key的哈希值进行分区。具体来说，Map阶段输出的每个键值对都会根据键的哈希值被分配到差别的分区中，同一个键的全部值都会被发送到同一个分区中。这样可以保证相同的键值对在Reduce阶段被正确的聚合处理。
8、MapReduce运行过程中会发生OOM，OOM发生的位置？
OOM（Out of Memory）在MapReduce运行过程中可能发生在以下位置：
[*]Map阶段：当Mapper使命处理输入数据时，如果输入数据量过大或者Mapper函数在处理数据时产生大量的中间键值对，可能会导致内存溢出。
[*]Reduce阶段：当Reducer使命处理来自Mapper的中间键值对时，如果中间键值对数目过大或者Reducer函数在处理数据时产生大量的输出数据，可能会导致内存溢出。
[*]Shuffle阶段：在MapReduce的Shuffle过程中，大量的中间数据需要在Map和Reduce之间传输，中间数据量过大，可能会导致内存溢出。
[*]Combiner阶段：如果在MapReduce作业中使用了Combiner函数进行局部聚合操作，当Combiner处理大量的中间键值对时，也可能会引发内存溢出。
Ⅶ、MapReduce范围性
1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些题目？
缺点：
[*]复杂度高：编写MapReduce程序需要考虑拆分、排序、归约等很多细节，容易堕落且编写和调试的时间较长。
[*]开销大：MapReduce在耗费昂贵的I/O操作时，会产生较多的磁盘读写开销。
[*]编程模型范围性：MapReduce框架重要恰当于批处理使命，在及时计算或迭代计算等方面显得不足。
为相识决以上题目，可以使用Spark来替换传统的MapReduce：
4. Spark提供了高级API和丰富的转换操作，淘汰了复杂度并加速开发和调试过程。
5. Spark通过将数据保留到内存中来最小化磁盘读写，并使用强盛的优化技能提高性能。
6. 由于Spark基于RDD模型，并支持流式处理、图计算等功能，在差别范例使命上更加机动和实用。
2、MapReduce为什么不能产生过多小文件？
[*]文件系统开销：每个小文件都需要在文件系统中分配磁盘空间和元数据，这会增长文件系统的开销和管理成本。
[*]使命调度开销：在MapReduce中，使命调度器需要为每个文件启动一个使命，而使命的启动和管理都会带来肯定的开销。如果小文件过多，使命调度器的开销将会明显增长。
[*]数据传输开销：在MapReduce中，数据会在差别的节点间传输。如果有大量的小文件，数据传输的开销将变得非常昂贵，因为每个文件都需要进行独立的传输。
[*]数据处理服从：MapReduce是为大规模数据处理而设计的，大文件的处理服从更高。当有大量小文件时，每个文件都需要启动一个使命进行处理，这样会导致使命启动和管理的开销大于现实的数据处理时间，从而影响团体的处理服从。
3、MapReduce分区及作用？
在MapReduce中，分区是指将输出键值对根据某种规则进行划分，将相同规则的键值对分配给同一个Reducer。分区的作用是将数据分散到差别的Reducer上进行处理，从而实现并行处理和负载均衡。
作用：
[*]提高并行度：通过将数据分散到多个Reducer上，可以同时进行多个Reducer的并行处理，提高作业的团体处理速率。
[*]实现负载均衡：差别的键值对可能具有差别的处理复杂度，如果全部数据都分配给同一个Reducer，会导致该Reducer的处理使命过重，而其它Reducer处于闲置状态。通过分区，可以将数据匀称地分配给差别地Reducer，实现负载均衡，提高团体的处理服从。
[*]控制数据分布：有些环境下，我们盼望将某些特定的键值对分配到特定的Reducer上进行处理。通过自界说分区函数，可以按照特定的规则将数据分配到差别Reducer上，实现更精致的数据控制和处理。
4、Map的分片有多大？
Map的分片巨细取决于多个因素，包括所用的分布式文件系统、集群的配置和硬件资源。
一般来说，Hadoop的Map的默认分片巨细是64MB。这是因为Hadoop将输入数据切分固定巨细的块进行处理，每个块作为Map的输入。这个巨细可以通过’mapreduce.input.fileinputformat.split.maxsize’属性进行配置。
然而，现实的分片巨细可能会受到其它因素的影响。比方，如果输入文件小于64MB，那么分片巨细将即是文件巨细。另外，Hadoop还会考虑数据块的位置信息，尽量将Map使命分配到离数据块地点位置最近的节点上，以淘汰数据传输的开销。
总的来说，Map的分片巨细是根据多个因素综合考虑的，包括文件巨细、集群配置、硬件资源和数据位置等。
5、MapReduce用了几次排序，分别是什么？
MapReduce在实现过程中使用了两次排序。
第一次排序是在Map阶段，它的目的是将输入数据划分为多个分区，并按照分区和键值进行排序，以便将具有相同键的数据发送到同一个Reducer中进行处理。
第二次排序是在Reduce阶段，它的目的是对来自差别Mapper的输出进行全局排序，以确保最终输出的效果按照键值有序。这个全局排序是在Reducer中进行的。
6、MapReduce中怎么处理一个大文件？
在MapReduce中处理一个大文件的步骤如下：
[*]切分：将大文件切分为多个更小的文件块，每个文件块的巨细通常由Hadoop配置文件中的参数指定。这样做的目的是为了方便并行处理和分布式计算。
[*]映射：通过Map函数将每个文件块映射为键值对。Map函数是自界说的，你可以根据具体需求编写逻辑，将文件块分解为键值对。每个键值对的键是中间效果的键，值是中间效果的值。
[*]分区：对映射后的键值对进行分区，根据键的哈希值将键值对分发到差别的Reducer节点。分区操作可以确保具有相同键的键值对被发送到同一个Reducer节点上，以便进行后续处理。
[*]排序：在每个Reducer节点上，对分区后的键值对进行排序操作。排序可以帮助提高后续的聚合和处理服从。
[*]规约：对排序后的键值对进行规约操作，将具有相同键的值进行合并。这样可以淘汰数据传输量并提高计算服从。
[*]归约：对规约后的键值对进行归约操作，根据具体需求进行数据聚合、计算或其它处理操作。归约操作是自界说的，你可以根据具体需求编写逻辑。
[*]输出：将归约后的效果写入Hadoop分布式文件系统（HDFS）或其它存储介质，以便后续分析或使用。
三、YARN
Ⅰ、YARN底子与工作机制
1、介绍下YARN？
YARN是Apache Hadoop生态系统中的一个集群资源管理器。它的重要目的是管理和分配集群中的资源，并为运行在Hadoop集群上的应用程序提供资源。
YARN的架构基于两个重要组件：ResourceManager（资源管理器）和NodeManager（节点管理器）。
[*]ResourceManager：ResourceManager负责整个集群的资源管理和调度。它吸收来自客户端的应用程序提交请求，并根据可用资源进行分配。ResourceManager也负责监控集群中的资源使用环境，并在需要时进行重新分配。
[*]NodeManager：每个集群节点上运行一个NodeManager，它负责管理该节点上的资源。NodeManager通过与ResourceManager通信，陈诉节点上的资源使用环境，并吸收来自ResourceManager的指令，如分配使命或释放资源。NodeManager还负责监控已分配该节点的使命，并在需要时重新启动失败的使命。
YARN的工作流程如下：
[*]应用程序提交：用户通过客户端向ResourceManager提交应用程序。应用程序可以是MapReduce作业，也可以是其它基于YARN的应用程序。
[*]资源分配：ResourceManager根据可用资源和调度策略，为应用程序分配所需的资源。资源可以是CPU、内存或其它可用的集群资源。
[*]使命实行：每个节点上的NodeManager吸收来自ResourceManager的使命分配，并在该节点上启动和管理使命的实行。
[*]监控和容错：ResourceManager和NodeManager定期陈诉资源使用环境和使命状态，以确保集群的稳固运行。如果某个使命失败，NodeManager会重新启动它，以保证应用程序的容错性。失败，NodeManager会重新启动它==，以保证应用程序的容错性。
2、YARN有几个模块？
YARN有三个重要的模块：
[*]ResourceManager：ResourceManager负责整个集群的资源管理和调度。它吸收来自客户端的应用程序提交请求，并根据可用资源进行分配。ResourceManager也负责监控集群中的资源使用环境，并在需要时进行重新分配。
[*]NodeManager：每个集群节点上运行一个NodeManager，它负责管理该节点上的资源。NodeManager通过与ResourceManager通信，陈诉节点上的资源使用环境，并吸收来自ResourceManager的指令，如分配使命或释放资源。NodeManager还负责监控已分配该节点的使命，并在需要时重新启动失败的使命。
[*]ApplicationMaster（应用程序管理器）：每个应用程序都有一个ApplicationMaster，它是应用程序内部的主管。ApplicationMaster与ResourceManager通信，和谐应用程序的资源请求和使命实行。它还监控应用程序的进度，并在必要时向ResourceManager请求更多的资源。
[*]容器（Container）：是一种封装了资源（如CPU、内存）的概念，它是YARN中使运气行的基本单元。ResourceManager将资源分配给应用程序管理器时，会创建容器来运行应用程序的使命。
除了这三个核心模块之外，YARN还包括一些其它的组件，如Application Timeline Server（应用程序时间线服务器）。
3、YARN工作机制？
YARN的工作机制是通过ResourceManager和NodeManager的配合，实现集群资源的管理、分配和调度，以及应用程序的实行和监控。ApplicationMaster在每个应用程序中起到和谐和管理的作用，而容器则是使命实行的基本单元。
Ⅱ、YARN高可用与容器启动
1、YARN高可用？
YARN是Hadoop生态系统中的一个资源管理器，负责管理和分配集群中的资源。YARN的高可用性指的是在出现故障或节点失效时，YARN能够自动切换到备用节点，保证集群的稳固运行。
2、YARN中Container是如何启动的？
在YARN中，Container是由NodeManager启动的。当ResourceManager吸收到一个应用程序的提交请求后，它会为该应用程序分配一个ApplicationMaster。然后，ApplicationMaster会向ResourceManager请求资源，并且ResourceManager会为其分配一个或多个Container。
一旦ResourceManager分配了Container，NodeManager会根据ResourceManager提供的资源和配置信息启动Container。NodeManager会在一个可用的节点上创建一个历程来运行Container，并且在Container中启动应用程序的实行环境。这个实行环境可能是一个Java虚拟机（JVM）或者其它编程语言的运行时环境，取决于应用程序的要求。
Container启动后，ApplicationMaster将与其进行通信，并在Container中运行应用程序的使命。使命的实行将在Container中进行，知道使命完成或者遇到错误。
Ⅲ、Hadoop作业调度与优化
1、Hadoop作业提交到YARN的流程？
[*]用户通过命令行或者客户端API向YARN提交作业。
[*]YARN的ResourceManager吸收到作业提交请求后，会为该作业分配一个唯一的Application ID，并将该作业的元数据信息写入YARN的状态存储中，同时为该作业分配一个ApplicationMaster。
[*]ResourceManager将Application ID和ApplicationMaster的地址返回给客户端。
[*]客户端通过ApplicationMaster的地址与其建立通信，并向其发送作业的资源需求（如CPU、内存等）以及作业启动命令。
[*]ApplicationMaster收到作业资源需求和启动命令后，会向ResourceManager请求作业所需的资源。
[*]ResourceManager根据可用资源的环境为ApplicationMaster分配所需的资源，并将资源的位置信息返回给ApplicationMaster。
[*]ApplicationMaster收到资源位置信息后，会与NodeManager进行通信，将作业所需的资源分配给具体的使命（Task）。
[*]每个Task会在一个独立的容器（Container）中运行，它们会通过心跳机制向ApplicationMaster汇报使命的实行环境。
[*]ApplicationMaster会收集全部使命的实行环境，并在作业完成后向ResourceManager注销本身。
[*]ResourceManager吸收到ApplicationMaster的注销请求后，会将该作业从YARN的状态存储中删除，并释放相关资源。
2、如何解决在大规模集群上运行Hadoop作业时出现使命倾斜（task skew）题目？
使命倾斜是指某一个或少数几个使命实行时间明显长于其它同类使命。为相识决这个题目，可以接纳以下策略：
[*]数据预处理：通过调整和优化输入数据格式、划分粒度、同一键值数目等本领，提高可访问性和匀称性。
[*]Combiner函数：使用Combiner函数来局部聚合中间效果，在map端进行一次预聚合操作，减小数据量。
[*]分桶（bucketing）：将特定的key分为多个桶，让其在差别的reduce使命中处理。这样可以避免某个key集中在一个使命上导致倾斜。
[*]动态调整分区数目：根据输入数据的巨细和分布环境，动态确定reduce使命数目，更匀称地划分使命负载。
Ⅳ、Hadoop集群底子与瓶颈
1、Hadoop集群工作时启动哪些历程？它们有哪些作用？
[*]NameNode：NameNode是Hadoop分布式文件系统的关键组件之一。它负责管理整个文件系统的元数据，包括文件和目录的命名空间、文件的块信息、权限等。它还负责和谐数据块的读写操作，并提供对文件系统的访问控制。
[*]DataNode：DataNode是HDFS的另一个关键组件，它存储现实的数据块。每个DataNode负责存储和管理本地节点的数据块，并定期向NameNode陈诉其存储的数据块信息。
[*]SecondaryNameNode：SecondaryNameNode并不是NameNode的备份，而是协助NameNode的辅助节点。它定期从NameNode获取文件系统的快照，并将其合并到新的文件系统编辑日记中。这样可以淘汰NameNode故障恢复的时间。
[*]ResourceManager：ResourceManager是Hadoop集群的资源管理器，负责和谐和管理集群中的资源分配。它吸收客户端的应用程序提交请求，并决定如何为这些应用程序分配资源。ResourceManager还负责监控集群中各个节点的健康状态。
[*]NodeManager：NodeManager是每个集群节点上的资源管理器，负责管理该节点上的资源使用环境。它吸收来自ResourceManager的指令，并根据指令启动、监控和停止容器，以管理节点上的应用程序。
[*]JobHistoryServer：JobHistoryServe负责存储和管理作业汗青信息。它吸收来自ResourceManager的作业汗青记录，并为用户提供查询和浏览作业汗青的界面。
2、Hadoop在集群计算的时候，什么是集群的重要瓶颈？
[*]网络带宽：大数据集群中的节点通常通过网络进行数据通信和传输。如果网络带宽不足，会导致数据传输速率慢，从而影响整个集群的计算性能。
[*]存储性能：Hadoop集群通常使用分布式存储系统，如HDFS来存储大量的数据。如果存储系统的读写性能较低，会影响数据的读取和写入速率，从而低落整个集群的计算服从。
[*]处理本领：集群中的计算节点数目和每个节点的计算本领都会影响集群的团体处理本领。如果集群规模较小或者每个节点的计算本领较低，可能无法满足大规模数据处理的要求，从而称为瓶颈。
[*]内存容量：大数据计算通常需要进行大规模的数据分析和处理，这就需要大量的内存资源来存储和操作数据。如果集群中的节点内存容量不足，可能会导致数据无法完全加载到内存中，从而影响计算性能。
[*]数据倾斜：在数据分析过程中，由于数据分布的不匀称性，可能会导致某些节点的数据负载过重，从而使得这些节点成为整个集群的瓶颈。数据倾斜的处理需要接纳一些优化策略，如数据预处理、数据重分布等。
Ⅴ、Hadoop与YARN的演进
1、Hadoop高可用的原理？
Hadoop的高可用性是通过Hadoop集群中的主节点和从节点之间的备份和自动故障恢复机制来实现的。
首先，Hadoop集群中有两个范例的节点：主节点（NameNode和JobTracker）和从节点（DataNode和TastTracker）。主节点负责管理整个集群的元数据和使命调度，从节点则负责存储数据和实利用命。
Hadoop的高可用性重要围绕主节点的故障恢复展开。当主节点失败时，系统会自动将备份节点（Secondary NameNode和Standby NameNode）的元数据恢复到新的主节点上，并将新的主节点提升为活跃状态。这个过程称为故障求换。备份节点会定期与主节点进行通信，以保持数据同步。
为了确保高可用性，Hadoop还使用了数据复制机制来保护数据。在Hadoop中，默认环境下，每个数据块会被复制到多个从节点上，这些从节点通常位于差别的机架上。当一个从节点失败时，系统会自动从其它副本中选择一个可用的副本来进行读取操作，保证数据的可靠性和可用性。
别的，Hadoop还使用了心跳机制来检测节点的状态，每个节点都会定期向主节点发送心跳信号，以表明本身的存活状态。如果主节点在肯定时间内没有收到来自某个节点的心跳信号，系统会认为该节点已经故障，并触发相应的恢复流程。
总的来说，Hadoop的高可用性通过备份和自动故障恢复机制、数据复制和心跳机制等多种本领来保证集群的稳固运行和数据的可靠性。
2、YARN的改进之处，Hadoop3.x相对于Hadoop2.x？
Hadoop3.x相对于Hadoop2.x在YARN方面有以下改进之处：
[*]资源管理器（ResourceManager）的高可用性：Hadoop3.x引入了ResourceManager的高可用性特性，通过在集群中运行多个ResourceManager实例，并使用ZooKeeper进行故障转移和状态同步，提供了更可靠的资源管理。
[*]资源调度的改进：Hadoop3.x引入了容器级别的资源调度，可以更精确地管理使命地资源需求。它还引入了资源范例，可以根据使命的需求分配差别范例的资源，如CPU、内存、磁盘等。
[*]路由器（Router）的引入：Hadoop3.x引入了YARN Router，它可以在差别的YARN集群之间进行路由，使得差别集群之间的资源可以相互访问和共享。
[*]容器级别的本地化：Hadoop3.x引入了容器级别的本地化特性，可以在容器级别上进行数据本地化，提高数据访问的服从。
[*]资源隔离的改进：Hadoop3.x引入了分级队列的概念，可以更细粒度地对使命进行资源隔离和优先级管理。
四、Common
Ⅰ、Hadoop底子与配置
1、搭建Hadoop集群的xml文件有哪些？
[*]core-site.xml：配置Hadoop的核心参数，如文件系统默认方案、HDFS地址等。
[*]hdfs-site.xml：配置HDFS的相关参数，如副本数目、数据块巨细等。
[*]mapred-site.xml：配置MapReduce相关参数，如作业跟踪器地址、使命分配器等。
[*]yarn-site.xml：配置YARN相关参数，如资源管理器地址、节点管理器等。
[*]hive-site.xml：如果需要使用Hive，则需要配置Hive的相关参数，如元数据存储位置、数据库连接等。
2、介绍下Hadoop
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它由Apache基金会开发和维护，为处理大数据提供了可靠和高效的解决方案。
Hadoop的核心组件：
[*]HDFS：HDFS是一个可扩展的分布式文件系统，用于存储大规模数据集。它将数据分割成多个块，并在集群中的多个节点上进行分布式存储。
[*]YARN：YARN是Hadoop的资源管理系统，负责集群资源的调度和管理。它允许差别的应用程序在同一个Hadoop集群上运行，提供了更好的资源利用率和多样化的应用支持。
[*]MapReduce：Hadoop的计算模型，用于并发处理大规模数据集。它将计算使命分成多个Map和Reduce阶段，可在分布式环境中高效实行各种数据处理使命。
特点：
4. 可扩展性：Hadoop可以在集群中添加更多的节点，以适应不停增长的数据量和计算需求。
5. 容错性：Hadoop具有自动备份和数据冗余机制，确保数据的可靠性和容错性。
6. 高性能：Hadoop可以并行处理大规模数据集，提高高性能的数据处理本领。
Ⅱ、Hadoop进阶操作
1、Hadoop的Checkpoint流程？
Hadoop的checkpoint流程是指在Hadoop集群中，将正在运行的使命的状态信息和元数据信息保存在持久化存储中，以便在集群发生故障或节点失效时，可以快速地恢复使命的实行状态。
流程如下：
[*]当一个使命开始实行时，Hadoop会周期性地将使命地状态信息和元数据信息写入到Checkpoint目录中。这些信息包括使命的进度、输入数据的位置、已经完成的工作等。
[*]Checkpoint目录通常位于分布式文件系统（如HDFS）中，以保证数据的安全性和可靠性。
[*]Hadoop还会在内存中保存一个Checkpoint ID，用于标识当前的Checkpoint。
[*]在使命实行过程中，如果集群发生故障或节点失效，使命会停止实行。
[*]当集群恢复正常后，Hadoop会检查Checkpoint目录中的状态信息和元数据信息，并根据Checkpoint ID找到最新的Checkpoint。
[*]Hadoop会使用Checkpoint中的信息来恢复使命的实行状态，包括使命的进度、输入数据的位置等。
[*]使命恢复完成后，Hadoop会继承实利用命，并从前次Checkpoint的位置继承处理数据，以确保不会重复实行已经完成的工作。
2、Hadoop常见的压缩算法？
[*]Gzip：Gzip是一种常见的压缩算法，可以减小文件的巨细，但无法进行并行处理。
[*]Snappy：Snappy是Google开发的一种快速压缩/解压缩库，具有很高的压缩息争压缩速率，但相对于其它算法来说，压缩比较低。
[*]LZO：LZO是一种较快的压缩算法，可以在Hadoop中实现高速压缩息争压缩，实用于大数据处理。
[*]Bzip2：Bzip2是一种压缩算法，能够提供较高的压缩比，但相对较慢。
[*]LZ4：LZ4是一种极快的压缩算法，具有较高的压缩息争压缩速率，但压缩比较低。
Ⅲ、Hadoop生态圈
1、说下Hadoop生态圈组件及其作用
以下是Hadoop生态圈中一些重要组件及其作用：
[*]HDFS：用于在Hadoop集群中存储和管理大量的数据，提供高可靠性和高扩展性。
[*]MapReduce：是Hadoop的核心计算框架，用于将大规模数据集分解成小块进行并行处理，并在集群中的多个节点上实行计算使命。
[*]YARN：作为Hadoop的集群资源管理器，负责管理和分配集群中的计算资源，以支持各种计算框架如MapReduce、Spark等。
[*]Hive：一个基于Hadoop的数据堆栈底子办法，提供了类似SQL的查询语言（HiveSQL）和数据存储管理，使非技能人员可以轻松地进行数据分析。
[*]HBase：一个分布式、面向列的NoSQL数据库，实用于快速读写大规模数据集，提供了及时随机读写的本领。
[*]Spark：一个快速、通用的大数据处理引擎，可以在内存中进行数据处理，支持多种数据处理模型（批处理、流处理、机器学习等）。
[*]Sqoop：用于在Hadoop和关系型数据库之间进行数据传输的工具，方便将结构化数据导入到Hadoop集群中进行处理。
[*]Flume：用于高效地收集、聚合和移动大量日记数据的分布式系统，可以将日记数据传输到Hadoop集群中进行存储和分析。
[*]Kafka：一个高性能、分布式的流式数据平台，用于处理和传输及时数据流，广泛应用于大数据流处理和消息队列系统。
Ⅳ、Hadoop版本演进
1、Hadoop 1.x，2.x，3.x的区别？
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和计算。下面是Hadoop 1.x，2.x和3.x的区别：
[*] Hadoop 1.x：
-基于MapReduce计算资源
-接纳Hadoop分布式文件系统（HDFS）作为数据存储系统。
-使用JobTracker和TaskTracker来管理作业和使命的实行。
-不支持容器化（Containerization）和动态资源管理。
-不支持快速故障恢复和高可用性。
[*] Hadoop 2.x
-引入了YARN资源管理器，取代了JobTracker和TaskTracker。
-YARN支持多种计算模型，如MapReduce、Spark、Hive等。
-引入了容器化技能，将计算使命封装在容器中，提供了更好的资源隔离和管理。
-支持动态资源管理，可以根据应用程序的需求进行资源分配。
-支持高可用性，引入了ResourceManager和NodeManager来实现故障恢复和容错。
[*] Hadoop 3.x
-引入了一些新的特性和改进。
-引入了Erasure Coding（纠删码）技能，用于提供更高的存储服从和容错服从。
-引入了多个NameNode，实现了多活的高可用性，提供了更好的性能和可靠性。
-引入了Container Placement Constraint，可以根据特定条件将容器分配到相应的节点上。
-引入了GPU支持，可以利用GPU进行计算加速。
总的来说，Hadoop 1.x是最早的版本，接纳了传统的MapReduce计算模型；Hadoop 2.x引入了YARN和容器化技能，提供了更好的资源管理和多计算模型支持；Hadoop 3.x在2.x的底子上引入了更多的特性和改进，提供了更高的可靠性和性能。
Ⅴ、Hadoop与Spark的对比
1、简要解释Hadoop与Spark之间的区别和优缺点？
Hadoop与Spark都是用于大规模数据处理和存储的开源工具，但有一下区别：
-Hadoop是基于磁盘存储的批量处理系统，而Spark则是内存计算引擎。
-Hadoop在处理大数据集时服从较低，由于需将效果写入磁盘，因而恰当于离线批处理。相比之下，Spark可以利用内存中的数据进行迭代和交互式查询，因此更恰当及时计算和迭代处理。
-Spark提供了更广泛的API支持（包括Scala、Python和Java），以及丰富的高级功能（如机器学习、图形处理等）。
2、Spark为什么比MapReduce更快？
[*]内存计算：Spark将数据存储在内存中，而不是磁盘上。这样可以避免磁盘的读写操作，大大提高了计算速率。
[*]DAG实行引擎：Spark实用DAG（有向无环图）实行引擎，可以将多个计算步骤合并为一个DAG，从而淘汰了磁盘读写的数据传输的开销。
[*]运算模型：Spark提供了更高的高级运算模型，如RDD，可以更方便地计算数据处理和分析。而MapReduce只提供了基本地Map和Reduce操作。
[*]数据共享：在Spark中，可以将多个计算使命之间的数据共享到内存中，避免了重复计算，提高了计算服从。而MapReduce每次计算都需要从磁盘读取数据。
[*]运行模式：Spark支持交互式运行模式，可以在数据处理过程中进行及时调试和优化。而MapReduce只支持批处理模式。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]