Scala
第二章 Spark Core第四节 RDD相干概念Spark 盘算框架为了能够进行高并发和高吞吐的数据处置处罚，封装了三大数据布局，用于处置处罚不同的应用场景。三大数据布局分别是：➢ RDD : 弹性分布式数据集➢ 累加器：分布式共享只写变量➢ 广播变量：分布式共享只读变量RDD什么是 RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处置处罚模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行盘算的聚集。➢ 弹性存储的弹性：内存与磁盘的主动切换；容错的弹性：数据丢失可以主动规复；盘算的弹性：盘算堕落重试机制；分片的弹性：可根据需要重新分片。➢ 分布式：数据存储在大数据集群不同节点上➢ 数据集：RDD 封装了盘算逻辑，并不保存数据➢ 数据抽象：RDD 是一个抽象类，需要子类具体实现➢ 不可变：RDD 封装了盘算逻辑，是不可以改变的，想要改变，只能产生新的 RDD，在新的 RDD 里面封装盘算逻辑➢ 可分区、并行盘算焦点属性➢ 分区列表RDD 数据布局中存在分区列表，用于执行使命时并行盘算，是实现分布式盘算的重要属性。➢ 分区盘算函数Spark 在盘算时，是利用分区函数对每一个分区进行盘算。➢ RDD 之间的依赖关系RDD 是盘算模型的封装，当需求中需要将多个盘算模型进行组合时，就需要将多个 RDD 建立依赖关系。➢ 分区器（可选）当数据为 K-V 类型数据时，可以通过设定分区器自定义数据的分区。➢ 首选位置（可选）盘算数据时，可以根据盘算节点的状态选择不同的节点位置进行盘算。执行原理从盘算的角度来讲，数据处置处罚过程中需要盘算资源（内存 & CPU）和盘算模型（逻辑）。执行时，需要将盘算资源和盘算模型进行协调和整合。Spark 框架在执行时，先申请资源，然后将应用步调的数据处置处罚逻辑分解成一个一个的盘算使命。然后将使命发到已经分配资源的盘算节点上, 按照指定的盘算模型进行数据盘算。最后得到盘算结果。RDD 是 Spark 框架中用于数据处置处罚的焦点模型，接下来我们看看，在 Yarn 环境中，RDD的工作原理：启动 Yarn 集群环境Spark 通过申请资源创建调理节点和盘算节点Spark 框架根据需求将盘算逻辑根据分区划分成不同的使命调理节点将使命根据盘算节点状态发送到对应的盘算节点进行盘算从以上流程可以看出 RDD 在整个流程中主要用于将逻辑进行封装，并生成 Task 发送给Executor 节点执行盘算。RDD 序列化1) 闭包检查从盘算的角度, 算子以外的代码都是在 Driver 端执行, 算子里面的代码都是在 Executor端执行。那么在 scala 的函数式编程中，就会导致算子内经常会用到算子外的数据，如许就形成了闭包的效果，假如利用的算子外的数据无法序列化，就意味着无法传值给 Executor端执行，就会发生错误，以是需要在执行使命盘算前，检测闭包内的对象是否可以进行序列化，这个操纵我们称之为闭包检测。Scala2.12 版本后闭包编译方式发生了改变2) 序列化方法和属性从盘算的角度, 算子以外的代码都是在 Driver 端执行, 算子里面的代码都是在 Executor端执行3) Kryo 序列化框架Java 的序列化能够序列化任何的类。但是比力重（字节多），序列化后，对象的提交也比力大。Spark 出于性能的考虑，Spark2.0 开始支持别的一种 Kryo 序列化机制。Kryo 速度是 Serializable 的 10 倍。当 RDD 在 Shuffle 数据的时候，简单数据类型、数组和字符串类型已经在 Spark 内部利用 Kryo 来序列化。留意：即使利用 Kryo 序列化，也要继承 Serializable 接口。RDD 依赖关系1) RDD 血缘关系RDD 只支持粗粒度转换，即在大量记载上执行的单个操纵。将创建 RDD 的一系列 Lineage（血统）记载下来，以便规复丢失的分区。RDD 的 Lineage 会记载 RDD 的元数据信息和转换行为，当该 RDD 的部分分区数据丢失时，它可以根据这些信息来重新运算和规复丢失的数据分区。2) RDD 依赖关系这里所谓的依赖关系，着实就是两个相邻 RDD 之间的关系。包括打印依赖、shuffle依赖等。3) RDD 窄依赖窄依赖表示每一个父(上游)RDD 的 Partition 最多被子（下游）RDD 的一个 Partition 利用，窄依赖我们形象的比喻为独生后代。4) RDD 宽依赖宽依赖表示同一个父（上游）RDD 的 Partition 被多个子（下游）RDD 的 Partition 依赖，会引起 Shuffle，总结：宽依赖我们形象的比喻为多生。5) RDD 阶段划分DAG（Directed Acyclic Graph）有向无环图是由点和线组成的拓扑图形，该图形具有方向，不会闭环。比方，DAG 记载了 RDD 的转换过程和使命的阶段。6) RDD 使命划分RDD 使命切分中间分为：Application、Job、Stage 和 Task⚫ Application：初始化一个 SparkContext 即生成一个 Application；⚫ Job：一个 Action 算子就会生成一个 Job；⚫ Stage：Stage 等于宽依赖(ShuffleDependency)的个数加 1；⚫ Task：一个 Stage 阶段中，最后一个 RDD 的分区个数就是 Task 的个数。留意：Application->Job->Stage->Task 每一层都是 1 对 n 的关系。RDD 长期化1) RDD Cache 缓存RDD 通过 Cache 大概 Persist 方法将前面的盘算结果缓存，默认环境下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发反面的 action 算子时，该 RDD 将会被缓存在盘算节点的内存中，并供反面重用。缓存有可能丢失，大概存储于内存的数据由于内存不足而被删除，RDD 的缓存容错机制保证了即使缓存丢失也能保证盘算的精确执行。通过基于 RDD 的一系列转换，丢失的数据会被重算，由于 RDD 的各个 Partition 是相对独立的，因此只需要盘算丢失的部分即可，并不需要重算全部 Partition。Spark 会主动对一些 Shuffle 操纵的中间数据做长期化操纵(好比：reduceByKey)。如许做的目的是为了当一个节点 Shuffle 失败了避免重新盘算整个输入。但是，在现实利用的时候，假如想重用数据，仍然建议调用 persist 或 cache。2) RDD CheckPoint 检查点所谓的检查点着实就是通过将 RDD 中间结果写入磁盘由于血缘依赖过长会造成容错成本过高，如许就不如在中间阶段做检查点容错，假如检查点之后有节点出现问题，可以从检查点开始重做血缘，减少了开销。对 RDD 进行 checkpoint 操纵并不会立刻被执行，必须执行 Action 操纵才能触发。3) 缓存和检查点区别··1）Cache 缓存只是将数据保存起来，不堵截血缘依赖。Checkpoint 检查点堵截血缘依赖。·2）Cache 缓存的数据通常存储在磁盘、内存等地方，可靠性低。Checkpoint 的数据通常存储在 HDFS 等容错、高可用的文件系统，可靠性高。·3）建议对 checkpoint()的 RDD 利用 Cache 缓存，如许 checkpoint 的 job 只需从 Cache 缓存中读取数据即可，否则需要再重新盘算一次 RDD。RDD 分区器Spark 目前支持 Hash 分区和 Range 分区，和用户自定义分区。Hash 分区为当前的默认分区。分区器直接决定了 RDD 中分区的个数、RDD 中每条数据经过 Shuffle 后进入哪个分区，进而决定了 Reduce 的个数。➢ 只有 Key-Value 类型的 RDD 才有分区器，非 Key-Value 类型的 RDD 分区的值是 None➢ 每个 RDD 的分区 ID 范围：0 ~ (numPartitions - 1)，决定这个值是属于谁人分区的。Hash 分区：对于给定的 key，盘算其 hashCode,并除以分区个数取余。Range 分区：将肯定范围内的数据映射到一个分区中，只管保证每个分区数据匀称，而且分区间有序RDD 文件读取与保存Spark 的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。文件格式分为：text 文件、csv 文件、sequence 文件以及 Object 文件；文件系统分为：本地文件系统、HDFS、HBASE 以及数据库。➢ text 文件➢ sequence 文件SequenceFile 文件是 Hadoop 用来存储二进制情势的 key-value 对而计划的一种平面文件(Flat File)。在 SparkContext 中，可以调用 sequenceFile(path)。➢ object 对象文件对象文件是将对象序列化后保存的文件，采用 Java 的序列化机制。可以通过 objectFile(path)函数接收一个路径，读取对象文件，返回对应的 RDD，也可以通过调用saveAsObjectFile()实现对对象文件的输出。因为是序列化以是要指定类型。免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]