ToB企服应用市场:ToB评测及商务社交产业平台

标题: Spark快速上手(3)Spark核心编程-RDD转换算子 [打印本页]

作者: 美丽的神话 时间: 2022-8-21 13:46
标题: Spark快速上手(3)Spark核心编程-RDD转换算子
RDD(2)

RDD转换算子

RDD根据数据处理方式的不同将算子整体上分为Value类型、双Value类型、Key-Value类型
value类型

map

函数签名
def map[U:ClassTag](f:T=>U):RDD[U]
函数说明
将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换
e.g.1

val source = sparkContext.parallelize(Seq(1, 2, 3, 4, 5, 6))
val map = source.map(item => item*10)
val result = map.collect()
result.foreach(println)

复制代码

e.g.2
[code] val data1: RDD[Int] = sparkContext.parallelize(List(1, 2, 3, 4), 2)// val data2: RDD[Int] = sparkContext.parallelize(List(1, 2, 3, 4), 1) val rdd1: RDD[Int] = data1.map( num => { println(">>>" + num) num } ) val rdd2: RDD[Int] = rdd1.map( num => { println("

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)