Spark快速上手(3)Spark核心编程-RDD转换算子
RDD(2)RDD转换算子
RDD根据数据处理方式的不同将算子整体上分为Value类型、双Value类型、Key-Value类型
value类型
map
函数签名
def map(f:T=>U):RDD
函数说明
将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换
e.g.1
val source = sparkContext.parallelize(Seq(1, 2, 3, 4, 5, 6))
val map = source.map(item => item*10)
val result = map.collect()
result.foreach(println)e.g.2
val data1: RDD = sparkContext.parallelize(List(1, 2, 3, 4), 2)// val data2: RDD = sparkContext.parallelize(List(1, 2, 3, 4), 1) val rdd1: RDD = data1.map( num => { println(">>>" + num) num } ) val rdd2: RDD = rdd1.map( num => { println("
页:
[1]