Spark快速上手(3)Spark核心编程-RDD转换算子

RDD(2)

RDD转换算子

RDD根据数据处理方式的不同将算子整体上分为Value类型、双Value类型、Key-Value类型
value类型

map

函数签名
def map[U:ClassTag](f:T=>U):RDD[U]
函数说明
将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换
e.g.1

1. val source = sparkContext.parallelize(Seq(1, 2, 3, 4, 5, 6))
2.     val map = source.map(item => item*10)
3.     val result = map.collect()
4.     result.foreach(println)

复制代码

e.g.2
[code]   val data1: RDD[Int] = sparkContext.parallelize(List(1, 2, 3, 4), 2)//    val data2: RDD[Int] = sparkContext.parallelize(List(1, 2, 3, 4), 1)    val rdd1: RDD[Int] = data1.map(      num => {        println(">>>" + num)        num      }    )    val rdd2: RDD[Int] = rdd1.map(      num => {        println("