Saprk flatMap

Saprk flatMap"/>

Saprk flatMap

目录

• • Saprk flatMap功能
  • 案例演示

Saprk flatMap功能

扁平化，即让数据打散后放入到一个大集合中( flatMap 函数返回值是一个集合)

案例演示

需求：将 List(List(1, 2), 3, List(4, 5)) 中元素取出，然后输出到控制台，形式如下

12345

package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transformimport org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}/*** @Package : com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform* @Desc : 扁平化，即让元素打散*/
object Spark03_FlatMap {def main(args: Array[String]): Unit = {//创建配置文件val conf: SparkConf = new SparkConf().setAppName("").setMaster("local[*]")//创建SparkContext,该对象是提交的入口val sc = new SparkContext(conf)//创建RDDval rdd: RDD[Any] = sc.parallelize(List(List(1, 2), 3, List(4, 5)))//将集合中的数据打散val resRDD: RDD[Any] = rdd.flatMap(data => {data match {//匹配列表List(1, 2),List(4, 5)case list: List[_] => list//匹配3case n => List(n)}})//打印输出resRDD.collect().foreach(println)//释放资源sc.stop()}
}