Saprk flatMap"/>
Saprk flatMap
目录
- Saprk flatMap功能
- 案例演示
Saprk flatMap功能
扁平化,即让数据打散后放入到一个大集合中( flatMap 函数返回值是一个集合)
案例演示
需求:将 List(List(1, 2), 3, List(4, 5)) 中元素取出,然后输出到控制台,形式如下
12345
package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transformimport org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}/*** @Package : com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform* @Desc : 扁平化,即让元素打散*/
object Spark03_FlatMap {def main(args: Array[String]): Unit = {//创建配置文件val conf: SparkConf = new SparkConf().setAppName("").setMaster("local[*]")//创建SparkContext,该对象是提交的入口val sc = new SparkContext(conf)//创建RDDval rdd: RDD[Any] = sc.parallelize(List(List(1, 2), 3, List(4, 5)))//将集合中的数据打散val resRDD: RDD[Any] = rdd.flatMap(data => {data match {//匹配列表List(1, 2),List(4, 5)case list: List[_] => list//匹配3case n => List(n)}})//打印输出resRDD.collect().foreach(println)//释放资源sc.stop()}
}
更多推荐
Saprk flatMap
发布评论