Spark glom"/>
Spark glom
目录
- Spark glom 功能
- 案例演示
Spark glom 功能
该函数将RDD中每一个分区变成一个数组,并放置在新的RDD中,数组中元素的类型与原分区中元素类型一致
案例演示
需求:有makeRDD(List(1, 2, 3, 4), numSlices = 2),求每个分区的最大值,求出个分区的最大值以后再进行累加
0分区->1,2 ;1分区->3,4
所有分区的最大值击行求和 2 + 4 = 6
package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transformimport org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}/*** @Package : com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform* @Desc : glom将每一个分区变成一个数组,并放置在新的RDD中*/
object Spark04_Glom {def main(args: Array[String]): Unit = {//创建配置文件val conf: SparkConf = new SparkConf().setAppName("Spark04_Glom").setMaster("local[*]")//创建SparkContext,该对象是提交的入口val sc = new SparkContext(conf)//创建RDDval rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), numSlices = 2)//求出每一个分区的最大值 0分区->1,2 1分区->3,4val maxRDD: RDD[Int] = rdd.glom().map(_.max)//将求出所有分区的最大值击行求和 2 + 4println(maxRDD.collect().sum)//释放资源sc.stop()}
}
更多推荐
Spark glom
发布评论