RDD的行动算子

算子"/>

RDD的行动算子

RDD转换算子和RDD行动算子
转换算子：数据结构的转变，返回是新的一个RDD
行动算子：触发作业的执行，就是一个job
常见的行动算子有
1、reduce
函数签名
def reduce(f: (T, T) => T): T
函数说明：聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据。
2、collect
函数签名
def collect(): Array[T]
函数说明：在驱动程序中，以数组 Array 的形式返回数据集的所有元素。
3、count
函数签名
def count(): Long
函数说明：返回 RDD 中元素的个数。
4、first
函数签名
def first(): T
函数说明：返回 RDD 中的第一个元素
5、take
函数签名
def take(num: Int): Array[T]
函数说明：返回一个由 RDD 的前 n 个元素组成的数组。
6、takeOrdered
函数签名
def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]
函数说明：返回该 RDD 排序后的前 n 个元素组成的数组。
7、aggregate
函数签名
def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U
函数说明：分区的数据通过初始值和分区内的数据进行聚合，然后再和初始值进行分区间的数据聚合。
8、countByKey
函数签名
def countByKey(): Map[K, Long]
函数说明：统计每种 key 的个数。
9、save 相关算子
函数签名
def saveAsTextFile(path: String): Unit
def saveAsObjectFile(path: String): Unit
def saveAsSequenceFile(
path: String,
codec: Option[Class[_ <: CompressionCodec]] = None): Unit
函数说明：将数据保存到不同格式的文件中。
10、foreach
函数签名
def foreach(f: T => Unit): Unit = withScope {
val cleanF = sc.clean(f)
sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))
}
函数说明：分布式遍历 RDD 中的每一个元素，调用指定函数。