take top takeOrdered 的基本使用方法

使用方法"/>

take top takeOrdered 的基本使用方法

take
top
takeOrdered 的使用

        val spark = SparkSession.builder.master("local[*]").appName("TakeTakeOrderedTop").getOrCreate()val sc = spark.sparkContext// take, 不对数据进行排序，返回rdd 中从0到N 的下标表示的值val rdd1 = sc.parallelize(Seq(11, 2, 30, 4, 9, 100,8,90,99,8), 4)rdd1.take(90).foreach(println)println("----------------------------")// top 默认降序排序, 调用了takeOrder，// def top(num: Int)(implicit ord: Ordering[T]): Array[T] = withScope {// takeOrdered(num)(ord.reverse)//}val rdd2 = sc.makeRDD(Seq(11, 2, 30, 4, 9, -100,8,90,99,8), 8)rdd2.top(100).foreach(println)// 改变其默认排序方式implicit  val myOr = implicitly[Ordering[Int]].reverseprintln("-------------------------")rdd2.top(100).foreach(println)// 特殊数据类型需要指定排序方式, 特殊数据，每一列的数据格式需要是相同的val rdd3 = sc.parallelize(Array((1, 2, 3.0), (3, 2, 4.0), (1, 33, -5.0)))rdd3.top(100)(Ordering.by[(Int, Int, Double), Double](_._3).reverse).foreach(println)rdd3.top(100)(Ordering.by[(Int, Int, Double), Double](_._3)).foreach(println)// takeOrder, 普通数据类型会自动向上转型， 类似top， 默认是升序的val rdd4 = sc.makeRDD(List(1, -22, 33, 44.0, 5, 99.0, 0.99))rdd4.takeOrdered(9).foreach(println)