Spark filter"/>
Spark filter
目录
- Spark filter 功能
- 案例演示
Spark filter 功能
过滤出符合条件的数据,如果符合条件,这些元素会被添加到新的RDD中
案例演示
需求:给出List(“wangqiao”, “xiaojing”, “hanqi”, “chengjing”, “xiaohao”),过滤出包含jing的字符串,然后输出到控制台,形式如下
xiaojing
chengjing
package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transformimport org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}/*** @Package : com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform* @Desc : 过滤出符合条件的数据*/
object Spark06_Filter {def main(args: Array[String]): Unit = {//创建配置文件val conf: SparkConf = new SparkConf().setAppName("Spark06_Filter").setMaster("local[*]")//创建SparkContext,该对象是提交的入口val sc = new SparkContext(conf)//创建RDDval rdd: RDD[String] = sc.makeRDD(List("wangqiao", "xiaojing", "hanqi", "chengjiang", "xiaohao"))//过滤出符合条件的RDDval filterRDD: RDD[String] = rdd.filter((s: String) => {s.contains("jing")})//打印输出filterRDD.collect().foreach(println)//释放资源sc.stop()}
}
更多推荐
Spark filter
发布评论