Spark filter

Spark filter"/>

Spark filter

目录

• • Spark filter 功能
  • 案例演示

Spark filter 功能

过滤出符合条件的数据，如果符合条件，这些元素会被添加到新的RDD中

案例演示

需求：给出List(“wangqiao”, “xiaojing”, “hanqi”, “chengjing”, “xiaohao”)，过滤出包含jing的字符串，然后输出到控制台，形式如下

xiaojing
chengjing

package com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transformimport org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}/*** @Package : com.xcu.bigdata.spark.core.pg02_rdd.pg022_rdd_transform* @Desc : 过滤出符合条件的数据*/
object Spark06_Filter {def main(args: Array[String]): Unit = {//创建配置文件val conf: SparkConf = new SparkConf().setAppName("Spark06_Filter").setMaster("local[*]")//创建SparkContext,该对象是提交的入口val sc = new SparkContext(conf)//创建RDDval rdd: RDD[String] = sc.makeRDD(List("wangqiao", "xiaojing", "hanqi", "chengjiang", "xiaohao"))//过滤出符合条件的RDDval filterRDD: RDD[String] = rdd.filter((s: String) => {s.contains("jing")})//打印输出filterRDD.collect().foreach(println)//释放资源sc.stop()}
}