区别"/>
spark1.x和spark2.x的区别
spark 2.x 版本相对于1.x版本,有挺多地方的修改,
1 Spark2 Apache Spark作为编译器:增加新的引擎Tungsten执行引擎,比Spark1快10倍
2 ml做了很大的改进,支持协同过滤
.html
3 spark2 org.apache.spark.sql加了SparkSession把Spark的SQLcontext和hiveContext整合dataFrame去掉了,统一采用dataset
4 做流的方式,例如设置10秒钟一批,5秒钟处理
5 R语言API加入了很多机器学习的算法
同时Spark2.x引入了很多优秀特性,性能上有很大提升,API更易用。实现了离线计算和流计算的统一,实现了Spark sql和Hive Sql操作API的统一。
Spark 2.x基本上是基于Spark 1.x进行了更多的功能和模块的扩展,及性能的提升
Spark 2.x新特性
1)Spark Core/SQL
在内存和CPU使用方面进一步优化Spark引擎性能,支持SQL 2003标准,支持子查询,对常用的SQL操作和DataFrame,性能有2-10倍的提升
2)sparksession
Spark2.0 中引入了 SparkSession 的概念,它为用户提供了一个统一的切入点来使用 Spark 的各项功能,统一了旧的SQLContext与HiveContext。用户不但可以使用 DataFrame 和Dataset 的各种 API,学习 Spark2 的难度也会大大降低。
3)统一 DataFrames 和 Datasets 的 API
它们都是提供给用户使用,包括各类操作接口的 API,1.3 版本引入 DataFrame,1.6版本引入Dataset,在 spark 2.0 中,把 dataframes 当作是一种特殊的 datasets,dataframes = datasets[row],把两者统一为datasets。
4) strutured Streaming
Spark Streaming基于Spark SQL(DataFrame / Dataset )构建了high-level API,使得Spark Streaming充分受益Spark SQL的易用性和性能提升。
5) 其它特性
mllib里的计算用 DataFrame-based aPI替代以前的RD计算裸机,提供更多的R语言算法,默认使用Scala 2.11编译与运行
这里就其中的两点进行详细说明
一是类似于flatMapRDD 中 iteator iteatable之类的区别
二是类似于dataset的一些问题
下面是2.x版本的iteatable和iteartor之类的区别,只举例了两个,其实只要和iteartor有关的都有了修改
flatMapJavaRDD<String> flatMapRDD = lines.flatMap(new FlatMapFunction<String, String>() {@Overridepublic Iterator<String> call(String s) throws Exception {String[] split = s.split("\\s+");return Arrays.asList(split).iterator();}});flatMapToPair javaJavaPairRDD<String, Integer> wordPairRDD = lines.flatMapToPair(new PairFlatMapFunction<String, String, Integer>() {@Overridepublic Iterator<Tuple2<String, Integer>> call(String s) throws Exception {ArrayList<Tuple2<String, Integer>> tpLists = new ArrayList<Tuple2<String, Integer>>();String[] split = s.split("\\s+");for (int i = 0; i <split.length ; i++) {Tuple2 tp = new Tuple2<String,Integer>(split[i], 1);tpLists.add(tp);}return tpLists.iterator();}});
spark中初始化driver的区别
spark2.0中,可以使用session来创建一个sparkContext作为一个新的入口,具体参考例子就可以了
jar包的区别
spark2.x版本中不再有spark-assembly-xxx jar包,jar包全都在.jars 中
scala的版本
spark2.x版本的,对scala的版本最低要求是2.11
下面是sql中的区别
2.x 版本的 sparkSql中
1.x 版本的 DataFrame与Dataset 统一化了,只剩下DataSet了,具体的也可以直接参看官方给的spark sql 的例子即可
具体 todo
iterator and iterable 共用
import java.util.Iterator;public class MyIterator<T> implements Iterator, Iterable
{private Iterator myIterable;public MyIterator(Iterable iterable){myIterable = iterable.iterator();}@Overridepublic boolean hasNext() {return myIterable.hasNext();}@Overridepublic Object next() {return myIterable.next();}@Overridepublic void remove() {myIterable.remove();}@Overridepublic Iterator iterator() {return myIterable;}
}
使用方法
JavaRDD flatMapRDD = lines.flatMap(new FlatMapFunction<String, String>() {
@Override
public MyIterator call(String s) throws Exception {
String[] split = s.split(“\s+”);
MyIterator myIterator = new MyIterator(Arrays.asList(split));
return myIterator;
}
});
更多推荐
spark1.x和spark2.x的区别
发布评论