入口之SparkContext"/>
Spark程序的入口之SparkContext
今天讲的是sparkContext,这是spark程序的入口,每次写spark程序,首先你得: new sparkContext(conf),参数里是sparkConf,也就是一些相关配置参数。SparkContext 允许driver 应用程序通过资源管理器访问集群,这个资源管理器可以是yarn,mesos,或者是spark集群管理器。sparkContext具体干哪些活呢?细节可以说比较复杂的,我们这里只抽取最重要的几点进行讲解。
主体流程图如下:
下面我们一一来讲解:
加载配置文件SparkConf,创建SparkEnv
创建TaskScheduler
创建DAGScheduler
创建SparkUI
1.加载配置文件SparkConf,创建SparkEnv
这个很好理解,我们需要在程序指定像master地址,appName,,,,,,,这是初始化sparkContext的时候要加载配置文件或者相关配置参数,准备好spark环境,我们可以看下sparkContext的源码:
更多推荐
Spark程序的入口之SparkContext
发布评论