Spark程序的入口之SparkContext

入口之SparkContext"/>

Spark程序的入口之SparkContext

       今天讲的是sparkContext，这是spark程序的入口，每次写spark程序，首先你得: new sparkContext(conf)，参数里是sparkConf，也就是一些相关配置参数。SparkContext 允许driver 应用程序通过资源管理器访问集群，这个资源管理器可以是yarn，mesos，或者是spark集群管理器。sparkContext具体干哪些活呢？细节可以说比较复杂的，我们这里只抽取最重要的几点进行讲解。

       主体流程图如下：

   下面我们一一来讲解：

1. 加载配置文件SparkConf，创建SparkEnv

2. 创建TaskScheduler

3. 创建DAGScheduler

4. 创建SparkUI

   

 1.加载配置文件SparkConf，创建SparkEnv

     这个很好理解，我们需要在程序指定像master地址，appName,,,,,,,这是初始化sparkContext的时候要加载配置文件或者相关配置参数，准备好spark环境，我们可以看下sparkContext的源码：