Spark天堂之门

之门"/>

Spark天堂之门

本期内容：

   1、Spark天堂之门

   2、SparkContext使用案例借鉴

   3、SparkContext内幕

   4、SparkContext源码解密

 一、Spark天堂之门

   1、Spark程序在执行的时候分为Driver和Executor两部分；

   2、Spark程序的编写核心基础是RDD，具体包含两部分：

       a）是由SparkContext来最初创建第一个RDD，一定是由SparkContext来创建的；

       b）Spark程序的调度优化也是基于SparkContext；

   3、Spark程序的注册要通过SparkContext实例化时候产生的对象来完成（其实是由SchedulerBackend注册程序）；

   4、Spark程序运行的时候要通过ClusterManager获得具体的资源，计算资源的获取也是由SparkContext产生的对象来申请的（