Spark天堂之门笔记

之门笔记"/>

Spark天堂之门笔记

一、Spark天堂之门：SparkContext
1. Spark程序在运行时分为Driver和Executors两部分；
2. Spark程序编写基于SparkContext，具体包含两个方面：
Spark编程的核心基础是RDD，第一个RDD一定是由SparkContext创建的；
Spark程序的调度优化也是基于SparkContext实现。
3. Spark程序注册时通过SparkContext实例化时产生的对象完成（实际上通过SchedulerBackend来注册程序）；
4. Spark程序运行时通过Cluster Manager获得具体的计算资源，计算资源的获取也是通过SparkContext产生的对象来申请的（实际上通过SchedulerBackend来获取计算资源)；
5. SparkContext崩溃或者结束时整个Spark程序就结束了。
SparkContext开启天堂之门：Spark程序通过SparkContext发布到Spark集群；
SparkContext导演天堂世界：Spark程序的运行都是在SparkContext为核心的调度器指挥下进行的；
SparkContext关闭天堂之门：SparkContext崩溃或者结束时整个Spark程序就结束。
二、SparkContext天堂内幕
1.SparkContext构建的顶级三大核心对象：DAGScheduler、TaskScheduler、SchedulerBackend，其中：
DAGScheduler是面向Job的Stage的高层调度器；
TaskSchedule是接口，根据具体的Cluster Manager的不同会有不同的实现，Standalone模式下具体的实现是