ambari集群中spark集群执行jar踩的坑

公司三台测试服务器，测试spark的集群模式是否正常运行遇到的问题：
1.spark运行spark任务遇到的，
SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application.
参考博客：
blogs./huanongying/archive/2017/10/12/7655598.html

运行脚本有问题：
sudo -u hdfs /usr/hdp/2.6.5.0-292/spark2/bin/spark-submit \ spark的bin目录下执行
–master yarn \ spark的集群模式
–deploy-mode cluster \ yarn 的模式
–class .amhy.test.Sprk01 \ 类的全路径
–num-executors 3 \ executor的数量
–driver-memory 512m \ driver的内存
–executor-memory 1g \ executor的内存
–executor-cores 1
/bigdata/jars/scala-yarn.jar \

将submit.py文件修改成可执行文件：
chmod +x 文件名

执行方法： ./文件名

执行时产生的异常：
Exception in thread “main” java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/java8/JFunction2mcIIImcIIImcIIIsp

可能的问题：1.集群的scala的版本和idea中scala的版本不一致
解决办法：idea中修改scala的sdk，改成集群中scala的版本
2.可能是包的问题，把依赖包打进去一直在集群上执行，可能集群没有这个依赖包

====================================打包的问题：
1.打第三包：
参考博客：blog.csdn.net/qq_26597927/article/details/80170073
通用插件：

    <plugin>  <groupId>.apache.maven.plugins</groupId>  <artifactId>maven-shade-plugin</artifactId>  <version>2.4.1</version>  <executions>  <execution>  <phase>package</phase>  <goals>  <goal>shade</goal>  </goals>  <configuration>  <transformers>  <transformer implementation=".apache.maven.plugins.shade.resource.ManifestResourceTransformer">  <mainClass>.xxg.Main</mainClass>  </transformer>  </transformers>  </configuration>  </execution>  </executions>  </plugin>  </plugins>  

2.idea自身打包：
参考博客：
blog.csdn.net/Venry_/article/details/80400282