spark执行后报错physical memory used. Consider boosting spark.yarn.executor.memoryOverhead

使用spark运行数据处理事，虽然可以成功运行，但是看spark监控有fail出现，观察日志，发现有报错信息

[ERROR]

method:org.apache.spark.internal.Logging$class.logError(Logging.scala:70)
Lost executor Container killed by YARN for exceeding memory limits. 17.0 GB of 17 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
[ERROR]

method:org.apache.spark.internal.Logging$class.logError(Logging.scala:70)
Lost executor Container killed by YARN for exceeding memory limits. 17.1 GB of 17 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
handle clean data end ...

memoryOverhead： 对应的参数就是spark.yarn.executor.memoryOverhead 这块内存是用于虚拟机的开销、内部的字符串、还有一些本地开销(比如python需要用到的内存)等。其实就是额外的内存，spark并不会对这块内存进行管理。

从1024（1G）调整到3072（3G），单位是M 可以根据自己的情况调节大小，后报错不再出现，可以完美运行。