spark-submit 增加参数
–conf spark.yarn.am.extraJavaOptions=“-Dhadoop.yarn.application.AM_REUSE=false”
–conf spark.yarn.submit.waitAppCompletion=true
Yarn修改参数:
yarn.resourcemanager.am.liveness-monitor.interval-ms =1000 --RM检查AM存活状态的时间间隔(单位为毫秒,默认1s)。
yarn.am.liveness-monitor.expiry-interval-ms = 1000 --AM在无响应后判定为失效的时间阈值(单位为毫秒,m默认10分钟)。