Windows 运行spark on yarn HADOOP_CONF_DIR和YARN_CONF_DIR配置项无效

最新推荐文章于 2026-03-18 02:13:07 发布

原创

最新推荐文章于 2026-03-18 02:13:07 发布 · 661 阅读

收录于

当前文章被以下社区和专栏收录：

在Windows环境下，尝试运行Spark on YARN时遇到问题，尽管在`conf/spark-env.sh`设置了`HADOOP_CONF_DIR`和`YARN_CONF_DIR`，但问题依旧存在。目前问题的具体原因尚未明确。

问题

在windows上运行spark on yarn出现

Exception in thread "main" org.apache.spark.SparkException: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment.
        at org.apache.spark.deploy.SparkSubmitArguments.error(SparkSubmitArguments.scala:657)                                                                      
        at org.apache.spark.deploy.SparkSubmitArguments.validateSubmitArguments(SparkSubmitArguments.scala:290)                                                    
        at org.apache.spark.deploy.SparkSubmitArguments.validateArguments(SparkSubmitArguments.scala:251)                                                          
        at org.apache.spark.deploy.SparkSubmitArguments.<init>(SparkSubmitArguments.scala:120)

标签