Spark.shuffle.io.maxRetries参数

Spark.shuffle.io.maxRetries

默认值：3
参数说明：shuffle read任务从shuffle write任务那里节点正在拉自己的数据，如果网络由于异常拉失败而失败，它将自动重试。 此参数表示可以重试的最大次数。 如果在指定的次数内进行或不成功，则可能导致作业失败。

调优建议：

对于那些包含耗时的shuffle的作业，建议增加最大重试次数（例如60次），以避免由于诸如JVM或网络的完整gc之类的因素而导致数据失败。 不稳定。 在实践中发现，对于大量数据（数十亿到数十亿的shuffle过程），调整参数可以大大提高稳定性。

参考

Spark performance optimization: shuffle tuning