## YARN运行资源配置

YARN运行资源配置

描述：
此文档是针对提交到yarn上执行任务时，资源不足导致任务运行时间久、任务失败、nodemanager进程挂掉等问题，从而得出的解决上述问题的办法。

————————————————————————————————

1、ApplicationMaster 内存
提交任务到yarn上时，为ApplicationMaster分配的内存量，一般不需要太大，1G-4G即可
在yarn-site.xml中配置
参数名 ： yarn.app.mapreduce.am.resource.mb
值：1024mb

2、容器内存
每台nodemanager节点提供给yarn进行调度管理的内存大小，就是分配多少资源去让yarn进行管理
这个需要根据每台服务器的内存来确定，拿 三台服务器每台8核16G内存举例，每台机器可以给yarn分配16G内存，但不建议全给，一般配置10G-14G即可
参数名：yarn.nodemanager.resource.memory-mb
值： 12G

3、容器虚拟 CPU 内核
每台nodemanager节点提供给yarn进行调度管理的CPU核数大小，就是分配多少CPU去让yarn进行管理
这个需要根据每台服务器的内存来确定，拿 三台服务器每台8核16G内存举例，每台机器可以给yarn分配8核，但不建议全给，一般配置4-6核即可。但有时候在运行yarn任务时会出现计算很慢问题。注意这里是虚拟内核，因为yarn不会去检测服务器的内核数量，所以针对这种情况，就可以将数量增加1到2倍来提高运算效率。比如配置为32
参数名：yarn.nodemanager.resource.cpu-vcores
值： 32

4、最小容器内存
就是分配给每个Container（容器）的最小执行内存。每创建一个容器就默认占用这么多内存资源，默认512MB即可
参数名：yarn.scheduler.minimum-allocation-mb
值： 512mb

5、容器内存增量
当创建一个容器后，默认创建的容器资源无法支持任务去运行，就需要增加内存资源，就需要配置每次增加内存资源的大小。配置512MB即可，但如果在yarn上提交的每个任务所涉及的数据或计算都很多，则可以相应调整为1G，2G等
参数名：yarn.scheduler.increment-allocation-mb
值：512mb

6、最大容器内存
就是一个容器所最大支持的内存容量，如果某个任务涉及的数据非常的大，若配置的最大容器内存过小，则会导致任务失败。
一般配置为 <=容器虚拟 CPU 内核，但不能超过容器内存yarn.nodemanager.resource.memory-mb
参数名：yarn.scheduler.maximum-allocation-mb
值：10G

7、最小容器虚拟 CPU 内核数量
与最小内存同理，一个容器涉及的最小计算量的cpu数
参数名：yarn.scheduler.minimum-allocation-vcores
值： 1

8、容器虚拟 CPU 内核增量
与容器内存增量同理，一个容器每次增加的cpu数
参数名：yarn.scheduler.increment-allocation-vcores
值 ：1

9、最大容器虚拟 CPU 内核数量
与容器最大内存同理，一个容器容纳的最大CPU数，代表它最大的计算能力，同样不能超过之前配置的容器虚拟 CPU 内核， yarn.nodemanager.resource.cpu-vcores
参数名：yarn.scheduler.maximum-allocation-vcores
值：32