yarn启动spark时遇到内存不足问题容器被终止
发布时间
阅读量：
阅读量
在网上查到该报错说是设置的虚拟内存不够引起的。
报错
Memory consumption: 360.4 MB out of 1 GB physical memory utilized; 2.4 GB consumed from a reserved capacity of up to 2.1 GB virtual memory. Terminating the container.
解释
意思是说container使用的虚拟内存超过了设置的2.1G
那么，问题来了，这个虚拟内存的数量从那儿来的呢？
是基于yarn-site.xml文件进行配置的（该文件位于Hadoop安装目录下的etc/hadoop文件夹中），与该问题相关的属性及其说明如下：
| 属性 | 默认值 | 解释 | 类型 |
|---|---|---|---|
| yarn.scheduler.minimum-allocation-mb | 1024 | 分配给AM单个容器可申请的最小内存，默认1024M | RM属性 |
| yarn.scheduler.maximum-allocation-mb | 8192 | 分配给AM单个容器可申请的最大内存，默认8192M，不能超过NM节点最大可用内存 | RM属性 |
| yarn.nodemanager.resource.memory-mb | 8192 | NM节点最大可用内存，默认8192M |
全部评论 (0)
还没有任何评论哟~