调整 yarn.nodemanager.vmem - pmem - ratio 参数,可参考以下步骤:
打开YARN配置文件
找到 yarn - site.xml 文件,该文件通常位于Hadoop配置目录中,例如 /etc/hadoop/conf 或 /opt/module/hadoop - 3.1.3/etc/hadoop 。
找到并修改参数
在 yarn - site.xml 文件中,找到 <name>yarn.nodemanager.vmem - pmem - ratio</name> 配置项。如果该配置项不存在,可以手动添加。默认值为 2.1 ,表示每使用 1MB 的物理内存,最多可以使用 2.1MB 的虚拟内存。可根据集群的实际情况调整该值。
重启YARN服务
修改配置文件后,需要重启YARN服务以使配置生效。在集群环境中,可以通过 yarn - daemon.sh stop resourcemanager 和 yarn - daemon.sh start resourcemanager 命令重启YARN,或者使用集群管理工具(如Ambari或Cloudera Manager)进行重启操作。
调整参数后,建议通过YARN的资源管理器界面监控作业的内存使用情况,确保调整后的配置能够满足需求。如果集群中的节点硬件配置差异较大,还可以根据不同节点的实际情况分别调整 yarn - site.xml 文件。