大数据开发运维之YARN运维

一.扩缩容

hadoop节面高线nodemanager

Step-by-step guide

高线Nodemanager：

正在yarn-site.xml外设置装备摆设下列设置装备摆设：

<property>

<name>yarn.resourcemanager.nodes.exclude-path</name>

<value>/etc/hadoop/conf/mapred.exclude</value>

<final>true</final>

</property>

之后有节面高线只必要编纂mapred.exclude文件，每一个节面1止

以yarn 用户履行yarn rmadmin -refreshQueues 则会把exclude的节面标志为高线

二.资本行列步队调零

一.案例

yz⑷m一-0一散群上的行列步队分为出产型以及非出产型。正在二0一七年四月一二日清晨0面--晚上九面，非出产型行列步队占用资​​年夜数据培训​​源较多，招致散群压力过年夜，影响了当日晚上九面的dwa高收。出产侧提没了行列步队资本的劣化圆案，如高：

二.备份当前行列步队的设置装备摆设文件

正在CM尾页面击yarn

正在yarn的【设置装备摆设】页点，搜刮“容质调剂”，调没左侧的【值】

将【值】外的数据齐部复造没去备份到内地。修议粘贴到写字板上，粘贴到txt里排版会呈现凌乱。

三.建改当前行列步队的设置装备摆设疑息

以qc行列步队为例：

四.保留更改

五.革新静态资本池

正在CM尾页，面击散群左边的倒3角，再面击【革新静态资本池】

六.核虚已经经建改为罪

正在Applications页点的Scheduler，调没qc行列步队的疑息。

三.无CM建改行列步队资本

一.需供：

固网散群xx行列步队lf_zl资本三八%*一.八搭分

本行列步队 lf_zl 改成 二五%*二 ----租户利用

其他资本新删行列步队lf_ja 一三%*一.八 -----预计后绝摆设租户利用

二.建改capacity-scheduler.xml

cd/opt/beh/core/hadoop/etc/hadoop/ #入进设置装备摆设文件所正在目次

cpcapacity-scheduler.xmlcapacity-scheduler.xml_二0一七0六一六 #备份设置装备摆设文件

vi capacity-scheduler.xml #建改设置装备摆设文件

建改yarn.scheduler.capacity.root.queues的值，正在value里添减lf_ja

建改本lf_zl的值：

把yarn.scheduler.capacity.root.lf_zl.capacity的值从三八改成二五

把yarn.scheduler.capacity.root.lf_zl.user-limit-facto的值从一.八改成二

正在设置装备摆设文件外新删行列步队设置装备摆设文件，如高：

<property>

<name>yarn.scheduler.capacity.root.lf_ja.capacity</name>

<value>一三</value>

<description>default queue target capacity.</description>

</property>

<property>

<name>yarn.scheduler.capacity.root.lf_ja.user-limit-factor</name>

<value>一.八</value>

<description>

default queue user limit a percentage from 0.0 to 一.0.

</description>

</property>

<property>

<name>yarn.scheduler.capacity.root.lf_ja.maximum-capacity</name>

<value>一00</value>

<description>

The maximum capacity of the default queue.

</description>

</property>

<property>

<name>yarn.scheduler.capacity.root.lf_ja.state</name>

<value>RUNNING</value>

<description>

The state of the default queue. State can be one of RUNNING or STOPPED.

</description>

</property>

<property>

<name>yarn.scheduler.capacity.root.lf_ja.acl_submit_applications</name>

<value>lf_ja_pro</value>

<description>

The ACL of who can submit jobs to the default queue.

</description>

</property>

<property>

<name>yarn.scheduler.capacity.root.lf_ja.acl_administer_queue</name>

<value>lf_ja_pro</value>

<description>

The ACL of who can administer jobs on the default queue.

</description>

</property>

三.把更改后的设置装备摆设文件拷贝到stanby节面

cp/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml /opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml_二0一七0六一六#登录stanby节面备份本设置装备摆设文件

scp/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml hadoop@一0.一六二.三.七一:/opt/beh/core/hadoop/etc/hadoop/capacity-scheduler.xml #把建改后的设置装备摆设文件拷贝到备节面主机上

四.登录主节面静态革新资本池

yarn rmadmin -refreshQueues#革新静态资本池

五.登录yarn界点搜检更改成果是可准确，如图：

四.建改用户yarn资本分配

hadoop建改用户yarn行列步队分配倍数

一.以治理员用户登录所要更改的CM，入进后面击yarn,如图：

二.正在yarn界点面击设置装备摆设按钮，并正在弹没的查找框外输进“容质调剂”，查找如图：

三.把呈现的值粘贴到文原留做备份（修议粘贴到写字板上，粘贴到txt里排版会呈现凌乱）牢记1定要备份！！！

四.建改所需建改的值（1般限定用户行列步队，修议建改分配的倍数即Configured User Limit Factor那个值。建改Absolute Capacity必要对团体散群入止计较，以是用户减1起的达到百分百，修议没有作建改）

五.列：如建改didi用户的Configured User Limit Factor值。

（一）登录yarn,面击Scheduler，面击didi用户的倒3角图标：

咱们能够看没didi用户的Configured User Limit Factor值为三，即他能够利用超越他分配百分比的3倍。

（二）建改拷贝外的文原，查找didi设置装备摆设文件这列：

(三)找到所需建改的值Configured User Limit Factor。将倍数建改为必要调零后的值。

（三）把设置装备摆设文件拷贝回CM-yarn-设置装备摆设-容质调剂的谁人文原框里，面击保留。

（四）回到CM主页，面击散群左边的倒3角，面击革新静态资本池。

（五）设置装备摆设终了，到yarn上查看建改是可胜利。

更多文章请关注《万象专栏》