阿川CH
学海无涯，上栽上栽！
Toggle navigation
阿川CH
主页
归档
标签
正确移除hadoop集群中节点步骤
2018-04-19 11:17:19
0
0
0
cqc
## 配置 创建一个exclude文件，里面添加要移除节点的ip或hostname，每行一个。如我的是`vim /etc/emr/hadoop-conf/exclude`,文件添加 ``` emr-worker-3 emr-worker-4 emr-worker-5 ``` `hdfs-site.xml`添加 ``` <property> <name>dfs.hosts.exclude</name> <value>/etc/emr/hadoop-conf/exclude</value> </property> ``` ## 重启namenode 如果有两个namenode，建议一个完全启动后，再重启另一个 重启完后，在hdfs的后台将可以看到  ## 数据迁移完成后，再次重启namenode 数据迁移完成后，状态会显示成：Decommissioned。 清空exclude文件中的节点信息 再次重启namenode，就可以了 ## 其他 如果觉得迁移有点慢，在集群资源比较空闲的情况下，可在`hdfs-site.xml`中增加以下三个参数，参数值根据实际情况调整，以下参数值是我在开发环境中实践的值 ``` <property> <name>dfs.namenode.replication.max-streams</name> <value>50</value> </property> <property> <name>dfs.namenode.replication.max-streams-hard-limit</name> <value>100</value> </property> <property> <name>dfs.namenode.replication.work.multiplier.per.iteration</name> <value>200</value> </property> ``` 配置修改后，需要再次重启namenode
上一篇:
pv用法
下一篇:
Web Application Proxy 介绍
文档导航
cqc
cqc