标签 - Hadoop

Hadoop java 问题排查    2018-06-29 15:06:56    0    0    0
一般来说,报`native snappy library not available: this version of libhadoop was built without snappy support.`,其在应用启动时会有个WARN信息`Unable to load native-hadoop library for your platform... using builtin-java
Hadoop HDFS 数据迁移    2018-03-14 15:03:57    6    0    0

在实际环境中,HDFS集群上的数据可能是不间断的输入,此时如果直接用distcp复制集群的数据可能会导致执行失败或拷贝的一些数据在目标集群上不可用。


可通过在源集群中创建一个快照(snapshot),然后基于快照的数据进行迁移。后续还可基于快照进行增量的更新。

闽ICP备19014535号-1