1
2
3
4
File /tmp/hive/blablabla.... could only be replicated to 0 nodes instead of minReplication (=1). 
There are 3 datanode(s) running and no node(s) are excluded in this operation.
 

위와 같은 에러가 발생하는 원인은 두가지로 볼 수 있겠다.

1. namenode와 datanode가 연동 되지 못해서..(커맨드에 jps를 쳤을때 Master에서 namenode가 안보이거나 Slave에서 datanode가 안보일때)

해결 방법 : namenode 포멧

 - master에서 [하둡 홈]/dfs/namenode폴더 삭제 후 재 생성(slave에서도 datanode폴더 삭제 후 재 생성)

 - 커맨드에 hdfs namenode -format

2. hdfs의 디스크 용량이 가득 찼을때

특정 디스크에 블록이 집중되는 것을 방지하고 고르게 분포되게 끔 balancer를 주기적으로 실행.

만약 slave 모두 용량일 부족하다면 백업을 할 수 밖에 읍다ㅠㅠ

+ Recent posts