7월, 2017의 게시물 표시

Hadoop에서 JobTracker is not yet RUNNING 발생시 해결법

Hadoop 실행 시 간혹가다 JobTracker is not yet RUNNING 오류가 발생하는 경우가 있다. 로그를 살펴보면 'Writing to file hdfs://localhost:9000/tmp/hadoop-root/mapred/system/jobtracker.info failed!' 라고 쓰여있다. 결국에는 hdsf에 제대로 접속을 못하는 문제. 내 경우에는 /etc/hosts에 설정한 master hostname이 잘못 들어가서 발생한 문제였다. /etc/hosts에 hadoop에서 사용하는 hostname이 중복되어 들어가는 바람에, dbsys00이라는 hostname으로 hdfs에 접속하려고 했을 때 /etc/hosts에 ip가 2개로 인식된 것. /etc/hosts에서 hostname을 하나로 바꾸고 나니 해결... ===== 오류 내용 ===== 17/07/05 14:52:48 ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.mapred.JobTrackerNotYetInitializedException: JobTracker is not yet RUNNING         at org.apache.hadoop.mapred.JobTracker.checkJobTrackerState(JobTracker.java:5199)         at org.apache.hadoop.mapred.JobTracker.getNewJobId(JobTracker.java:3543)         at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)     ...