티스토리 툴바


posted by pasión 2011/08/22 17:23
hadoop에서 start-all.sh 로 구동하게 되면 jps 로 확인했을 때 하기와 같이 떠야 한다.

30695 DataNode
30627 NameNode
30910 Jps
30814 JobTracker
30881 TaskTracker
30762 SecondaryNameNode

하지만, 나의 경우에는 DataNode가 같이 올라오지 않아 한참 고생했다.

첫번째, 시도해 본 case가 filesystem directory를 날리고 다시 namenode 포맷 후, 다시 start-all.sh
하지만 나의 경우엔 되지 않았음. 

두번째, 시도해 본 case가 개별로 start
hadoop namenode
hadoop secondarynamenode
hadoop jobtracker
hadoop datanode
hadoop tasktracker

이 때,  datanode 구동 시 filesystem이 755 가 아닌 775여서 구동이 안된다는거였다.. 이럴수가...ㅎㅎ
어쨋든 수정해서 success! 
posted by pasión 2011/08/18 14:11
MacBook-Air:~ hadoop$ hadoop namenode -format
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hdfs/server/namenode/NameNode
Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hdfs.server.namenode.NameNode
at java.net.URLClassLoader$1.run(URLClassLoader.java:202)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:247)
 
message 그대로 hadoop 환경설정을 찾지 못해서이다.
conf/hadoop-env.sh 파일 설정에서 잘못된 곳이 없는지 확인하면 된다. 
posted by pasión 2011/01/24 19:44