앞으로~

HRegionServer 서버가 올라갔다가 내려가는 케이스의 경우

아래와 같은에러가 발생한 경우 

서버간의 시간동기화 문제임.. (딱 적혀있었는데.. 에궁..)

리눅스로 개발을 많이 해보지 않았으니.. 삽질좀 했다는.. 

 FATAL org.apache.hadoop.hbase.regionserver.HRegionServer: Master rejected startup because clock is out of sync

org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException:

MapReduce  코딩 4일차...

MapReduce 를 만들다보면

사용자정의 형태의 Writable 를 만들어서 사용해야 되는 케이스가 있다. 

만드는 방법이야. 

아래 블러그 내용을 보면 금방 알수가 있으니 패스..

http://blog.naver.com/PostView.nhn?blogId=plateu&logNo=30134405743

여기서 이야기 하고자 하는 것은

상속받아 만든 Custom Writable  객체로 저장한 데이터를 

다시 읽어 들여서 수정하고자 하는 경우에 대해서 말하고자 한다. 

이 경우 중요한것은 입출력 Type정의가 가장 중요하다. 

  conf.setInputFormat(TextInputFormat.class);           //Map에 들어오는 타입

conf.setOutputFormat(SequenceFileOutputFormat.class);  //Reduce에서 나가서 저장되는 타입 (바이너리 형태로 저장해야지 Custom Writable 객체로 저장한 것을 손쉽게 읽어 들일수 있다. )

conf.setMapOutputKeyClass(Text.class); //map 에서 나가는 출력

conf.setMapOutputValueClass(CustomWritable.class);

conf.setOutputKeyClass(Text.class);      //Reduce 에서 나가는 출력

conf.setOutputValueClass(DataWritable.class);

conf.setMapperClass(Map.class);

conf.setCombinerClass(Reduce.class);

conf.setReducerClass(Reduce.class);

이렇게 정의하여 바이너리 형태로 저장한것을 

public void map(Text key, CustomWritable value, OutputCollector<Text, CustomWritable  output, Reporter reporter) throws IOException {

불러 들여 사용하는곳에서 위와 같이 불러 들이면 손쉽게 가져와 사용 할 수 있다 

이것을 몰랐을때.. 구글 검색 해보니..(검색단어가 안좋았던듯..) HDFS에서 읽어 들여 1Byte단위

잘라서 사용하는 소스를 .. 보고 . 엄청 고민했다는..

WARN org.apache.zookeeper.server.quorum.QuorumCnxManager: Cannot open channel to 2 at election address xxxx/xx.xx.xx.xx:3888