WARN org.apache.zookeeper.server.quorum.QuorumCnxManager: Cannot open channel to 2 at election address xxxx/xx.xx.xx.xx:3888

zookeeper 기동 직후에 상기와 같은 메세지가 나오는 케이스의 경우에는
zookeeper는 시작하면 server끼리 연결 LEADER / FOLLOWER를 결정하게 됩니다. 이때. 
데이터 동기화 등 할 것을 시작 직후의 경우 Port가 Listen하고 있지 않아  연결되지 않고 이에 
연결 재 시도를 반복하면서 상기와 같은 메세지가 나오는 경우가 있습니다. 

물론 지속적으로 나온다면 문제가 있겠지만. 
기동직후에만 나온다면 무시해도 될듯합니다. 

출처 :

'Hadoop' 카테고리의 다른 글

HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ②  (0) 2011.07.20
Hadoop 인스톨 ①  (0) 2011.07.19
Apache Hadoop이란?  (0) 2011.07.18


long rowidScanStart = getTimeMilSec("2009111912", dateFormat);
long rowidScanLast = getTimeMilSec( "2011110112", dateFormat);

HTable hTable = new HTable("LogTraffic");

//데이터를 읽어올 범위를 지정
Scan scan = new Scan(Bytes.toBytes(rowidScanStart), Bytes.toBytes(rowidScanLast));
ResultScanner scanner = hTable.getScanner(scan); 
for (Result result : scanner) {

//삭제할 RowKey값을 가져온다
byte [] row = result.getRow();
deleteRow(row) ;
} 

scanner.close();
hTable.close(); 

//데이터를 삭제하는 Method
deleteRow(byte[]  row){

            HTable hTable = new HTable("LogTraffic");
            Delete del = new Delete(row);
            hTable.delete(del);
            hTable.close();

}

'Hadoop' 카테고리의 다른 글

Zookeeper　Warning 메세지  (0) 2012.10.11
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ②  (0) 2011.07.20
Hadoop 인스톨 ①  (0) 2011.07.19
Apache Hadoop이란?  (0) 2011.07.18 

2011-05-06 18:39:14,533 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201104081532_0509 with errors
java.lang.RuntimeException: Error while reading from task log url
    at
org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getErrors(TaskLogProcessor.java:130)
    at
org.apache.hadoop.hive.ql.exec.ExecDriver.showJobFailDebugInfo(ExecDriver.java:889)
    at
org.apache.hadoop.hive.ql.exec.ExecDriver.execute(ExecDriver.java:680)
    at
org.apache.hadoop.hive.ql.exec.MapRedTask.execute(MapRedTask.java:123)
.....[snip].....
    at
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:186)
Caused by: java.io.IOException: Server returned HTTP response code: 400 for
URL:
http://hadooptest3:50060/tasklog?taskid=attempt_201104081532_0509_m_000002_2&all=true
    at
sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1436)
    at java.net.URL.openStream(URL.java:1010)
    at
org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getErrors(TaskLogProcessor.java:120)
    ... 16 more
Ended Job = job_201104081532_0509 with exception
'java.lang.RuntimeException(Error while reading from task log url)'
FAILED: Execution Error, return code 1 from
org.apache.hadoop.hive.ql.exec.MapRedTask




Hive 에서 쿼리를 실행했을때 발생하는 에러 


이경우




Hadoop 의 mapred-site.xml 설정중에서 

mapred.child.java.opts=XmxNNNM


값의 설정치를 높여 준다. 



참조 : http://www.mail-archive.com/user@hive.apache.org/msg01373.html 

'Hadoop' 카테고리의 다른 글

Zookeeper　Warning 메세지  (0) 2012.10.11
HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hadoop 인스톨 ②  (0) 2011.07.20
Hadoop 인스톨 ①  (0) 2011.07.19
Apache Hadoop이란?  (0) 2011.07.18
●Hadoop은 apache에서 최신판으로 다운 받는다. 

http://hadoop.apache.org/core/releases.html#Download







● hadoop-0.21.0.tar.gz을 적당한 곳에 다운을 받는다. 
- 링크 주소를 복사하여 wget으로 받는것이 편하다. 

● 다운로드 파이을 /tmp 밑에 두고, 밑과 같은 순서로 일을 처리한다. 
[root@centos01 tmp]# tar -xvzf hadoop-0.20.2.tar.gz
[root@centos01 tmp]# mv hadoop-0.20.2 /usr/local
[root@centos01 tmp]# cd /usr/local
[root@centos01 local]# chown -R hadoop:hadoop hadoop-0.20.2
[root@centos01 local]# ln -s hadoop-0.20.2 hadoop
[root@centos01 local]# chown -R hadoop:hadoop hadoop
● jdk  디렉토리를 찾는다. 
 
[root@kdweb-test local]# cd /usr

[root@kdweb-test usr]# find . -name "*jdk*" -print

● hadoop/conf/hadoop-env.sh 을 수정합니다. (확인 디렉토리를 입력한다. )
    [#]은 주석처리이므로 제거한다.  
# The java implementation to use.  Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

        ↓

# The java implementation to use.  Required.
export JAVA_HOME=/usr/java/default

● 밑에 내용을 참조해 xml 을 구성 및 수정한다.  

conf/core-site.xml

[hadoop@centos01 hadoop]$ cat conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

conf/hdfs-site.xml

[hadoop@centos01 hadoop]$ cat conf/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

conf/mapred-site.xml

[hadoop@centos01 hadoop]$ cat conf/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

● 동작을 확인한다. 



[hadoop@centos01 hadoop]$ bin/hadoop namenode -format

[hadoop@centos01 haddop]$ bin/start-all.sh






























'Hadoop' 카테고리의 다른 글

HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ①  (0) 2011.07.19
Apache Hadoop이란?  (0) 2011.07.18
Hadoop 비정상 종료 (SafeMode)  (0) 2011.04.04
● JDK인스톨
  1.  jdk 인스톨 확인 
[root@centos01 java]# java -version
java version "1.6.0_20"
Java(TM) SE Runtime Environment (build 1.6.0_20-b02)
Java HotSpot(TM) Client VM (build 16.3-b01, mixed mode, sharing)
● Hadoop 유저설정
  1. hadoop 유저를 추가
    [root@centos01 java]# adduser hadoop
  2. hadoop 유저로 로그인 되는 것을 확인 
    [root@centos01 java]# su - hadoop
 
● SSH의 설정 
  SSH키를 만든다. 패스워드는 공란으로 처리한다. 
[root@centos01 java]# su - hadoop
[hadoop@centos01 ~]$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
d2:8c:28:75:80:95:8d:8a:30:9b:a2:4b:59:6b:4a:7c hadoop@centos01.localdomain

생성한 공개키를 authorized_keys 에 복사한다. 이렇게 해서 패스워드 없이 ssh 로그인이 가능해집니다.
[hadoop@centos01 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[hadoop@centos01 ~]$ chmod 600 .ssh/authorized_keys

로그인 테스트를 진행합니다. 

[hadoop@centos01 ~]$ ssh localhost
Last login: Mon Jun 21 16:15:00 2010 from localhost.localdomain
안될경우에는 ssh hadoop@localhost 로 시도.



'Hadoop' 카테고리의 다른 글

HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ②  (0) 2011.07.20
Apache Hadoop이란?  (0) 2011.07.18
Hadoop 비정상 종료 (SafeMode)  (0) 2011.04.04
먼저 아래 출처의 내용을 한글로 번역한 것임을 말씀드리고 
기본적인 베이스는 아래 사이트와 똑같지만 제가 공부하면서 추가 시킬 내용은 추가시키면서
진행 할 예정입니다. 

출처 : http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/index.html
 

분산 컴퓨팅을 위한 오픈 소스 소프트웨어(프레임워크) 
 
Hadoop 이라는 이름은 제작자의 아이의 코끼리인형의 이름이라는 말이 있다..
아마도 공식홈페이지의 노란 코끼리가 그것이 아닐까한다. 

Hadoop에는 아래와 같은 하위 프로젝트가 존재합니다. 

  • Hadoop Common : Hadoop의 다른 하위 프로젝트를 지원하는 일반적인 유틸리티입니다.
  • Avro : 각종 스크립트 언어로 동적으로 내장 가능한 데이터 직렬화 시스템입니다.
  • Chukwa : 대규모 분산 시스템을 관리하기위한 데이터 수집 시스템입니다.
  • HBase : 거대한 테이블에 대한 구조화된 데이터 스토리지를 지원하는 확장 가능한 분산 데이터베이스입니다.
  • HDFS : 응용 프로그램 데이터에 대해 높은 처리량의 접근을 가능하게하는 분산 파일 시스템입니다.
  • Hive : 데이터 요약 라이제이션과 특별한 쿼리 작업을 가능하게하는 데이터웨어 하우스 인프라입니다.
  • MapReduce : 방대한 데이터 세트를 계산 클러스터에서 분산 처리하기위한 소프트웨어 프레임 워크입니다.
  • Pig : 병렬 계산을위한 고수준 데이터 흐름 언어 및 실행 프레임 워크입니다.
  • ZooKeeper : 분산 응용 프로그램을위한 고성능 코디 서비스입니다. 

'Hadoop' 카테고리의 다른 글

HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ②  (0) 2011.07.20
Hadoop 인스톨 ①  (0) 2011.07.19
Hadoop 비정상 종료 (SafeMode)  (0) 2011.04.04
하둡 종료를 한번 잘못시켰더니........
하둡로그에 아래와 같은 로그가 발생.

구글검색결과 비정상적으로 종료 되었을경우에 안전모드로 들어간다. 
이경우에는 풀어 줄필요가 있음. 


2011-04-04 15:27:51,144 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://tedgelog1:9000/home/hadoop/hdfs/mapreduce/system
org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot delete /home/hadoop/hdfs/mapreduce/system. Name node is in safe mode.


# 再起動に失敗するとsafemodeになってしまい，HDFSのファイル操作ができなくなってしまいます．
# もし以下のようなメッセージが出た場合はsafemodeになってしまっています
put: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create file/user/training/test.txt. Name node is in safe mode.

# safemodoを解除するには-safemode leaveを実行します
training@training-vm:~/tmp$ hadoop dfsadmin -safemode leave
Safe mode is OFF


참조: http://code.google.com/p/jatextmining/source/browse/wiki/Tutorial_with_cloudera.wiki?spec=svn23&r=23 

참조: http://omake.accense.com/wiki/Hadoop 

'Hadoop' 카테고리의 다른 글

HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ②  (0) 2011.07.20
Hadoop 인스톨 ①  (0) 2011.07.19
Apache Hadoop이란?  (0) 2011.07.18

+ Recent posts

티스토리툴바