메세지 : 
 INFO [main] org.apache.sqoop.job.mr.SqoopOutputFormatLoadExecutor: SqoopOutputFormatLoadExecutor::SqoopRecordWriter is closed
 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError: org.joda.time.LocalDate.parse(Ljava/lang/String;)Lorg/joda/time/LocalDate;


1. jar 파일을 못찾아서 생기는 경우임 , 유저가 추가한 jar 파일에게 우선순위를 주기 위한 작업

mapred-site.xml 에 아래와 같이 추가 

    <property>
        <name>mapreduce.job.user.classpath.first</name>
        <value>true</value>
    </property>


2. maven pom.xml 이나 해당 jar 를 추가 하거나 별도로 joda-time-2.4.jar 구함

<dependency>
   <groupId>org.apache.sqoop</groupId>
   <artifactId>connector-sdk</artifactId>
   <version>${sqoop.version}</version>
</dependency>


3. 추가 했을때 딸려오는  joda-time-2.4.jar 를 sqoop/shell/lib 에 추가 한 sqoop client 와 server 를 재시작



참고 : org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchMethodError


'Sqoop' 카테고리의 다른 글

Sqoop2 운영  (0) 2016.08.02
Sqoop2 설치  (0) 2016.08.02

sqoop2 의 경우 해당 데이터가 "","" 형태로 되어 있다. 

즉 mr 이나 pig로 돌린 결과 값이 위와 같은 형태로 되어야 한다는.. 말.

기본 tab인 형태를 강제로 바꾸기 위해서 아래의 코드를 사용하여 수정하여 사용


https://github.com/dfsklar/pigplay/blob/master/udf/com/yahoo/pigudf/SimpleTextStorer.java

'Sqoop' 카테고리의 다른 글

Sqoop2 date type 연동 에러  (0) 2016.08.10
Sqoop2 설치  (0) 2016.08.02

1. 기본설치는 http://www.gooper.com/ss/bigdata/270747 문서를 참조 삼아 설치하면된다. 


해당 문서를 참조하여 Hadoop 2.7.1 Sqoop2 1.99.6을 운영중임



2. 해당 문서에 추가 적 내용은 

Sqoop 설치 폴더에서 


/server/conf/sqoop.properties 에 아래 와 같은 내용을 추가 

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/zumse/programs/config/hadoop/



3. 해당 문서와 함께 참고한 사이트는 아래와 같음



'Sqoop' 카테고리의 다른 글

Sqoop2 date type 연동 에러  (0) 2016.08.10
Sqoop2 운영  (0) 2016.08.02

+ Recent posts