1. tez를 위와 같이 버전에 맟추어 재빌드 
  2. /tez-ui-0.8.2.war  를 풀어 확인 한다 ex) tez-ui8 
  3. tomcat 재기동 
  4. tez-ui가 정상적으로 동작하는지 확인
  5. tez dist 폴더 밑에 존재하는  jar 를 확인
    • tez-api-0.8.2.jar
    • tez-common-0.8.2.jar
    • tez-dag-0.8.2.jar
    • tez-mapreduce-0.8.2.jar
    • tez-runtime-internals-0.8.2.jar
    • tez-runtime-library-0.8.2.jar
    • tez-yarn-timeline-history-with-acls-0.8.2.jar
  6. hdfs 에 tez-0.8.2.tar.gz  를 put
  7.  $PIG_HOME/lib/h2/ 밑의 아래 jar들을 버전업된 파일들로 교체 (이타이밍에 job이 돌면 fail 남으로 주의)
    • tez-api-0.8.2.jar
    • tez-common-0.8.2.jar
    • tez-dag-0.8.2.jar
    • tez-mapreduce-0.8.2.jar
    • tez-runtime-internals-0.8.2.jar
    • tez-runtime-library-0.8.2.jar
    • tez-yarn-timeline-history-with-acls-0.8.2.jar
  8. tez-site.xml 를 수정 (tez-site.xml 을 배포 하지 않아도 바로 적용됨 주의)  
  9. tomcat ui 폴더를 이동  tez-ui8 에 풀고 tez-ui로 이동등 ) tomcat 재기동
  10. 작업의 완료는 job돌때 나오는 tez version 으로 확인 가능 
  11. namenode , resoucemanager를 재시작할 필요가 없다. 

  • pig .0.15.0 의 경우 기본이 tez 0.7을 지원 하고 tez 0.8.2 와 큰 인터페이스 차이가 없기 때문에 무리 없이 적용가능 


-  Exception while waiting for Tez client to be ready : tez 가 이미 동작중이라는 에러의 경우 jar파일이 아직 다 정리 되지 않은 케이스 
   (실행시에 물고 올라가는 jar들에 중복이 있거나 잘못 올라 가고 있는것  pig-env.sh 를 수정하면 발생..

   확인은 bin/pig 를 디버그 모드를 수정한뒤에 실제로 올가는 jar파일들은 확인)

- 기존에 tez 로 작동 하는것들 중에서 에러가 발생하는 케이스가 나온다. 버전 차이가 나는듯.

'Hadoop > Pig' 카테고리의 다른 글

Tez 설치  (0) 2016.08.03
Pig & Tez Error  (0) 2016.08.03
Pig 재빌드  (0) 2016.08.03
pig centos 하일라이팅  (0) 2016.08.03

+ Recent posts