앞으로~ :: 앞으로~

pig centos 하일라이팅

gilnet 2016. 8. 3. 18:05

2016. 8. 3. 18:05

파일 위치 : /usr/share/vim/vim72/syntax/pig.vim

파일 생성 : vi ~/.vimrc

파일 내용 :

augroup filetypedetect
au BufNewFile,BufRead *.pig set filetype=pig syntax=pig
augroup END

pig.vim : https://github.com/vim-scripts/pig.vim/blob/master/syntax/pig.vim

gilnet 2016. 8. 2. 16:46

2016. 8. 2. 16:46

sqoop2 의 경우 해당 데이터가 "","" 형태로 되어 있다.

즉 mr 이나 pig로 돌린 결과 값이 위와 같은 형태로 되어야 한다는.. 말.

기본 tab인 형태를 강제로 바꾸기 위해서 아래의 코드를 사용하여 수정하여 사용

https://github.com/dfsklar/pigplay/blob/master/udf/com/yahoo/pigudf/SimpleTextStorer.java

Sqoop2 date type 연동 에러 (0)	2016.08.10
Sqoop2 설치 (0)	2016.08.02

gilnet 2016. 8. 2. 15:50

2016. 8. 2. 15:50

1. 기본설치는 http://www.gooper.com/ss/bigdata/270747 문서를 참조 삼아 설치하면된다.

해당 문서를 참조하여 Hadoop 2.7.1 Sqoop2 1.99.6을 운영중임

2. 해당 문서에 추가 적 내용은

Sqoop 설치 폴더에서

/server/conf/sqoop.properties 에 아래 와 같은 내용을 추가

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/zumse/programs/config/hadoop/

3. 해당 문서와 함께 참고한 사이트는 아래와 같음

Sqoop2 date type 연동 에러 (0)	2016.08.10
Sqoop2 운영 (0)	2016.08.02