mysql -u root -p

패스워드 입력 후 

GRANT ALL PRIVILEGES ON *.* TO 'id'@'localhost' IDENTIFIED BY 'password' WITH GRANT OPTION;

GRANT ALL PRIVILEGES ON *.* TO 'id'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;

flush privileges;

형식으로 유저 추가 

간단하게 이야기 해서

Hadoop 설정과Hbase 설정만으로 Hbase속도를 UP~

시키기 위해서는 

해당 데이터의 크기 및 장비 상황등.. 기초적인것에서 부터.. 설정값들이 

매번 변한다.. 


여기서 이런값들이 상관없이 가장. 좋은 방법은. 

압축을 사용하는것.

HBase의 속도에 가장 큰 영향을 미치는 것중 하나가

Region서버가 splite되는 현상.. 이때 잠시 정지 상태가되어

속도에 영향을 주게 된다. 


즉..splite되는 현상만 줄여도. 상당히 도움이된다는 이야기 

Snappy와 같은 압축을 사용하게 되면. 

좋게는 20-30프로까지도. 빠르게 된다. 

물론 데이터가 압축효율이 좋은 형태라면 더 빠른속도를 기대해도 좋다.. 


이번 튜닝에서 설정값들로 고친것들과.. 간단한 설명들. 

아래 것들중에서 역시 IO와 스레드를 조정하는것이 가장. 효율이 좋다.. 

다만 스레드의 경우 적절한 값을.. 조절하지 못하면.. 더 느려 진다. 


설정파일 설정항목 설명
hbase-env.sh  HBASE_HEAPSIZE  Java Heap Size
core-site.xml fs.inmemory.size.mb Fs in-memory size (MB)
  io.file.buffer.size  SequenceFile을 읽어들일때 사용하는 Buffer
hdfs-site.xml dfs.namenode.handler.count NameNode Sever Thread 수
  dfs.datanode.max.xcievers DataNode가 한번에 쓰는 파일 수 
hbase-site.xml hbase.regionserver.handler.count RegionSever Thread 수
  hbase.hregion.max.filesize Hfile Size
  hfile.block.cache.size Hfile 안에서 BlockCache용 메모리 사이즈 비율 (0.2 -> 20%)
  hbase.hstore.blockingStoreFiles Hstore내 보존하는 BlockingStoreFile수
  hbase.hregion.memstore.mslab.enabled mslab 의 실행여부
  hbase.hregion.memstore.mslab.chunksize mslab의 chuksize 
  hbase.hregion.memstore.mslab.max.allocation mslab에 할당되는 영역

'Hadoop > Hbase' 카테고리의 다른 글

Hbase map task  (0) 2012.11.12
HBase 에러  (2) 2012.10.22


mapreduce 와 hbase  간의 성능 테스트 중

hbase 를 실행시켰는데 map의 갯수가.. mapreduce 로 실행시켰을때에 비해...

현격하게 적게 나와서. 100 : 1.. 나와서.. 당황.............


왜????

Hbase의 실행구조에 대해서.. 잘모르니. 당최 알수가 있나.. 

무식한게 죄지.. 

reducetask를 조정하는 메소드는. 있는데 왜. maptask는 없는거지..


뭐...일단... 왜 한개만 발생하였는지는

hbase의 어드민 페이지에서 

Table Regions 를 확인 하면 알수 있다. 

내가 5만건의 데이터를 Scan을 하는데 해당데이터가 

한개의 Region Server에 다들어가 있다면. 한개의map만 동작한다는것..

즉.  1 ,50000 건의 데이터가 

5개의 Region Server에 나누어 존재한다면. 5개의 map이 동작한다는..것.





'Hadoop > Hbase' 카테고리의 다른 글

Hbase 튜닝  (0) 2013.02.07
HBase 에러  (2) 2012.10.22

+ Recent posts