간단하게 이야기 해서
Hadoop 설정과Hbase 설정만으로 Hbase속도를 UP~
시키기 위해서는
해당 데이터의 크기 및 장비 상황등.. 기초적인것에서 부터.. 설정값들이
매번 변한다..
여기서 이런값들이 상관없이 가장. 좋은 방법은.
압축을 사용하는것.
HBase의 속도에 가장 큰 영향을 미치는 것중 하나가
Region서버가 splite되는 현상.. 이때 잠시 정지 상태가되어
속도에 영향을 주게 된다.
즉..splite되는 현상만 줄여도. 상당히 도움이된다는 이야기
Snappy와 같은 압축을 사용하게 되면.
좋게는 20-30프로까지도. 빠르게 된다.
물론 데이터가 압축효율이 좋은 형태라면 더 빠른속도를 기대해도 좋다..
이번 튜닝에서 설정값들로 고친것들과.. 간단한 설명들.
아래 것들중에서 역시 IO와 스레드를 조정하는것이 가장. 효율이 좋다..
다만 스레드의 경우 적절한 값을.. 조절하지 못하면.. 더 느려 진다.
| 설정파일 | 설정항목 | 설명 |
| hbase-env.sh | HBASE_HEAPSIZE | Java Heap Size |
| core-site.xml | fs.inmemory.size.mb | Fs in-memory size (MB) |
| io.file.buffer.size | SequenceFile을 읽어들일때 사용하는 Buffer | |
| hdfs-site.xml | dfs.namenode.handler.count | NameNode Sever Thread 수 |
| dfs.datanode.max.xcievers | DataNode가 한번에 쓰는 파일 수 | |
| hbase-site.xml | hbase.regionserver.handler.count | RegionSever Thread 수 |
| hbase.hregion.max.filesize | Hfile Size | |
| hfile.block.cache.size | Hfile 안에서 BlockCache용 메모리 사이즈 비율 (0.2 -> 20%) | |
| hbase.hstore.blockingStoreFiles | Hstore내 보존하는 BlockingStoreFile수 | |
| hbase.hregion.memstore.mslab.enabled | mslab 의 실행여부 | |
| hbase.hregion.memstore.mslab.chunksize | mslab의 chuksize | |
| hbase.hregion.memstore.mslab.max.allocation | mslab에 할당되는 영역 |
'Hadoop > Hbase' 카테고리의 다른 글
| Hbase map task (0) | 2012.11.12 |
|---|---|
| HBase 에러 (2) | 2012.10.22 |