간단하게 이야기 해서

Hadoop 설정과Hbase 설정만으로 Hbase속도를 UP~

시키기 위해서는 

해당 데이터의 크기 및 장비 상황등.. 기초적인것에서 부터.. 설정값들이 

매번 변한다.. 


여기서 이런값들이 상관없이 가장. 좋은 방법은. 

압축을 사용하는것.

HBase의 속도에 가장 큰 영향을 미치는 것중 하나가

Region서버가 splite되는 현상.. 이때 잠시 정지 상태가되어

속도에 영향을 주게 된다. 


즉..splite되는 현상만 줄여도. 상당히 도움이된다는 이야기 

Snappy와 같은 압축을 사용하게 되면. 

좋게는 20-30프로까지도. 빠르게 된다. 

물론 데이터가 압축효율이 좋은 형태라면 더 빠른속도를 기대해도 좋다.. 


이번 튜닝에서 설정값들로 고친것들과.. 간단한 설명들. 

아래 것들중에서 역시 IO와 스레드를 조정하는것이 가장. 효율이 좋다.. 

다만 스레드의 경우 적절한 값을.. 조절하지 못하면.. 더 느려 진다. 


설정파일 설정항목 설명
hbase-env.sh  HBASE_HEAPSIZE  Java Heap Size
core-site.xml fs.inmemory.size.mb Fs in-memory size (MB)
  io.file.buffer.size  SequenceFile을 읽어들일때 사용하는 Buffer
hdfs-site.xml dfs.namenode.handler.count NameNode Sever Thread 수
  dfs.datanode.max.xcievers DataNode가 한번에 쓰는 파일 수 
hbase-site.xml hbase.regionserver.handler.count RegionSever Thread 수
  hbase.hregion.max.filesize Hfile Size
  hfile.block.cache.size Hfile 안에서 BlockCache용 메모리 사이즈 비율 (0.2 -> 20%)
  hbase.hstore.blockingStoreFiles Hstore내 보존하는 BlockingStoreFile수
  hbase.hregion.memstore.mslab.enabled mslab 의 실행여부
  hbase.hregion.memstore.mslab.chunksize mslab의 chuksize 
  hbase.hregion.memstore.mslab.max.allocation mslab에 할당되는 영역

'Hadoop > Hbase' 카테고리의 다른 글

Hbase map task  (0) 2012.11.12
HBase 에러  (2) 2012.10.22

Javaの列挙型(Enum)のequalsと==とtoStringAdd Star

恥ずかしながらすぐに忘れる…

static enum Number{
    ONE,
    TWO,
    THREE
}

public static void main(String args[]) {
    System.out.println("ONE equals Number.ONE            is " + "ONE".equals(Number.ONE));
    System.out.println("ONE equals Number.ONE.toString() is " + "ONE".equals(Number.ONE.toString()));
    System.out.println("ONE   ==   Number.ONE.toString() is " + ("ONE" == (Number.ONE.toString())));
}


実行結果

ONE equals Number.ONE            is false
ONE equals Number.ONE.toString() is true
ONE   ==   Number.ONE.toString() is true

文字列との比較はtoString()を使用



Enum#equals()

内部では「==」を使用している、なるほどね~

public final boolean equals(Object other) { 
    return this==other;

출처 : http://d.hatena.ne.jp/guangda/20100106/1262760915


+ Recent posts