mysql -u root -p
패스워드 입력 후
GRANT ALL PRIVILEGES ON *.* TO 'id'@'localhost' IDENTIFIED BY 'password' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'id'@'%' IDENTIFIED BY 'password' WITH GRANT OPTION;
flush privileges;
| Group by 알파벳 순으로 정렬 후 최종 1개만 (0) | 2011.10.06 |
|---|---|
| CAP Theorem (0) | 2011.06.28 |
| 두테이블을 비교해서 같지않은 값만 출력하기 (0) | 2011.05.23 |
| 계층구조- SYS_CONNECT_BY_PATH 함수 (0) | 2011.04.06 |
| Mysql Table 메모리화 (0) | 2011.03.15 |
간단하게 이야기 해서
Hadoop 설정과Hbase 설정만으로 Hbase속도를 UP~
시키기 위해서는
해당 데이터의 크기 및 장비 상황등.. 기초적인것에서 부터.. 설정값들이
매번 변한다..
여기서 이런값들이 상관없이 가장. 좋은 방법은.
압축을 사용하는것.
HBase의 속도에 가장 큰 영향을 미치는 것중 하나가
Region서버가 splite되는 현상.. 이때 잠시 정지 상태가되어
속도에 영향을 주게 된다.
즉..splite되는 현상만 줄여도. 상당히 도움이된다는 이야기
Snappy와 같은 압축을 사용하게 되면.
좋게는 20-30프로까지도. 빠르게 된다.
물론 데이터가 압축효율이 좋은 형태라면 더 빠른속도를 기대해도 좋다..
이번 튜닝에서 설정값들로 고친것들과.. 간단한 설명들.
아래 것들중에서 역시 IO와 스레드를 조정하는것이 가장. 효율이 좋다..
다만 스레드의 경우 적절한 값을.. 조절하지 못하면.. 더 느려 진다.
| 설정파일 | 설정항목 | 설명 |
| hbase-env.sh | HBASE_HEAPSIZE | Java Heap Size |
| core-site.xml | fs.inmemory.size.mb | Fs in-memory size (MB) |
| io.file.buffer.size | SequenceFile을 읽어들일때 사용하는 Buffer | |
| hdfs-site.xml | dfs.namenode.handler.count | NameNode Sever Thread 수 |
| dfs.datanode.max.xcievers | DataNode가 한번에 쓰는 파일 수 | |
| hbase-site.xml | hbase.regionserver.handler.count | RegionSever Thread 수 |
| hbase.hregion.max.filesize | Hfile Size | |
| hfile.block.cache.size | Hfile 안에서 BlockCache용 메모리 사이즈 비율 (0.2 -> 20%) | |
| hbase.hstore.blockingStoreFiles | Hstore내 보존하는 BlockingStoreFile수 | |
| hbase.hregion.memstore.mslab.enabled | mslab 의 실행여부 | |
| hbase.hregion.memstore.mslab.chunksize | mslab의 chuksize | |
| hbase.hregion.memstore.mslab.max.allocation | mslab에 할당되는 영역 |
| Hbase map task (0) | 2012.11.12 |
|---|---|
| HBase 에러 (2) | 2012.10.22 |
mapreduce 와 hbase 간의 성능 테스트 중
hbase 를 실행시켰는데 map의 갯수가.. mapreduce 로 실행시켰을때에 비해...
현격하게 적게 나와서. 100 : 1.. 나와서.. 당황.............
왜????
Hbase의 실행구조에 대해서.. 잘모르니. 당최 알수가 있나..
무식한게 죄지..
reducetask를 조정하는 메소드는. 있는데 왜. maptask는 없는거지..
뭐...일단... 왜 한개만 발생하였는지는
hbase의 어드민 페이지에서
Table Regions 를 확인 하면 알수 있다.
내가 5만건의 데이터를 Scan을 하는데 해당데이터가
한개의 Region Server에 다들어가 있다면. 한개의map만 동작한다는것..
즉. 1 ,50000 건의 데이터가
5개의 Region Server에 나누어 존재한다면. 5개의 map이 동작한다는..것.