long rowidScanStart = getTimeMilSec("2009111912", dateFormat);
long rowidScanLast = getTimeMilSec( "2011110112", dateFormat);

HTable hTable = new HTable("LogTraffic");

//데이터를 읽어올 범위를 지정
Scan scan = new Scan(Bytes.toBytes(rowidScanStart), Bytes.toBytes(rowidScanLast));
ResultScanner scanner = hTable.getScanner(scan); 
for (Result result : scanner) {

//삭제할 RowKey값을 가져온다
byte [] row = result.getRow();
deleteRow(row) ;
} 

scanner.close();
hTable.close(); 

//데이터를 삭제하는 Method
deleteRow(byte[]  row){

            HTable hTable = new HTable("LogTraffic");
            Delete del = new Delete(row);
            hTable.delete(del);
            hTable.close();

}

'Hadoop' 카테고리의 다른 글

Zookeeper　Warning 메세지  (0) 2012.10.11
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ②  (0) 2011.07.20
Hadoop 인스톨 ①  (0) 2011.07.19
Apache Hadoop이란?  (0) 2011.07.18 

2011-05-06 18:39:14,533 Stage-1 map = 100%,  reduce = 100%
Ended Job = job_201104081532_0509 with errors
java.lang.RuntimeException: Error while reading from task log url
    at
org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getErrors(TaskLogProcessor.java:130)
    at
org.apache.hadoop.hive.ql.exec.ExecDriver.showJobFailDebugInfo(ExecDriver.java:889)
    at
org.apache.hadoop.hive.ql.exec.ExecDriver.execute(ExecDriver.java:680)
    at
org.apache.hadoop.hive.ql.exec.MapRedTask.execute(MapRedTask.java:123)
.....[snip].....
    at
sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at
sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:186)
Caused by: java.io.IOException: Server returned HTTP response code: 400 for
URL:
http://hadooptest3:50060/tasklog?taskid=attempt_201104081532_0509_m_000002_2&all=true
    at
sun.net.www.protocol.http.HttpURLConnection.getInputStream(HttpURLConnection.java:1436)
    at java.net.URL.openStream(URL.java:1010)
    at
org.apache.hadoop.hive.ql.exec.errors.TaskLogProcessor.getErrors(TaskLogProcessor.java:120)
    ... 16 more
Ended Job = job_201104081532_0509 with exception
'java.lang.RuntimeException(Error while reading from task log url)'
FAILED: Execution Error, return code 1 from
org.apache.hadoop.hive.ql.exec.MapRedTask




Hive 에서 쿼리를 실행했을때 발생하는 에러 


이경우




Hadoop 의 mapred-site.xml 설정중에서 

mapred.child.java.opts=XmxNNNM


값의 설정치를 높여 준다. 



참조 : http://www.mail-archive.com/user@hive.apache.org/msg01373.html 

'Hadoop' 카테고리의 다른 글

Zookeeper　Warning 메세지  (0) 2012.10.11
HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hadoop 인스톨 ②  (0) 2011.07.20
Hadoop 인스톨 ①  (0) 2011.07.19
Apache Hadoop이란?  (0) 2011.07.18

Help -> Install New SoftWare -> 
 http://download.eclipse.org/releases/indigo 를 입력
-> Collaboration  ->  Subversive SVN Team Provider (Incubation) 선택한후 
next -> next-> 설치  

재시작 

Open Perspective ->  Svn -> SVN Kit 1.3.5 -> Next -> 설치 완료 

'Eclipse' 카테고리의 다른 글

리눅스 Eclipse Svn 계정 변경  (0) 2014.05.07
웹 화면 설계용 툴  (0) 2013.11.08
이클립스 메모리 관리  (0) 2011.07.12
eclipse 3.6 HeliosにVisualEditor을 인스톨  (0) 2011.02.11
Eclipse + Tomcat6.0 + postgres8.3  (0) 2010.08.06
웹사이트를 PDF로 변환시켜 다운로드 시켜준다. 

https://chrome.google.com/webstore/detail/dbggjianealcbimnmaellhccgjkjoelm

'날적이' 카테고리의 다른 글

크롬 유용한 확장 프로그램  (0) 2012.04.30
Hadoop 0.20.205.0 , Hive-0.7.1, Hbase-0.90.4  (0) 2011.11.10
멀티 브라우저를 지원하는 은행 서비스.. 우리 오픈 뱅킹  (0) 2011.07.11
블로그 어렵다...  (0) 2010.10.20
첫 글...  (0) 2010.06.01
기본적으로 설치에 성공 했다.

마스터 1대에 슬레이브 1대....

하둡도 무사히 돌고
Hive로 처리 되괴
Hbase로 잘 된다.

고생했다~!!  
 
이제 이걸 하나로 합쳐서

마스터 1대에 슬레이브 8대에 성공하면 .
일단. 급한 불은 끈다~~!! 

'날적이' 카테고리의 다른 글

크롬 유용한 확장 프로그램  (0) 2012.04.30
PDFmyURL  (0) 2011.11.17
멀티 브라우저를 지원하는 은행 서비스.. 우리 오픈 뱅킹  (0) 2011.07.11
블로그 어렵다...  (0) 2010.10.20
첫 글...  (0) 2010.06.01
d dbid cid 
ahn 116421 Aggie 
ahn 116432 Annes 
ahn 116443 Aqeee 
akxkf 118461 강11 
akxkf 118462 강22 
akxkf 118463 강44 
akxkf 118464 강55 

이 데이터 에서 
같은 id중에서 cid를 알파벳 순으로 정렬 
시킨 후 가장 위에 것만 가져 오는 쿼리

WITH TEMP AS 
( 
SELECT 'ahn' AS ID, '116421' AS DBID, 'Aggide' AS CID FROM DUAL UNION ALL 
SELECT 'ahn' AS ID, '116432' AS DBID, 'Annes' AS CID FROM DUAL UNION ALL 
SELECT 'ahn' AS ID, '116443' AS DBID, 'Aqeee' AS CID FROM DUAL UNION ALL 
SELECT 'akxkf' AS ID, '118461' AS DBID, '강11' AS CID FROM DUAL UNION ALL 
SELECT 'akxkf' AS ID, '118462' AS DBID, '강22' AS CID FROM DUAL UNION ALL 
SELECT 'akxkf' AS ID, '118463' AS DBID, '강44' AS CID FROM DUAL UNION ALL 
SELECT 'akxkf' AS ID, '118464' AS DBID, '강55' AS CID FROM DUAL 
) 
SELECT * 
FROM ( 
SELECT ROW_NUMBER() OVER(PARTITION BY ID ORDER BY CID) AS CHK 
, ID 
, DBID 
, CID 
FROM TEMP 
) A 
WHERE A.CHK = 1 

'Oracle/Mysql/Sql' 카테고리의 다른 글

Mysql User 추가  (0) 2013.04.09
CAP Theorem  (0) 2011.06.28
두테이블을 비교해서 같지않은 값만 출력하기  (0) 2011.05.23
계층구조- SYS_CONNECT_BY_PATH 함수  (0) 2011.04.06
Mysql Table 메모리화  (0) 2011.03.15
●Hadoop은 apache에서 최신판으로 다운 받는다. 

http://hadoop.apache.org/core/releases.html#Download







● hadoop-0.21.0.tar.gz을 적당한 곳에 다운을 받는다. 
- 링크 주소를 복사하여 wget으로 받는것이 편하다. 

● 다운로드 파이을 /tmp 밑에 두고, 밑과 같은 순서로 일을 처리한다. 
[root@centos01 tmp]# tar -xvzf hadoop-0.20.2.tar.gz
[root@centos01 tmp]# mv hadoop-0.20.2 /usr/local
[root@centos01 tmp]# cd /usr/local
[root@centos01 local]# chown -R hadoop:hadoop hadoop-0.20.2
[root@centos01 local]# ln -s hadoop-0.20.2 hadoop
[root@centos01 local]# chown -R hadoop:hadoop hadoop
● jdk  디렉토리를 찾는다. 
 
[root@kdweb-test local]# cd /usr

[root@kdweb-test usr]# find . -name "*jdk*" -print

● hadoop/conf/hadoop-env.sh 을 수정합니다. (확인 디렉토리를 입력한다. )
    [#]은 주석처리이므로 제거한다.  
# The java implementation to use.  Required.
# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

        ↓

# The java implementation to use.  Required.
export JAVA_HOME=/usr/java/default

● 밑에 내용을 참조해 xml 을 구성 및 수정한다.  

conf/core-site.xml

[hadoop@centos01 hadoop]$ cat conf/core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

conf/hdfs-site.xml

[hadoop@centos01 hadoop]$ cat conf/hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

conf/mapred-site.xml

[hadoop@centos01 hadoop]$ cat conf/mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

● 동작을 확인한다. 



[hadoop@centos01 hadoop]$ bin/hadoop namenode -format

[hadoop@centos01 haddop]$ bin/start-all.sh






























'Hadoop' 카테고리의 다른 글

HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ①  (0) 2011.07.19
Apache Hadoop이란?  (0) 2011.07.18
Hadoop 비정상 종료 (SafeMode)  (0) 2011.04.04
● JDK인스톨
  1.  jdk 인스톨 확인 
[root@centos01 java]# java -version
java version "1.6.0_20"
Java(TM) SE Runtime Environment (build 1.6.0_20-b02)
Java HotSpot(TM) Client VM (build 16.3-b01, mixed mode, sharing)
● Hadoop 유저설정
  1. hadoop 유저를 추가
    [root@centos01 java]# adduser hadoop
  2. hadoop 유저로 로그인 되는 것을 확인 
    [root@centos01 java]# su - hadoop
 
● SSH의 설정 
  SSH키를 만든다. 패스워드는 공란으로 처리한다. 
[root@centos01 java]# su - hadoop
[hadoop@centos01 ~]$ ssh-keygen -t rsa -P ""
Generating public/private rsa key pair.
Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):
Created directory '/home/hadoop/.ssh'.
Your identification has been saved in /home/hadoop/.ssh/id_rsa.
Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.
The key fingerprint is:
d2:8c:28:75:80:95:8d:8a:30:9b:a2:4b:59:6b:4a:7c hadoop@centos01.localdomain

생성한 공개키를 authorized_keys 에 복사한다. 이렇게 해서 패스워드 없이 ssh 로그인이 가능해집니다.
[hadoop@centos01 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
[hadoop@centos01 ~]$ chmod 600 .ssh/authorized_keys

로그인 테스트를 진행합니다. 

[hadoop@centos01 ~]$ ssh localhost
Last login: Mon Jun 21 16:15:00 2010 from localhost.localdomain
안될경우에는 ssh hadoop@localhost 로 시도.



'Hadoop' 카테고리의 다른 글

HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ②  (0) 2011.07.20
Apache Hadoop이란?  (0) 2011.07.18
Hadoop 비정상 종료 (SafeMode)  (0) 2011.04.04
먼저 아래 출처의 내용을 한글로 번역한 것임을 말씀드리고 
기본적인 베이스는 아래 사이트와 똑같지만 제가 공부하면서 추가 시킬 내용은 추가시키면서
진행 할 예정입니다. 

출처 : http://www.ne.jp/asahi/hishidama/home/tech/apache/hadoop/index.html
 

분산 컴퓨팅을 위한 오픈 소스 소프트웨어(프레임워크) 
 
Hadoop 이라는 이름은 제작자의 아이의 코끼리인형의 이름이라는 말이 있다..
아마도 공식홈페이지의 노란 코끼리가 그것이 아닐까한다. 

Hadoop에는 아래와 같은 하위 프로젝트가 존재합니다. 

  • Hadoop Common : Hadoop의 다른 하위 프로젝트를 지원하는 일반적인 유틸리티입니다.
  • Avro : 각종 스크립트 언어로 동적으로 내장 가능한 데이터 직렬화 시스템입니다.
  • Chukwa : 대규모 분산 시스템을 관리하기위한 데이터 수집 시스템입니다.
  • HBase : 거대한 테이블에 대한 구조화된 데이터 스토리지를 지원하는 확장 가능한 분산 데이터베이스입니다.
  • HDFS : 응용 프로그램 데이터에 대해 높은 처리량의 접근을 가능하게하는 분산 파일 시스템입니다.
  • Hive : 데이터 요약 라이제이션과 특별한 쿼리 작업을 가능하게하는 데이터웨어 하우스 인프라입니다.
  • MapReduce : 방대한 데이터 세트를 계산 클러스터에서 분산 처리하기위한 소프트웨어 프레임 워크입니다.
  • Pig : 병렬 계산을위한 고수준 데이터 흐름 언어 및 실행 프레임 워크입니다.
  • ZooKeeper : 분산 응용 프로그램을위한 고성능 코디 서비스입니다. 

'Hadoop' 카테고리의 다른 글

HBase 데이터 Scan 및 Delete  (0) 2011.12.30
Hive Error  (0) 2011.12.26
Hadoop 인스톨 ②  (0) 2011.07.20
Hadoop 인스톨 ①  (0) 2011.07.19
Hadoop 비정상 종료 (SafeMode)  (0) 2011.04.04

Window >> Preferences >> General >> Show Heap Status 를 설정 하면


그림 과 같이 메모리를 관리 할수 있는 부분이 하단에 생긴다. 
휴지통을 클릭하면 메모리가 정리되고. 좀더 효율적으로 사용 할 수 있게 된다.  

n[출처] 이클립스 메모리 관리|작성자 천재

[출처] 이클립스 메모리 관리|작성자 천재


[출처] 이클립스 메모리 관리|작성자 천재


'Eclipse' 카테고리의 다른 글

웹 화면 설계용 툴  (0) 2013.11.08
Eclipse 3.7 + Svn  (0) 2011.12.01
eclipse 3.6 HeliosにVisualEditor을 인스톨  (0) 2011.02.11
Eclipse + Tomcat6.0 + postgres8.3  (0) 2010.08.06
Eclipse 탭 스페이스 변경  (0) 2010.08.06

+ Recent posts

티스토리툴바