스쿱-MySQL 연동 1. Sqoop & MySQL Connector 설치 및 설정

스쿱을 실행하고 mysql과 연동하기 위해서는 필연적으로 hadoop과 mysql-connector가 필요합니다.

 

mysql은 설치했다고 가정 상태에서 진행 하겠습니다.

하둡을 설치하고자 한다면 카테고리에 hadoop이 있으니 참고 하세요.

 

1. 스쿱 설치 & 압축풀기 & 폴더 이름 변경

[hadoop@master ~]$ cd /usr/local
[hadoop@master local]$ wget http://mirror.apache-kr.org/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
[hadoop@master local]$ tar -xzvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
[hadoop@master local]$ mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

2. 스툽 환경설정 파일 설정 (hadoop 홈 추가)

[hadoop@master ~]$ cd /usr/local/sqoop/conf
[hadoop@master conf]$ mv sqoop-env-template.sh sqoop-env.sh
[hadoop@master conf]$ vi sqoop-env.sh

[sqoop-env.sh]

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop

3. 환경변수 추가 설정

[.bashrc]

export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

---

mysql 포트 설정(기본 디폴트 포트는 3306 이다. 필자는 3306 포트는 사용중이라 3309포트로 사용할 것이니 포트 번호는 무시하세요.)

[sudo vi /etc/my.cnf]

[mysqld]
port=3309
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
character-set-server=utf8
collation-server=utf8_general_ci
init_connect=set collation_connection=utf8_general_ci
init_connect=set names utf8
 
[mysql]
default-character-set=utf8
 
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
 

설정 끝

다음에는 연동 테스트를 해보겠습니다.