sqoop 安装
1. 下载安装包
下载地址: http://mirrors.hust.edu.cn/apache/sqoop/
2.解压
命令: tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
3.修改名字
命令:mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4
4.配置环境变量
命令: vi /etc/profile
使配置文件生效,命令: source /etc/profile
5.找一个mysql jar包(如果配置过hive,hive下的lib里就有),复制到sqoop的lib目录下
命令: cp mysql-connector-java-5.1.43.jar /home/bigdata/sqoop-1.4/lib/
如图所示,sqoop的lib目录下有了mysql jar包
6.进入sqoop的conf目录下,复制 sqoop-env-template.sh,取名为 sqoop-env.sh
配置 sqoop-env.sh
export HADOOP_COMMON_HOME=/home/bigdata/hadoop-2.6.0
export HADOOP_MAPRED_HOME=/home/bigdata/hadoop-2.6.0
export HBASE_HOME=/home/bigdata/hbase-1.1.2
export HIVE_HOME=/home/bigdata/hive-1.2
export ZOOCFGDIR=/home/bigdata/zookeeper
输入 sqoop version,出现以下页面,表示安装成功
sqoop的简单使用
a.列出mysql数据库中的所有数据库
sqoop list-databases -connect jdbc:mysql://tt-hadoop1:3306 -username root -password root
b.列出数据库yun中的所有数据表
sqoop list-tables -connect jdbc:mysql:///yun -username root -password root
c.执行SQL语句(查询库yun下user表的所有信息)
sqoop eval -connect jdbc:mysql:///yun -username root -password root -query 'select * from user'