当前位置：首页 > news >正文

Sqoop的安装与配置

news 2025/10/8 9:07:22

1.上传解压Sqoop

tar -zxf ../software/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

1.1配置环境变量

export SQOOP_HOME=/opt/module/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

使得环境生效

source /etc/profile

查看版本信息sqoop version
Sqoop版本信息

1.2 配置sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/module/hadoop-3.1.4
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.4
export HIVE_HOME=/opt/module/hive-3.1.2
export HIVE_CONF_DIR=/opt/module/hive-3.1.2/conf
export HBASE_HOME=/opt/module/hbase-2.2.2
export HBASE_CONF_DIR=/opt/module/hbase-2.2.2/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*:$HBASE_HOME/lib/hbase-*.jar:$HBASE_HOME/lib/zookeeper-*.jar

1,3配置sqoop需要的mysql驱动

mysql驱动程序
将mysql-connector-java-5.1.32-bin.jar放入sqoop的lib目录

cp /opt/software/mysql-connector-java-5.1.32-bin.jar /opt/module/sqoop-1.4.7/lib/

~~记得启动zookeeper（zkServer.sh start）也许会要用到~~
测试连接mysql数据库列出mysql的所有数据库
8.0+

sqoop list-databases --connect jdbc:mysql://localhost:3306/?allowPublicKeyRetrieval=true --username root --password yourPassword1234!

5.7+

sqoop list-databases --connect jdbc:mysql://master:3306/ --username root -P	
password( yourPassword1234!)

上述需要免密登录测试连接数据库列出mysql的所有数据库就需要在./etc/my.cnf加上密码验证跳过验证[mysqld] skip-grant-tables 然后重启mysql服务即可 systemctl restart mysqld

GRANT ALL PRIVILEGES ON *.* TO 'root'@'master' IDENTIFIED BY 'yourPassword1234!' WITH GRANT OPTION;
FLUSH PRIVILEGES;

然后试试重新连接mysql数据库并列出mysql的所有数据库

sqoop list-databases --connect jdbc:mysql://master:3306/ --username root -P

输入自己密码(yourPassword1234!)即可列出mysql的所有数据库

2. Sqoop常用操作

2.1 数据迁移

确保启动了集群

[root@slave2 ~]# 
sqoop import \
>--connect jdbc:mysql://slave2:3306/sqoop_db \
>--username root \
>--password yourPassword1234! \
>--table emp \
>--columns id,name,deg,salary,dept \
>--target-dir /sqoop_demo1 \
>--num-mappers 1

数据迁移运行成功图
HDFS查看
HDFS Shell 查看数据
进入mysql切换sqoop_db在emp插入一条数据

insert into sqoop_db.emp values ('1209','itcast','java dev','15000','AC');

[root@slave2 ~]# sqoop import \
> --connect jdbc:mysql://slave2:3306/sqoop_db \
> --username root \
> --password yourPassword1234! \
> --target-dir /sqoop \
>--table emp \
>--columns id,name,deg,salary,dept \
> --num-mappers 1 \
> --incremental append \
> --check-column id \
> --last-value 1205

插入数据成功图
查看插入的数据运行图

2.2使用sqoop的where语句

sqoop import --connect jdbc:mysql://slave2:3306/sqoop_db --username root --password yourPassword1234! --table emp_add --columns id,hno,street,city --where "city='beijing'" --target-dir /sqoop/city_beijing --num-mappers 1

使用sqoop的where语句运行图

2.3 sqoop导出

进入mysql切换sqoop_db数据库
创建表

create table if not exists sqoop_db.emp_export(id int(11) not null ,name varchar(100) default null,deg varchar(100) default null,salary int(11) default null,dept varchar(10) default null,primary key (id));

sqoop export --connect jdbc:mysql://slave2:3306/sqoop_db --username root --password yourPassword1234! --table emp_export --export-dir /sqoop/part-m-00000 --num-mappers 1 --columns "id,name,deg,salary,dept"

查询sqoop导出的数据