Sqoop将MySQL数据导入HDFS

Sqoop将MySQL数据导入HDFS

将mysql的数据导入到HDFS

1、如果想将一个表中的数据，只导入一部分，可以加where 条件

sqoop import  \
  --connect jdbc:mysql://bigdata01:3306/sqoop  \
  --driver com.mysql.cj.jdbc.Driver  \
  --username root  \
  --password 123456 \
  --table emp \
  --target-dir /home  \
  --columns 'ename,job'   \
  --where  'empno < 7788'  \
  --delete-target-dir

2、Sqoop 也支持SQL语句

sqoop import  \
  --connect jdbc:mysql://bigdata01:3306/sqoop  \
  --driver com.mysql.cj.jdbc.Driver  \
  --username 你的用户名  \
  --password 你的密码 \
  --query '查询语句 where empno < 7788 and $CONDITIONS'  \
  --target-dir /home  \
  --delete-target-dir \
  --split-by empno

如下坑：
1、query的时候，sql语句中必须含有and $CONDITION