好网站不收藏百度一下图片识别
Sqoop（SQL-to-Hadoop）是一个开源工具，旨在将关系型数据库中的数据导入到Hadoop的HDFS中，或者从HDFS导出到关系型数据库中。以下是一些常用的Sqoop命令：
导入数据到HDFS
1. 基本导入
sqoop import \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password \
--table tablename \
--hive-import \
--delete-target-dir
这个命令将整个表导入到HDFS中，并且如果目标目录已存在，将删除目标目录。
2. 导入表的特定列
sqoop import \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password \
--table tablename \
--fields-terminated-by ',' \
--fields-enclosed-by '"' \
--fields-escaped-by '\\' \
-m 1
这个命令导入表的特定列，并且使用逗号分隔字段。
3. 导入查询结果
sqoop import \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password \
--query 'SELECT * FROM tablename WHERE \$CONDITIONS' \
--split-by id_column \
--target-dir /user/hive/warehouse/imported_table \
--fields-terminated-by ',' \
--fields-enclosed-by '"' \
--fields-escaped-by '\\' \
-m 1
这个命令导入查询结果，并且使用`--split-by`选项进行并行导入。
导出数据到关系型数据库
1. 基本导出
sqoop export \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password \
--table tablename \
--export-dir /user/hive/warehouse/imported_table \
--input-fields-terminated-by ',' \
--input-fields-enclosed-by '"' \
--input-fields-escaped-by '\\' \
-m 1
这个命令将HDFS中的数据导出到关系型数据库的表中。
2. 更新数据库表
sqoop export \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password \
--table tablename \
--export-dir /user/hive/warehouse/imported_table \
--update-key id_column \
--update-mode allowinsert \
-m 1
这个命令更新数据库表，只更新匹配`--update-key`指定的列的行。
其他常用命令
1. 代码生成
sqoop codegen \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password \
--table tablename \
--bindir /path/to/generate/code
这个命令生成Java类，用于在MapReduce作业中使用。
2. 创建Hive表
sqoop create-hive-table \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password \
--table tablename \
--hive-import \
--delete-target-dir
这个命令创建Hive表，并导入数据。
3. 查看表结构
sqoop eval \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password \
--table tablename \
--query 'DESCRIBE tablename'
这个命令查看表的结构。
4. 测试连接
sqoop test-connection \
--connect jdbc:mysql://hostname:port/dbname \
--username username \
--password password
这个命令测试与数据库的连接。