义乌好品质自适应网站建设天津招标信息网官网

Sqoop 是用于在 Hadoop 和关系型数据库（如 MySQL、Oracle 等）之间高效传输数据的工具。以下是常用的 Sqoop 命令及示例：
 

CREATE TABLE employees (id INT AUTO_INCREMENT PRIMARY KEY, -- 自增主键，用于唯一标识每一行name VARCHAR(255) NOT NULL,        -- 名称，字符串类型，不允许为空gender ENUM('Male', 'Female', 'Other') NOT NULL, -- 性别，枚举类型，限制为三种值之一，不允许为空age INT NOT NULL,                  -- 年龄，整数类型，不允许为空income DECIMAL(10, 2) NOT NULL     -- 收入，定点小数类型，总长度10位，其中小数点后2位，不允许为空
);

INSERT INTO employees (name, gender, age, income) VALUES 
('张三', 'Male', 30, 5000.00),
('李四', 'Female', 25, 6000.50),
('王五', 'Other', 22, 4500.75);

 Sqoop 命令核心结构

sqoop [通用参数] <操作类型> [操作参数] 

常用操作类型

操作类型	功能描述
import	将数据从关系型数据库导入到 HDFS/Hive/HBase
export	将 HDFS 数据导出到关系型数据库
list-databases	列出数据库中的所有数据库名
list-tables	列出指定数据库中的所有表名
eval	直接执行 SQL 查询并显示结果

---

通用参数

参数	说明
--connect <jdbc-url>	JDBC 连接字符串（必填）
--username <user>	数据库用户名
--password <pass>	数据库密码（建议改用 -P 交互输入）
--driver <class>	指定 JDBC 驱动类（如 Oracle 的 oracle.jdbc.OracleDriver）
--verbose	显示详细日志

 

 执行sql语句

sqoop eval \
--connect jdbc:mysql://localhost/mydatabase \
--username root \
--password 123456 \
--query "select * from employees"

 

 

生成 Hive 表结构 create-hive-table

关键参数说明

参数	说明
--connect	源数据库的 JDBC 连接地址（如 MySQL）
--table	源数据库的表名（需复制的表结构）
--hive-table	目标 Hive 表名（格式：数据库名.表名，默认在 default 库创建同名表）
--hive-overwrite	若 Hive 表已存在，则覆盖表结构（默认跳过）
--map-column-hive	手动指定字段类型映射（如 id=STRING,name=STRING）

 

sqoop create-hive-table \
  --connect jdbc:mysql://源数据库地址:端口/数据库名 \
  --username 用户名 \
  --password 密码 \
  --table 源表名 \
  --hive-table hive数据库名.hive表名  # 可选，默认在 `default` 数据库创建同名表

导入前

mysql 表结构 

hive 表

导入后

 

数据导入（import）hdfs

sqoop import \
  --connect jdbc:mysql://host:port/db \
  --username user \
  --password pass \
  --table source_table \
  --target-dir /hdfs/path \
  [其他参数]

常用导入参数

参数	说明
--table <table>	源表名
--columns <col1,col2>	指定导入列（默认导入所有列）
--where "<条件>"	指定导入数据的过滤条件
--target-dir <path>	HDFS 目标目录（默认：/user/<user>/<table>）
--delete-target-dir	若目标目录存在，先删除
--fields-terminated-by <char>	字段分隔符（默认：,）
--lines-terminated-by <char>	行分隔符（默认：\n）
--m <num> 或 --num-mappers <num>	并行任务数（默认：4）
--split-by <column>	指定并行切分列的字段（通常为数值或日期类型）