sqoop 常用命令及参数

最新推荐文章于 2024-06-19 20:47:47 发布

原创最新推荐文章于 2024-06-19 20:47:47 发布 · 1.8k 阅读

6 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#hive #mysql #数据库

Cloudera 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了Sqoop的常用命令和参数，包括数据库连接、数据导入导出、Hive相关参数。展示了如何从关系型数据库导入数据到HDFS和Hive，以及从Hive导出数据到关系型数据库。还提供了全量和增量导入的示例，并演示了通过Sqoop执行SQL命令的操作。

sqoop 常用命令及参数

Sqoop User Guide (v1.4.7) (apache.org)

Sqoop 安装及配置

sqoop 命令说明

数据抽取方式介绍

sqoop 数据抽取（即导入和导出，抽取的双方是相对的）的方式有以下两种

① Sqoop API（使用较多）

数据的格式支持比较少，数据允许覆盖，不要求源表和目标表字段相同 (字段名称和个数都可以不相同) ，它抽取的方式是将字段按顺序插入，不够的字段为 Null

② HCatalog API

支持的数据格式比较多（RCFile、 ORCFile、 CSV、 JSON、SequenceFile），数据不允许覆盖，只能追加，字段个数可以不相同，但是字段名必须相同，否则会报错 NullPointerException

数据抽取命令类型

① 数据导入（import）

1. 关系型数据库导入数据到 HDFS
2. 关系型数据库导入数据到 HIVE

② 数据导出（export）

1. HIVE 导出数据到关系型数据库

数据库连接相关参数

参数	说明
–connect	连接关系型数据库的URL
–help	打印帮助信息
–driver	JDBC 的 driver class
–password	连接数据库的密码
–username	连接数据库的用户名
–verbose	在控制台打印出详细信息

import 相关参数

参数	说明
–enclosed-by	给字段值前加上指定的字符
–escaped-by	对字段中的双引号加转义符
–fields-terminated-by	设定每个字段是以什么符号作为结束，默认为逗号
–lines-terminated-by	设定每行记录之间的分隔符，默认是 `\n`
–mysql-delimiters	Mysql默认的分隔符设置，字段之间以逗号分隔，行之间以\n分隔，默认转义符是\，字段值以单引号包裹。
–optionally-enclosed-by	给带有双引号或单引号的字段值前后加上指定字符。
-m	指定并行处理的MapReduce任务数量。 -m不为1时，需要用split-by指定分片字段进行并行导入，尽量指定int型。
–split-by id	如果指定-split by, 必须使用$CONDITIONS关键字, 双引号的查询语句还要加\
–query或–e	将查询结果的数据导入，使用时必须伴随参–target-dir，–hcatalog-table，如果查询中有where条件，则条件后必须加上CONDITIONS关键字。如果使用双引号包含sql，则CONDITIONS前要加上\以完成转义：$CONDITIONS

export 相关参数

参数	说明
–input-enclosed-by	对字段值前后加上指定字符
–input-escaped-by	对含有转移符的字段做转义处理
–input-fields-terminated-by	字段之间的分隔符
–input-lines-terminated-by	行之间的分隔符
–input-optionally-enclosed-by	给带有双引号或单引号的字段前后加上指定字符

hive 相关参数

参数	说明
–hive-delims-replacement	用自定义的字符串替换掉数据中的 `\r\n` 和 `\013 \010` 等字符
–hive-drop-import-delims	在导入数据到hive时，去掉数据中的 `\r\n\013\010` 这样的字符
–map-column-hive	生成hive表时，可以更改生成字段的数据类型
–hive-partition-key	创建分区，后面直接跟分区名，分区字段的默认类型为 string
–hive-partition-value	导入数据时，指定某个分区的值
	hive 的安装目录，可以通过该参数覆盖之前默认配置的目录
–hive-import	将数据从关系数据库中导入到hive表中
–hive-overwrite	覆盖掉在hive表中已经存在的数据
–create-hive-table	默认是false，即，如果目标表已经存在了，那么创建任务失败
–hive-table	后面接要创建的 hive 表，默认使用 mysql 的表名
–table	指定关系数据库的表名

从关系型数据库导入数据到 hive

① 全量导入

# 从 mysql 的 test.teacher 表中导入数据到 hive 的 ods.teacher 表中
# 全量覆盖
# 字段分隔符为 ',' 号
# MapReduce 任务数量为 1
sqoop import \
--connect jdbc:mysql://117.125.88.163:3306/test \
--username root \
--password 123abc \
--table teacher \
--hive-table ods.teacher \
--hive-import \
--hive-overwrite \
--fields-terminated-by ',' \
-m 1

② 增量导入

通过 sql 语句 + where 条件 来控制数据的增量

# where 后面有条件
sqoop import \
--connect jdbc:mysql://117.125.88.163:3306/test \
--username root \
--password 123abc \
--query "select * from emp where id > 1203 and  \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp \
-m 1

# where 没有条件
sqoop import \
--connect jdbc:mysql://117.125.88.163:3306/test \
--username root \
--password 123abc \
--query "select * from emp where \$CONDITIONS" \
--fields-terminated-by '\t' \
--hcatalog-database sqooptohive \
--hcatalog-table emp \
-m 1

从 hive 导入数据到关系型数据库

# 增加了对 NULL 值的处理
# 在 Hive 的底层，空值默认为 '\N' 
sqoop export \
--connect jdbc:mysql://117.125.88.163:3306/test?characterEncoding=utf-8 \
--username root \
--password 123456 \
--table emp \
--export-dir /user/hive/warehouse/test.db/emp/dt=20200903 \
--input-fields-terminated-by ',' \
--input-null-string '\\N' \
--input-null-non-string '\\N'

通过sqoop 执行 sql 命令

sqoop eval --connect jdbc:mysql://1.1.106.23:3306/test --username root --password admin@1234. --query "select * from  stu"