关于sqoop连接各类型数据库开启SSL加密传输

本文详细介绍了如何使用sqoop连接PostgreSQL、MySQL和SQL Server等数据库，并启用SSL加密传输，确保数据迁移过程中的安全性。

连接postgre

##sqoop通过SSL连接pg（服务端必须要开SSL参数，url里必须添加SSL参数）
sqoop import -D mapred.job.name=tabl1\
--connect "jdbc:postgresql://mpp-master-svc:5432/test?useUnicode=true&chracterEncoding=utf-8&ssl=true&sslmode=require" \
--username gpadmin \
--password 'gpadmin' \
--fields-terminated-by "\t" \
--table tabl1\
--hcatalog-database tabl1\
--hcatalog-table tabl1\
--hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")' \
-m 1 \
-- --schema public

连接MySQL

##sqoop通过SSL连接mysql
sqoop import -D mapred.job.name=tabl1\
--connect "jdbc:mysql://gp-mysql-headless:3306/test?useUnicode=true&chracterEncoding=utf-8&useSSL=true&requireSSL=true" \
--username root \
--password 'root' \
--fields-terminated-by "\t" \
--table tabl1\
--hcatalog-database tabl1 \
--hcatalog-table tabl1\
--hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")' \
-m 1

连接sqlserver

##sqoop通过SSL方式连接sqlserver（加了参数后不论sqlserver服务器端是否开启加密，数据抓包时发现均为加密传输）
sqoop import -D mapred.job.name=tabl1\
--connect "jdbc:sqlserver://10.0.125.7:1433;databaseName=testlc;encrypt=true;trustServerCertificate=true;" \
--username sa \
--password 'password' \
--fields-terminated-by "\t" \
--table tabl1\
--hcatalog-database tabl1\
--hcatalog-table tabl1\
--hcatalog-storage-stanza 'stored as orc tblproperties ("orc.compress"="SNAPPY")' \
-m 1 \
-- --schema dbo