用kettle数据抽取的一次经历

最新推荐文章于 2026-06-12 09:57:28 发布

原创最新推荐文章于 2026-06-12 09:57:28 发布 · 801 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

标签

#oracle #数据库 #sql

本文介绍了如何利用开源工具Kettle进行数据抽取，从Oracle数据库到SQLServer的转换过程。博主因项目需求自行处理数据抽取任务，克服了字段类型差异的问题，如Oracle的NUMBER与SQLServer的numeric(38,0)的匹配。通过Kettle的数据流设计，包括时间戳转换和浮点数转换，实现了完整的数据迁移。最后，将转换文件部署到服务器，并通过Windows定时任务实现定期自动抽取。

数据抽取有好多种kettle作为开源版本还是很好用的。

下面就说说这个小项目的具体实施过程

1、先说这个小项目的由来这个抽取的小项目其实自己没事找事来的，本公司和一个央企做环保项目，然后涉及到数据抽取这块，人家不给做了但是合同上也还真没明确说让乙方做。

怼了乙方一顿，怎么办自己找事自己做呗，乙方已经建好了需求的表SQLServer数据库，我们的业务数据库oracle，表的结构啊内容啊不完全一样但是都是业务数据中有的字段，需要拼凑

2、开干

首先整理业务从sqlserver上创建一个中间表把oracle业务库中的数据直接抽取过来直接增量

这其中要配置数据源，数据源就是连接的数据库的配置等这里就不介绍了。主要是数据字段问题，因为数据字段类型不同的数据库会不同如下：

默认的oracle NUMBER类型和sqlserver numeric(38, 0) 是一样的如果sqlserver 不指定的话就会一直报错

以下是两种数据量类型的比较：

Oracle和sqlserver数据类型对应

SQL Server 数据类型	Oracle 数据类型
bigint	NUMBER(19,0)
binary(1-2000)	RAW(1-2000)
binary(2001-8000)	BLOB
bit	NUMBER(1)
char(1-2000)	CHAR(1-2000)
char(2001-4000)	VARCHAR2(2001-4000)
char(4001-8000)	CLOB
date	DATE
datetime	DATE
datetime2(0-7)	TIMESTAMP(7)（对于 Oracle 9 和 Oracle 10）；VARCHAR(27)（对于 Oracle 8）
datetimeoffset(0-7)	TIMESTAMP(7) WITH TIME ZONE（对于 Oracle 9 和 Oracle 10）；VARCHAR(34)（对于 Oracle 8）
decimal(1-38, 0-38)	NUMBER(1-38, 0-38)
float(53)	FLOAT
float	FLOAT
地理	BLOB
geometry	BLOB
hierarchyid	BLOB
图像	BLOB
int	NUMBER(10,0)
money	NUMBER(19,4)
nchar(1-1000)	CHAR(1-1000)
nchar(1001-4000)	NCLOB
ntext	NCLOB
numeric(1-38, 0-38)	NUMBER(1-38, 0-38)
nvarchar(1-1000)	VARCHAR2(1-2000)
nvarchar(1001-4000)	NCLOB
nvarchar(max)	NCLOB
real	real
smalldatetime	DATE
int	NUMBER(5,0)
smallmoney	NUMBER(10,4)
sql_variant	N/A
sysname	VARCHAR2(128)
text	CLOB
time(0-7)	VARCHAR(16)
timestamp	RAW(8)
tinyint	NUMBER(3,0)
uniqueidentifier	CHAR(38)
varbinary(1-2000)	RAW(1-2000)
varbinary(2001-8000)	BLOB
varchar(1-4000)	VARCHAR2(1-4000)
varchar(4001-8000)	CLOB
varbinary(max)	BLOB
varchar(max)	CLOB
xml	NCLOB