kettle基础入门(四)kettle增量更新

最新推荐文章于 2026-04-15 11:27:53 发布
原创 最新推荐文章于 2026-04-15 11:27:53 发布 · 8.6k 阅读 · 46

文章目录

适应数据结构

  • 具有时间戳字段：数据更新、修改，改字段会自动变更时间
  • 数据记录不会删除：历史数据或错误数据不会删除，使用标识字段作废或者停用
  • 若数据记录会删除，那这种增量同步方法会造成同步后的目标表数据量大于源头表

设计思路

  • 先使用表输入获取目标表最大时间戳
  • 再使用表输入，获取增量部分数据，该部分sql查询使用上一步的时间戳，只取时间戳之后的数据
  • 最后使用插入更新同步第二部分的数据
    在这里插入图片描述

详细操作步骤

  • 测试表结构如下：
    源头表：st
    在这里插入图片描述
    目标表：st1
    在这里插入图片描述
  • 获取目标表最大时间戳
    在这里插入图片描述
    SELECT
   ifnull(#目标表为空情况下需默认一个起始时间戳，或者先全量同步一下源头表
   	max( updatetime ),
   str_to_date( '2021-03-30 00:00:00', '%Y-%m-%d %H:
标签
#数据库 #etl
最低0.47元/天 解锁文章
kettle教程---增量更新
weixin_44846436的博客
12-13 2867
以下操作都在5.0.1版本下进行开发，其余版本可以进行自动比对 在平时工作当中，会遇到这种情况，而且很常见。比如：增量抽取(每隔2个小时抽取截至到上次抽取时间的记录) 一、操作前提： 存在3张表，源表（t_student），同步日志表（t_tbrz），插入表（t_target_student），表结构如下图所示 学生表 同步日志表 待插入学生表 二、kettle操作 1）如上图所示，需要4...
kettle增量循环导入数据--实现更新、删除
m0_62049948的博客
10-19 1650
在工作中遇到了需要自增循环导入的情况，因为数据量太大，所以想采用根据总数据量，kettle判断循环次数，人为控制每批次传输的数量。在网上查找了很多信息，自己也解决了一些问题，汇聚成了一片小文章，分享一下。 第一是作业总设计图： 1---定义变量模块内容 第一步为转换结构：主要用于定义变量和获取变量，为下步判断和第三步的循环提供基础。 2-----判断模块内容 3------循环模块内容 javaScript内主要是变量循环+1（${RUN_NUM}）以及控制每批次传输的...
告别全量同步！用Kettle实现MySQL增量更新的保姆级教程（附避坑点）
最新发布
weixin_26899659的博客
04-15 393
本文详细介绍了如何使用Kettle实现MySQL增量更新的完整流程，包括环境准备、变量设置、数据抽取逻辑和性能调优方案。通过增量更新技术，可以显著减少同步时间和资源消耗，特别适合处理百万级数据的电商场景。文章还提供了避坑点和生产环境优化建议，帮助开发者高效构建稳定的数据管道。
kettle工作中常用的复杂实例-数据定时增量同步
m0_51527921的博客
04-20 2989
kettle工作中常用的复杂实例-数据定时增量同步
实验4.数据全量、增量、比较更新
m0_55834564的博客
11-22 2228
通过“表输入”对MySQL表格的数据读入，然后通过“JavaScript代码”更新抽取数据的时间，再通过“表输入出”保存表格到MySQL数据库。1.利用Kettle的“表输入”，“表输入出”，”JavaScript代码”组件，实现数据全量更新。2.熟练掌握“JavaScript代码”，“表输入”，“表输入出”组件的使用，实现数据全量更新。Step3：配置‘字段’选项卡，获取字段名称，并设置字段的数据类型（重点，以防报错）Step1：双击‘表输入’组件，新建数据库的连接并进行测试，
【kettle】实现mysql表之间的数据增量更新
qq_38930129的博客
03-22 4709
kettle-实现mysql表数据增量更新 第一步-创建转换 第二步-添加步骤控件 添加 “表输入” 步骤 用于源表注册、数据查询 添加“插入/更新”步骤 用于目标表的注册、数据插入 建立联系 第三步-添加数据库表 添加源表 1、新建数据库连接 2、添加数据库连接信息 3、测试连接成功与否 4、选中源表 点击确定 手动添加查询条件—同步更新当天的时间数据 添加目标表 新建新数据库连接，同上 选中目标表 获取字段 第四
使用Kettle实现数据实时增量同步
热门推荐
dora_310的博客
05-30 10万+
0. 前言 本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间戳增量回滚同步 假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时...
使用kettle进行增量抽取数据
cbphan的博客
11-15 1万+
需求背景： 当下行业，做程序不在是一味的写增删改查了。数据汇聚、数据清洗、数据转换已成为普遍现象，本人所在的项目就是这样的一个情况。由于客户建设的系统数量多，业务分支复杂。虽同属一个主业务，但每次统筹决策查询数据时就犯难了。由于数据孤岛，关联查询成为最难解决的问题。为了解决这个问题，我需要做的就是将几十个系统数据全部汇聚在一起，方便后续的数据分析使用。 说到数据汇聚，我们通常采用的办法就是通过ETL工具进行抽取，也有通过Oracle触发器利用dblink方...
Kettle的增量抽取以及定时抽取转换更新数据入门教程
qq_45075097的博客
09-16 8530
  在实际项目中往往需要使用定时更新数据，当Kettle的转换比较多的时候，手动一个个执行转换有点不太现实，今天就分享怎么完成定时更新数据。如果其中有些步骤看不懂的话可以看我Kettle分类下的另一篇文章 增量更新包括三个组件（我拿之前做好的来示范，刚添加完三个组件之后，组件之间的连接线都是只有一个箭头，当完成表输入2的配置之后，表输入到表输入2的连接线就会变成这张图一样） 先配置第一个表输入，第一个表输入的数据库连接为ODS层所在的数据库 select max(ts) ts from ods层的表名
kettle 插入更新 数据增量_使用Kettle实现数据实时增量同步
weixin_36359110的博客
02-06 2663
2018-09-28： 示例job已上传至github,地址见文末0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每...
使用kettle自动增量导入数据
IAmListening的博客
05-19 4745
前言 使用sqoop+oozie, 可以实现大批量数据从mysql到hdfs的自动导入, 我们借助网页可以实时监控流程的运转情况, 但是如果业务逻辑发生变化, 想要调整sqoop+oozie的流程细节并不是件轻松的事. kettle可以提供一个图形化的用户环境, 来描述我们要做的每一步工作, 以方便后期运维. 此次流程中, 数据从mysql增量导入到hdfs, 然后加载(load)到hive中的o...
kettle教程---kettle作业调度，根据更新时间增量更新
weixin_44846436的博客
12-13 4189
本文接上一篇，只写到读取日志。在平时工作当中，会遇到这种情况，而且很常见。比如：增量抽取(每隔2个小时抽取截至到上次抽取时间的记录) 本文中会用到作业，先来熟悉下作业的概念 简单地说，一个转换就是一个ETL的过程，而作业则是多个转换、作业的集合，在作业中可以对转换或作业进行调度 实际情况中，每次抽取完毕，会写入日志表，记录本次抽取时间，下次抽取会根据本次抽取的成功时间，开始获取数据进行抽取。 我们...
kettle spoon判断增量更新_Kettle增量更新设计技巧
weixin_35305499的博客
12-23 1326
摘要：本文主要讨论一些在ETL中设计增量更新的方法和技巧。ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也有一些帮助。本文不可能涵盖所有的情况，欢迎大家讨论。应用...
kettle——（3）全量抽取和增量抽取
The more fighting, the more brave
09-22 2万+
kettle——（3）全量抽取和增量抽取
使用kettle实现增量更新
qq_40877166的博客
07-31 7382
原理 将源表和目标表的数据进行比对并添加记录标识,根据标识进行增量更新或删除 效果图 本示例所用的数据库为oracle数据库 第一,新建转换,拖入表输入,并定义名称 源表属性 目标表属性 第二,拖入两个排序记录,并自定义名称 说明,如果不加排序记录会导致合并记录组件里的比对数据有重复,如果想知道具体错误可自行尝试 源表数据排序 目标表数据排序 第三,拖入合并记录并自定义名称 合并记录属性 第四,拖入Switch/case组件,可自定义名称 Switch/c
kettle 插入更新 数据增量_使用Kettle工具进行增量数据同步
weixin_27027459的博客
01-27 1790
增量同步的方式有很多种，我使用的是: 快照表 + 触发器需求：当主库库表发生增删改时，从库库表与主库库表数据保持一致。环境：1、Mysql2、kettle 7.1思路：1、在主库中，将需要同步的库表新建快照表，表结构一致。#创建同步临时表(insert)DROP TABLE IF EXISTS brch_temp_insert;CREATE TABLE brch_temp_insert like ...
kettle篇： 增量更新
麻辣清汤的博客
02-07 1544
kettle篇： 增量更新。
Kettle 增量更新设计技巧
yabianhua的专栏
11-20 1988
Kettle 增量更新设计技巧 转 摘要：本文主要讨论一些在ETL中设计增量更新的方法和技巧。 ETL中增量更新是一个比较依赖与工具和设计方法的过程，Kettle中主要提供Insert / Update 步骤，Delete 步骤和Database Lookup 步骤来支持增量更新，增量更新的设计方法也是根据应用场景来选取的，虽然本文讨论的是Kettle的实现方式，但也许对其他工具也
【Kettle】Kettle增量抽取模型
会飞的大象
06-16 2787
【Kettle】Kettle增量抽取模型 在日常的ETL过程中，常会使用用增量抽取数据，有一个简单，通用的增量抽取模型，便可以开发效率，并统一开发规范，该模型是基于时间戳的增量方式，并且有etl_logs记录抽取情况，并且具有一定的容错性。 一，抽取日志表 表字段 Id:表ID tableName:表名 min_date:最小更新时间，初始值 1980-01-01 00:00:00 max_dat...
关于kettle时间戳增量更新
qq_21238927的博客
05-23 2043
之前看到的一篇文章Kettle实现数据实时增量同步，这位大佬提出了时间戳增量回滚同步的一种方式，我是根据这篇文章之上进行探索的。 但是遇到了一些问题，这里进行一下记录： 只能同步往前{ROLL_BACK_DAYS} day这段时间内的删除操作，因为回滚了一段时间{ROLL_BACK_DAYS} day，作者也声明了这点； 也只能同步往前{ROLL_BACK_DAYS} day这段时间内...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值