kettle实战-4 OMI介绍-4.6 服务应用

　　我们使用Kettle在实际项目应用中，会遇到一些kettle不方便处理的问题，比如想要定时调度执行某个任务时，kettle自带的定时功能肯定是不能满足要求了，它需要界面一直处在打开状态，会占用大量的资源，并且界面有崩溃的风险。当然也有替代方案，就是使用操作系统的计划任务，不管是windows还是linux系统都提供了这样稳定的调度系统。如果你是专业人员和运维，当然是没有问题，写一个bat或sh...

　　本场景是为某大数据项目做的一个产品POC，现在分享给大家。此项目主要从几个业务系统中同步数据进行加工处理分析，最后生成API供前端展示。POC分两大场景，一个非实时场景及准实时场景。 　　非实时场景流程如上图，OMI（onemysoft.com开发的一个以kettle为引擎的数据处理平台）通过调度定时从若干业务系统中抽取数据，按照相应逻辑生成文本文件，传至FTP或阿里云的OSS分布式文...

　　数据开发使用kettle的spoon 工具做线下开发数据处理流程，然后将转换或任务上传至OMI平台。菜单“数据开发”->“资源上传”。 　　创建数据处理，选择上传资源，配置相关运行参数，在线执行kettle组件，转换或任务，并找看相关运行日志。菜单“数据开发”->“数据处理”。 ...

Kettle整合Rabbitmq消息队列一. 简介二. 环境准备三. Rabbitmq配置四. Kettle连接消息队列4.1 配置MQTT生产者4.2 配置消费者五. 测试 关于Rabbitmq消息队列知识可以参考我往期博客 一. 简介 Kettle没有直接的rabbitMQ步骤，但streaming类别下有MQTT步骤。rabbitMQ默认使用amqp协议，但也可以启用MQTT插件，来使用MQTT协议。 因此，我们使用Kettle通过MQTT协议步骤来生产和消费rabbitMQ。 二. 环境准备 我的测

文章目录Kettle是一款非常强大的ETL工具，不仅可以使用图形化界面，还可以处理各种数据，今天记录一下本人使用Kettle中MQTT组件来实现从rabbitMQ中读取流数据，并进行解析和处理。提示：以下是本篇文章正文内容，下面案例可供参考一、Kettle为什么可以读取流数据？​从流中获取数据信息的第一步就是第一个组件“Get records fromstream”，之后会写到，这些流处理包括JMS、Kafka、MQTT。然后，Kettle其实是不可以直接连接rabbitMQ的，rabbitMQ默认使用am

前言 第1章 kettle概览 　1.1 ETL介绍 　1.2 适用场景-数据处理 　1.3 适用场景-业务处理 　1.4 怎样学好KETTLE 第2章 kettle基本知识 　2.1 转换 　2.2 作业 　2.3 kettle各个工具 　2.4 变量 　2.5数据库连接 　2.6虚拟文件系统 　2.7技巧与原则 第3章 kettle数据处理 　3.1 数据输入 　　3.1.1 SAP输...

　　创建服务（SOAP、REST）并将服务与数据处理相关联，也可以理解为将数据处理发布成服务，供外部调用。通过向导配置服务相关信息，基本、访问控制、入参（如果有）、选择数据处理组件（数据开发中配置的“数据处理”）、出参（如果有）。菜单“发布数据”->“创建服务”。 　　创建的服务可能被外部调用，从而驱动数据处理组件运行，即kettle的转换或任务。运行结果日志可供查看。 ...

Kettle最早是一个国外开源的ETL工具，全称为KDE Extraction, Transportation, Transformation and Loading Environment。分为商业版与开源版。可以在 Window、Linux、Unix 上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶。它允许管理来自不同数据库的数据，把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle几乎支持市面上所有的数据库系统，对于传统数仓来说这是镇海神针,传统数仓分析必备神器。

Kettle是一款非常强大的ETL工具，不仅可以使用图形化界面，还可以处理各种数据，今天记录一下本人使用Kettle中MQTT组件来实现从rabbitMQ中读取流数据，并进行解析和处理。提示：以下是本篇文章正文内容，下面案例可供参考。...

MQTT 是基于发布/订阅模式（Publish/Subscribe）的协议，其中设备可以发布消息到一个主题（Topic），其他设备可以订阅这个主题以接收相关消息。MQTT (Message Queuing Telemetry Transport) 是一种轻量级的消息传输协议，设计用于连接低带宽、高延迟或不可靠网络的设备。在主题名称字段中，输入您希望发布流数据（消息）的 MQTT 主题的名称。指定此步骤将连接的 MQTT 服务器的地址，如127.0.0.1:1883（注意这里的端口是1883，不是5672）

场景：kettle本身可以直接链接rabbitmq，但是需要配置rabbitmq开启mqtt协议，本次讲解下自定义开发组件RabbitMQ consumer，无需开启mqtt协议即可使用。2、将插件kettle-rabbitmq-plugins放到目录plugins目录下，重启spoon客户端。3）开启rabbitmq web管理服务，此插件不开启，无法通过web页面访问rabbitmq。1）下载镜像 docker pull rabbitmq。4）访问rabbitmq web服务。

　　Kettle使用apache VFS实现统一的文件访问，这样做是非常方便的，举个例子，正常操作一个文件，这是/xxx/xxx/xxx.doc磁盘上的文件，如果想要操作一个FTP上的文件，有了虚拟文件系统就可以直接使用ftp://xxx/xxx/xxx.doc访问了。如果有密码使用ftp://user:pwd@xxx/xxx/xxx.doc访问。也可以是HTTP,ZIP等一些协议。 ...

其实这里的topic是RabbitMQ中的routing key（另外这里的routing key 一定不要绑定队列，否则MQTT consumer步骤无法接收数据）。指定此步骤将连接的 MQTT 服务器的地址，如127.0.0.1:1883（注意这里的端口是1883，不是5672）在每收集到‘X’条记录之后，指定的转换将被执行，并且这些‘X’条记录将被传递给转换过程。请指定此步骤将排队等待处理的传入消息的限制，即从 kfakfa broker接收到的消息。4、字段设置，这里采用默认值就行了，不用调整。

本文介绍了如何开发Kettle插件实现文件上传至MinIO对象存储的完整流程。首先通过Docker快速搭建MinIO测试环境，创建存储桶。然后将开发的kettle-minio-plugin插件部署到Kettle中，详细说明了转换设计步骤：包括生成记录、配置MinIO连接参数（端点、密钥、存储桶等）、设置文件上传方式（路径或Base64）。通过实际测试验证了插件功能，成功将文件上传至MinIO服务器。该方案为企业数据集成提供了新的存储选择，文末邀请读者提出更多Kettle应用场景需求。

kettle的基本介绍和使用