seatunnel win idea 本地调试

本文介绍了如何使用SeaTunnel进行MongoDB数据源到本地文件的转换,包括设置任务基本配置、创建FakeSource插件连接MongoDB、配置LocalFilesink以及调试前的准备工作,如导入connector、设置Hadoop环境等。

调试FakeSource,LocalFile

# Set the basic configuration of the task to be performed
env {
  execution.parallelism = 1
  job.mode = "BATCH"
}

# Create a source to connect to Mongodb
source {
  # This is a example source plugin **only for test and demonstrate the feature source plugin**
  FakeSource {
    parallelism = 2
    result_table_name = "fake"
    row.num = 16
    schema = {
      fields {
        name = "string"
        age = "int"
      }
    }
  }
}

sink {

LocalFile {
    path = "/tmp/seatunnel/excel"
	file_format_type="excel"
}
}

调试前准备工作:

1.导入需要的connector

在这里插入图片描述

2.启动依赖Hadoop,设置Hadoop环境变量,记得安装Hadoop,放入winutils.exe

在这里插入图片描述

3.将配置文件放入到代码里面的resource目录下
4.运行类
org.apache.seatunnel.example.engine.SeaTunnelEngineExample

在这里插入图片描述

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值