【实战-06】如何正确设置flink参数,全网最全

原创

已于 2024-04-17 18:20:30 修改 · 2.1k 阅读

标签

#flink #java #算法

收录于

于 2023-09-06 11:09:48 首次发布

本文详细介绍了Flink中DataStream和Table模式下的参数设置方法，包括状态后端、检查点管理、mini-batch、TTL优化、SQL优化器和IdleTimeout等，并重点讲解了yarn.provided.lib.dirs和yarn.provided.usrlib.dir参数的作用及使用策略。

参数宝典

如何正确设置参数

很多人在应用flink DataStream 或者是Flinksql 的时候对于一些参数设置知道的不是很清晰，本文带领大家彻底搞定这一块。

在flink的配置文件中设置，这个就不多说了，缺点就是不够灵活
在代码层面设置
启动任务的时候通过控制台传参

flink Table模式下的参数

public class SingleTableMain {
   
   
public static void main(String[] args) throws Exception {
   
   
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        StreamTableEnvironment  tEnv = StreamTableEnvironment.create(env);
 }

    public static void setStateBackendAndCheckpoint(StreamExecutionEnvironment env, String checkpointPath) {
   
   
        env.setStateBackend(new EmbeddedRocksDBStateBackend(true));   // 设置状态后端
        //每30秒启动一个检查点
        env.enableCheckpointing(60000);
        //允許几次檢查點失敗
        env.getCheckpointConfig().setTolerableCheckpointFailureNumber(3);

        // 设置状态后端
        env.setStateBackend(new EmbeddedRocksDBStateBackend(true));

        env.getCheckpointConfig().setCheckpointStorage(new FileSystemCheckpointStorage(checkpointPath));

        //检查点保存模式
        env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE);

        //设置最小间隔
        env.getCheckpointConfig().setMinPauseBetweenCheckpoints(TimeUnit.MINUTES.toMillis