Flink 灵魂两百问

1、为何我使用 ValueState 保存状态 Job 恢复是状态没恢复？

2、flink中watermark究竟是如何生成的，生成的规则是什么，怎么用来处理乱序数据

3、消费kafka数据的时候，如果遇到了脏数据，或者是不符合规则的数据等等怎么处理呢？

4、在Kafka 集群中怎么指定读取/写入数据到指定broker或从指定broker的offset开始消费？

5、Flink能通过oozie或者azkaban提交吗？

6、jobmanager挂掉后，提交的job怎么不经过手动重新提交执行？

7、使用flink-web-ui提交作业并执行 但是/opt/flink/log目录下没有日志文件 请问关于flink的日志（包括jobmanager、taskmanager、每个job自己的日志默认分别存在哪个目录 ）需要怎么配置？

8、通过flink 仪表盘提交的jar 是存储在哪个目录下？

9、从Kafka消费数据进行etl清洗，把结果写入hdfs映射成hive表，压缩格式、hive直接能够读取flink写出的文件、按照文件大小或者时间滚动生成文件

10、flink jar包上传至集群上运行，挂掉后，挂掉期间kafka中未被消费的数据，在重新启动程序后，是自动从checkpoint获取挂掉之前的kafka offset位置，自动消费之前的数据进行处理，还是需要某些手动的操作呢？

11、flink 启动时不自动创建 上传jar的路径，能指定一个创建好的目录吗

12、Flink sink to es 集群上报 slot 不够，单机跑是好的，为什么？

13、Fllink to elasticsearch如何创建索引文档期时间戳？

14、blink有没有api文档或者demo，是否建议blink用于生产环境。

15、flink的Python api怎样？bug多吗？

16、Flink VS Spark Streaming VS Storm VS Kafka Stream

17、你们做实时大屏的技术架构是什么样子的？flume→kafka→flink→redis，然后后端去redis里面捞数据，酱紫可行吗？

18、做一个统计指标的时候，需要在Flink的计算过程中多次读写redis，感觉好怪，星主有没有好的方案？

19、Flink 使用场景大分析，列举了很多的常用场景，可以好好参考一下

20、将kafka中数据sink到mysql时，metadata的数据为空，导入mysql数据不成功？？？

21、使用了ValueState来保存中间状态，在运行时中间状态保存正常，但是在手动停止后，再重新运行，发现中间状态值没有了，之前出现的键值是从0开始计数的，这是为什么？是需要实现CheckpointedFunction吗？

22、flink on yarn jobmanager的HA需要怎么配置。还是说yarn给管理了

23、有两个数据流就行connect，其中一个是实时数据流（kafka 读取)，另一个是配置流。由于配置流是从关系型数据库中读取，速度较慢，导致实时数据流流入数据的时候，配置信息还未发送，这样会导致有些实时数据读取不到配置信息。目前采取的措施是在connect方法后的flatmap的实现的在open 方法中，提前加载一次配置信息，感觉这种实现方式不友好，请问还有其他的实现方式吗？

24、Flink能通过oozie或者azkaban提交吗？

25、不采用yarm部署flink，还有其他的方案吗？主要想解决服务器重启后，flink服务怎么自动拉起？jobmanager挂掉后，提交的job怎么不经过手动重新提交执行？

26、在一个 Job 里将同份数据昨晚清洗操作后，sink 到后端多个地方（看业务需求），如何保持一致性？（一个sink出错，另外的也保证不能插入）

27、flink sql任务在某个特定阶段会发生tm和jm丢失心跳，是不是由于gc时间过长呢，

28、有这样一个需求，统计用户近两周进入产品详情页的来源（1首页大搜索，2产品频道搜索，3其他），为php后端提供数据支持，该信息在端上报事件中，php直接获取有点困难。我现在的解决方案 通过flink滚动窗口（半小时），统计用户半小时内3个来源pv，然后按照日期序列化，直接写mysql。php从数据库中解析出来，再去统计近两周占比。问题1，这个需求适合用flink去做吗？问题2，我的方案总感觉怪怪的，有没有好的方案？

29、一个task slot 只能同时运行一个任务还是多个任务呢？如果task slot运行的任务比较大，会出现OOM的情况吗？

30、你们怎么对线上flink做监控的，如果整个程序失败了怎么自动重启等等

31、flink cep规则动态解析有接触吗？有没有成型的框架？

32、每一个Window都有一个watermark吗？window是怎么根据watermark进行触发或者销毁的？

33、 CheckPoint与SavePoint的区别是什么？

34、flink可以在算子中共享状态吗？或者大佬你有什么方法可以共享状态的呢？

35、运行几分钟就报了，看taskmager日志，报的是 failed elasticsearch bulk request null，可是我代码里面已经做过空值判断了呀 而且也过滤掉了，flink版本1.7.2 es版本6.3.1

36、这种情况，我们调并行度 还是配置参数好

37、大家都用jdbc写，各种数据库增删查改拼sql有没有觉得很累，ps.set代码一大堆，还要计算每个参数的位置

38、关于datasource的配置，每个taskmanager对应一个datasource?还是每个slot? 实际运行下来，每个slot中datasorce线程池只要设置1就行了，多了也用不到?

39、kafka现在每天出现数据丢失，现在小批量数据，一天200W左右, kafka版本为 1.0.0，集群总共7个节点，TOPIC有十六个分区，单条报文1.5k左右

40、根据key.hash的绝对值 对并发度求模，进行分组，假设10各并发度，实际只有8个分区有处理数据，有2个始终不处理，还有一个分区处理的数据是其他的三倍，如截图

41、flink每7小时不知道在处理什么， CPU 负载 每7小时，有一次高峰，5分钟内平均负载超过0.8，如截图

42、有没有Flink写的项目推荐？我想看到用Flink写的整体项目是怎么组织的，不单单是一个单例子

43、Flink 源码的结构图

44、我想根据不同业务表（case when）进行不同的redis sink（hash ，set），我要如何操作？

45、这个需要清理什么数据呀，我把hdfs里面的已经清理了 启动还是报这个

46、 在流处理系统，在机器发生故障恢复之后，什么情况消息最多会被处理一次？什么情况消息最少会被处理一次呢？

47、我检查点都调到5分钟了，这是什么问题

48、reduce方法后 那个交易时间 怎么不是最新的，是第一次进入的那个时间，

49、Flink on Yarn 模式，用yarn session脚本启动的时候，我在后台没有看到到Jobmanager，TaskManager，ApplicationMaster这几个进程，想请问一下这是什么原因呢？因为之前看官网的时候，说Jobmanager就是一个jvm进程，Taskmanage也是一个JVM进程

50、Flink on Yarn的时候得指定 多少个TaskManager和每个TaskManager slot去运行任务，这样做感觉不太合理，因为用户也不知道需要多少个TaskManager适合，Flink 有动态启动TaskManager的机制吗。

51、参考这个例子，Flink 零基础实战教程：如何计算实时热门商品 | Jark’s Blog， 窗口聚合的时候，用keywindow，用的是timeWindowAll，然后在aggregate的时候用aggregate(new CustomAggregateFunction(), new CustomWindowFunction())，打印结果后，发现窗口中一直使用的重复的数据，统计的结果也不变，去掉CustomWindowFunction()就正常了 ？非常奇怪

52、用户进入产品预定页面（端埋点上报），并填写了一些信息（端埋点上报），但半小时内并没有产生任何订单，然后给该类用户发送一个push。1. 这种需求适合用flink去做吗？2. 如果适合，说下大概的思路

53、业务场景是实时获取数据存redis，请问我要如何按天、按周、按月分别存入redi