Flink Forward Asia 2024 第一天小记

基于 flink 的数据 etl，类似之前在公司开发的 HDSpaceX

快手

–

快手的状态引擎slimbase

单点故障场景的优化

• 机器故障作业恢复流程和时间比较长，快速发现宕机（宕机检测），预留资源，热备份

• flink依赖的服务 kafka / hdfs 故障，kafka 集群快速切换

• 快慢数据源引发状态变大，导致作业作业不稳定

• CPU/mem 满载，gc等，作业不稳定性

13 号下午行业实践

==========

网易云音乐 Flink SQL 平台建设实践

目前问题现状：

• 学习成本高（配置多，ddl 难定义）

• 权限管控难

• 血缘，监控，报警不统一

• 业务复杂

• 开发成本高，调试复杂

• 特殊要求无法快速满足

功能：

• catalog 自己整合元数据

• source 和 sink 配置化，有的参数必选，有的可选

整体架构

优化

监控的优化

血缘关系目前解决方法是解析作业参数和 SQL ddl

监控指标需要实现定义的接口

后面私下了解到这个 notebook 禁止用户直接去定义 source 和 sink function，只能靠使用注册好的 catalog，这样作业的实时血缘就能够完全依靠 catalog 实现

京东

–

详情可以参考：

https://mp.weixin.qq.com/s/rNy9-qx2QR8Nrl1dQy2F-w

日志  child first 可以自定义加载日志，print 日志级别 更改（不记得用的啥技术了）

有赞

–

flink 目前 jar 包任务在 k8s，SQL 任务在 yarn，明年四月全 on k8s

flink on k8s 的作业资源分析工具

flink jar 和 SQL 作业元数据采集

58

–

SQL 参数太多，用户配置不友好

参数配置变成按钮是否打开这样是不是更友好?

实时数仓架构

腾讯游戏

进去听的时候只看到几张 PPT 了

知乎

–

tidb/redis connecttor 的开发

关注 【 麒思妙想】解锁更多硬核。

历史文章导读：

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

如果你觉得这些内容对你有帮助，可以扫码获取！！（备注Java获取）

最后

小编利用空余时间整理了一份《MySQL性能调优手册》，初衷也很简单，就是希望能够帮助到大家，减轻大家的负担和节省时间。

关于这个，给大家看一份学习大纲（PDF）文件，每一个分支里面会有详细的介绍。

这里都是以图片形式展示介绍，如要下载原文件以及更多的性能调优笔记（MySQL+Tomcat+JVM）！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！
，减轻大家的负担和节省时间。

关于这个，给大家看一份学习大纲（PDF）文件，每一个分支里面会有详细的介绍。

[外链图片转存中…(img-AIVl8HVS-1713376202097)]

这里都是以图片形式展示介绍，如要下载原文件以及更多的性能调优笔记（MySQL+Tomcat+JVM）！
《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取！