发布了文章2024-06-28
Golang框架实战-KisFlow流式计算框架专栏Golang框架实战-KisFlow流式计算框架(1)-概述Golang框架实战-KisFlow流式计算框架(2)-项目构建/基础模块-(上)Golang框架实战-KisFlow流式计算框架(3)-项目构建/基础模块-(下)Golang框架实战-KisFlow流式计算框架(4)-数据流Gol...
发布了文章2024-03-29
是从flow.Input()中 获取到原始数据,改成可以直接获取到业务想要的具体数据结构类型,而无需断言等类型判断和转换。改成的Function扩展参数用法大致如下:
发布了文章2024-03-28
在介绍本章之前,我们先普及一下Prometheus Metrics的服务启动办法。 有关Prometheus是个什么东东,希望大家可以去额外补充下知识,我用一句大白话来解释就是,系统的监控指标。
发布了文章2024-03-26
KisFlow如果在执行流体中,需要被多个Goroutine来并发使用,可能需要同一个配置的创建多个Flow来匹配多个并发的计算流,所以Flow需要一个创建副本的能力。本章将实现这部分的能力。
发布了文章2024-03-13
Golang框架实战-KisFlow流式计算框架专栏Golang框架实战-KisFlow流式计算框架(1)-概述Golang框架实战-KisFlow流式计算框架(2)-项目构建/基础模块-(上)Golang框架实战-KisFlow流式计算框架(3)-项目构建/基础模块-(下)Golang框架实战-KisFlow流式计算框架(4)-数据流Gol...
发布了文章2024-03-11
KisFlow Action 是指在执行Function的时候,同时可以控制Flow的调度逻辑,KisFlow提供一些Action动作让开发者做选择,本节先介绍最简单的Action动作,Abort(终止当前Flow)。
发布了文章2024-03-07
现在每次建立Flow和Function等,都需要一系列繁琐的添加,不是很方便,接下来,我们可以通过批量读写配置文件,构建KisFlow中的结构关系,并且也可以将KisFlow的结构导出到本地文件中。目前我们先用文件的形式做配置的持久化,开发者也可以今后做数据库或者远程配置...
发布了文章2024-03-06
KisFlow中提供Connector,来给开发者定义第三方存储引擎的自定义读写插件模式。如果数据流的数据需要临时从某引擎去读或者需要存储到某个存储引擎中,可以通过Connector来编写相对应的读写逻辑,并且通过配置,自定义挂载在Flow中的某个Function中。Connector也是灵...
发布了文章2024-03-04
现在,将KisFlow提供对外Function开放注册能力,首先我们要定义一些注册函数原型,和管理这些Function的Router映射关系类型。
发布了文章2024-02-28
首先需要对KisFlow中内部支持的数据类型做一个基本的定义,我们将这部分的定义代码写在kis-flow/common/中的data_type.go 文件中。
发布了文章2024-02-26
首先我们要先定义KisFlow的核心结构体,KisFlow结构体,通过上述的设计理念,我们得知,KisFlow表示整个一条数据计算流的结构。其中每次数据在一个Flow上,依次执行挂载在当前Flow的Function。
发布了文章2024-02-23
这里我们创建三个文件夹, common/为 存放我们一些公用的基础常量和一些枚举参数,还有一些工具类的方法。 flow/为存放KisFlow的核心代码。 function/为存放KisFunction的核心代码。 conn/为存放KisConnector的核心代码。 config/ 存放flow、functioin、connector等...
发布了文章2024-02-22
一些大型toB企业级的项目,需要大量的业务数据,多数的数据需要流式实时计算的能力,但是很多公司还不足以承担一个数仓类似,Flink + Hadoop/HBase 等等。 但是业务数据的实时计算需求依然存在,所以大多数的企业依然会让业务工程师来消化这些业务数据计算的工作。
发布了文章2022-10-08
一、在线教学视频平台链接[链接][链接]二、提纲三、原创文章作品文章《Easy搞定Golang设计模式》四、源代码Github:[链接]Gitee:[链接]五、原创作品刘丹冰Aceld技术知识库[链接] 《Golang修养之路》 《8小时转职Golang工程师》 《zinx-Golang轻量级Tcp服务器框架》...
发布了文章2020-04-06
原创声明作者:刘丹冰Aceld, 微信公众号同名 (1) interface的赋值问题 以下代码能编译过去吗?为什么? {代码...} 继承与多态的特点 在golang中对多态的特点体现从语法上并不是很明显。 我们知道发生多态的几个要素: 1、有interface接口,并且有接口定义的方法。 2、...
发布了文章2020-04-06
本文主要介绍常见的Server的并发模型,这些模型与编程语言本身无关,有的编程语言可能在语法上直接透明了模型本质,所以开发者没必要一定要基于模型去编写,只是需要知道和了解并发模型的构成和特点即可。
发布了文章2020-03-27
作为当今互联网后端技术栈工程师、无论Golang、Java或者其他系,分布式的理论概念都逐步成为必备理论基础知识之一, 本文主要讨论分布式的CAP理论的推进,这是你走进分布式大门的第一块敲门砖。
发布了文章2020-03-23
在用Golang开发的时候,defer这个语法也是必备的知识,但是我们除了知道他是在一个函数退出之前执行,对于defer是否还有其他地方需要注意的呢。
发布了文章2020-03-16
垃圾回收(Garbage Collection,简称GC)是编程语言中提供的自动的内存管理机制,自动释放不需要的对象,让出存储器资源,无需程序员手动执行。
发布了文章2020-03-12
一、流?I/O操作? 阻塞? (1) 流 可以进行I/O操作的内核对象 文件、管道、套接字…… 流的入口:文件描述符(fd) (2) I/O操作 所有对流的读写操作,我们都可以称之为IO操作。 当一个流中, 在没有数据read的时候,或者说在流中已经写满了数据,再write,我们的IO操作就...