基于flink与groovy实现全实时动态规则智能营销与风控系统

本文介绍了一种基于Flink与Groovy实现的实时智能运营系统,该系统能够在多种场景下实现动态规则的实时计算与营销推送,包括促销信息的即时推荐等。系统设计考虑了规则的动态调整与实时数据处理能力。

前言:本文是对视频课程《基于flink与groovy实现亿用户级实时动态规则智能运营系统》的介绍说明;
本项目极具行业实用价值,可为各企业开发人员提供系统设计思路与灵感,而且,它不光可用于智能运营,也可以应用在实时规则推荐,实时广告推送,实时规则封控,实时交通监控等纪委广泛的场景中;
当然,各类培训机构学员也可以通过学习此项目来丰富自己的就业简历,绝对杀手锏级别!在面试中运用得当,可以起到一锤定音立竿见影的绝杀效果!

如果需要学习本项目,可联系博主

1 项目背景

传统的“精准营销平台”由营销人员基于画像标签数据去圈选人群,进行营销推送,存在不足;
这种传统手段,往往无法抓住那些 “转瞬即逝的营销机会”;

  • 如:一个促销热爱型用户,正在浏览包包时,及时推送出正在做促销活动的包包信息,是最有效的;
  • 如:一个价格敏感型用户,正在犹豫不决反复查看他购物车中的某目标商品时,适时推送优惠券,是最有效的;

这些场景,显然无法通过营销人员通过人工手段去发现,需要用软件系统自动、实时监控用户的行为,并实时做出判断,并进而驱动营销推送系统推送相关营销内容;
总之,在应对这一类的需求时,以前的传统的“精准营销平台”显得力不从心;

因而,擅长用键鼠改变世界的攻城狮们,决定为公司的推广、运营部门开发一个应对上述场景的自动化、智能的、实时、规则动态可变的营销利器 —— 《实时智能运营系统》
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2 需求分析

2.1 营销规则举例

  • 搜索兴趣词包含“商务休闲”的用户,如果浏览包含“商务休闲”的商品页面,则触发一个优惠券推送消息;
  • 活跃度等级为C的用户,且在规则发布前的3天内,发生过 “搜索雀巢” AND “加购” ,当他再次上线时,触发一个app弹窗消息;
  • 活跃度等级为C的用户,规则发布前2天内,发生过A事件3次以上,规则上线后发生了B事件,且之后间隔1天再次发生B事件,则触发;
  • 规则运行时,检测到用户发生了下单事件,而在随后的15分钟内没有支付,则触发;
  • 规则运行时,一个用户如果搜索的关键词符合某正则表达式,则触发;
  • 宝妈用户,在2022-08-07开始,做过A行为3+次,做过(B行为,E行为)序列2+次,则触发;

2.2 规则营销需求的宏观抽象

  • 营销规则有多样化的灵活的定义(不光参数可以支持自定义,且运算模型也可以自定义);
  • 营销规则通常针对满足某画像的人群,也可没有针对性
  • 营销规则通常都有有效期(也有可能是无限期的),要求系统能够支持动态增加、停用运营计划(规则)
  • 营销规则根据需求的变化,需要能够方便地进行在线管理,如新增、停用、修改

2.3 营销规则受众条件的逻辑要素抽象分析

  • 各类营销规则,都支持对目标人群的圈选

  • 圈选的手段之一是:是对用户的画像标签数据进行定义、判断

  • 圈选的手段之二是:对用户的行为数据进行自定义即时计算(广义上就是实时用户画像)

  • 而行为数据即时计算的时间跨度,通常是有时间窗口约束的,而所涉及的时间跨度可能有:

  • 只包含规则上线之前

  • 只包含规则上线之后

  • 横跨规则上线前到上线后
    在这里插入图片描述

  • 受众圈选行为画像即时条件中,抽象出来的判断要素主要有

    • 事件类型及属性是否满足规则(如搜索事件且搜索词是否满足正则、是否包含指定关键字等)
    • 事件序列是否满足规则(是否依次发生过A-C-E序列)
    • 事件或事件序列的发生次数是否满足(如X事件是否发生了N次)
    • 事件的属性统计值是否满足(如X事件中的sum(属性amt) > 100 ,事件X的行为总时长>20)
    • 事件与事件之间的对比关系,如时间间隔(如:A-B事件的间隔>N)、属性值(统计)对比
  • 最后,就是上述各类条件的逻辑组合: 与 、或 、 非、 大于、 小于、 等于……

    • 条件1: A发生次数 >3
    • 条件2 : A事件的max(amt) - A事件的min(amt) > 200
    • 条件3 : A - B间隔> 5min
      最终规则: 条件1 与 (条件2 或 条件3)
      思考:
      A事件中pageid=“p05” 的次数 > A事件中pageid="p10"的次数 ,是否包含在上述要素中?
      A事件中,MAX
上层应用业务对实时数据的需求,主要包含两部分内容:1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求,都需要进行的下钻分析支持,我们希望能够建立统一的实时OLAP数据仓库,并提供一套安、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录,再细拆到AB实验更细维度时,数据量则多达上百亿记录,多维数据组合下的聚合查询要求秒级响应时间,这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型,需要满足以下几点:1:数据延迟在分钟级,查询响应时间在秒级2:标准SQL交互引擎,降低使用成本3:支持join操作,方便维度增加属性信息4:流量数据可以近似去重,但订单行要精准去重5:高吞吐,每分钟数据量在千W级记录,每天数百亿条新增记录6:前端业务较多,查询并发度不能太低通过对比开源的几款实时OLAP引擎,可以发现Doris和ClickHouse能够满足上面的需求,但是ClickHouse的并发度太低是个潜在的风险,而且ClickHouse的数据导入没有事务支持,无法实现exactly once语义,对标准SQL的支持也是有限的。所以针对以上需求Doris完能解决我们的问题,DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库,非常的强大,随着互联网发展,数据量会越来越大,实时查询需求也会要求越来越高,DorisDB人才需求也会越来越大,越早掌握DorisDB,以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解,具体分析指标包含:AB版本分析,下砖分析,营销分析,订单分析,终端分析等,能承载海量数据的实时分析,数据分析涵盖端(PC、移动、小程序)应用。整个课程,会带大家实践一个完整系统,大家可以根据自己的公司业务修改,既可以用到项目中去,价值是非常高的。本课程包含的技术:开发工具为:IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点:1.企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖端(PC、移动、小程序)应用7.主流微服务后端系统8.天级别小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持实时数据分析15.程代码实操,提供部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。 
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值