简单推荐架构模型介绍

简单推荐架构模型介绍

前言

推荐是视频、购物等软件中必不可少的一部分，推荐产品的质量，用户满意程度上决定了用户的留存率。
推荐架构涉及到的东西很多，博主目前知识储备仍浅薄，下面主要介绍一下常规的推荐架构模型。

模型介绍

APP中的数据流向主要有三个，日志、feed流、发表的新视频，这些数据流向了不同的地方，发挥了不同的作用。
king logic可以简单理解为推荐的上游

日志

这部分其实是推荐架构的离线部分。日志主要用来做流水数据上报，上报到需要它的地方，比如说报表产出、供机器学习训模等，上图中省略了从flowserver到机器学习的过程，大致如下。

1.数据到达HDFS，积累到一定值之后再进行下一步计算。
2.HIVE和HDFS是映射的关系，优点是可以直接用sql语句获取数据。
3.业务逻辑代码在MapReduce中，将获取到的数据进行处理。
4.数据传到机器学习中进行训模。

发表视频

用户新发表的视频除了会被发表到平台上，如果经历重重审核后达到推荐标准，就会放到推荐库中供推荐给用户。
大致会经历图中的这些过程（安审阶段其实是人工进行安全审核），其实还有更详细的一些，比如视频理解（指纹去重、自动分类）、跑马等。

feed流

这部分是推荐架构的在线部分。
1.AS层是接入层，类似一个中控的作用，负责依次调用UU、Rank、Recall、Policy获取推荐视频流，如果获取失败，可以进行一些兜底处理；还有一些黑名单的处理等（用户已读视频、违规视频等）。
2.UU层是用户画像层，获取用户画像，可供Recall进行召回、机器学习进行训模。
3.Recall层就是召回层，根据用户的画像信息，从推荐库中召回一些视频用于推荐。
4.Rank层对上一层的结果进行一个精排，基于机器学习模型对视频的打分。
5.Policy层如其名，就是在精排结果上再增加一些策略，比如说近期热门视频、正能量视频的强插，也或是广告的植入等等。

总结

如前面说到的，本文只是对推荐系统的一个简单介绍，也可以看到整个推荐系统框架的范围很广，涉及到的知识也很多，机器学习、Hadoop框架等等等等，深入学习的话还需要花很多精力。