SIM: 阿里定向广告--基于搜索的超长用户行为序列 ctr 模型

最近两年大公司在推荐系统的研究热点，当属是用户行为建模。

阿里在最近三年内不断的升级用户序列的建模方式，从最早只使用了attention 的 Deep Interest Network， 到兴趣进化网络 DIEN，再到session 兴趣网络DSIN，一步步的深入挖掘用户行为的兴趣价值。而这些模型也只是利用了用户上百量级的短期行为，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？

SIM 提供了 Lifelong 超长行为序列线上服务化的可行性方案。

 背景

用户的历史行为序列中蕴藏着丰富的用户”兴趣点“，用户的行为序列有巨大的价值。

• DIN：使用attention机制针对target 给不同行为不同权重

• DIEN：行为之间的时间关系非常重要，采用GRU建模兴趣的演变

• MIND：召回中使用多个向量分别代表用户不同的兴趣

阿里之前的一篇论文MIMN，首次把建模行为序列长度扩大到千级别，但是由于将所有用户历史行为编码到一个固定大小的记忆矩阵中，造成记忆单元中包含许多噪声，并且MIMN 放弃了候选target 与历史行为的交互，所以MIMN很难针对候选集捕获对应的用户兴趣。

模型结构

SIM (search-based user interest modeling with lifelong sequential behavior data) 与DIN 思想相同，只关注与候选target 相关的行为。

SIM 采用两阶段检索结构。先经过 GSU (General Search Unit) 模块在上万量级的历史行为中筛选出与候选target 相关的上百量级的子序列，之后把子序