【王树森推荐系统】行为序列03：SIM模型（长序列建模）

最新推荐文章于 2026-05-01 09:09:22 发布
原创 最新推荐文章于 2026-05-01 09:09:22 发布 · 1.2k 阅读 · 20

DIN模型回顾

  • n 个红色向量对应用户的 last-n 交互记录，每个向量都是一个物品的表征
  • 右边的蓝色向量是候选物品的 id embedding
  • 把这些向量输入注意力层，红色向量作为 key 和 value，物品的蓝色向量作为 query
  • 注意力层输出紫色向量，可以看作是对用户 last-n 历史记录的表征，反映出用户的兴趣，把紫色向量作为一种用户特征，一起作为精排模型的输入
    在这里插入图片描述
  • 计算用户 last-n 向量的加权平均
  • 权重是候选物品与 last-n 物品的相似度

DIN模型的缺点

  • 注意力层的计算量 ∝n\propto n∝n（用户行为序列的长度），
标签
#推荐系统 #推荐算法 #人工智能 #机器学习
最低0.47元/天 解锁文章
精通推荐算法30：行为序列建模之SIM— 基于检索建模长周期行为序列
谢杨易的博客
09-15 3201
SIM通过先检索后建模的二阶段方式，有效将超长行为序列转化为了短序列。从而克服了离线建模时用户行为不能与候选物品交叉等问题，实现了在线建模。其Hardsearch和Soft-search检索方式的思考和落地，也充分体现了作者对业务特点的充分理解，是一次不错的理论结合实际。SIM工程落地也比较友好，特别是Hardsearch方案，已经被应用到了各大推荐场景。7。
SIM：基于搜索的用户终身行为序列建模
进一步有进一步的欢喜~
06-09 1511
有没有一种方案是直接列用用户原始的行为，而且能够解决上万长度的用户序列的耗时问题呢？一种解决方案便是本文将要介绍的Search-based User Interest Model
推荐系统长序列建模新思路：深入解读SIM模型中的Soft Search与GSU模块
最新发布
weixin_42662605的博客
05-01 261
本文深入解析了推荐系统中SIM模型的Soft Search与GSU模块，探讨了其在长序列建模中的创新应用。通过两阶段兴趣搜索框架（GSU和ESU），SIM模型有效解决了传统方法处理超长序列的局限性，特别介绍了Soft Search的最大内积搜索原理及其工程实现。文章还对比了Soft Search与Hard Search的优劣，并提供了基于Keras的GSU模块实现代码，为推荐系统开发者提供了实用参考。
【广告推荐】用户行为序列建模（DIN、SIM）
weixin_41888257的博客
03-27 2741
上面 第一步的查找，把lastN物品缩小到 topK，排除掉的物品大概率和候选物品无关（相似度很低），排除之后几乎不会影响加权平均的结果。最终的 emb 是由各个 lastN 向量 加权得到的，权重是 各个lastN物品 & 候选物品的相似度 alpha。DIN 也是对 lastN 行为的一种建模方法，优于上面一节简单对 各个emb取平均。和DIN没有本质区别，主要区别是 lastN 变成了 topK。计算相似度的方法，如 cos、内积。简单平均 & 注意力机制的 区别。DIN 的本质是注意力机制。
SIM：基于搜索的用户兴趣建模
Jony0917的专栏
02-12 3484
简介 点击率估计在推荐系统和广告系统中起着至关重要的作用。随着用户行为数据的快速增长，用户兴趣模型被广泛的应用与推荐系统。用户兴趣模型专注于学习用户兴趣的意图表示。受计算和存储资源的限制，大部分的兴趣模型只能利用用户少量近期的历史行为数据，数量在几百个左右。然而有证据已经证明利用更多的历史行为数据是具有巨大价值的。比如淘宝23%的用户在5个月内点击的物品超过了1000。实际可行的利用用户长期行为序列数据的方案是目前开放和热门的研究主题。 很多研究工作借鉴NLP领域的思想，提出采用记忆网络建模用户长期行为序列
阿里用户序列建模SIM
whgyxy的博客
07-31 1927
MIMN是工业解决方案中第一个可以对用户序列长度达到1000的数据进行建模。但MIMN无法精确捕获给定用户兴趣的特定候选项目时，长度为用户行为序列进一步增加，比如增加10倍或更多。本文提出的基于搜索的兴趣模型(SIM)通过两个级联搜索单元提取用户兴趣:(i)泛搜单元GSU(General Search Unit)负责从原始序列泛搜任意长的顺序行为数据，并获得相关的子用户行为序列(SBS)(ii)**精搜单元ESU(Exact Search Unit)**对候选物料和SBS之间的精确关系进行建模。
阿里 - 淘宝 - 精排模型发展趋势
yifu0121
02-12 1065
一、DIN网络2018年7月19日 ，提出attention结构用在用户序列特征上，这种attention不是self-attention，而是预估item用来当做query，用户序列中的每个item作为key value 阿里兴趣网络DIN网络中几个关键的点(三)_1066196847的博客-CSDN博客_din网络 二、DIEN网络 2018年 相对于DIN网络有这样改进点，DIN网络只做了用户序列attention这件事，DIEN首先加了一个loss，用gru计算点击序列（长度为T）的T个输.
推荐系统王树森（四）特征交叉+行为序列
nju_spy的博客
08-28 2010
本文介绍了推荐系统中特征交叉和行为序列建模的关键技术。特征交叉部分详解了5种方法：FM因式分解机通过矩阵分解减少参数量；DCN网络显式建模高阶特征交叉；LHUC实现用户特征加权；SENet自主学习重要特征通道；Bilinear交叉通过中间矩阵处理不同维度特征。行为序列部分探讨了DIN模型利用注意力机制动态加权用户历史行为，以及SIM模型通过TopK筛选解决长序列计算问题。这些技术有效提升了推荐系统对特征交互和用户兴趣的建模能力。
【学习笔记】推荐系统 (8.行为序列：LastN、DIN、SIM)
xhyu61的博客
02-27 663
历经黑潮侵蚀，神战肆虐，忆质淹没…翁法罗斯的「大地」承受过太多苦痛，但它从未辜负过守护众生的职责。它以此践行真正的「不朽」之道——并非独得长生，而是持存万物。——《崩坏：星穹铁道》丹恒
（五）行为序列——王树森8h工业界推荐系统笔记
weixin_43348955的博客
03-12 490
最简单的方法是对用户行为取简单的平均，作为特征输入召回、排序模型。计算的向量可作为用户特征，反映用户的兴趣，把不同数据形成的向量拼起来，可用于召回、排序模型。SIM 的原理是对用户行为序列做快速筛选，缩短序列长度，使得DIN可以用于长序列。它是对 LastN 序列建模的一种方法，效果优于简单的平均。DIN序列短，记录用户近期行为，而SIM的序列长，记录用户长期行为，时间越久远，重要性越低。
Recommender_System：打造工业级推荐系统全链路解决方案
gitblog_00579的博客
01-06 1089
在数字化时代，个性化推荐系统已经成为各类在线平台的核心竞争力。无论是电商、社交网络还是内容平台，一个精准有效的推荐系统能够极大提升用户体验和平台效益。今天，我们将为您介绍一个开源项目——Recommender_System，它从入门到精通，全面介绍了工业级推荐系统的构建过程。 ## 项目介绍 Recommender_System 项目旨在提供一套完整的工业级推荐系统解决方案。项目内容涵盖了从理
用户行为序列建模（篇四）-【阿里】SIM
乐于创作，乐于分享，志于创作高价值博文
06-29 1308
SIM是阿里妈妈提出的突破用户行为序列长度限制的点击率模型，在长达54000长度的行为序列上实现SOTA效果。该模型采用两阶段搜索架构（GSU+ESU），通过类目匹配或embedding相似度从海量行为中筛选相关子序列，解决了传统模型的计算存储瓶颈。工业实践表明，SIM离线AUC比MIMN提升0.008，在线CTR提升7.1%，RPM提升4.4%。系统层面创新设计two-level索引（UBT）实现高效检索，使54000长度序列的预测延迟仅增加5ms。该技术已成功应用于淘宝展示广告场景
推荐系统｜行为序列_用户行为序列建模、Din模型和SIM模型
Fangyechy的博客
02-12 1127
由于序列过大会造成运算次数的增加，而固执地采用后N个则会无法保持长期兴趣的数据，所以可以在保证序列长度固定的前提下，对N个挑选出来的对象进行操作。物品ID通过Embedding将会得到一个向量，性质差不多的向量在空间中也会处于差不多的位置，可以用取平均方式得到一个综合所有向量的向量。而这个所占的重量/占比，是需要和要查询的候选向量进行比较来得出，也就是所谓的相似度，相似度越大，受其影响也会越大。所谓的LastN是一种普通版本的平均，他考虑到了每一个物品，但并未考虑到每一个物品所占的重量。
Roformer-sim模型
orangerfun的博客
11-16 3358
文章目录1. 简介2. RoformerSim Model2.1 Roformer模型介绍2.2 Roformer-Sim 模型2.2.1 语料2.2.2 生成2.2.3 检索3. 总结4. 参考 1. 简介 RoFormer-Sim模型融合了检索和生成于一体的模型。在roformer-sim之前作者也提出了一种类似的模型BERTSIM，roformer-sim是对 SimBERT 相关技术进一步整合和优化，可以用来作为句向量的一个比较高的 baseline，也可以用来实现相似问句的自动生成，可以作为辅助数
SIM: 阿里定向广告--基于搜索的超长用户行为序列 ctr 模型
liuxiaoran的专栏
09-05 1377
最近两年大公司在推荐系统的研究热点，当属是用户行为建模。 阿里在最近三年内不断的升级用户序列的建模方式，从最早只使用了attention 的 Deep Interest Network，到兴趣进化网络 DIEN，再到session 兴趣网络DSIN，一步步的深入挖掘用户行为的兴趣价值。而这些模型也只是利用了用户上百量级的短期行为，用户的浏览序列长度可能达到上千甚至上万个，怎么高效且有效的利用这种长序列信息呢？ SIM提供了 Lifelong 超长行为序列线上服务化的可行性方案。 背景 用户...
推荐算法学习笔记（十九）阿里SIM 模型
weixin_44880995的博客
10-09 1164
sim模型
DIN模型和SIM模型原理与实践
qq_41502322的博客
10-17 2130
对比DIN，user侧的。被换成了上一步查找到的。
SIM语义分割模型效果测试
前阿里技术专家、华为架构师
12-24 932
SIM是Meta在SAM基础上开发的语义分割扩展模型，主要解决了SAM无法输出语义类别标签的问题。相比SAM仅支持实例分割，SIM新增了文本提示直接指定语义类别的能力（如"pedestrian"、"car"），同时保留了SAM的零样本分割、灵活提示和视频通用性等优势。SIM支持视频语义追踪，兼容SAM生态，可通过少量标注数据微调适配垂直场景。其工作流程为：输入图像→SIM语义分割→掩码后处理→特征提取→实体分类，最终输出带语义标签的分割结果。SIM需要与实体分类器配合
论文阅读：《SIM: A Slot-Independent Neural Model for Dialogue State Tracking》
weixin_44385551的博客
11-03 1059
论文阅读：SIM: A Slot-Independent Neural Model for Dialogue State Tracking1.全文背景2.介绍3.问题构建3.1简述3.2正式数学描述SIMInput RepresentationContextual RepresentationInter-Attention4.实验部分5.总结如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格...
简单3D姿态基线模型网络架构与验证【SIM】
新缸中之脑
12-03 535
大多数估计单个人的人体姿势的工作都使用单个图像或视频。SIM模型还估计单个人的人体姿势。作者着手构建一个系统，在给定 2d 关节位置的情况下预测 3d 位置，以便了解误差来源。在这项工作中，作者实现了一个轻量级且快速的网络，能够每秒处理 300 帧。相对简单的深度前馈网络在 Human3.6M 上的性能比最佳报告结果高出约 30%。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值