论文笔记——Long-Short Transformer: Efficient Transformers for Language and Vision

原创 已于 2023-02-17 09:57:32 修改 · 424 阅读 · 0 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
论文笔记

当前文章被收录于：

论文笔记
13 篇文章 0 人学习

论文笔记

订阅专栏 查看详情
于 2022-02-19 15:24:11 首次发布
本文深入探讨了short term attention和long term attention在单一attention head中的运作方式，其中short term attention仅对相邻patch进行注意力计算，可能使用zero padding处理边界。long term attention则涉及更广泛的注意力交互。在二者融合部分，通过[·;·]操作将不同窗口的矩阵第一维concat在一起。此外，还提到了Dual LN（Layer Normalization）的应用，以优化整个注意力机制的表现。

一、short term attention

这里的操作是对于单一的一个attention head来说的

1.n是patch的数量， d是patch的dimension，对于所有的Q\epsilon R^{n\times d},只与其相邻的K(V)\epsilon R^{2w\times d}进行attention，必要时边界采用zero padding。

eg1：第一个q和第二个q 只会和他们window内的4个进行attention。

2.维度：softmax\left ( \frac{QW^{Q}_{i}\tilde{K}W^{K}_{i}}{\sqrt{d_{k}}} \right )\tilde{V}W_{i}^{V} Q :n*d ; W: d*dk ;  K、V： 2w*d

二、long term attention

这里的操作是对于单一的一个attention head来说的

 维度：

 

三、Aggregating long & short attention

[· ; ·]表示把两个矩阵的第一维concat在一起，记住：上面的这个Q_{t}只是一个patch

四、DualLN（LN=layerNorm）

标签
#transformer #深度学习 #人工智能
Object Tracking
Z2879964813的博客
02-29 1800
ECCV/ICCV/CVPR
【论文笔记2】Long-Short Transformer: Efficient Transformers for Language and Vision
开着奔驰种地的博客
07-29 1441
论文原文：https://arxiv.org/abs/2107.02192 论文笔记：百度网盘提取码：nzsi 1. Summary Contributions： （1）提出了一种长短时Transformer模型：Long-Short Transformer (Transformer-LS)： Short：利用滑动窗口获取短序列（局部）attention Long：基于动态投影获取长序列（全局）attention （2）在Long-Transformer中提出动态投影方法 （3）提出 DualLN（
Long-Short Transformer: Efficient Transformersfor Language and Vision——语言和视觉的高效Transformer
Together_CZ的博客
12-12 954
Long-Short Transformer: Efficient Transformersfor Language and Vision——语言和视觉的高效Transformer
推荐文章：高效Transformer——Long-Short Transformer（Transformer-LS）
gitblog_00041的博客
06-08 363
推荐文章：高效Transformer——Long-Short Transformer（Transformer-LS） 1、项目介绍 在自然语言处理和计算机视觉领域，Transformer模型已经成为深度学习的基石。然而，其自注意力机制在处理长序列时面临着计算效率低下的问题。为解决这一挑战，我们向您推荐一款名为Long-Short Transformer (Transformer-LS)的开源项目。...
长短时记忆Transformer（Long Short Transformer）使用指南
gitblog_00865的博客
09-03 414
长短时记忆Transformer（Long Short Transformer）使用指南 项目介绍 长短时Transformer是由lucidrains开发的一个GitHub开源项目，旨在解决传统Transformer模型在处理长序列数据时面临的注意力瓶颈问题。通过引入创新的结构设计，该项目允许模型有效地捕捉长期依赖性，而无需牺牲计算效率或内存需求。此项目对于自然语言处理（NLP）、时间序列分析及...
CVPR2019论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
Long-Short Transformer 项目使用教程
gitblog_00777的博客
09-03 436
Long-Short Transformer 项目使用教程 1. 项目的目录结构及介绍 long-short-transformer/ ├── LICENSE ├── README.md ├── setup.py ├── long_short_transformer/ │ ├── __init__.py │ ├── attention.py │ ├── config.py │ ├─...
从矩阵乘法开始手撕多模态大模型 - 完整版
最新发布
Aj1e1Gf8f的博客
07-06 131
开始真正的多模态部分，我选择的是 LLaVA 模型架构，视觉 encoder 使用了现成的 CLIP ViT-B/16 ，语言处理部分使用了刚才训练最好的 stage3j。改好了，依旧重新开始训练。不过这是可以谅解的，因为 19 年 GPT - 2 也并没有在算术上大放异彩（至少我并没有查到 ChatGPT 2 在数学上的突破报道），而且我作为 Bench 的其他模型，比如比较有名的教学向多模态模型项目，本项目的灵感来源——况且对于一个比较老的架构，又没有 MoE 之类的架构突破，这样的结果倒也还可以。
Transformer 综述 & Transformers in Vision: A Survey
Flying Bulldog 的博客
08-18 2636
来自自然语言任务的Transformer模型的惊人结果引起了视觉界的兴趣，他们研究了它们在计算机视觉问题中的应用。与长短期记忆( Long short-term memory，LSTM )等循环网络相比，Transformer能够建模输入序列元素之间的长依赖关系，并支持序列的并行处理。与卷积网络不同，Transformer在设计时要求最小的电感偏差，并且作为集合函数自然适用。......
减小模型训练成本的视频动作识别 Efficient Video Transformers with Spatial-Temporal Token Selection 论文精读笔记
乄洛尘
10-24 893
好久没写博文了，抽空看了一篇，在准备开题报告相关的事。本文主要来自 VALSE 的一个短视频：20220914【视频理解研究进展与未来】吴祖煊：基于 Transformer 的视频内容理解，感觉很有意思，遂找到这篇论文来精读下。
Long Short-Term Transformer for Online Action Detection 笔记
scarlet witcher的博客
10-11 1976
在线动作检测任务与普通的动作检测任务有很大区别，其目的是检测当前的视频帧是所属于哪一个类别，并且我们只有当前帧的之前帧的信息。在本文中，提出一个Long Short-Term Transformer（LSTR），通过长时和短时记忆来建模视频数据，模型由一个LSTR编码器，动态利用粗尺度的历史信息从一个扩展时间窗口（例如，2048帧跨越8分钟），连同一个LSTR解码器，从短时间窗口（例如，32帧跨越8秒）得到的精细特征。
CVPR 2019 行为识别 相关论文
qq_36589469的博客
06-13 6491
CVPR2019 Action Recognition 相关论文 Video Action Transformer Network Abstract: We introduce the Action Transformer model for recognizing and localizing human actions in video clips. We repurpose a Trans...
Pluralistic Image Completion
sunlum的博客
06-19 4809
这是CVPR2019年的一篇论文，文章主要做的是从多元化的层面对图像进行修补。以下内容仅为自己看完文章所做的笔记，不喜勿喷，理解有误往提出改正。 一、 摘要 对于每个masked输入，大多数图像修补方法只能产生一个结果，但事实上，可能存在很多合理性的结果。这篇文章提出了一种多元图像修补方法 ...
推荐文章：长短期Transformer——在线行为检测新星
gitblog_00049的博客
09-03 382
推荐文章：长短期Transformer——在线行为检测新星 在机器学习和计算机视觉的交汇点上，有一个领域正迅速成为研究热点——在线行动检测。今天，我们将探讨一款前沿的开源项目，名为“Long Short-Term Transformer”（简称LSTR），该项目基于PyTorch实现，是NeurIPS 2021年的一篇Spotlight论文成果。本文旨在为开发者、研究人员以及对此领域感兴趣的人提供...
Online Action Detecition论文：GateHUB（CVPR2022）
qq_41573429的博客
07-25 1155
论文阅读笔记
计算机视觉论文-2021-07-08
中科院AI算法工程师的博客
07-08 1377
本专栏是计算机视觉方向论文收集积累，时间：2021年7月8日，来源：paper digest 欢迎关注原创公众号【计算机视觉联盟】，回复【西瓜书手推笔记】可获取我的机器学习纯手推笔记！ 直达笔记地址：机器学习手推笔记（GitHub地址） 1, TITLE:Samplets: A New Paradigm for Data Compression AUTHORS: Helmut Harbrecht ; Michael Multerer CATEGORY: math.NA [math.NA...
语音合成论文优选：Anyone GAN Sing
低调奋进
02-26 269
声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Anyone GAN Sing 本文为印度金奈SRM科技学院计算机科学与工程系在2021.02.22更新的文章，主要提出了ConvLSTM(convolutionalLongShort-termMemory)来优化WGANsing歌唱合成系统，具体的文章链接 https://arxiv.org/pdf/2102.11058.pdf （...
CVPR2021论文列表（中英对照）
热门推荐
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
Long-term Recurrent Convolutional Networks for Visual Recognition and Description - 阅读笔记 - 时序视频处理
kebijuelun的博客
11-06 750
Paper Reading Note URL: https://www.cv-foundation.org/openaccess/content_cvpr_2015/papers/Donahue_Long-Term_Recurrent_Convolutional_2015_CVPR_paper.pdf TL;DR 论文提出了一种结合传统CNN网络和LSTM的新网络结构Long-term recur...
Transformer综述(A Survey on Vision Transformer) 阅读学习笔记（三）--Transformer应用的图像处理与视频处理的研究
sazass的博客
03-11 8032
论文综述： 文章主旨：在本文中，我们回顾了这些视觉Transformer模型，将它们分为不同的任务，并分析了它们的优缺点。我们探讨的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理。我们还包括有效的Transformer方法，用于将Transformer推进基于设备的实际应用。此外，我们还简要介绍了计算机视觉中的自我注意机制，因为它是Transformer的基本组成部分。在本文的最后，我们讨论了视觉Transformer面临的挑战，并提供了几个进一步的研究方向。 其他章节： Transformer综
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值