Unsupervised Action Segmentation by Joint Representation Learning and Online Clustering_CVPR 2022理解速

最新推荐文章于 2024-06-14 15:38:36 发布
原创 最新推荐文章于 2024-06-14 15:38:36 发布 · 847 阅读 · 3

Unsupervised Action Segmentation by Joint Representation Learning and Online Clustering_CVPR 2022

链接：https://www.researchgate.net/publication/351925764_Unsupervised_Action_Segmentation_by_Joint_Representation_Learning_and_Online_Clustering

1.团队相关信息

作者都是这个西雅图的Retrocausal公司的，公司首页上发布有5、6篇已经中的顶会论文，都是视频方向的。

2.背景

首先这篇文章针对的领域是动作分割，解释一下什么是Action Segmentation。动作分割就是，给定一长段捕捉复杂活动的视频序列，目标是将长视频的每一帧分类为一个动作或者子活动类。

3.出发点

有监督的方法需要每一帧的动作标签来进行训练，这成本是比较昂贵的。弱监督的方法需要弱标签，例如每个视频的有序动作列表，这样的标签获取其实也是比较耗时的。
因此出现了无监督的一些方法，这些方法共同发现这些动作，并通过将所有视频中的帧分组为簇来分割视频，每个簇对应于其中一个动作。以往的无

标签
#聚类 #深度学习
最低0.47元/天 解锁文章
Yuggie_Sue
关注
Action Segmentation动作分割概念区别
m0_60273616的博客
06-20 1151
Action Segmentation动作分割和动作定位概念区别
2022-11-5学习记录
weixin_43856821的博客
11-05 726
任务定义定义一：给出一段帧长为T的视频片段，将它们划分为l小段，并为每一小段分类。定义二：二分类语义分割任务。相关工作2.1 时序动作检测（定位）note：TAD/L和TAS的关系，可以类比目标检测和语义分割的关系。2.2 关键帧检测（Key-Frame Detection）复杂活动分类（Complex Activity Classification）2.3 序列分割任务（Sequence Segment Tasks）note：在时序上出更细粒度的框，不出语义标签；
时序动作分割(temporal action segmentation)任务介绍
Michael’s Blog
10-01 3714
时序动作分割(temporal action segmentation)任务介绍
Action Segmentation数据集介绍——Breakfast
小威的博客
02-22 2313
早餐动作数据集包括与早餐准备相关的10个动作，由18个不同厨房的52个不同的人执行。该数据集是最大的完全带注释的数据集之一。这些动作是在“自然环境下”记录的，而不是在单一的受控实验室环境中记录的。它由超过77小时（>4万帧）的录像组成。为了减少数据总量，所有视频都被下采样到320×240像素的分辨率，帧速率为15 fps。
Temporally Consistent Unbalanced Optimal Transport for Unsupervised Action Segmentation
CclelouchCc的博客
06-14 1297
即在一个数据集或样本集合中，有些动作类别的样本数量非常少，而另一些动作类别的样本数量非常多的情况，对伪标签强制执行平衡分配假设，这是不友好的。与以前的方法不同，我们的方法不需要知道视频的动作顺序来实现时间一致性。以下图c为例，没有引入时间一致性时，会发现在相邻帧内，有可能会出现边界帧，但是显然不符合常理，因为我们知道一个事件接着另一个事件在短期的帧内，是不会出现变化的，更多的是图b这种，因此就需要引入时间一致性，当相邻帧内出现不同运动类的情况时，增大它的代价矩阵，属于同一类时，则置零，代价矩阵不变。
CVPR 2022 论文列表
AI浩
03-24 1万+
CVPR2022 Papers (Papers/Codes/Demos) 分类目录： 1. 检测 2. 分割(Segmentation) 3. 图像处理(Image Processing) 4. 估计(Estimation) 5. 图像&视频检索/视频理解(Image&Video Retrieval/Video Understanding) 6. 人脸(Face) 7. 三维视觉(3D Vision) 8. 目标跟踪(Object Tracking) 9. 医学影像(Medical Imag
【论文精读】ASRF Alleviating Over-segmentation Errors by Detecting Action Boundaries
weixin_44723928的博客
04-08 1086
我们提出了一个有效的时间动作分割框架，即动作分割细化框架（ASRF）。模型架构由一个长期特征提取器和两个分支组成：动作分割分支（ASB）和边界回归分支（BRB）。长期特征提取器提供了两个分支的共享特征，具有广泛的时间感受场。ASB用动作类别对视频帧进行分类，而BRB回归动作边界概率。BRB预测的动作边界细化了ASB的输出，这导致了显著的性能提高。（i）我们提出了一个用于时间动作分割的框架ASRF，它将时间动作分割分为逐帧动作分类和动作边界回归。我们的框架使用预测的动作边界改进了动作类别的帧级假设。
Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation
qq_35424725的博客
07-25 1165
注：该文章发表于CVPR2020，文章主体框架建立在2019年“MS-TCN: Multi-Stage Temporal Convolutional Network for Action Segmentation”的基础上，欢迎查阅：MS-TCN介绍 论文原题：Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation 原文地址：https://arxiv.org/abs/2003.02824 论文的目标为“行为分割”（
MS-TCN: Multi-Stage Temporal Convolutional Network for Action Segmentation
qq_35424725的博客
07-24 6018
论文题目：Multi-Stage Temporal Convolutional Network for Action Segmentation 原文地址：https://arxiv.org/abs/1903.01945 这篇文章涉及的是视频的行为分割问题（Action Segmentation），也就是对视频（video）中的每帧，推断其对应的行为类别，也就是说，该问题本质上是一个逐帧的图像分类问题。 该文章的主要核心内容如下： 1.使用TCN对时序邻域信息进行聚合 由于人的行为具有时间相关性，为了捕获行为
CVPR2021论文列表（中英对照）
dovings的博客
07-04 1万+
CVPR论文列表，中英对照
ms-tcn:multi-stage temporal convolutional network for action segmentation
moliaochunfeng的博客
08-01 4016
ms-tcn论文详解 这是一篇cvpr2019的论文，研究了一阵子，决定将论文主体思想写出来，给大家分享分享，也让自己巩固理解。 首先，看一下这篇论文的目的。 ms-tcn中，为时间动作分割任务引入了一个多阶段时间卷积网络。给定视频x1的帧：T =（x1，…，xT），我们的目的是推断每个帧c1的类标签：T=（c1，…，cT）（T是视频长度）。 论文大致分为： Single-StageTCN ; ...
2019论文阅读3:Actor and Action Video Segmentation from a Sentence
weixin_42640840的博客
01-23 1922
Actor and Action Video Segmentation from a Sentence Kirill Gavrilyuk,　Amir Ghodrati,　Zhenyang Li,　Cees G. M. Snoek QUVA Lab, University of Amsterdam CVPR2018 文章链接：https://arxiv.org/pdf/1803.07485.pdf ...
Temporal Convolutional Networks for Action Segmentation and Detection论文及keras代码
m0_37859875的博客
12-06 1712
Temporal Convolutional Networks for Action Segmentation and Detection论文及代码
行为识别Action Detection概述及资源合集（持续更新...）
Gavinmiaoc的博客
07-24 3万+
随着深度学习技术的发展，以及计算能力的进步（GPU等），现在基于视频的研究领域越来越受到重视。视频与图片最大的不同在于视频还包含了时序上的信息，此外需要的计算量通常也大很多。 这篇主要介绍Action Recognition（行为识别）这个方向。这个方向的主要目标是判断一段视频中人的行为的类别，所以也可以叫做Human Action Recognition。虽然这个问题是针对视频中人的动作，但基...
TricorNet: A Hybrid Temporal Convolutional and Recurrent Network for Video Action Segmentation 翻译
nclgsj1028的专栏
03-12 1463
本博文是对论文的翻译，如有不准确，请在评论中指出TricorNet: A Hybrid Temporal Convolutional  and Recurrent Network for Video Action Segmentation一种用于视频动作分割的时间卷积和递归混合网络关键词：hybrid temporal convolutional and recurrent network  混合...
Actor and Action Video Segmentation from a Sentence
Hello World
04-16 1980
CVPR2018 Oral的一篇关于跨媒体(Video与NLP结合)的文章，paper链接 https://arxiv.org/abs/1803.07485，一作是荷兰阿姆斯特丹大学的PHD，作者的homepage https://kgavrilyuk.github.io/，code和datasets还没有被released出来。 个人瞎扯：这是我见过的第一篇发表出来的用NLP做video se...
Temporal Convolutional Networks for Action Segmentation and Detection论文阅读笔记
Hia_Hia_Hia的博客
10-11 3654
IEEE, 2016   现有的动作识别问题基本分为三种，（1）用滑动窗口来检测动作（2）用分段模型将视频分为多段再识别每段的动作（3）循环模型。（1）没有捕捉长范围的时序信息（2）没有考虑段间关系（3）关注范围有限且难以训练。   由此，作者提出了两种TCN模型： （1）ED-TCN：使用编码解码结构，只用了卷积、池化和上采样，但能够有效捕捉长范围的时序信息，并且层数相对较少，但每层包...
cv--action入门调查
weixin_44546905的博客
11-03 359
human action分类： 范围很广，从基本手势到人类团体事件。 gesture（肢体运动） actions（单人行为） interaction（多方交互） group activity（群体事件） 研究方向 action recognition 已经分割好的视频片段，输出一个标签的多分类问题 核心环节： action feature extraction：在原始视频中，使用特征提取模型在视频中提取有区分度的行为特征，输出适合分类的向量形式，该步骤是行为识别中至关重要的一步，特征向量的鲁棒性和区
【论文阅读】Unsupervised Learning of Image Segmentation Based on Differentiable Feature Clustering
博客
08-26 3328
摘要 目标 特征相似的像素应该被分为同一类别 空间上距离近的像素应该被分为同一类别 类别的数量应尽可能多 三个指标有互相排斥的地方，但应该做到一个平衡 贡献点 通过normalization和argmax实现可微的聚类 空间连续性损失函数 扩展了可以让用户输入的涂鸦，使结果更精确 扩展一个预训练方法 介绍 把摘要再扩展地讲了一遍，提到之前的工作超像素提取+线性迭代聚类只满足了空间连续性 相关工作 ...
无监督特征学习——Unsupervised feature learning and deep learning
热门推荐
Rachel Zhang的专栏
07-31 8万+
无监督学习近年来很热，先后应用于computer vision, audio classification和 NLP等问题，通过机器进行无监督学习feature得到的结果，其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning，结合他的视频：unsupervised feature learning by Andrew N
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值