Monotonic Chunkwise Attention(MoChA)——李宏毅人类语言处理

MoCha——单调块注意力模型 1.概述 加了soft attention的seq2seq模型，在很多领域取得了广泛的应用，例如机器翻译、词性标注等NLP任务，因为它们都可以看成是序列到序列的问题。但是对于语音问题，这个模型存在很明显的弊端： 时间复杂度很高： 因为对于soft attention的模型来说，decoder的每一个输出要计算encoder的每一个隐含状态的对应权重，所以时间复杂度为O(UT)，其中U代表输出序列的长度，T代表输入序列的长度。对于语音任务来说，10ms的帧移就意味着1s的音频

与NT相比，MoChA中，window的长度是可变的，每一个step中，window的长度由一个model决定。该模型的工作原理如下：给定zi，以及acoustic feature，将其进model，判断window是否停止生长，如果为否，则继续将zi和下一个acoustic feature输入model，判断window是否生长，如果为否，则停止生长，将之前的所有acoustic featue都框到window中，进行encode，decode。

  在语音辨识中输入是语音信号，输出是对应的文字。语音表示为一个序列向量(长度为T\text{T}T，维度为 d\text{d}d)。输出的Text一般表示为一个Token序列，长度为N\text{N}N，V\text{V}V个不同的token所构成，通常 T>N\text{T} > \text{N}T>N。   在实际运用的过程中，有时候也会从声音信号直接得到word embe...

LAS模型介绍

参考链接： Seq2Seq模型讲解 完全图解Seq2Seq Attention模型 完全解析RNN, Seq2Seq, Attention注意力机制

本文为学习总结用，可能不涉及具体的注意力机制实现。很多时候我们理解一个事物应该从它的具体作用出发，再去深入它的具体实现。比如，当你学自行车的时候，你不可能是先去理解自行车的构造原理，再上车骑行。往往我们学习自行车的骑行都是从应用开始，这也是这篇文章的初衷发，先了解它干嘛用，再理解它的实现。部分图片从网络上进行转载,侵删。

深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。

DLHLP学习笔记

语音辨识模型：CTC 、RNN-T（&RNA）、Neural Transducer、MoChA

声明：语音合成论文优选系列主要分享论文，分享论文不做直接翻译，所写的内容主要是我对论文内容的概括和个人看法。如有转载，请标注来源。 欢迎关注微信公众号：低调奋进 Enhancing Monotonicity for Robust Autoregressive Transformer TTS 本文是清华大学在interspeech 2020上发表优化transformerTTS，使其更加鲁棒，具体的文章链接 https://www.isca-speech.org/archive/Interspe.

语音识别模型进化史以下4篇文章结合之前的LAS是深度学习在语音识别邻域的重要尝试 • Connectionist Temporal Classification (CTC)[Graves, et al., ICML’06] • RNN Transducer (RNN-T)[Graves, ICML workshop’12] • Neural Transducer[Jaitly, et al., NIPS’16] • Monotonic Chunkwise Attention (MoChA)[Chiu

李杉 维金 编译自 Google Blog量子位 出品 | 公众号 QbitAI谷歌AI Senior Fellow、谷歌大脑负责人Jeff Dean，按照惯例，今天开始发布2017年度的谷歌大脑年度总结。在这份已经发布的总结中，Jeff Dean回顾了谷歌大脑团队过去一年的核心研究，以及在多个AI领域的研究进展。Jeff Dean还把相关研究的论文等一并附上，堪称良心之作，值得收藏。以下是最新发

Connectionist Temporal Classification (CTC) CTC可以用于线上实时地语音识别，编码器用的是单向的RNN，解码是用MLP来预测文字分布。 编码器将语音输入\(x^i\)编码成\(h^i\)，MLP再对它乘上一个权重，接上Softmax，得到词表V大小的概率分布。 但有时候当前的语音输入可能并不能对应实际的文本token，所以预测要额外多一个为空的...

2019 Pay Less Attention with Lightweight and Dynamic Convolutions Felix Wu,Angela Fan,Alexei Baevski,Yann Dauphin,Michael Auli 28 Sep 2018 (modified: 21 Feb 2019)ICLR 2019 Conference Blind...

Neural Transducer, MoCha笔记 首先，先来看看什么是Neural Transducer。 如上图所示，我们可以发现Neural Transducer其实就是在输出时加了一个attention。 我们可以把n个h来作为一个window，然后利用attention来进行输出处理。 根据上图也会对实际window的大小选择起到指导作用。 接下来，我们来看看什么是MoCha： ...

文章目录1.传统 ASR2.端到端 ASR3.端到端ASR的发展历程3.1 CTC3.2 基于CTC的端到端ASR3.3 CTC的缺点4.基于attentiion的encoder-decoder模型5. Online 模型介绍（RNN-T, NT, MoChA）5.1 模型配置5.2 数据5.3 结果5.4 组合方式5.5 进一步的提升5.5.1 结构上的改进Wordpiece Model多头attention5.5.2 优化方式的改进最小字错率(MWER)预定采样同步异步训练标签平滑5.5.3 外部语言模

这是篇英文文章，讲前端自动化测试的，没时间翻译，应该都能看懂吧。。