李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA

原创 已于 2022-12-03 12:19:26 修改 · 1.5k 阅读 · 8
于 2020-03-13 16:59:07 首次发布
本文是李宏毅《DLHLP》学习笔记，主要探讨了CTC的推理和训练过程及其局限，RNA如何解决CTC的问题，RNN-T的工作原理，Neural Transducer的窗口注意力机制，以及MoChA的灵活窗口大小调整。这些技术在端到端语音识别中起到关键作用。

最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html

Youtube视频：
https://youtu.be/AIKu43goh-8
https://youtu.be/BdUeBa6NbXA
https://youtu.be/CGuLuBaLIeI
课件：
http://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/ASR%20%28v12%29.pdf

在这里插入图片描述

1. CTC

CTC的全称是Connectionist Temporal Classification
在这里插入图片描述

1.1 CTC的推理过程

为了做到Online speech recognition，encoder只能使用uni-directional RNN，不能使用bi-directional RNN.

然后，将 h n h^n hn直接输入到线性classifier中，生成对应token distribution。左侧为classifier的设计。
其中， ϕ \phi ϕ

标签
#学习 #人工智能 #深度学习
最低0.47元/天 解锁文章
ctc_beam_search_lm:CTC+Beam_Search+kenlm 是用于以汉字为声学模型建模单元的解码系统
05-10
此为百度第二代语音识别解码方案C++版本 CTC+BeamSearch+LM １ ctc_beam_search_decoder.cpp中相关的解码参数 num_frames:为wav的帧数 num_classes:为分类的数目，比如建模单元为多少个汉字 beam_size:beam的大小 blank_id:ctc训练时,blank的id cutoff_prob:为概率剪枝参数 alpha:为语言模型权重系数 beta:为句子长度系数 输入:经声学模型后的softmax概率prob.txt,以及相应的字表vocab.txt 输出:解码结果 ２ 编译ctc_beam_search_decoder.cpp 1)开始编译: ./compile_decoder.sh ３ 运行解码 ./ctc_beam_search_decoder ４ 解码结果
李宏毅《DLHLP》学习笔记7 - Voice Conversion
好记性不如烂笔头
12-03 1993
视频链接：https://www.youtube.com/watch?v=Jj6blc8UijY&list=PLJV_el3uVTsO07RpBYFsXg-bN5Lu0nhdG&index=9&ab_channel=Hung-yiLee 课件链接：https://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/Voice%20Conversion%20(v3).pdf语音转换的用处很多，如合成其他人的声音、合成不同情绪的声音等。本节介绍的技术都是从acoustic
李宏毅《DLHLP》学习笔记8 - 语音分离（Speech Separation）
好记性不如烂笔头
12-04 799
视频链接：https://www.youtube.com/watch?v=tovg5ZxNgIo&list=PLJV_el3uVTsO07RpBYFsXg-bN5Lu0nhdG&index=11&t=528s&ab_channel=Hung-yiLeehttps://www.youtube.com/watch?v=G0O1A7lONSY&list=PLJV_el3uVTsO07RpBYFsXg-bN5Lu0nhdG&index=12&ab_channel=Hung-yiLee课件链接：https://spe
【论文笔记】Improving Transformer-based End-to-End Speech Recognition with CTC and LM Integration
Blogs of TrainerNN
10-22 822
题目： Improving Transformer-based End-to-End Speech Recognition with Connectionist Temporal Classification and Language Model Integration 链接： http://www.isca-speech.org/archive/Interspeech_2019/abstracts/1938.html 标签： Speech Recognition, Transformer, CTC, LM
【李宏毅 DLHLP 深度学习人类语言处理 HW1】
weixin_39925939的博客
07-27 1048
李宏毅 DLHLP 深度学习人类语言处理 HW1
李宏毅《DLHLP》学习笔记6 - 语言模型
好记性不如烂笔头
12-03 883
LM的作用是预测token sequence出现的概率。对于输出文本的模型，LM通常都是很有帮助的。 N-gram LM 有smooth的问题，然后，引出Continuous LM，再进一步扩展到Deep Learning based LM.传统的LM是N-gram LM，下面介绍一下N-gram LM的技术细节。常见的N-gram有2-gram，3-gram，。。。 局限是什么？估计的概率可能并不准确。在Deep Learning技术出现之前，使用的方法叫continuous LM，这是一个源于推荐系统
课程笔记：深度学习与人类语言处理 ——李宏毅，2020 (P5)
zenRRan的博客
10-23 649
原创 · 作者 | 阿芒Aris学校 | 北京理工大学研究方向 | 自然语言处理来自 | AINLP语音辨识模型2、3、4、5：CTC 、RNN-T（&RNA）、Neural T...
李宏毅《DLHLP》学习笔记1 - 语音识别概念
好记性不如烂笔头
03-13 3299
最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...
台湾大学李宏毅机器学习课程
06-04
李宏毅（（Hung-yi Lee）目前任台湾大学电机工程学系和电机资讯学院的助理教授，他曾于2012年获得台湾大学博士学位，并于2013年赴麻省理工学院（MIT）计算机科学和人工智能实验室做访问学者。他的研究方向主要是语义理解、语音识别、机器学习和深度学习）老师的机器学习课程以机器学习和深度学习的基础知识为主，包含了AI领域的各种最新知识和技术点。课程深入简出，通俗易懂，颇受欢迎，非常适合对AI感兴趣的学习者。本课程已经获得李宏毅老师授权。
【项目管理】Java离线版语音识别-语音转文字
李晋江的博客
09-27 1万+
Java离线版语音识别-语音转文字
台湾大学 李宏毅教授的个人主页
森的博客
10-05 4万+
Mark一下李宏毅教授的个人主页，里面有相关知识点的视频、PPT。 个人主页 相关知识点PPT和视频 机器学习博大精深，还是要继续努力。
手把手教你用JAVA实现“语音识别”功能（声音转文字）标贝科技
DataBaker的博客
09-27 6139
手把手教你用JAVA实现“语音识别”功能（声音转文字）标贝科技 前言 什么是语音识别？ 将自然语音转换为文本信息，本篇文章将介绍“一句话识别”（对60秒以内的语音进行实时转写识别） 一、内容太长不愿意看，直接使用系列 首先确认接口调用要求： 时长限制：60秒以内 支持音频格式：wav，pcm 音频采样率：8000Hz，16000Hz 位深：16bits 声道：单声道 确认无误后，直接执行 2.2获取权限+2.3.3完整代码示例 二、用JAVA调用标贝科技“语音识别”接口使用流程 2.1.环境准备 jav
语音识别中的声学模型（AM）和语言模型(LM)
热门推荐
zjm750617105的专栏
06-29 4万+
本文主要受参考自： http://blog.csdn.net/by21010/article/details/51506292  以及： https://www.zhihu.com/question/35833334 最近看essen源码，感觉对于ASR 的一下之前的比较基础的算法很生疏， 在知乎上看到这个链接，感觉讲的比较通俗易懂，拿来再理解一下。 decoder是根据声学模型和语音模型，将
CTC 解码算法之 prefix beam search
weixin_30668887的博客
10-24 3200
ctc prefix beam search 算法 CTC 网络的输出 net_out 形状为 T×C，其中 T 是时间长度，C 是字符类别数加1(额外的blank)。 CTC 的 beam search 算法维护的不是 K 个路径前缀，而是 K 个标签前缀，但仍需要考虑其背后的路径（路径到标签的多对一关系）。每个时间步，对 K 个前缀进行扩展，用字符表中的字符对已有前缀做扩展，...
关于CTC模型的理解
gzj_1101的专栏
05-01 1万+
预备知识 摘要 标签错误率 CTC 从输出到标签 构建分类器 参考资料 最近在看手势识别相关论文，在看到一篇论文的时候发现了LSTM+CTC能够解决数据预分割的问题。于是抱着学习的心态这篇论文《Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Ne...
【小沐学Python】Python实现语音识别（SpeechRecognition）
爱看书的小沐
12-09 2万+
SpeechRecognition用于执行语音识别的库，支持多个引擎和 API，在线和离线。以上几个中只有 recognition_sphinx（）可与CMU Sphinx 引擎脱机工作， 其他六个都需要连接互联网。另外，SpeechRecognition 附带 Google Web Speech API 的默认 API 密钥，可直接使用它。其他的 API 都需要使用 API 密钥或用户名/密码组合进行身份验证。╮(￣▽￣)╭如果您感觉方法或代码不咋地//(ㄒoㄒ)//，就在评论处留言，作者继续改进；
Python SpeechRecognition库安装及使用中文识别Python SpeechRecognition库安装及使用中文识别
m0_66509806的博客
10-21 1万+
讲述了 下载安装、获得语音、语音识别
Python语音识别处理详解
Rocky006的博客
09-02 4205
语音识别，也称为语音转文本（STT），是一种技术，可以将人类语音转换为计算机可以理解的文本形式。这种技术已经被广泛应用于许多领域，包括自然语言处理、机器翻译、语音识别等。SpeechRecognition是Python中最受欢迎的语音识别库之一。它支持多种后端引擎（如Google，IBM和CMU Sphinx），并具有良好的跨平台性。
语音识别指南
qingqing(C/C++)
10-12 2759
这一篇就够了 python语音识别指南终极版 •语音识别的工作原理； •PyPI 支持哪些软件包;  •如何安装和使用 SpeechRecognition 软件包——一个功能全面且易于使用的 Python 语音识别库。 ▌语言识别工作原理概述 语音识别源于 20 世纪 50 年代早期在贝尔实验室所做的研究。早期语音识别系统仅能识别单个讲话者以及只有约十几个单词的词...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值