Neural Transducer——李宏毅人类语言学习

最新推荐文章于 2026-07-04 08:33:07 发布
原创 最新推荐文章于 2026-07-04 08:33:07 发布 · 499 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
李宏毅人类语言处理

当前文章被收录于：

李宏毅人类语言处理
8 篇文章 4 人学习
订阅专栏 查看详情
本文探讨了NeuralTransducer的工作机制，与CTC及RNN-T不同的是，NeuralTransducer采用累积声学特征的方式形成窗口，并在该窗口内进行attention机制的选择，从而实现解码并产生输出。
CTC语音唤醒-移动端-单麦-16k-小云小云

CTC语音唤醒-移动端-单麦-16k-小云小云

PyTorch
AI应用
FunASR

一套 面向移动端设备的轻量级语音唤醒解决方案，核心是通过 CTC 算法实现 “小云小云” 关键词唤醒，适配单麦克风、16kHz 采样率的移动端场景（如手机、智能穿戴设备）

CTC，RNA，RNN-T每次只读一个声学特征进来。
在这里插入图片描述
而Neural Transducer则是每次读多个声学特征进去，然后通过attention来选择读那些特征。
在这里插入图片描述

Neural Transducer的运作方式

累积一定数目的声学特征后， 构成一个window
在这里插入图片描述
接下来开始做decode，产生输出。输出的时候只在window的这个小范围内做attention。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这个window应该开多大呢？

在这里插入图片描述

您可能感兴趣的与本文相关的镜像

CTC语音唤醒-移动端-单麦-16k-小云小云

CTC语音唤醒-移动端-单麦-16k-小云小云

PyTorch
AI应用
FunASR

一套 面向移动端设备的轻量级语音唤醒解决方案，核心是通过 CTC 算法实现 “小云小云” 关键词唤醒，适配单麦克风、16kHz 采样率的移动端场景（如手机、智能穿戴设备）

标签
#学习 #语音识别 #人工智能
neural-transducer:此仓库包含一组神经传感器，例如序列到序列模型，专注于角色级任务
05-08
神经传感器 此仓库包含一组神经转换器，例如序列到序列模型，专注于角色级任务。 它为以下papar和讲习班提供动力。 叶卡捷琳娜·维洛莫娃（Ekaterina Vylomova），珍妮弗·怀特（Jennifer White），伊丽莎白·萨利斯基（Elizabeth Salesky），萨布丽娜·J·米尔克（Sabrina J.Mielke），吴世杰，爱德华多·庞蒂，罗恩·霍尔·莫兹莱，冉·兹米格罗德，约瑟夫·瓦尔沃达，斯维特拉娜·托尔多瓦，弗朗西斯·泰尔斯，埃琳娜·科利奇科，伊利亚·叶戈罗夫，娜塔莉娅·克里斯汉娜诺夫斯基，保拉·克拉扎诺夫斯基，Andrew Krizhanovsky，Tiago Pimentel，Lucas Torroba Hennigen，Christo Kirov，Garrett Nicolai，Adina Williams，Antonios Anastasopoulos
语音识别之CTC，RNA，RNN-T，Neural Transducer，MoChA模型详解——语音信号处理学习（四）
m0_56942491的博客
10-24 2797
LAS：就是 seq2seqCTC：decoder 是 linear classifier 的 seq2seqRNA：输入一个东西就要输出一个东西的 seq2seqRNN-T：输入一个东西可以输出多个东西的 seq2seqNeural Transducer：每次输入一个 window 的 RNN-TMoCha：window 移动伸缩自如的 Neural Transducer。
Neural Transducer, MoCha模型总结
折腾
05-07 1693
Neural Transducer, MoCha笔记 首先，先来看看什么是Neural Transducer。 如上图所示，我们可以发现Neural Transducer其实就是在输出时加了一个attention。 我们可以把n个h来作为一个window，然后利用attention来进行输出处理。 根据上图也会对实际window的大小选择起到指导作用。 接下来，我们来看看什么是MoCha： ...
【NLP】自然语言处理学习笔记（一）语音识别
兴趣使然的创作者
06-16 5060
本笔记参考的课程是李宏毅老师的自然语言处理 课程Link：https://aistudio.baidu.com/aistudio/education/lessonvideo/1000466 Token是模型的输出形式，以上图语音识别为例，输出的text包含了N个Token，每个Token有V种符号 目前，Token主要有下面五种具体形式：Phoneme 音标，即语言的发音。 如果想要换算成文本，需要有个Lexicon(词典表)，例如cat ⟶ K AE TGrapheme 字母 最直接的形式，总数为26个字
Chapter1-3_Speech_Recognition(CTC, RNN-T and more)
zjuPeco的博客
05-04 1880
文章目录1 CTC2 RNN-T 本文为李弘毅老师【Speech Recognition - CTC, RNN-T and more】的课程笔记，课程视频youtube地址，点这里????(需翻墙)。 下文中用到的图片均来自于李宏毅老师的PPT，若有侵权，必定删除。 1 CTC CTC源于论文Connectionist Temporal Classification: Labelling Unsegme...
Speech recognition模型：MoChA（Monotonic Chunkwise Attention)
u014765410的博客
10-17 1088
与NT相比，MoChA中，window的长度是可变的，每一个step中，window的长度由一个model决定。该模型的工作原理如下：给定zi，以及acoustic feature，将其进model，判断window是否停止生长，如果为否，则继续将zi和下一个acoustic feature输入model，判断window是否生长，如果为否，则停止生长，将之前的所有acoustic featue都框到window中，进行encode，decode。
RNN Transducer(RNN-T)——李宏毅人类语言处理学习笔记
久蔡合子
12-26 3513
RNN-A RNN-T
课程笔记：深度学习与人类语言处理 ——李宏毅，2020 (P5)
zenRRan的博客
10-23 649
原创 · 作者 | 阿芒Aris学校 | 北京理工大学研究方向 | 自然语言处理来自 | AINLP语音辨识模型2、3、4、5：CTC 、RNN-T（&RNA）、Neural T...
李宏毅《DLHLP》学习笔记4 - CTC, RNA, RNN-T, Neural Transducer, MoChA
好记性不如烂笔头
03-13 1537
最近在学习语音识别的知识，发现李宏毅老师今年也出了相应的视频，相应的课件可以从下面的位置获取：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html Youtube视频： https://youtu.be/AIKu43goh-8 https://youtu.be/BdUeBa6NbXA https://youtu.be/CGuLuBaLIe...
李宏毅NLP-5-RNNT&Neural Transducer&MoChA
uncle_ll的博客
04-19 1047
说明：就是普通的 seq2seq 模型。通过编码器（Encoder）处理输入序列h1−h4h^1 - h^4h1−h4等隐藏状态），解码器利用注意力机制（attention）生成输出c0−c4c^0- c^4c0−c4等）。说明：解码器是线性分类器的 seq2seq 模型。通过引入空白符ϕ\phiϕ解决输入输出不对齐问题，每个时间步独立输出 token，后处理合并重复 token 并去除ϕ\phiϕ。说明：输入一个元素就要输出一个元素的 seq2seq 模型。
语音识别模型CTC,RNN-T,Neural Transducer,MoCha学习笔记
taoqick的专栏
05-04 1397
语音识别模型进化史以下4篇文章结合之前的LAS是深度学习在语音识别邻域的重要尝试 • Connectionist Temporal Classification (CTC)[Graves, et al., ICML’06] • RNN Transducer (RNN-T)[Graves, ICML workshop’12] • Neural Transducer[Jaitly, et al., NIPS’16] • Monotonic Chunkwise Attention (MoChA)[Chiu
DLNLP学习笔记06（Speech Recognition: Neural Transducer模型&MoChA模型&总结）
GaLileo_C的博客
07-29 708
1 Neural Transducer：根据一个window size将多个输入进行attention之后，再输入到decoder。实际实验结果，加了attention之后window size大小对模型效果影响不大。 2 MoChA (Monotonic Chunkwise Attention)：动态地移动window。 3 总结： ...
【深度学习人类语言处理】1 课程介绍、语音辨识1——人类语言处理六种模型、Token、五种Seq2Seq Model(LAS、CTC、RNN-T、Neural Transducer、MoChA)
YoungSeng's Blog
04-06 2295
Deep Learning for Human Ianguage Processing1. DLHLP-Introduction1.1 概述1.2 六种模型与应用1.2.1 语音到文本1.2.2 文本到语音1.2.3 语音到语音1.2.4 语音到Class1.2.5 文本到文本1.2.6 文本到Class1.3 更多应用2. 语音辨识2.1 语音辨识的Token2.2 声学特征提取2.3 Listen, Attend, and Spell (LAS)2.3.1 Encoder2.3.2 Attention2
一张图总结LAS,CTC,RNA,RNN-T,Neural Transducer, MoCha模型
折腾
05-07 1640
【Learning Notes】Sequence Transducer
丁丁的博客
07-28 6783
CTC 独立性假设，各个 frame 的输出概率。 合理性：1。简化了模型；2。虽然独立于输出，但依赖输入。 我们能做的更好吗？ 输出概率依赖于之前的输出，更合理，显然许多问题是成立的（语音识别，识别结果应该符合某种习惯） Fig. 1. The RNN-T model. The model consists of an encoder network, which maps inp...
CTC,RNN-Transducer, LAS
一花一世界 一叶一菩提
04-28 5497
CTC RNN-Transducer 网络结构 LAS
HMM, CTC和RNN-Transducer对齐方式的差异
为实现四个现代化奋斗
02-03 1397
转载自：https://www.jianshu.com/p/fad774f76be2 来自台湾大学李宏毅的课程，对这几个模型的对齐方式做了比较详细的说明。
李宏毅2020人类语言处理—P4
ronghwa_lu
11-22 324
Model 1 Connectionist Temporal Classification，CTC [Graves,et al.ICML,2016] 解决on-line语音辨识（不需要听完整句话再作辨识），只有一个encoder模块，且不能使用双向RNN。 问题： 每个acoustic input只代表10ms的语音，不是每个input都包含一个独特的token信息。 所以模型要知道什么时候output空白信息（NULL），即这段语音听不到有用信息。 如何处理空白信息和相同的语音 预测size=V+1
C#调用 AI学习从0开始-第3阶段RAG向量数据库-第12天
weixin_42800530的博客
07-02 651
就是让大模型先查资料，再在查出来的资料的基础上回答问题，即检索-增强-生成。计算机不理解"语义"，但能计算数字之间的距离。向量的核心操作就是计算两个向量的余弦相似度。余弦相似度是衡量两个向量方向是否一致的指标。实时知识更新：不用重新训练，更新知识库即可。解决幻觉问题：让AI基于事实回答，不编造。私有数据利用：让AI学习公司的内部文档。向量就是把文本转换为数字数组。1.RAG向量数据库是什么？核心概念：什么是余弦相似度？2.为什么需要RAG?5.RAG质量关键因素。4.为什么需要向量？
023-外语学习的刻意练习
最新发布
davy800405的博客
07-04 231
学了十年英语，还是开不了口——不是你不够努力，是你的方法根本就不对。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是小蔡呀～～～

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值