Adapting Speech Foundation Models with Large Language Models for Unified Speech Recognition

一、文章主要内容总结

该研究提出了UASR-LLM（Unified Adaptive Speech Recognition with Large Language Models）框架，旨在通过融合语音基础模型（SFMs）和大型语言模型（LLMs），实现一个统一的语音识别系统，同时支持听觉语音识别（ASR）、视觉语音识别（VSR，即唇读）和视听语音识别（AVSR）三大任务。

核心思路

1. 模型架构：以冻结的语音基础模型（如WavLM、Whisper）为骨干，通过视觉注入模块将视觉编码器提取的唇动特征融入SFM的多个层，形成支持多模态输入的SFM-AV；再通过前馈适配器连接解码器-only LLM，利用指令提示引导文本转录。
2. 两阶段训练策略：
   • 第一阶段（视觉注入预训练）：基于跨模态知识蒸馏，用带噪声的视听输入训练视觉注入模块，使SFM能生成统一的视听表征（SFM参数冻结）；
   • 第二阶段（语音识别微调）：结合模态丢弃策略和指令提示，用LoRA微调LLM，同时引入辅助CTC损失优化编码器，实现三大任务的统一识别。
3. 实验验证：在LRS3等数据集上验证，UASR-LLM在干净和噪声环境下均优于现有基线，且能适配不同SFMs（WavLM、Whisper等）和LLMs（Qwen 2.5-7B、ChatGLM v3-6B等），展现出强泛化能力。

二