在大型语言模型（LLM）的迅猛发展中，文本领域已然取得了令人瞩目的成就。然而，音频领域的研究却稍显滞后。为了填补这一空白，Meta AI 研究团队近日提出了一种名为 SpiRit-LM 的新型多模态语言模型，该模型能够自如地处理文本和音频，并在音频理解和生成方面展现出卓越的能力。
SpiRit-LM 的提出，标志着音频语言模型研究的重大突破。它不仅能够理解和生成文本，还能够理解和生成音频，实现了文本和音频的无缝融合。这一创新主要体现在以下几个方面：
多模态融合：SpiRit-LM 通过将文本和音频序列进行拼接，并采用一种称为“交织”（interleaving）的方法进行训练，使得模型能够同时学习到文本和音频的语义信息。
情感保留：为了评估生成模型的表达能力，研究团队引入了 Speech-Text Sentiment Preservation（STSP）基准，用于衡量模型在文本和音频之间以及同一模态内的情感保留能力。SpiRit-LM 是第一个能够同时在文本和音频模态中保留情感的模型。
多任务学习：SpiRit-LM 能够通过少量示例进行学习，并在多个任务上表现出色，包括自动语音识别（ASR）、文本转语音（TTS）和音频分类等。
为了满足不同应用场景的需求，研究团队提出了 SpiRit-LM 的两个版本：Base 版本和 Expressive 版本。
- Base 版本：使用音频语义单元进行训练，能够理解和生成基本的音频内容。
- Expressive 版本：除了音频语义单元，还增加了音调和风格单元，能够更好地捕捉和生成具有情感表达的音频内容。
为了评估 SpiRit-LM 的性能，研究团队在多个基准上进行了测试，包括文本和音频的理解任务、情感建模任务以及负责任的 AI 评估。
- 文本和音频理解：在文本和音频的理解任务上，SpiRit-LM 表现出了与文本模型相媲美的性能，并在一些任务上取得了显著的改进。
- 情感建模：在情感建模任务上，SpiRit-LM-Expressive 表现出了出色的情感保留能力，尤其是在音频到文本和文本到音频的转换过程中。
- 负责任的AI评估：研究团队还对 SpiRit-LM 进行了负责任的 AI 评估，包括对生成内容的毒性检测。虽然 SpiRit-LM 在大多数方面表现出了良好的性能，但在一些特定的情感轴上仍存在一定的毒性风险。
SpiRit-LM 的提出，为音频和文本的多模态应用打开了广阔的前景。以下是一些潜在的应用领域：
- 语音助手：SpiRit-LM 能够理解和生成自然的语音响应，为语音助手提供更智能、更人性化的交互体验。
- 内容创作：SpiRit-LM 能够根据文本提示生成相应的音频内容，为内容创作者提供更多的创作可能性。
- 教育和培训：SpiRit-LM 能够生成具有情感表达的音频内容，为教育和培训领域提供更生动、更有趣的学习材料。
- 音频编辑：SpiRit-LM 能够理解音频内容并进行相应的编辑操作，为音频编辑工具提供更强大的功能。
