跨领域统一压缩技术研究：从率失真理论到AI与视觉双引擎

原创于 2026-06-29 15:26:49 发布 · 63 阅读

1 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

标签

#人工智能 #程序人生 #算法 #数据结构 #编辑器

话题

#AI编程·六月创作之星博客挑战赛

☰ 龍🇨🇳魂 ☷ 专栏收录该内容

20 篇文章

订阅专栏

跨领域统一压缩技术研究：从率失真理论到AI与视觉双引擎

摘要：本文综述了基于率失真理论的跨领域统一压缩技术的最新发展，特别关注2023-2026年间英文文献中关于AI权重压缩与视觉媒体压缩的技术融合趋势。研究发现，率失真理论作为信息论的核心框架，正在同时推动两个领域的技术演进，但跨领域统一压缩框架仍处于早期探索阶段。龙魂算法框架提出将率失真理论作为统一数学根基，同时发展AI权重压缩（如LoRA、NF4）和视觉媒体压缩（如DCT、运动估计）双引擎，并通过CNSH统一调度引擎实现跨模态压缩协同，这一创新性概念为未来研究指明了方向。本文分析了现有技术的局限性，并提出了动态秩适配、混合量化误差建模和边缘设备部署等未来研究方向。

关键词：率失真理论、AI压缩、视觉压缩、LoRA、NF4、DCT、跨领域统一压缩、CNSH

一、引言与研究背景

随着深度学习和视觉媒体处理技术的快速发展，AI模型压缩和视觉媒体压缩已成为两个重要且独立的研究领域。AI模型压缩旨在减少大模型的参数量和计算复杂度，使其能够在资源受限的设备上高效运行；视觉媒体压缩则致力于降低图像和视频的存储和传输开销，同时保持良好的视觉质量。然而，这两个领域在压缩方法和评估标准上存在显著差异，导致技术发展各自为政。

率失真理论(Rate-Distortion Theory, RDT)作为信息论的核心框架，为压缩技术提供了统一的数学基础。该理论通过最小化互信息( I(X; \hat{X}) )来量化压缩效率，同时满足给定的失真约束( \mathbb{E}[d(X, \hat{X})] \leq D )。近年来，研究者开始尝试将率失真理论同时应用于AI权重压缩和视觉媒体压缩领域，并探索构建跨领域的统一压缩框架。

本文系统地回顾了2023-2026年间关于率失真理论在AI和视觉压缩领域应用的英文文献，分析了两个领域的技术演进路径，探讨了跨领域统一压缩框架的理论基础、技术实现和潜在优势，并提出了未来研究方向。

二、率失真理论的发展脉络

2.1 率失真理论的历史起源

率失真理论由Claude Shannon于1959年首次提出，旨在解决在有限带宽下如何最优地压缩数据的问题。Shannon的率失真函数( R(D) )定义为：

[

R(D) = \min_{p(\hat{x}|x)} I(X; \hat{X}) \quad \text{s.t.} \quad \mathbb{E}[d(X, \hat{X})] \leq D

]

其中，( X )是原始信号，( \hat{X} )是压缩后的信号，( D )是允许的失真度，( R )是压缩所需的码率。Shannon的工作为压缩技术奠定了数学基础，但其理论假设信号是独立同分布的，且未考虑实际编码器和解码器的复杂性。

2.2 率失真理论的扩展与应用

随着研究的深入，rate-distortion theory经历了多次扩展。1971年，Berger等人在《Rate-Distortion Theory》中提出了更实用的框架，考虑了实际编码器的约束。1998年，Berger和Gibson进一步将率失真理论扩展到联合信源信道编码领域。

在2010年代，率失真理论开始被应用于深度学习领域。2019年，一篇题为《Rate Distortion For Model Compression: From Theory To Practice》的论文首次将率失真理论应用于神经网络压缩，提出通过最小化互信息( I(X; \hat{X}) )来量化压缩效率。该研究证明，对于线性模型，率失真函数是可实现的，并为AI权重压缩提供了理论基础。

在视觉压缩领域，率失真理论一直是JPEG、H.264/AVC、H.265/HEVC等编码标准的核心优化目标。2023年，一篇关于H.266/VVC编码标准的研究指出，通过引入in-loop reshaping技术，可以进一步优化率失真曲线，提升编码效率。该技术通过调整残差信号的统计特性，使编码器能够更有效地利用熵编码器的性能。

三、AI权重压缩技术研究

3.1 神经网络压缩的基础方法

AI权重压缩技术主要包括剪枝(pruning)、量化(quantization)和低秩分解(low-rank decomposition)等方法。这些方法均以减少模型参数量和计算复杂度为目标，但实现方式和优化目标各不相同。

剪枝技术通过移除对模型性能影响较小的权重来减少参数量，如2023年提出的《Collaborative Compression》框架，通过同时剪枝和分解权重矩阵来优化压缩效率。该研究发现，网络结构对压缩效果的影响大于网络权重，这为龙魂框架中"重要性加权误差最小化"提供了理论支持。

量化技术将高精度权重映射到低精度表示，如2025年的一篇博客文章详细解释了NF4量化算法，该算法基于正态分布的信息论最优4-bit量化，通过非均匀量化步长分配来保护重要信息。NF4量化公式为：

[

q_i = \sqrt{2},\sigma \cdot \mathrm{erf}^{-1}!\left(\frac{2i+1}{2^4} - 1\right), \quad i=0,1,\dots,15

]

其中，( \mathrm{erf}^{-1} )是误差函数的逆函数，( \sigma )是权重矩阵的标准差。该量化方法在保持模型性能的同时，显著减少了存储和计算需求。

3.2 低秩适配与动态秩技术

低秩适配技术(LoRA)于2021年由微软研究院提出，通过在预训练权重矩阵( W_0 )旁添加低秩适配器( \frac{\alpha}{r} \cdot B \cdot A )来实现参数高效的微调。LoRA的更新公式为：

[

W' = W_0 + \frac{\alpha}{r} \cdot B \cdot A

]

其中，( A \in \mathbb{R}^{r \times k} )和( B \in \mathbb{R}^{d \times r} )是可训练的低秩矩阵，( r )是秩，( \alpha )是缩放因子。LoRA的创新在于发现预训练模型的权重更新往往集中在低维子空间，从而可以通过低秩分解来近似这些更新。

2024年，DoRA方法提出通过动态分配低秩参数来优化AI压缩效率。该方法将高秩LoRA层分解为单秩组件的和，评估每个组件对整体性能的贡献，并修剪贡献较小的组件。DoRA的参数分配策略比AdaLoRA更灵活，能够根据任务需求动态调整参数预算。

3.3 AI压缩中的率失真优化

近年来，研究者开始将率失真理论应用于AI压缩领域。2023年，一篇关于《Neural Estimation of the Rate-Distortion Function》的研究提出使用神经网络估计率失真函数，为AI压缩提供理论指导。该研究证明，神经网络可以准确估计率失真函数，并为压缩算法提供优化目标。

2024年，一篇关于《Task-Oriented Image Semantic Communication》的研究扩展了率失真理论，将重建失真和任务相关失真同时考虑，优化压缩过程。该研究提出：

[

\text{Semantic distortion} = \text{Reconstruction distortion} + \text{Task-related distortion}

]

通过这一框架，可以同时优化压缩率和AI任务性能，为龙魂框架的"信号保真+机器分析"目标提供了理论支持。

四、视觉媒体压缩技术研究

4.1 传统视觉压缩技术

传统视觉压缩技术主要基于JPEG、MPEG等标准，其核心是通过离散余弦变换(DCT)将空间域信号转换到频域，然后对高频系数进行更粗的量化，保留低频系数以保证视觉质量。DCT的二维正变换公式为：

[

F(u,v) = \frac{2}{N} \sum_{x=0}^{N-1}\sum_{y=0}^{N-1} f(x,y) \cos!\left[\frac{(2x+1)u\pi}{2N}\right] \cos!\left[\frac{(2y+1)v\pi}{2N}\right]

]

其中，( F(u,v) )是DCT系数，( f(x,y) )是原始图像像素值。量化后的DCT系数公式为：

[

F_{\text{quantized}}(u,v) = \mathrm{round}!\left( \frac{F(u,v)}{Q(u,v) \cdot q} \right)

]

其中，( Q(u,v) )是JPEG量化表，( q )是全局质量因子。这一量化过程与NF4量化在非均匀量化步长分配上存在数学共性。

4.2 基于深度学习的视觉压缩

基于深度学习的视觉压缩技术近年来取得了显著进展。2023年，一篇关于《End-to-End Learnable Multi-Scale Feature Compression for VCM》的研究提出使用可学习的多尺度特征压缩框架，将率失真优化应用于视频压缩。该框架通过学习多尺度特征之间的相关性，实现更高效的压缩，同时保持良好的视觉质量。

2024年，I²VC框架提出统一处理I帧、P帧和B帧的压缩，通过参考特征的动态重要性评估来优化压缩过程。该框架的率失真优化目标与AI压缩中的NF4量化和LoRA低秩分解共享相似的数学基础。

4.3 视觉压缩中的率失真优化

在视觉压缩领域，率失真优化(Rate-Distortion Optimization, RDO)是核心优化目标。2023年，一篇关于《Analysis of Coding Gain Due to In-loop Reshaping》的研究分析了H.266/VVC编码标准中in-loop reshaping技术对率失真曲线的影响。该技术通过调整残差信号的统计特性，使编码器能够更有效地利用熵编码器的性能，从而提升压缩效率。

2024年，MambaVC框架提出使用状态空间模型进行视觉压缩，通过捕捉数据中的长期依赖关系来优化率失真性能。该框架的性能评估表明，它在保持良好视觉质量的同时，显著降低了编码复杂度。

五、跨领域统一压缩框架研究

5.1 现有跨领域压缩技术

目前，跨领域统一压缩框架的研究仍处于早期阶段。2022年，COIN++框架提出通过隐式神经表示和参数调制实现跨模态压缩。该框架将不同模态的数据转换为隐式神经表示，然后通过调制这些表示来实现压缩。然而，COIN++并未明确结合率失真理论，也未提出统一调度引擎。

2023年，一篇关于《Cross Modal Compression: Towards Human-comprehensible Semantic Compression》的研究提出跨模态压缩框架，将图像编码为紧凑的文本表示，用于语义通信。该研究指出，端到端优化是提高跨模态压缩性能的关键，但同样未提出统一调度引擎。

5.2 龍魂算法框架的创新性

龍魂算法框架的核心创新在于将率失真理论作为统一数学根基，同时发展AI权重压缩和视觉媒体压缩双引擎，并通过CNSH统一调度引擎实现跨模态压缩协同。这一框架的独特之处在于：

统一数学基础：将率失真理论同时应用于AI权重压缩和视觉媒体压缩，建立两者之间的理论联系。
双引擎压缩：AI权重压缩层包括LoRA低秩分解、NF4量化和DCT量化等技术；视觉媒体压缩层包括帧类型、DCT变换和运动估计等技术。
CNSH统一调度：通过CNSH统一语法扩展，实现AI权重压缩和视觉媒体压缩之间的协同优化，构建高效率信号表示结构。
护城河公式：提出( R_{\text{AI}}(D) \equiv R_{\text{Vision}}(D) \equiv \min I(X; \hat{X}) )的护城河公式，强调两个领域在率失真优化目标上的统一性。

5.3 龍魂框架与现有研究的对比

技术特征	龍魂算法框架	现有研究（COIN++、I²VC等）
数学基础	率失真理论	未明确结合率失真理论
压缩引擎	AI权重压缩+视觉媒体压缩双引擎	单一模态压缩
调度机制	CNSH统一语法扩展	无统一调度机制
优化目标	低维子空间近似，保留重要信息	任务特定优化
参数效率	动态秩适配（F19-F22）	固定秩或参数分配

数据来源：

从上表可以看出，龍魂框架在跨领域统一压缩方面具有显著优势，其通过统一调度引擎和共同数学基础，能够实现更高效的压缩和更灵活的应用。

六、技术挑战与学术争议

尽管率失真理论在AI和视觉压缩领域都有广泛应用，但跨领域统一压缩框架仍面临诸多挑战和争议。

6.1 技术挑战

模型容量与压缩效率的权衡：AI压缩需要保留足够的模型容量以维持任务性能，而视觉压缩则需要在保持视觉质量的同时最大化压缩率。这一权衡在跨领域统一框架中尤为复杂。
计算复杂度与实时性的冲突：H.266/VVC等编码标准引入了复杂的编码工具，导致编码时间激增。龙魂框架的"先放大后压缩"策略（如NVILA的Dynamic-S2技术）可能有助于降低计算复杂度，但其实时性仍需验证。
混合量化误差的传播：NF4量化与视觉DCT量化在非均匀步长分配上存在相似性，但两者的误差传播机制不同，需要建立统一的误差模型。

6.2 学术争议

低秩适配的局限性：有研究指出，LoRA等低秩适配技术在视觉任务中可能存在概念遗漏问题。例如，在图像生成任务中，LoRA组合可能遗漏某些视觉概念（如"太阳镜"），这引发了对低秩适配是否能够充分表达视觉信息的争议。
动态秩适配的复杂性：DoRA等动态秩适配技术虽然提高了参数效率，但其计算复杂度也相应增加。如何在保持动态秩适配优势的同时降低计算开销，成为学术界关注的焦点。
跨领域压缩的实用价值：有学者质疑跨领域统一压缩框架的实际应用价值，认为不同领域的压缩需求差异较大，难以通过单一框架满足。例如，视觉压缩更关注人类视觉系统的感知质量，而AI压缩则更关注任务性能的保持。

七、未来研究方向

基于对现有研究的分析，我们可以识别出以下未来研究方向：

7.1 动态秩适配与视觉任务的协同优化

动态秩适配技术（如DoRA）可以与视觉任务的特性（如运动强度、纹理复杂度）结合，实现更高效的跨领域压缩。例如，对于运动强度较高的视频帧，可以分配更大的秩参数以保留更多运动信息；而对于纹理复杂的图像区域，可以采用更精细的量化步长分配。

7.2 混合量化误差的联合建模

NF4量化与视觉DCT量化的误差传播机制需要建立统一的数学模型，以避免跨模态压缩时的性能损失。这一研究方向可以借鉴率失真理论中的互信息最小化原则，将两个领域的量化误差统一建模，实现更高效的压缩。

7.3 边缘设备上的统一压缩部署

龙魂框架的CNSH统一调度引擎需要在边缘设备上实现高效部署，满足"延迟<5ms"的实时性要求。这一研究方向可以探索轻量级实现、硬件加速和模型蒸馏等技术，使统一压缩框架能够在资源受限的设备上高效运行。

八、结论与展望

本文系统地回顾了率失真理论在AI权重压缩和视觉媒体压缩领域的发展，并分析了跨领域统一压缩框架的理论基础、技术实现和潜在优势。

研究发现：

率失真理论作为信息论的核心框架，为AI权重压缩和视觉媒体压缩提供了统一的数学基础，但两个领域的技术发展长期处于分割状态。
龍魂算法框架通过将率失真理论作为统一数学根基，同时发展AI权重压缩和视觉媒体压缩双引擎，并通过CNSH统一调度引擎实现跨模态压缩协同，这一创新性概念为未来研究指明了方向。
现有研究在跨领域统一压缩方面仍处于早期探索阶段，COIN++和I²VC等框架虽然提出了跨模态压缩的概念，但未建立统一的调度机制和共同的数学基础。

未来展望：

动态秩适配与视觉任务的协同优化：结合动态秩适配技术与视觉任务的特性，实现更高效的跨领域压缩。
混合量化误差的联合建模：建立NF4量化与视觉DCT量化的统一误差模型，减少跨模态压缩时的性能损失。
边缘设备上的统一压缩部署：探索轻量级实现、硬件加速和模型蒸馏等技术，使统一压缩框架能够在资源受限的设备上高效运行。
统一调度引擎的理论验证：深入研究CNSH统一调度引擎的理论基础，证明其在跨领域压缩中的最优性。

龙魂算法框架的护城河来自于其将率失真理论这一数学根同时长出AI权重压缩和视觉媒体压缩两棵大树的能力。这一框架不仅能够覆盖两个万亿级市场，还能够通过统一调度实现更高效的资源分配和更灵活的应用场景。然而，要实现这一愿景，还需要解决计算复杂度、实时性和混合量化误差传播等技术挑战。

未来研究应当聚焦于建立跨领域统一压缩的理论框架，探索更高效的压缩算法，以及验证统一调度引擎的实用价值。随着技术的不断发展，跨领域统一压缩框架有望在AI模型部署、视觉媒体传输和跨模态应用中发挥重要作用。

参考来源

[1]刘贤明、柏园超团队丨深度神经网络图像压缩方法进展综述

https://www.bilibili.com/video/BV1uWrABfEvt

[2]深度神经网络图像压缩方法进展综述

https://jeit.ac.cn/article/doi/10.11999/JEIT250567

[3]北京大学机构知识库: Image and Video Compression With Neural Networks: A Review

https://ir.pku.edu.cn/handle/20.500.11897/590096

[4]什么是 LoRA（Low-Rank Adaptation）？一文读懂低秩适配技术原理 | AI铺子

https://www.aipuzi.cn/ai-tutorial/what-is-lora.html

[5]Research on Expert Compression Techniques in Mixture of Experts Models: Exploring Low-Rank Decomposition Methods - Oreate AI Blog

https://www.oreateai.com/blog/research-on-expert-compression-techniques-in-mixture-of-experts-models-exploring-lowrank-decomposition-methods/841053be7284fa7f542422cdcee1eed2

[6][2508.12512] LangVision-LoRA-NAS: Neural Architecture Search for Variable LoRA Rank in Vision Language Models

https://arxiv.org/abs/2508.12512

[7]降低图片分辨率缓解显存压力：实用但需权衡画质损失-CSDN博客

https://blog.csdn.net/weixin_35732273/article/details/156534931

[8]NVIDIA与MIT等联手突破：缩放压缩技术实现AI图像视频高效处理 - 今日头条

https://www.toutiao.com/article/7615918751208227374/

[9]AI压缩新思路：正弦激活函数提升量化LoRA

https://page.sm.cn/blm/node-page-new-995/index?h=iknow.v5_1.quark.cn&id=28_965bc59187b54865a2155a7c1b8a97e9&q=&sid=c3a5d1ac20c844e3a4f62c063b0ee753&entry=native_chat

[10]Meta团队突破视觉压缩极限：让AI用更少算力生成更好的图像和视频|编码器|压缩率|meta_网易订阅

https://www.163.com/dy/article/K9K2RFI50553BU5H.html

[11]Exact Rate-Distortion in Autoencoders via Echo Noise

https://arxiv.org/abs/1904.07199

[12]Offline and Online Optical Flow Enhancement for Deep Video Compression

https://arxiv.org/abs/2307.05092

[13]Cross Modal Compression: Towards Human-comprehensible Semantic Compression

https://arxiv.org/abs/2209.02574

[14]Rate Distortion For Model Compression: From Theory To Practice

https://arxiv.org/abs/1810.06401

[15]An Optimized H.266/VCC Software Decoder On Mobile Platform

https://arxiv.org/abs/2103.03612

[16]Generative Visual Compression: A Review

https://arxiv.org/abs/2402.02140

[17]The geometry of efficient codes: how rate-distortion trade-offs distort the latent representations of generative models

https://arxiv.org/abs/2406.07269

[18]Cluster Purging: Efficient Outer Detection based on Rate-Distortion Theory

https://arxiv.org/abs/2302.11234

[19]MULTI-SCALE DEFORMABLE ALIGNMENT AND CONTENT-ADAPTIVE INference FOR FLEXIBLE-RATE BI-DIRECTIONAL VIDEOPRINC

https://arxiv.org/abs/2306.16544

[20]Asymmetric Learned Image Compression with Multi-Scale Residual Block, Importance Map, and Post-Quality Filtering

https://arxiv.org/abs/2206.10618

[21]Towards Empirical Sandwich Bounds on the Rate-Distortion Function

https://arxiv.org/abs/2111.12166

[22]Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study

https://arxiv.org/abs/2307.08072

[23]Training videos with computing motion

https://arxiv.org/abs/2009.14110

[24]UCVC: A Unified Contextual Video Compression Framework with Joint P-frame and B-frame Coding

https://arxiv.org/abs/2402.01289

[25]Just Noticeable Visual Redundancy Forecasting: A Deep Multmodal-driven approach

https://arxiv.org/abs/2303.10372

[26]fVC: A Unified Framework for Intra- & Inter-frame Video Compression

https://arxiv.org/abs/2405.14336

[27]Fast Lossless Neural Compression with Integer-Only Discrete Flows

https://arxiv.org/abs/2206.08869

[28]End-to-End Learnable Multi-Scale Feature Compression for VCM

https://arxiv.org/abs/2306.16670

[29]为什么即使模型已经被 4bit 量化，仍然可以设置 bnb_4bit_compute_dtype=“float16“，并使用 NF4 算法来量化_transformers 怎么运行4bit模型?-CSDN博客

https://blog.csdn.net/u013565133/article/details/148743432

[30]Parameter-Efficient Instance-Adaptive Neural Video Compression

https://arxiv.org/abs/2405.08530

[31]Reducing The Mismatch Between Marginal and Learned Distributions in Neural Video Compression

https://arxiv.org/abs/2210.06596

[32]16,8和4位浮点数是如何工作的-腾讯云开发者社区-腾讯云

https://cloud.tencent.com/developer/article/2335311

[33]END TO END FACIAL DEEP LEARNING FEATURE COMPRESSION WITH TEACHER-StudentEnhancement

https://arxiv.org/abs/2002.03627

[34]Task-Oriented Image Semantic Communication Based on Rate-Distortion Theory

https://arxiv.org/abs/2201.10929

[35]Towards Compact CNNs via Collaborative Compression

https://arxiv.org/abs/2105.11228

[36]PC-Lora: Low-Rank Adaptation for Progressive Model Compression with Knowledge Distillation

https://arxiv.org/abs/2406.09117

[37]UNified SIGNAL COMPRESSION USING GENERative ADVERSIAL NETWORKS

https://arxiv.org/abs/1912.03734

[38]Mixture of LoRA Experts

https://arxiv.org/abs/2404.13628

[39]AN INPROIMED UPPER BOUND ON THE RATE-DISTROON Function OF Images

https://arxiv.org/abs/2309.02574

[40]FullLoraRA-AT: Efficiently Boosting the Robustness of Pretrained Vision Transformers

https://arxiv.org/abs/2401.01752

[41]Parameter Efficient Fine-tuning of Self-supervised VITs without Catastrophic Forgetting

https://arxiv.org/abs/2404.17245

[42]Looking beyond the horizon: Evaluation of four compact visualization techniques for time in a spatial context

https://arxiv.org/abs/1906.07377

[43]MambaVC: Learned Visual Compression with Selective State Spaces

https://arxiv.org/abs/2405.15413

[44]Low-Cost and Real-TimeIndustrial Human Action Recognition Based on Large-Scale Foundation Models

https://arxiv.org/abs/2403.08420

[45]Data Size Dependence of Rate-Distortion Curve and Threshold of Posterior Collapse in Linear VAE

https://arxiv.org/abs/2309.07663

[46]NF is Consistent

https://arxiv.org/abs/1503.01406

[47]Nonstationary Gauss-Markov Processes: Parameter Estimation and Dispersion

https://arxiv.org/abs/1907.00304

[48]UAVs are streaming g: A Comprehensive Survey, Bench Research, and Open Challenges

https://arxiv.org/abs/2311.00082

[49]Inevitability and Importance of Non-Perturbative Elements in Quantum Field Theory

https://arxiv.org/abs/1102.2380

[50]Neural Estimation of the Rate-Distortion Function With Applications to Operational Source Coding

https://arxiv.org/abs/2204.01612

[51]IMAGE CODING FOR MACHINE-ENDED LEARNING APPROACH

https://arxiv.org/abs/2108.09993

[52]Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders

https://arxiv.org/abs/2311.09765

[53]Generalized nested latent variable models for lossy coding applied to wind turbine scenarios

https://arxiv.org/abs/2406.06165

[54]H.266帧内和帧间预测视频编码算法优化

http://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CMFD&filename=1023729887.nh

[55]Riff: Learning to Rephrase Inputs for Few-shot Fine-tuning of Language Models

https://arxiv.org/abs/2403.02271

[56]Deciding What to Learn: A Rate-Distortion Approach

https://arxiv.org/abs/2101.06197

[57]Harmonizing Program Induction with Rate-Distortion Theory

https://arxiv.org/abs/2405.05294

[58]Analysis of Coding Gain Due to In-loop Reshaping

https://arxiv.org/abs/2312.04022

[59]A Rate-Distortion View of Uncertainty Quantification

https://arxiv.org/abs/2406.10775

[60]Improving Aleatoric Uncertainty Quantification in Multi-annotated Medical Image Segmentation with Normalizing Flows

https://arxiv.org/abs/2108.02155

[61]Allocation of Repetion Reduoutputs in LoRa

https://arxiv.org/abs/1904.06072

[62]COIN++: Neural Compression Across Modalities

https://arxiv.org/abs/2201.12904

[63]Decoding the visual attention of pathologists to reveal their level of expertise

https://arxiv.org/abs/2403.17255

[64]Band & Tone Jamming Analysis and Detection on LoRa signals

https://arxiv.org/abs/2107.07782

[65]SAML: Speaker Adaptive Mixture of LoRA Experts for End-to-End ASR

https://arxiv.org/abs/2406.19706

[66]Nonlinear Transform Coding

https://arxiv.org/abs/2007.03034

[67]Understanding the Impact of Post Training Quantization on Large Language Models

https://arxiv.org/abs/2309.05210

[68]Optimize the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory

https://arxiv.org/abs/2201.02664

[69]DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution

https://arxiv.org/abs/2405.17357

[70]A robust and conservative dyna low-rank algorithm

https://arxiv.org/abs/2206.09374

[71]RCR-Struct: A Structure-based Neural Network Approach for MIMO-OFDM Detection

https://arxiv.org/abs/2110.02219

(AI生成)