量化精度与数据分布关系大吗？

原创 已于 2022-07-23 18:31:23 修改 · 1.1k 阅读 · 0
于 2022-07-23 12:27:17 首次发布

量化精度损失影响因素

我们都知道，量化实际上就是一个从浮点分布到定点分布的过程，大致过程如下：
在这里插入图片描述
如果有对这个过程不是很了解的，可以去参考我之前写的另外一篇文章，

tvm量化介绍

那么这样一个过程我们就可以看出来，我们肯定是尽可能希望所有浮点数都相对集中在一起，这样可以尽可能保证大部分点的精度，比如自然界最常见的高斯分布（当然相信之前看过一些文章同学都知道，一个训练均衡的网络的权重分布也是比较接近高斯分布的）。
在这里插入图片描述
但是这个定理一定是绝对的吗？让我们以一个比较典型的网络来做实验

实验初始条件

我们在实际量化过程中发现densenet121量化成8bit会精度掉点严重，通过排查发现是一个conv的影响很大.
conv的weights如下：
在这里插入图片描述
bias如下：
在这里插入图片描述
我们可以看到这里面的数据分

标签
#算法 #人工智能 #机器学习
最低0.47元/天 解锁文章
神经网络损失函数特别大_二值神经网络（Binary Neural Networks）最新综述
weixin_39750195的博客
11-21 1323
作者｜秦浩桐、龚睿昊、张祥国单位｜北京航空航天大学研究方向｜网络量化压缩本文介绍了来自北京航空航天大学刘祥龙副教授研究团队的最新综述文章 Binary Neural Networks: A Survey，合作者包括中国电子科技大学的宋井宽教授和意大利特伦托大学计算机系主任 Nicu Sebe 教授。神经网络二值化能够最大程度地降低模型的存储占用和模型的计算量，将神经网络中原本 32 位浮...
[深度学习]1. 深度学习知识点汇总
weixin_46285081的博客
09-01 5426
本文记录了我在学习深度学习的过程中遇到过的不懂的知识点，为了方便翻阅，故将其发表于此，随时更新，供大家参考。
高通AI Engine SDK（QNN）使用教程（环境配置、模型转换、量化、推理、分析）
weixin_51031772的博客
08-19 1万+
高通AI Engine使用教程
深度学习模型量化（低精度推理）大总结
洪流之源
05-30 7191
模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。 通过这篇文章你可以学习到以下内容：1）量化算法介绍及其特点分析，让你知其然并知其所以然； 2）Pytorch 量化实战，让你不再纸上谈兵；3）模型精度及性能的调优经验分享，让你面对问题不再束手无策；4）完整的量化文献干货合集，让你全面系统地了解这门主流技术。 1.CPU 推理性能提升 2-4 倍，模型大小
闲话模型压缩之量化（Quantization）篇
热门推荐
世事难料，保持低调
06-25 7万+
1. 前言 这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上
【SOD】数据分布是如何影响目标检测精度
BigGod139的博客
07-16 1039
围绕“在YOLO系列模型训练中以最小投入（时间、数据量等）获取最大精度回报。
模型量化后的推理性能与精度的权衡，如何通过 A/B 测试验证？
百态·数智思维 | 聚焦大数据、量化与未来AI
03-19 1176
模型量化通过降低权重和激活的数值精度（如从FP32到INT8），实现推理速度提升（18倍）和内存占用降低（30%），但会引入精度损失（如mAP下降5-15%）。该框架已在自动驾驶感知系统优化中实现：FP16量化方案使推理速度提升12.3倍，同时将mAP下降控制在4.7%（p<0.01），成功通过A/B测试验证。通过A/B测试验证模型量化的性能-精度权衡，需构建包含。其中α、β为业务场景权重系数，需通过实验动态调整。通过路径系数分析确定主导因素。
嵌入式AI模型量化全解析（精度损失最小化策略大公开）
CodeIsle的博客
12-05 970
掌握嵌入式AI模型量化核心技巧，有效降低模型体积与功耗，提升边缘设备推理速度。详解量化方法、适用场景及精度损失最小化策略，覆盖训练后量化与量化感知训练等关键技术。实用指南值得收藏，点击了解完整方案。
[PTQ]均匀量化与非均匀量化：从理论到实践的精度与效率权衡
weixin_29775479的博客
06-19 204
本文深入探讨了PTQ（后训练量化）中的均匀量化与非均匀量化技术，从理论到实践分析了精度与效率的权衡。通过实际案例和代码示例，详细介绍了两种量化方法的适用场景、实现细节及优化策略，帮助开发者在模型部署中做出更明智的选择。
INT8量化原理理解
Activewaste
12-02 9582
INT8量化的深入理解参考量化三连问INT8量化原理INT8量化流程INT8量化实现TensorRT 的INT8量化关于INT8量化原理的Q&A 参考 Int8量化-介绍（一） 博主在上面文章的基础上进行合并整理，包括从这些文章的评论里提取有用的信息，帮助大家理解INT8量化的原理，加深巩固认识，再次感谢一下上面的文章。 强烈推荐一下第一篇知乎回答，我自己来回看了包括评论有三遍左右进行理解加深，答主写得是真的好。 量化三连问 为什么量化有用？ 因为CNN对噪声不敏感。 为什么用量化？ 模型太
深度解析模型量化中的精度损失（从理论到实战的完整指南）
LogicGap的博客
12-05 947
深入剖析模型量化的精度损失成因与优化策略，涵盖训练后量化、量化感知训练等核心方法，适用于边缘设备部署场景。详解敏感层识别与补偿技术，显著降低性能损耗，提升推理效率，值得收藏的实战指南。
大模型推理精度下降怎么办：90%工程师忽略的量化误差陷阱
CodeNexus的博客
12-10 885
解决大模型推理精度损失难题，揭秘90%工程师忽略的量化误差陷阱。涵盖模型压缩、INT8量化适用场景与精度恢复技巧，提升推理效率同时保障准确率，关键优化方案一文掌握，值得收藏。
量化原理与实践
Stay hungry, Stay foolish
01-22 1006
本文深入探讨了FP32到INT4模型量化的原理与实践。量化技术通过将高精度浮点数转换为低精度整数，可显著减少模型存储需求（FP32到INT4压缩8倍）并提升计算效率。文章详细分析了线性量化公式、对称/非对称量化模式以及不同粒度选择，对比了INT4与INT8在精度损失（约4-16倍）和存储节省（50%）上的权衡。核心代码展示了量化器类的实现，包括校准、量化和反量化流程。量化技术有效解决了大模型在存储、内存带宽和边缘设备部署方面的挑战，是模型优化部署的关键手段。
OpenClaw 的模型量化中，校准数据集的规模对精度影响有多大？
leohu0723的博客
03-29 202
模型量化过程中，校准数据集的规模和质量直接影响量化效果。数据集过小会导致量化失真，过大则收益递减。研究表明，通常使用训练集的2%-5%数据即可达到稳定效果，关键在于数据要全面覆盖实际应用场景。相比单纯追求数量，确保数据具有代表性和多样性更为重要。校准数据就像烹饪中的盐，需要根据模型任务和部署环境找到"够用就好"的平衡点，通过实验确定最优规模。
极智AI | 谈谈几种量化策略：MinMax、KLD、ADMM、EQ
极智视界
09-27 3935
本文主要聊一下深度学习模型量化相关策略。
简单理解nvidia tensorRT模型量化原理
人生虚空
06-29 1896
参考资料： 某人的量化原理笔记 https://blog.csdn.net/sinat_31425585/article/details/101607785 某人对int8比较详细的介绍 https://zhuanlan.zhihu.com/p/58182172 某人对ncnn的量化原理和源码理解(ncnn量化是基于tensorRT改进的) https://zhuanlan.zhihu.com/p/72375164 一、两张图粗糙理解量化思路 一句话把原始值等比例映射到-127~127, 以便.
大厂AI 大模型面试：量化与蒸馏原理
Android开发领域创作者
04-13 1151
还在为AI大模型面试中量化和蒸馏原理问题发愁？本文超3万字深度剖析！从量化基本概念、类型到对模型性能影响及应对策略，再到蒸馏不同实现方式，还有量化与蒸馏结合优势及示例。结合源码解析，助你掌握原理，面试脱颖而出！
ChatGPT 5.5低精度量化：如何保住模型灵魂
最新发布
li475068192的博客
06-20 286
本文探讨了ChatGPT 5.5等大模型通过低精度量化技术实现高效推理的方法。量化将FP16权重压缩为INT8/INT4格式，显存占用可降至1/2-1/4，但会引入量化误差。文章通过流程图解析了量化/反量化过程，指出INT4因离散值更少误差更显著。误差会通过网络层累积放大，深层网络呈指数级扩散。量化需在精度与效率间平衡，采用混合精度、分组量化等技术可缓解误差影响。生成任务因自回归特性对误差更敏感，而分类任务容忍度较高。量化技术支撑了ChatGPT 5.5等模型在API服务中的高效表现。
量化感知训练中的精度博弈：4/8位选择背后的数学原理
ProceGlow的博客
12-05 704
掌握量化感知训练中的精度平衡之道，本文深入解析模型量化的精度选择难题，探讨4/8位量化在推理效率与模型性能间的数学权衡，适用于边缘设备部署与高效AI系统设计，揭示关键优化方法与实际效果对比，值得收藏。
深度学习模型量化实战：如何选择对称量化与非对称量化（附TensorFlow代码示例）
xray4的博客
03-02 952
本文深入探讨了深度学习模型量化中对称量化与非对称量化的核心区别与实战选择策略。通过分析权重和激活值的数据分布特征，结合TensorFlow代码示例，为开发者提供了从硬件支持、精度与速度权衡到混合量化策略的完整决策框架，帮助在模型部署时做出最优选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值