cuDNN: efficient Primitives for Deep Learning 论文阅读笔记

最新推荐文章于 2026-04-26 10:40:55 发布
原创 最新推荐文章于 2026-04-26 10:40:55 发布 · 4.5k 阅读 · 2
本文探讨了如何通过cuDNN优化针对GPU的深度学习，特别是CNN的矩阵计算。主要讨论了三种卷积实现方法：直接实现、FFT以及转化为密集矩阵相乘。文中指出，虽然直接实现和FFT各有优缺点，但caffe采用的密集矩阵相乘方法在大型矩阵中具有较高的浮点运算与数据传输比率，能有效利用GPU缓存，减少内存交通。然而，它需要大量的临时内存，因此采用了分块加载和计算策略来优化。

这篇论文主要讨论如何针对CNN做一些GPU矩阵计算的优化。传统CNN计算主要开销是在convolutions, activation function, pooling.

首先，我们看convolution的操作过程:


参数表：



O是输出input feature map，F是filter, D0是input  feature  map. 从公式看到如果用循环操作，需要7次循环，n,k,p,q4次可独立循环，c,r,s是累加操作的循环。

其次，我们看convolution在GPU上如何实现，文中介绍了三种方法：

第一，最直观的方法是直接实现如上公式，但是这种实现呢需要处理许多的corner case。 文中介绍cuda-convnet2是实现了该种方法，该种方法在不同取值的卷积参数空间效率不一，比如batch size > 128，效率很高，但是如果batch size < 64, 效率比较低。

第二，采用快速傅里叶变换fft，具体怎么做，参见论文Fast training of convolutional networks

标签
#cnn #cudnn #gpu
最低0.47元/天 解锁文章
【深度学习】CNN算法
m0_61673669的博客
08-28 1万+
卷积神经网络（CNN），是一类包含卷积计算且具有深度结构前馈神经网络，是（deep learning）的代表算法之一。卷积神经网络具有表征能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络。...
目标检测-RCNN系列
跟随技术的脚步-linolzhang的专栏
01-11 7万+
•   RCNN        RCNN（Regions with CNN features）是将CNN方法应用到目标检测问题上的一个里程碑，由年轻有为的RBG大神提出，借助CNN良好的特征提取和分类性能，通过RegionProposal方法实现目标检测问题的转化。        算法可以分为四步：        1）候选区域选择        Region Proposal是一类传统的区域提取方
基于内容的图像检索技术综述-CNN 方法
SIGAI_CSDN的博客
08-17 1万+
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 传统方法在图像检索技术上一直表现平平。比如传统方法常用的SIFT特征，它对一定程度内的缩放、平移、旋转、视角改变、亮度调整等畸变，都具有不变性，是当时最重要的图像特征提取方法之一。然而SIFT这类算法提取的特征还是有...
卷积神经网络（CNN）算法详解
极光喵的博客
03-07 1万+
注意：本文引用自专业人工智能社区Venus AI 更多AI知识请参考原站 （[www.aideeplearning.cn]） 引言 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks, FNN），是深度学习的代表算法之一。 对卷积神经网络的研究始于二十世纪80至90年代，时间延迟网络和LeNet-5是最早出现的卷积神经网络；在二十一世纪后，随着深度学习理论的提出和
CNN基本原理及Python实现
vinojie的博客
05-18 2万+
CNN基本原理，和Python的简单实现过程
论文阅读：cuDNN: Efficient Primitives for Deep Learning
zyd2016的博客
01-19 852
总之：本文提出了一个新的库，也就是加速深度学习运行的库，便于移植，性能很好！ 摘要：我们提供了一个深度学习原语的高效实现库。深度学习工作负载是计算密集型的，优化它们的内核非常耗时。作为一个并行架构，内核必须重新优化，这使得长期维护代码库变得困难。在高性能计算社区中，类似的问题早已由基本线性代数子程序(BLAS)等库解决[2]。然而，没有用于深度学习的类似库。没有这样的库，在并行处理器上实现深度学习工作负载的研究人员必须创建和优化他们自己的主要计算内核的实现，并且随着新的并行处理器的出现，这项工作必须重复进行
cuDNN:Efficient Primitives for Deep Learning 解读
grandpi的专栏
09-07 2736
一直用cuDNN所以很好奇其实现，于是花了点时间看了一下cuDNN:Efficient Primitives for Deep Learning，还是很容易懂的。 1. caffe的卷积 首先，caffe的卷积操作是讲卷积转化为矩阵乘法，然后就可以用已有的GPU矩阵乘法的优化算法进行计算。具体可以参见[这篇博文] 。(http://blog.csdn.net/mounty_fsc/artic
深度学习03-卷积神经网络(CNN)
liaomin416100569的专栏
05-12 4万+
CNN，即卷积神经网络（Convolutional Neural Network），是一种常用于图像和视频处理的深度学习模型。与传统神经网络相比，CNN 有着更好的处理图像和序列数据的能力，因为它能够自动学习图像中的特征，并提取出最有用的信息。CNN 的一个核心特点是卷积操作，它可以在图像上进行滑动窗口的计算，通过滤波器（又称卷积核）和池化层（Max Pooling）来提取出图像的特征。卷积操作可以有效地减少权重数量，降低计算量，同时也能够保留图像的空间结构信息。
（太长太全面了）CNN超详细介绍
qq_43703185的博客
08-10 3万+
原文链接：https://blog.csdn.net/jiaoyangwm/article/details/80011656 文章目录1、卷积神经网络的概念2、
卷积神经网络（CNN）详细介绍及其原理详解
热门推荐
IronmanJay
01-14 32万+
本文总结了关于卷积神经网络（CNN）的一些基础的概念，并且对于其中的细节进行了详细的原理讲解，通过此文可以十分全面的了解卷积神经网络（CNN），非常适合于作为Deep Learning的入门学习。下面就是本篇博客的全部内容！
卷积神经网络（CNN）全面解析
Dfreedom.的博客
11-08 5084
卷积神经网络（CNN）是一种专门处理网格结构数据的深度学习模型，模仿生物视觉系统，通过多层结构自动提取局部特征。其核心设计包括局部感知、权值共享和层次化特征提取。CNN包含卷积层（特征提取）、激活函数（引入非线性）、池化层（降维）和全连接层（分类决策）。计算过程涉及卷积核滑动、点乘求和及特征图生成。CNN广泛应用于图像分类、目标检测、医学影像分析等领域，通过仿生结构和层次化抽象高效处理图像数据。
终于把 CNN 算法搞懂了！！
最新发布
2501_91695155的博客
04-26 506
卷积神经网络（CNN）是一种专门处理网格结构数据的深度学习模型，广泛应用于图像识别和计算机视觉任务。它通过局部感受野和权重共享机制高效提取空间特征，核心组件包括卷积层、激活函数、池化层和全连接层。CNN的训练过程包含前向传播、损失计算、反向传播和参数更新四个阶段。文章提供了使用PyTorch实现CNN对MNIST手写数字分类的完整代码示例，展示了模型训练、测试和可视化的全过程，最终测试准确率可达较高水平。这种架构通过模拟人类视觉系统，有效解决了传统全连接网络处理图像数据时的参数爆炸和空间结构丢失问题。
CNN卷积神经网络的原理与实践
qq_61600833的博客
09-22 2007
卷积神经网络（CNN）是深度学习领域中的一种重要网络结构，广泛应用于图像识别、目标检测和自然语言处理等领域。本文将详细介绍CNN的基本原理、关键组成部分，并通过一个简单的实例来展示如何构建一个卷积神经网络。'''定义神经网络'''self.conv1 = nn.Sequential( #将多个层组合在一起nn.Conv2d(in_channels=1, # 图像通道个数，1表示灰度图out_channels=16, # 要得到几个特征图，卷积核的个数。
CNN的实现（附代码）
m0_46462695的博客
09-09 7070
简单的CNN类的实现
卷积神经网络CNN算法原理
Kaiyuan_sjtu的博客
06-09 1万+
写在前面 在上一篇【Deep learning】卷积神经网络CNN结构中我们简单地介绍了CNN的结构。接下来我们看看这种结构的CNN模型是怎么运行的，包括CNN的前向传播和反向传播算法。 1.CNN前向传播算法 （1）输入层前向传播到卷积层 输入层的前向传播是CNN前向传播算法的第一步。一般输入层对应的都是卷积层，因此我们标题是输入层前向传播到卷积层。 我们这里还是以图像识别为例。先考虑...
六万字硬核详解：卷积神经网络CNN（原理详解 + 项目实战 + 经验分享）
📷 图像处理践行者 | 传统算法 · 深度学习 · 多模态 | 分享实战经验与技术洞见，探索从像素到智能的无限可能。
10-31 6万+
深入解析卷积神经网络（CNN）的实际应用，全面整理并梳理了CNN的关键知识点。从基础概念到实战技巧，加速理解与实战，并解决实际问题。
CNN(卷积神经网络)的实现过程详解
Rocky006的博客
07-25 6271
在图像处理领域，CNN(卷积神经网络)处于绝对统治地位，但对于CNN具体是如何用神经网络实现的，能找到的介绍要么是一大堆数学公式，要么是大段晦涩的文字说明，读起来很是辛苦，想写好一片完整的而且有深度的文章出来非常难，所以本文适合入门的朋友对CNN的学习和了解。注意上述等式中的bias参数b在4个等式中都是一样的，可以把b理解为特征提取器的一部分，就像权重参数(α, β, γ, δ)是特征提取器的一部分一样。权重矩阵的每一行，代表了在图片上对特征过滤器的一次应用，其中的0表示这次应用不会覆盖的像素。
cuDNN 的初始设计
yiran103的专栏
04-22 1642
cuDNN V1.0在2014年的发布,并集成到 Caffe、Paddle 等深度学习框架中。论文介绍了 NVIDIA 对于该库的设计和实现。近十年间，NVIDIA 迭代推出了8代架构，cuDNN 也更新到 8.9。硬件上引入了 Tensor Core，软件方面 cuDNN V8 中的 Graph API 相比之前变化较大。然而，作为深度学习领域影响广泛的软件基础设施，一窥 cuDNN 的初始设计仍是有意义的。cuDNN 类似于 cuBLAS，提供了深度学习原语的高效实现。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值