修改版Alexnet模型训练CIFAR10数据集程序的总结

最新推荐文章于 2024-12-16 22:17:47 发布
原创 最新推荐文章于 2024-12-16 22:17:47 发布 · 4k 阅读 · 3
本文总结了使用修改版Alexnet模型训练CIFAR10数据集的经验，强调了权重和偏置初始化、归一化处理、卷积核大小选择以及损失函数计算等方面的重要细节，提供了优化训练过程的实用技巧。

关于CIFAR10程序的一些经验总结

  • 在卷积层和全连接层中，设置权重和偏置时，推荐使用tf.get_variable()函数，好处是参数可重复使用，减小内存的占用，而且如果是导入别人的参数进行训练时，必须使用tf.get_variable()。
  • 为了用tensorboard画出图来，在给每一层命名时，通常采用with tf.variable_scope('名字') as scope，tf.name_scope，区别在于：tf.variable_scope在每个参数前加一个前缀，使得参数独一无二，故与tf.get_variable()搭配使用，取得很好地效果；tf.name_scope没有在参数前加前缀，一般用于节点处的命名。
  • 在对权重初始化时，使用初始化函数tf.contrib.layers.xavier_initialize()比较好，默认采用均值初始化，还有可选参数，可根据需要进行设置。常用的还有tf.truncated_normal_initializer(有参数)；对偏置初始化一般采用tf.constant_initializer(有参数)。
  • 批量输入图片时，要对图片进行归一化tf.nn.batch_normalization(),原理为:
标签
#tensorflow
最低0.47元/天 解锁文章
Alexnet训练Cifar10
houzhe_adore的博客
01-16 2万+
Alexnet作为经典网络，值得深度学习。通过实验，（1）尽可能的加深对paper一些创新点理解。AlexNet谜一般的input是224*224，实际上应该是227*227。在实验中，我采用的是cifar10，输入是32*32。所以将网络参数同比简化。（2）尽可能理解不同训练方法带来的区别。 数据集：http://www.cs.toronto.edu/~kriz/cifar-10-python
经典卷积神经网络AlexNet原理详细介绍
panghuzhenbang的博客
04-26 1万+
《ImageNet Classification with Deep Convolutional Neural Networks》 这篇文章的网络是在2012年的ImageNet竞赛中取得冠军的一个模型整理后发表的文章。作者是多伦多大学的Alex Krizhevsky等人。AlexNet是由Alex Krizhevsky 提出的首个应用于图像分类的深层卷积神经网络。在这之前，常见的第一个CNN网络结构LeNet5并不被人所熟知，本文所提出的AlexNet才引起了大家对于CNN的注意。在这之后。越来越多更深
CIFAR-10与ImageNet图像识别
u014509577的博客
03-09 3364
这次的实验仍旧是图像识别，使用的数据集是CIFAR-10，其中包含10个类别的RGB彩色图片：飞机、汽车、鸟类、猫、鹿、狗、蛙类、马、船和卡车，其中训练图片共50000张，测试图片共10000张。实验来自于《21个项目玩转深度学习：基于TensorFlow的实践详解》一书中的实验，在这里做一篇学习笔记，笔者不才，欢迎斧正！ 项目文件如下： 。其中， 一、下载...
使用Alexnet训练cifar10数据集
lutlx20010913的博客
05-25 3380
AlexNet是一种深度卷积神经网络架构，由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton开发。它于2012年被提交给ImageNet大规模视觉识别挑战赛（ILSVRC），并以很大的优势超过了之前最先进的模型，从而彻底改变了计算机视觉领域。AlexNet由8层组成，包括5个卷积层、2个最大池化层和3个完全连接层。卷积层负责从输入数据中学习特征图，而最大池化层对特征图进行下采样。完全连接的层采用扁平的特征图并输出类分数。
【深度学习】AlexNet CIFAR-10从70%到86%：CNN调参经验总结
无极阁
05-01 6986
最近课程实验是使用AlexNet训练CIFAR-10，并在验证集上验证。而AlexNet出现与2012年，模型结构也比较简单，在准确率方面与当今流行的网络肯定没法比，所以想要达到更改的准确率还是需要很多额外的改进。最终从70%左右的准确率提升到了86%，虽然也不是特别高但是有很多可以总结的地方。在整个实验过程中为了提升准确率也做了很多的尝试，各种参数加起来也跑了好几百个Epoch，这里总结了一些小规律，记录下来以供以后参考。
用PyTorch训练CIFAR-10数据集训练集精度达100%/AlexNet
热门推荐
weixin_40756000的博客
03-15 1万+
文章目录0 CIFAR-10数据集简介1 下载CIFAR-10数据集1.1 查看数据集的组成2 装载数据集并可视化 0 CIFAR-10数据集简介 官网链接：The CIFAR-10 dataset CIFAR-10和ClFAR-100是8000万个微型图像数据集的被标注过后的子集。它们由Alex Krizhevsky，Vinod Nair和Geoffrey Hinton收集。 CIFAR-10数据集包含10个类别的60000个32x32彩色图像，每个类别有6000张图像。有50000张训练图像和1000
[pytorch] 利用Alexnet训练cifar10
Myshrry的博客
03-30 7813
论文地址：ImageNet Classification with Deep Convolutional Neural Networks Alexnet的网络结构如图所示 cifar10数据集一共包含10个类别的RGB彩色图像，每个类别分别有6000张，共60000张大小为3232的图片。其中50000个作为训练集，10000个作为测试集。 代码如下： 注意这里将cifar10图片上采样为224224，以接近原始版本Alexnet；输出类别由1000修改为10。 # 导入模块 import torch
[深度学习]使用torchvison经典模型训练cifar10(AlexNet,VGG,Inception,ResNet等)
sinat_33487968的博客
11-02 7661
代码是参考pytorch上面的官方教程，教程给出了一个简单了卷积网络训练，前半部分是卷积，后半部分全连接的类型，用来分类cifar10. https://pytorch.org/tutorials/beginner/blitz/cifar10_tutorial.html#sphx-glr-beginner-blitz-cifar10-tutorial-py 而我想看看torchvison里经典模...
使用Alexnet实现CIFAR10数据集的训练
走出那座山
01-10 2616
本文将实现使用alexnet模型进行CIFAR-10数据集进行模型的训练，并且将训练的模型效果进行有用信息的记录和将在训练过程当中训练效果的ACC最优的模型进行保存。
基于 PyTorch 实现 AlexNet 并在 Cifar-10 数据集上进行验证
落队的飞行兵
06-20 1万+
这是深度学习课程的第二个实验，实验的主要内容是卷积神经网络，要求实现 AlexNet。但是 AlexNet 的输入不符合 Cifar-10 数据集，因此这里将参数更改了一下，但网络结构没有变，还是五层卷积，三层全连接。 虽然对于 32 X 32 这么小的图片，用 AlexNet 有点大材小用的感觉，但实验要求，而且对于初学者来说，AlexNet 还是很经典的，能学到不少东西，直接干就好了。
Cifar-10图像分类/Pytorch/LeNet/AlexNet
weixin_47546087的博客
09-01 4881
又叫下采样层，目的是压缩数据，降低数据维度，和卷积有明显区别，采样2x2的选择框进行压缩，原来是28x28，采样后是14x14，通过选择框的数据求和再取平均值然后在乘上一个权值和加上一个偏置值，组成新的图片，每个特征平面采样的权值和偏置值相同，因此每个特征平面对应的采样层只两个待训练参数，总共有6张采样平面，总共待训练权值为：2x6=12。（6）第6,7,8层是全连接层，每一层的神经元的个数为4096，最终输出softmax为1000,因为上面介绍过，ImageNet这个比赛的分类个数为1000。
pytorch使用Alexnet实现cifar10分类
yychentracy的博客
05-16 9795
介绍Alexnet Alexnet使用了一些技巧避免过拟合：数据增强，正则化，dropout，局部相应归一化LRN 使用了gpu加速 使用了ReLU非线性激活函数。速度快max（0，x）。 局部相应归一化LRN 对局部神经元的活动创建竞争机制，使得其中响应比较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。 网络模型如下所示： 全连接如下 ...
【PyTorch实战演练】AlexNet网络模型构建并使用Cifar10数据集进行批量训练（附代码）
使者大牙ℂypher的博客
11-05 4566
本文的写作目的主要有以下3点： 1.介绍经典卷积神经元网络——AlexNet； 2.基于AlexNet进行改造，基于PyTorch进行编码； 3.使用批量训练的方法，训练Cifar10数据集。
Pytorch | 从零构建AlexNet对CIFAR10进行分类
最新发布
四口鲸鱼爱吃盐的博客
12-16 3639
用Pytorch从零构建AlexNet，对CIFAR10数据集上进行训练.
【适合初学者】玩转CIFAR10—Pytorch复现LeNet,AlexNet,VGG,GoogLeNet,MobileNet,ResNet,DenseNet,Vision Transformer模型
cax1165
12-13 3827
本文对于AlexNet,VGG,GooGleNet,ResNet,DenseNet,MobileNet等主流的卷积神经网络模型，以及Vision Transformer等基于Transformer的模型在CIFAR10数据集上进行了详细的测试，测试内容包括测试集准确率、模型训练时间、模型参数量等。 所有的模型均使用相同的训练超参数设置（learning_rate,batch_size,epoch等）。 持续更新中。 General settings Data augmentation(Ran
实战LeNet-5 AlexNet ResNet 实践 Cifar-10问题
pengdali的专栏
12-30 4617
一、Cifar-10的说明cifar10是一个32*32 的图像10分类问题，一共有60000张图片，我们拿50000张做训练数据，另外拿2000张做测试数据。 为了学习不同网络，这里统一拿这个用作实验材料，关于下载cifar10，或更多说明可以查看官网CIFAR-10二、LeNet5模型 如图所示这个模型就是2个卷积、池化，再连3个全连接 第一个卷积层6个大小为5＊5卷积核，第二卷积层为
AlexNet 网络利用数据集CIFAR-10 进行分类
Go_ahead_forever的博客
07-11 1601
AlexNet 网络利用数据集CIFAR-10 进行分类
【深度学习实战—5】：基于AlexNet的CIFAR10数据集分类（附Keras实现）
王乐予的博客
04-10 6646
目录😺一、数据集获取😺二、定义AlexNet😺三、编译并训练😺四、测试模型😺五、预测结果可视化😺六、建立混淆矩阵😺附录：完整程序 之前我们用AlexNet进行了手写数字的识别，今天带来对cifar10数据集的分类！文末附完整程序！ 😺一、数据集获取 """ 数据集获取 """ def get_cifar10_d.
【Keras-AlexNet】CIFAR-10
bryant_meng
01-18 4897
系列连载目录 请查看博客 《Paper》 4.1 小节 【Keras】Classification in CIFAR-10 系列连载 学习借鉴 github：BIGBALLON/cifar-10-cnn 知乎专栏：写给妹子的深度学习教程 AlexNet Caffe 代码：https://github.com/BVLC/caffe/blob/master/models/bvlc_alexnet...
基于AlexNet网络的CIFAR-10数据集识别（pytorch）
qq_45810349的博客
07-22 3838
基于AlexNet网络的CIFAR-10数据集识别（pytorch）目录AlexNet 网络介绍CIFAR-10 数据集Pytorch代码实现 目录 AlexNet 网络介绍 CIFAR-10 数据集 关于数据集的介绍，详见我的上一篇博客 注： 为了应用AlexNet的原生超参数，在数据集图片导入的时候resize为当年ImageNet的数据集图片大小。（详见下面的代码） Pytorch代码实现 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值