神经网络深度学习（二）激活函数

原创 已于 2025-03-17 12:43:07 修改 · 1.8k 阅读 · 2
于 2022-09-03 16:08:48 首次发布

一、激活函数的作用

激活函数的作用是：引入非线性因素，提高了模型的表达能力。

如果没有激活函数，那么模型就只有线性变换，可想而知线性模型能表达的空间是有限的。而激活函数引入了非线性因素，比线性模型拥有更大的模型空间。

二、激活函数详解

激活函数

公式

图形

适用范围

sigmoid

导数：

优点：sigmoid函数可以将实数映射到 (0,1) 区间内。平滑、易于求导。

缺点：1. 激活函数含有幂运算和除法，计算量大；2. 反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练；3. sigmoid的输出不是0均值的,这会导致后一层的神经元将得到上一层输出的非0均值的信号作为输入。
标签
#深度学习 #神经网络 #人工智能
最低0.47元/天 解锁文章
史上最全激活函数总结篇（持续更新ing......）
走在深度学习前沿的小宋
09-27 1万+
激活函数系列中提及到的激活函数包括：Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、Swish、ELU、SELU、GELU、Softmax、Softplus、Mish、Maxout、HardSigmoid、HardTanh、Hardswish、HardShrink、SoftShrink、TanhShrink、RReLU、CELU、ReLU6、Threshold、Sinc、GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU、Softmin、Softmax2d、Logs
激活函数（Activation Function）
weixin_39910711的博客
03-17 5万+
深度学习领域最常用的10个激活函数，一文详解数学原理及优缺点：https://mp.weixin.qq.com/s/bleTRzA_1X3umR5UXSpuHg 深度学习中几种常见的激活函数理解与总结：https://www.cnblogs.com/XDU-Lakers/p/10557496.html 神经网络梯度消失和梯度爆炸及解决办法：https://blog.csdn.net/program_developer/article/details/80032376 常用激活函...
[从0开始AIGC][Transformer相关]：Transformer中的激活函数：Relu、GELU、GLU、Swish
Bin_Dut的博客
04-02 6011
FFN（Feed-Forward Network）块是Transformer模型中的一个重要组成部分，接受自注意力子层的输出作为输入，并通过一个带有 Relu 激活函数的两层全连接网络对输入进行更加复杂的非线性变换。在公式中，首先将输入向量 x 通过一个全连接层（线性变换）得到一个与 x 维度相同的向量，然后将该向量通过Sigmoid函数进行激活。在公式中，Swish函数首先对输入向量 x 进行一个非线性变换，然后通过Sigmoid函数进行激活，并将该激活结果与输入向量 x 逐元素相乘，得到最终的输出值。
激活函数简介
最新发布
wangkun9581的博客
04-13 262
激活函数让神经网络从线性模型变成通用函数逼近器，能够学习任意复杂的模式！，它决定神经元是否应该被激活（即是否将信息传递给下一层）。，让神经网络能够学习和表示复杂模式。：RNN、传统神经网络隐藏层。：CNN、现代深度学习隐藏层。激活函数是神经网络中的。
常用激活函数（激励函数）理解与总结
热门推荐
tyhj_sf的博客空间
05-13 35万+
引言 学习神经网络的时候我们总是听到激活函数这个词，而且很多资料都会提到常用的激活函数，比如Sigmoid函数、tanh函数、Relu函数。那么我们就来详细了解下激活函数方方面面的知识。本文的内容包括几个部分： 什么是激活函数？ 激活函数的用途（为什么需要激活函数）？ 有哪些激活函数，都有什么性质和特点？ 应用中如何选择合适的激活函数？ 如果你对以上几个问题不是很清楚，下面的内容对你是有...
激活函数（Activation Function）及十大常见激活函数
learn more，have more
04-15 1万+
激活函数（Activation Function）、Sigmoid、tanh、ReLU、Leaky ReLU、ELU、PReLU、Softmax、Swish、Maxout、Softplus
深度学习初步，全连接神经网络，MLP从原理到实现（二）原理部分，过拟合，激活函数，batchsize和epochs，训练DL模型的建议
outsider
03-25 4323
其他两篇： 深度学习初步，全连接神经网络，MLP从原理到实现（一）原理部分，反向传播详细解释和实际计算例子 深度学习初步，全连接神经网络，MLP从原理到实现（三）实现部分，用java实现MLP 1.激活函数 （1）Sigmoid Sigmoid将所有输入压缩到0到1之间，这样造成的问题是，当随着神经网络的层次加深时，特征的变化由于sigmoid而慢慢衰减。这样会造成靠近输入层的梯度很...
深度学习入门（二）神经网络，激活函数
qq_35496811的博客
02-26 695
摘要：本文系统介绍了神经网络的基本结构、深度学习训练流程及常见激活函数。神经网络由输入层、隐藏层和输出层组成，采用全连接方式传递信息。深度学习训练流程包括初始化、Epoch循环、Mini-batch迭代及验证评估等关键步骤。重点分析了sigmoid、tanh、ReLU和Softmax等激活函数的特性，比较了各自优缺点：sigmoid易导致梯度消失但适用于二分类输出层；tanh收敛更快但仍存在梯度消失问题；ReLU计算高效但可能引发神经元死亡；Softmax专用于多分类概率输出。文章通过代码示例展示了各激活函
深度学习入门 (二)：激活函数、神经网络的前向传播
连理o的博客
06-01 2743
本文为《深度学习入门 基于Python的理论与实现》的部分读书笔记 代码以及图片均参考此书 目录复习感知机激活函数(activation function)sigmoid函数tanh函数ReLU(Rectified Linear Unit)函数神经网络的前向传播通过矩阵点积运算打包神经网络的运算引入符号各层间信号传递的实现输出层的设计softmax函数输出层的神经元数量批处理 复习感知机 之前介绍的朴素感知机： 现在明确地写出朴素感知机中的激活函数h(x)(阶跃函数) 阶跃函数的实现 def s
深度学习（二）一文带你了解神经网络，激活函数
林木森的博客
07-19 1382
这类网络中,神经元可以互连,有些神经元的输出会被反馈至同层甚至前层的神经元。(FeedForwardNN)是一种最简单的神经网络,采用单向多层结构,各神经元分层排列，每个神经元只与前一-层的神经元相连。由多个生物神经元以确定方式和拓扑结构互相连接即形成生物神经网络,是一种更为灵巧、复杂的生物信息处理系统,在宏观上呈现出复杂的信息处理能力。Intelligence)是个体有目的的行为,合理的思维以及有效的适应环境的综合能力。神经元是脑组织的基本单元,是神经系统结构与功能的单位。...
深度学习入门（二）：神经网络组成、激活函数、数组运算
Power__ll的博客
05-10 1047
神经网络由输入层、输出层和夹在中间的中间层（也称隐藏层）构成。隐藏层的神经元肉眼看不见。fxsignw⋅xbwxbsign⋅signz1−1​z≥0z0​感知机的目标是通过调整w和b，使得对输入x的分类结果fx尽可能正确。
【深度学习】（二）神经网络：激活函数、MNIST
一亿少女的梦
07-11 1568
感知机需要人为设定符合预期输入输出的权重。 神经网络可以自动地从数据中心学习到合适的参数。 质朴感知机：指单层网络，激活函数使用了阶跃函数的模型。 多层感知机：指神经网络，使用平滑的激活函数的多层网络。 激活函数 激活函数是将输入信号的总和转换为输出信号的函数。y = h(∑xi*wi) 阶跃函数 阶跃函数以阈值为界，一旦输入超过阈值，就切换输出。 感知机中流动的是0或1的二元信号。 import numpy as np import matplotlib.pyplot as plt ''' def st
深度学习理论基础（二）| 神经元、神经网络、激活函数、BP算法
qq_52611686的博客
03-19 1485
啃了好久的深度学习，也参考了很多网上的资料，算是集合各家智慧，记录一下最近的学习内容。
吴恩达神经网络与深度学习章节笔记（二）——神经网络和激活函数
Rome was not built in a day.
06-19 335
吴恩达神经网络与深度学习——学习笔记（二）
【神经网络与深度学习】各种激活函数+前馈神经网络理论 ① S型激活函数 ② ReLU函数 ③ Swish函数 ④ GELU函数 ⑤ Maxout单元
Bessie_Lee
01-21 4349
文章目录一、常见的三种网络结构二、激活函数（1）S型激活函数logistic函数和Tanh函数：hard-logistic函数和hard-Tanh函数：（2）ReLU函数带泄露的ReLU【leaky ReLU】带参数的ReLU【Parametric ReLU或者PReLU】指数线性单元【ELU】ReLU函数的平滑版本【SoftPlus】四种函数的图像（3）Swish函数（4）GELU函数（5）Maxout单元三、前馈神经网络 一、常见的三种网络结构 我们熟知的网络结构有三种，分别是前馈神经网络，记忆神经网
深度学习视频基础（二）：感知机和神经网络之激活函数
qq_45802081的博客
01-23 853
3、神经网络基础 3.1感知机模型 3.2多层感知机和神经网络 3.2.1定义： 多层感知机是在单层神经网络上引入一个或多个隐藏层，即输入层，隐藏层，输出层。 3.2.2网络退化问题 网络退化就是多层感知机会退化成单层 激活函数可以防止退化。 多层感知机的公式：　　 隐藏层 H=XWh+bh 输出层 O=HW0+b0=(XWh+bh)W0+b0=XWhW0+b0W0+b0 其中XWhW0相当于W，b0W0+b0相当于b，即WX+b的形式，与单层的同为一次函数，因此重新成为了单层。 3.2.3
深度学习知识点整理（二）——神经网络理解 / 反向传播 / 激活函数 / 神经网络优化
zhr1030635594的博客
06-30 1816
3. Neural Network Basics& Back Propagation 16.从线性分类到两层神经网络 linear f=Wx 2-layer NN f=W2max(0,W1x) 3-layer NN f=W3max(0,W2max(0,W1x)) 17.常见的激活函数 注：更多隐藏单元的数目代表着更大的容量 18. 神经网络的一般步骤？ 模型初始化 前向传播 计算loss 计算梯度 反向传播 权重更新 迭代直到收敛 4. Improve DNN -1 为什么需要激活函数
【深度学习实验】前馈神经网络（二）：使用PyTorch实现不同激活函数（logistic、tanh、relu、leaky_relu）
天地玄黄 魑魅魍魉 风花雪月 商角徵羽
09-19 1301
本文介绍了使用PyTorch实现不同激活函数（logistic、tanh、relu、leaky_relu）
【专栏二：深度学习03】-【一张图讲清楚：为什么神经网络一定要有激活函数？“非线性”到底重要在哪？】
m0_46279060的博客
03-27 630
上一篇文章里，我讲了深度学习训练过程中的向前传播和向后传播。神经网络为什么一定要有激活函数？因为从表面上看，每一层都在做类似z = Wx + b的计算。如果每一层都只是线性计算，多堆几层不就行了吗？为什么还必须额外加入激活函数？这里的“非线性”到底重要在哪？这篇文章，我就想结合一张图，把这个问题彻底讲清楚。激活函数最核心的作用，不是“多一个函数”，而是给神经网络引入非线性能力。如果没有激活函数，那么无论网络堆多少层，本质上都还是一个线性模型。
【深度学习基础|知识概述】神经网络基础中的神经元结构是怎么样的？以及常用的激活函数有哪些？各有什么优缺点和应用场景。附公式及代码。（二）
2401_89898861的博客
01-01 1164
【深度学习基础|知识概述】神经网络基础中的神经元结构是怎么样的？以及常用的激活函数有哪些？各有什么优缺点和应用场景。附公式及代码。（二）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值