【PyTorch】教程：torch.nn.PReLU

最新推荐文章于 2026-06-24 15:57:54 发布

原创最新推荐文章于 2026-06-24 15:57:54 发布 · 1.1k 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

by: JW

收录于

PyTorch

当前文章被收录于：

PyTorch

46 篇文章 11 人学习

PyTorch学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

PReLU是PyTorch中的一个激活层，全称为预激活线性单元。它结合了线性项和ReLU的非线性项，其公式为PReLU(x)=max(0,x)+a*min(0,x)。参数a可以学习得到，初始值通常设置为0.25。在处理负值时，PReLU能提供更平滑的梯度，防止梯度消失问题。示例代码展示了如何创建并应用PReLU层。

torch.nn.PReLU

原型

CLASS torch.nn.PReLU(num_parameters=1, init=0.25, device=None, dtype=None)

参数

num_parameters ([int]) – 需要学习的 $a$ 的数量，尽管作为输入，只有两个值是合法的，1 或者输入的通道数，默认为 1 。
init ([float]) – $a$ 的初始值，默认为 0.25。

定义

$\text{PReLU}(x)= \max(0, x) + a * \min(0, x)$

$\text{PReLU}(x) = \begin{cases} x, & \text{if} x \geq 0 \\ ax, & \text{otherwise} \end{cases}$

图

在这里插入图片描述

代码

import torch
import torch.nn as nn

m = nn.PReLU()
input = torch.randn(4)
output = m(input)

print("input: ", input)   # input:  tensor([ 0.1061, -2.0532,  1.4081, -0.1516])
print("output: ", output) # output:  tensor([ 0.1061, -0.5133,  1.4081, -0.0379], grad_fn=<PreluBackward>)