【笔记】 - Ubuntu22.04.4 - Redis

原创 已于 2024-04-27 21:21:54 修改 · 417 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #笔记 #前端

于 2024-04-19 22:40:43 首次发布
本文介绍了如何在Ubuntu系统中安装Redis服务器，包括更新包列表、安装Redis，修改配置文件以允许远程连接，并设置访问密码，最后重启服务以应用更改。

一、安装

sudo apt update
sudo apt install redis-server

root@zheng:/etc# redis-cli --version
redis-cli 6.0.16

二、配置文件修改

配置文件地址 /etc/redis/redis.conf

1、开启远程访问

# 注释掉绑定地址#bind 127.0.0.1，让Redis可远程访问
# bind 127.0.0.1 ::1

2、修改密码

#取消注释requirepass 启动密码认证，并设置访问密码
requirepass zhengjun

重启服务

systemctl restart redis
激活函数：ReLU、GELU、SiLU、Swish、SwiGLU
u013250861的博客
06-24 1475
使用场景推荐函数理由快速训练、小模型、CNNReLU简单高效，部署友好NLP 编码器（BERT 等）GELU收敛快、平滑、泛化能力强SiLU替代 GELU，训练稳定图像模型（EfficientNet）Swishβ 可调，性能更强大语言模型（PaLM/GPT-4）SwiGLU强表达力，尤其适合大型 FFN 层生成五者的可视化曲线对比图分析它们在梯度饱和区的行为差异结合论文提供 ablation study 数据对比是否需要深入哪一部分？
GELU激活函数保姆级实现教程：从数学推导到PyTorch自定义层
weixin_30955617的博客
03-24 85
本文深入解析GELU激活函数的数学原理与PyTorch实现，涵盖精确计算、近似方法、CUDA加速及工程优化技巧。通过详细的代码示例和性能对比，帮助开发者高效实现自定义GELU层，适用于Transformer等前沿架构，提升模型训练与推理效率。
GELU 激活函数深度解析：平滑激活范式、PyTorch 实战与大模型核心应用
最新发布
m0_63537602的博客
04-01 531
摘要：GELU（高斯误差线性单元）已成为大模型时代的核心激活函数，凭借其平滑非线性、梯度稳定等特性，全面替代ReLU成为Transformer、GPT等主流模型的标准配置。本文通过通俗化视角解析GELU工作原理，提供与ReLU对齐的PyTorch实现代码，并详细阐述其在大模型训练中的优势。实验表明，GELU在保持ReLU优点的同时解决了神经元死亡等问题，是深度学习模型开发的首选激活函数。
GELU激活函数
qq_41296039的博客
04-14 2万+
相较于 ReLU 函数，GELU 函数在负值区域又一个非零的梯度，从而避免了死亡神经元的问题。值得注意的是，GELU 的计算比较复杂，因此需要消耗更多的计算资源。GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。GELU是一种常见的激活函数，全称为“Gaussian Error Linear Unit”, 作为2020年提出的优秀激活函数，越来越多的引起了人们的注意。
【激活函数】GELU 激活函数
Next_SummerAgain的博客
01-05 1万+
GELU (Gaussian Error Linear Units) 是一种基于高斯误差函数的激活函数，相较于 ReLU 等激活函数，GELU 更加平滑，有助于提高训练过程的收敛速度和性能。
推荐系统笔记（十二）：常用激活函数gelu、swish等
qq_46006468的博客
08-03 5337
gelu就是高斯误差线性单元，这种激活函数在激活中加入了随机正则的思想，是一种对神经元输入的概率描述。为了方便记忆，这里做简要的笔记。汇总有：Identity、Sigmoid、TanH、Softmax、Softsign、Softplus、ReLU、Leaky ReLU、Randomized ReLU、SELU、GELU。其中在推荐系统的lightGCN中取消使用非线性激活函数。...
GELU激活函数介绍和笔记
热门推荐
夜晓岚的博客
01-26 4万+
GELU激活函数的介绍和个人笔记
激活函数小结：ReLU、ELU、Swish、GELU等
beingstrong的博客
10-14 1万+
激活函数Sigmoid、Tanh、ReLU、Leaky ReLU、PReLU、ELU、SoftPlus、Maxout、Mish、Swish、GELU、SwiGLU、GEGLU 总结
【大模型面试每日一题】Day 16：为什么SwiGLU激活函数在LLaMA等模型中取代ReLU？从梯度和稀疏性角度分析
2302_79932616的博客
05-12 2879
【大模型面试每日一题】Day 16：为什么SwiGLU激活函数在LLaMA等模型中取代ReLU？从梯度和稀疏性角度分析
大模型-激活函数篇
有朋自远方来，不亦乐乎。
09-18 212
FFNxfxW1b1W2b2FFNxfxW1​b1​W2​b2​xxx是输入向量W1W_1W1​和W2W_2W2​是可训练权重矩阵b1b_1b1​和b2b_2b2​是偏置项fff是非线性激活函数（如 ReLU、GeLU 或 Swish）补充说明在典型实现中，中间层的维度会扩展到 (4h)（其中 (h) 是隐藏层维度），然后再投影回原始维度。这种"扩展-压缩"的设计增加了模型的表达能力。GeLUx≈。
大模型面试第三期：激活函数篇
AggressiveYu的博客
03-13 410
比如一个神经元正在接收来自其他神经元的信号。有些信号说“是”（正值），有些信号说“否”（负值）。神经元把这些信号加在一起得到一个总分（假设为激活函数的作用就是。
NLP高频面试题（五十三）——LLM中激活函数详解
WeLearnNLP
04-23 381
激活函数（Activation Function）是一种非线性映射，将神经元的加权输入及偏置进行转换后再传递给下一层。没有激活函数，无论网络有多少层，都将退化为线性模型，无法拟合复杂的自然语言规律。激活函数需满足可导性（以便反向传播）与计算效率（以利大规模模型训练与推理）等基本要求。
激活函数：GELU（Gaussian Error Linear Units）
FriendshipTang的博客
04-18 5474
PyTorch、人工智能、深度学习、激活函数
GELU的两个初等函数近似是怎么来的？
Paper weekly
05-06 1892
©PaperWeekly 原创 ·作者｜苏剑林单位｜追一科技研究方向｜NLP、神经网络GELU，全称为 Gaussian Error Linear Unit，也算是 RELU 的变种，...
PyTorch学习笔记：nn.GELU——GELU激活函数
qq_50001789的博客
02-18 1万+
PyTorch学习笔记：nn.GELU——GELU激活函数 出自论文《GAUSSIAN ERROR LINEAR UNITS (GELUS)》 - 相比于ReLU，GELU函数在临近原点时梯度不为零，减少了训练过程中梯度消失的问题； - 导函数比较光滑，无间断情况，容易做反向传播； - RELU计算复杂度较低，同时具有良好的性能，常用于大规模训练的任务，例如BERT、GPT等等。
【有啥问啥】激活函数：高斯误差线性单元（GELU）是什么？
Chauvin的博客
08-14 2393
激活函数在深度学习中至关重要，因为它们为网络引入了非线性，从而使其能够建模数据中的复杂关系。如果没有激活函数，无论网络有多少层，它都将等效于一个线性模型。激活函数的选择会显著影响神经网络的性能，包括训练速度、收敛性和泛化能力。ReLU 是深度学习中最简单且最流行的激活函数之一。ReLUxmax⁡0xReLUxmax0x这意味着对于任何输入xxx，如果x0x > 0x0，ReLU 输出xxx；如果x≤0x \leq 0x≤0，则输出 0。
三个激活函数模块：GELU、SELU 和 RELU
Sarah ~
11-18 2812
输入拆分：每个类的forward方法都通过将输入x沿着最后一个维度拆分成两部分，x和gates。然后使用gates部分经过激活函数的处理，最终通过逐元素相乘的方式与x结合。不同的激活函数GELU使用高斯误差线性单元（Gaussian Error Linear Unit）。SELU使用自归一化的指数线性单元（Scaled Exponential Linear Unit）。RELU使用常见的修正线性单元（Rectified Linear Unit）。逐元素乘法：这些激活函数通过将x和激活后的gates。
神经网络的激活函数（六）GELU和Mish
深数研究院
11-25 2051
GELU通过高斯误差函数（即标准正态分布的累积分布函数）对输入进行平滑处理，从而提高模型的性能。GELU在许多任务中表现出色，特别是在自然语言处理（NLP）和计算机视觉任务中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值