超级会员免费看
神经网络中的对比学习、受限玻尔兹曼机与自由能原理
1. 对比赫布学习（CHL）
对比赫布学习的核心在于通过比较不同系统状态下的参数来更新网络权重。通过对比方程 4.18 和 4.21 可得：
[
\frac{\partial D_{KL}(Q_0^D \parallel Q_g^D)}{\partial w_{jk}} = - \frac{\partial \langle \ln(p_g(s_d)) \rangle_{d \in D}}{\partial w_{jk}}
]
无论是最大化对数似然（(\Delta w_{jk} = \lambda \delta)）还是最小化 KL 散度（(\Delta w_{jk} = - \lambda (- \delta))），权重修改规则是相同的：
[
\Delta w_{jk} = \lambda \delta = \lambda \left( \langle x_j^{(d)} x_k^{(d)} \rangle_{d \in D} - \langle x_j^{(a)} x_k^{(a)} \rangle_{a \in S} \right)
]
在实际神经网络操作中，使用小批量数据 (D’) 和部分状态 (S’)，权重更新规则变为：
[
\Delta w_{jk} = \lambda \left( \langle x_j^{(d)} x_k^{(d)} \rangle_{d \in D’} - \langle x_j^{(a)} x_k^{(a)} \rangle_{a \in S’} \right)
]
这个规则构成了对比赫布学习（CHL）的基础，权重更新
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
