39、径向基函数网络的变体、特殊情况及与核方法的关系

径向基函数网络的变体、特殊情况及与核方法的关系

1. 径向基函数网络的监督训练及问题

在径向基函数（RBF）网络中，我们可以计算关于带宽 $\sigma$ 和原型向量 $\mu$ 各分量的偏导数。关于带宽 $\sigma$ 的偏导数计算如下：
[
\frac{\partial L}{\partial \sigma} = \sigma \sum_{j=1}^{m} \frac{\partial L}{\partial \sigma_j} \cdot \frac{\partial \sigma_j}{\partial \sigma} = \sigma \sum_{j=1}^{m} \frac{\partial L}{\partial \sigma_j} = \sigma \sum_{j=1}^{m} \sum_{i=1}^{n} ( \hat{W} \cdot \hat{H} i^T - y_i ) w_j \Phi_j(\hat{X}_i) \frac{ ||\hat{X}_i - \hat{\mu}_j||^2 }{\sigma^3}
]
关于原型向量 $\mu {jk}$（$\mu_j$ 的第 $k$ 个元素）的偏导数计算如下：
[
\frac{\partial L}{\partial \mu_{jk}} = \sigma \sum_{i=1}^{n} ( \hat{W} \cdot \hat{H} i^T - y_i ) w_j \Phi_j(\hat{X}_i) \frac{(x {ik} - \mu_{jk})}{\sigma_j^2}
]
利用这些偏导数，可以同时更新带宽、原型向量和权重