File tree Expand file tree Collapse file tree 1 file changed +2
-2
lines changed Expand file tree Collapse file tree 1 file changed +2
-2
lines changed Original file line number Diff line number Diff line change @@ -359,7 +359,7 @@ print(f'决定系数: {r2:.4f}')
359
359
套索回归引入 $\small{L1}$ 正则化项,不仅防止过拟合,还具有特征选择的功,特别适用于高维数据。套索回归的损失函数如下所示:
360
360
361
361
$$
362
- L(\mathbf{\beta}) = \sum_{i=1}^{m}{(y_{i} - \hat{y}_{i })^{2}} + \lambda \cdot \sum_{j=1}^{n}{\lvert \beta_{j} \rvert}
362
+ L(\mathbf{\beta}) = \sum_{i=1}^{m}{(y_{i} - \hat{y_i })^{2}} + \lambda \cdot \sum_{j=1}^{n}{\lvert \beta_{j} \rvert}
363
363
$$
364
364
365
365
其中, $\small{L1}$ 正则化项 $\small{\lambda \sum_ {j=1}^{n} \lvert \beta_ {j} \rvert}$ 会将某些不重要的回归系数缩减为 0,从而实现特征选择。可以通过 scikit-learn 库` linear_model ` 模块的` Lasso ` 类实现套索回归,代码如下所示。
@@ -393,7 +393,7 @@ print(f'决定系数: {r2:.4f}')
393
393
弹性网络回归结合了岭回归和套索回归的优点,通过同时引入 $\small{L1}$ 和 $\small{L2}$ 正则化项,适用于高维数据且特征之间存在相关的情况,其损失函数如下所示:
394
394
395
395
$$
396
- L(\mathbf{\beta}) = \sum_{i=1}^{m}{(y_{i} - \hat{y}_{i })^{2}} + \alpha \cdot \lambda \sum_{j=1}^{n}{\lvert \beta_{j} \rvert} + (1 - \alpha) \cdot \lambda \cdot \sum_{j=1}^{n}{\beta_{j}^{2}}
396
+ L(\mathbf{\beta}) = \sum_{i=1}^{m}{(y_{i} - \hat{y_i })^{2}} + \alpha \cdot \lambda \sum_{j=1}^{n}{\lvert \beta_{j} \rvert} + (1 - \alpha) \cdot \lambda \cdot \sum_{j=1}^{n}{\beta_{j}^{2}}
397
397
$$
398
398
399
399
其中, $\small{\alpha}$ 是控制 $\small{L1}$ 和 $\small{L2}$ 正则化的权重比例。
You can’t perform that action at this time.
0 commit comments