为什么L1正则项产生稀疏的权重，L2正则项产生相对平滑的权重

发布时间：2020-12-14 06:37:28 所属栏目：百科来源：网络整理

导读：L1 和L2正则项的定义如下： L 1 = #x2211; i | w i | L 2 = #x2211; i ( w i ) 2 " role="presentation"> L 1 = ∑ i | w i | L 2 = ∑ i ( w i ) 2 L 1 = ∑ i | w i | L 2 = ∑ i ( w i ) 2 首先我们先计算一下他们对应的导数，导入如下所示： #x2202; L 1

L1 和L2正则项的定义如下：
$L 1 = \sum_{i} | w_{i} | L 2 = \sum_{i} (w_{i})^{2}$ $L1 = sum_{i} |w_i| L2 = sum_{i} (w_i)^2$
首先我们先计算一下他们对应的导数，导入如下所示：
$\frac{? L 1}{? w_{i}} = 1 o r ? 1 \to w_{i}^{t + 1} = w_{i}^{t} + η (? 1 o r 1) \frac{? L 2}{? w_{i}} = w_{i} \to w_{i}^{t + 1} = w_{i}^{t} + η w_{i}$ $frac{partial L1}{partial w_i} = 1 or -1 rightarrow w^{t+1}_i = w^t_i + eta {(-1 or 1)} frac{partial L2}{partial w_i} = w_i rightarrow w^{t+1}_i = w^t_i + eta w_i$
所以我们看到L1每次更新的时候会更新一个定值，那么若干次迭代之后，权重就有可能减少为0。但是L2每个更新的时候更新的值的大小和 $w_i$ 的值是有关系的。当 $w_i$ 趋近与0时，那么对应的导数值也会更新，所以他会不停的接近0，但并不会是0。此外，我们还可以得到，L2相对L1更稳定一些。
L1 产生0的权重也可以起到特征选择的作用，假设我们有 $X_0...X_i...X_n$ n个特征，通过分配不同的权重 $w_0...w_i...w_n$ ，然后使用L1 来做特征选择。
L2 可以迅速产生接近0的权值，但并不是0，所以会比较平滑。
此外，我们还可以从几何的角度来理解。
- 假设我们的Loss函数是 $(y - wx)^2$ ,那么我们的几何解释如下图所示：
- 其中左图表示L1，右图表示L2。绿色代表的是loss的等高线， $w_1,w_2$ 在L1中的取值空间如左图的菱形所示。在L2中的取值空间如右图的圆形所示。从等高线和取值空间的交点可以看到L1更容易倾向一个权重偏大一个权重为0。L2更容易倾向权重都较小。
主要参考

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!