【小结】机器学习中的正则化范数 -- L1范数与L2范数

发布时间：2020-12-14 00:41:03 所属栏目：百科来源：网络整理

导读：来源: 机器学习中的范数规则化之（一）L0、L1与L2范数小结 L0范数和L1范数均可实现稀疏，但L0很难优化求解（NP难问题），而L1是L0的最优凸近似，且比L0更易优化求解参数稀疏的好处特征选择（feature selection）可解释性高（interpretability） L2范数实

来源:机器学习中的范数规则化之（一）L0、L1与L2范数

小结

L0范数和L1范数均可实现稀疏，但L0很难优化求解（NP难问题），而L1是L0的最优凸近似，且比L0更易优化求解
参数稀疏的好处
- 特征选择（feature selection）
- 可解释性高（interpretability）
L2范数实现了对模型空间的限制，可防止过拟合，提升模型的泛化能力
L2范数不但可防止过拟合，还可以让优化求解变得稳定和快速
总结
- L1-regularization能产生稀疏性，会趋向于产生少量的特征，而其他的特征都是零
- L2会选择更多的特征，这些特征都会接近于0
- Lasso在特征选择中非常有用，而Ridge仅是一种正则化而已

直观展示L1和L2的区别

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!