机器学习之四-正则化

发布时间：2020-12-14 01:30:50 所属栏目：百科来源：网络整理

导读：一、概述在前面的线性回归和逻辑回归都，都用到非线性的拟合，看似特征多项式的阶次越高（即特征值数量越多），拟合程度越好，但是，拟合程度越好的就真的好吗。 1.1过度拟合下面看一个线性回归的例子上图中的第一个图是不成功的拟合，第三个图就叫做是过

一、概述

在前面的线性回归和逻辑回归都，都用到非线性的拟合，看似特征多项式的阶次越高（即特征值数量越多），拟合程度越好，但是，拟合程度越好的就真的好吗。

下面看一个线性回归的例子

上图中的第一个图是不成功的拟合，第三个图就叫做是过度拟合，这样看来，如果把过度拟合的用来判断的话，会存在很大的误差。这样，过度拟合就是如果我们有太多的特征值，在训练的时候能达到很高的拟合度，但是用来预测的时候效果却不好。

避免过度拟合的办法有两种：

1.减少特征量的数量

2.正则化（regularization）

由上面那个例子看到，怎么避免过度拟合呢？我们只有把θ3和θ4设置城足够的小的值，就近似于忽略掉了 x^3和 x^4项

那么怎么实行正则化呢：

可以理解为在使得 θi最小的情况下的最好的拟合。

那么在梯度下降中，θj的迭代表达式为：

相当于对于每个θj 进行了缩小比例

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!