向量范数与机器学习中的正则项

发布时间：2020-12-14 06:45:30 所属栏目：百科来源：网络整理

导读：1.向量范数范数,norm,是数学中是一种类似“长度”的概念,其实也就是一类函数. 在机器学习中的正则化（Regularization）以及稀疏编码（Sparse Coding）有非常有趣的应用. 对于向量 a ∈ R n ,它的Lp范数为 | | a | | p = ( ∑ i n | a i | p ) 1 p (1) 常用

1.向量范数

范数,norm,是数学中是一种类似“长度”的概念,其实也就是一类函数.
在机器学习中的正则化（Regularization）以及稀疏编码（Sparse Coding）有非常有趣的应用.
对于向量 $ain R^n$ ,它的Lp范数为

| | a | | p = (\sum i n | a i | p) 1 p (1)

$||a||_p=(sum_i^n |a_i|^p)^{frac 1 p} tag 1$
常用的有:

L0范数
向量中非0的元素的个数.
L1范数
向量中各个元素绝对值之和.
L2范数
向量各元素的平方和然后求平方根.

2. 对比

向量表示的是点与点之间的大小与方向,那么不同的范数就对应着不同的距离.
常用的有曼哈顿距离与欧氏距离. 当向量为2维时,可以方便地图形化表达:

Manhattan distance
曼哈顿距离,对应L1范数.
曼哈顿是一座城市,可以想象为围棋棋盘,从点A到点B的路程,只能沿着棋盘上的路线左右走或上下走.
以L1距离做度量,距离原点路程为1的点的集合见图2-1 的上图.
Euclidean distance
欧氏距离,也叫欧几里得距离,对应L2范数.
以L2距离做度量,距离原点路程为1的点的集合见图2-1 的中图.

图2-1 拥有不同范数的单位圆

3.正则化

正则化,regularization,就是正则表达式中那个正则. 注意它不同于 正规化 .
正则化用来防止过拟合，提升模型的泛化能力.

回归问题中,损失函数为差平方

L (x; θ) = \sum i (θ T x i ? y i) 2 (3-1)

$L( x;theta)=sum_i (theta^Tx_i-y_i)^2 tag {3-1}$
目标函数就是求它的最小值.
根据向量

θ $theta$ 中非0元素个数的不同,会得到下图中三种拟合曲线:

图3-1 欠拟合,理想情况与过拟合

参数越复杂,表达能力越强,但容易出现上图中的过拟合现象,特别是训练集中有噪音的时候,我们不期望自己的模型去把一些噪声离群点也拟合掉,这样会加大测试集中的误差.
所以我们会把目标函数中添加 $theta$ 的L2范数作正则项:

L (x; θ) = \sum i (θ T x i ? y i) 2 + λ | | θ | | 2 (3-2)

$L( x;theta)=sum_i (theta^Tx_i-y_i)^2+lambda ||theta||_2 tag {3-2}$
其中

λ 为正则项的系数. 这样,参数约复杂,它的L2范数就越大,所以(3-2) 的表达式可以约束参数的复杂度.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!