机器学习 – SVM – 能量与损失与正则化与成本函数之间的差异

Objective function: Something we want to minimize. For example ||w||^2 for SVM.

目标函数 – 顾名思义 – 优化的目标.它可以是我们想要最小化的东西(如成本函数)或最大化(如可能性).一般来说 – 衡量当前解决方案有多好的函数(通常通过返回实数)

Loss function: Penalty between prediction and label which is also equivalent to the regularization term. Example is the hinge loss function in SVM.

首先,在任何意义上,损失都不等于正规化.损失函数是模型和真理之间的惩罚.这可以是类条件分布与真实标签的预测,因此也可以是数据分布与经验样本等等.

Regularization

正则化是一个术语,惩罚,衡量,应该是过于复杂的模型的惩罚.在ML中,或者在处理估算器时通常在统计中,你总是试图平衡两个误差来源 – 方差(来自过于复杂的模型,过度拟合)和偏见(来自过于简单的模型,糟糕的学习方法,欠拟合).正则化是一种在优化过程中惩罚高方差模型的技术,以便减少过度拟合.换句话说 – 对于能够完美地适应训练集的技术,重要的是要有一个禁止它的措施,以保持概括的能力.

Cost function: A general formulation that combines the objective and loss function.

成本函数只是一个最小化的目标函数.它可以由一些损失函数和正则化器组成.

Now,the 1st link states that the hinge function is max(0,m + E(W,Xi) – E(W,X)) i.e. it is a function of the energy term. Does that mean that the energy function of the SVM is 1 – y(wx + b) ? Are energy functions are a part of a loss function. And a loss + objective function a part of the cost function ?

铰链损失是max(0,1-y(< w,x> -b)).这里定义的不是SVM,但对于一般因子图,我强烈建议从基础开始学习ML,而不是从高级技术开始学习ML.如果不了解ML的基础知识,本文将无法理解.

显示SVM和命名约定的示例

C SUM_i=1^N max(0,1 - y_i(<w,x_i> - b)) + ||w||^2

            __________________________/    _____/
                         loss            regularization
_________________________________________________/
            cost / objective function