Andrew Ng机器学习课程笔记--week3(逻辑回归&正则化参数)
Logistic Regression 一、内容概要
二、重点&难点1. Classification and Representation1) Hypothesis Representation这里需要使用到sigmoid函数--g(z): [begin{equation} h_θ(x) = g(θ^Tx) end{equation} ] [begin{equation} z = θ^Tx end{equation} ] [begin{equation} g(z) = frac{1}{1+e^{-z}} end{equation} ] 2) Decision Boundary决策边界: [h_θ(x) ≥ 0.5 → y=1 ] 等价于 [g(z) ≥ 0.5 → y=1 ] 等价于 [z ≥0 → y=1 ] 2. Logistic Regression Model1) 逻辑回归的损失函数这里之所以再次提到损失函数,是因为线性回归中的损失函数会使得输出呈现起伏,造成许多局部最优值,也就是说线性回归中的cost function在运用到逻辑回归时,将可能不再是凸函数。 逻辑回归的cost function如下: [J_θ = frac{1}{m} sum {Cost}( h_θ(x^{(i)},y^{(i)} ) )] 结合图来理解:
2) Simplified Cost Function and Gradient Descent
[Cost(h_θ(x),y) = -ylog(h_θ(x)) - (1-y)log(1-h_θ(x))] Jθ [J_θ=-frac{1}{m} sum Cost(h_θ(x),y) ]
3)高级优化方法如图左边显示的是优化方法,其中后三种是更加高级的算法,其优缺点由图邮编所示:
缺点
后面三种方法只需了解即可,老师建议如果你不是专业的数学专家,没必要自己使用这些方法。。。。。。当然了解一下原理也是好的。 3. Solving the problem of Overfitting1) 过拟合主要说一下过拟合的解决办法:
2) 正则化损失函数图示右边很明显是过拟合,因此为了纠正加入了正则化项:1000·θ32,为了使得J(θ)最小化,所以算法会使得θ3趋近于0,θ4也趋近于0。 正则化损失函数表达式: [J(θ)=frac{1}{2m} [sum_{i=1}^m( h_θ(x^{(i)}) - y^{(i)})^2 + λsum_{j=1}^n θ_j^2]] 3) 正则化线性回归
[J(θ)=frac{1}{2m} [sum_{i=1}^m( h_θ(x^{(i)}) - y^{(i)})^2 + λsum_{j=1}^n θ_j^2]] Repeat{ [θ_0 := θ_0 - αfrac{1}{m}sum_{i=1}{m}( h_θ(x^{(i)} ) - y^{(i)} )x_0^{(i)}] }
4) 正则化逻辑回归[J(θ)=-frac{1}{m} {sum_{i=1}^m[ y^{(i)} log(h_θ(x^{(i)}))+(1-y^{(i)})log(1-h_θ(x^{(i)}))]} + frac{λ}{2m}sum_{j=1}^n θ_j^2] 梯度下降过程
|