1 分类与表达式

1.1 分类

例子：

Email：垃圾（span）邮件/非垃圾（not span）邮件
在线交易：是/否欺诈（Fraudulent）
肿瘤：恶性/良性

$$y in left{ {0,1} right}:left{ {{rm{Negative}},{rm{Position}}} right}$$ $$to y in left{ {0,1,2,3,cdots } right}: 多类$$

逻辑回归

$0 le {h_theta }left( x right) le 1$
离散变量：${0,1}$

1.2 假设函数的表达式

$$left. begin{array}{ccccc} {h_theta }left( x right) = gleft( {{theta ^T}x} right) gleft( z right) = frac{1}{{1 + {e^{ - z}}}} end{array} right} Rightarrow {h_theta }left( x right) = frac{1}{{1 + {e^{ - {theta ^T}x}}}}$$
$h_θ(x)$ 为 $y = 1$ 的概率值，当取输入为 $x$ 时，

$to {h_theta }left( x right) = pleft{ {y = 1|x;theta } right}$
${s}{.t}{.}~~ pleft{ {y = 0|x;theta } right} + pleft{ {y = 1|x;theta } right} = 1$

1.3 决策边界

${h_theta }left( x right) = gleft( {{theta _0} + {theta _1}{x_1} + {theta _2}{x_2}} right)$

假定 $y = 1$，当 $h_θ(x) ≥ 0.5$（阈值）

则 $g(θ^Tx) ≥ 0.5$（阈值），即 $θ^Tx ≥ 0$，$θ_0 + θ_1x_1 + θ_2x_2 ≥ 0$

1.4 非线性决策边界

$$begin{array}{ccccc} {h_theta }left( x right) = gleft( {{theta _0} + {theta _1}{x_1} + {theta _2}{x_2} + {theta _3}x_1^2 + {theta _4}x_2^2} right) left. begin{array}{ccccc} {theta _0} = & - 1 {theta _1} = & {theta _2} = 0 {theta _3} = & {theta _4} = 1 end{array} right} Rightarrow - 1 + x_1^2 + x_2^2 = 0 end{array}$$
训练集 $to$（拟合） $to$ 边界

2 逻辑回归模型

2.1 代价函数

$Jleft( theta right) = frac{1}{m}sumlimits_{i = 1}^m {Costleft( {{h_theta }left( {{x^{left( i right)}}} right),{y^{left( i right)}}} right)}$
其中，

$$Costleft( {{h_theta }left( x right),y} right) = left{ begin{array}{ccccc} - log left( {{h_theta }left( x right)} right),& y = 1 - log left( {1 - {h_theta }left( x right)} right),& y = 0 end{array} right.$$
其中 $J(θ)$ 为 凸函数。

2.2 简单的代价函数与梯度下降法

$Costleft( {{h_theta }left( x right),y} right) = - ylog left( {{h_theta }left( x right)} right) - left( {1 - y} right)log left( {1 - {h_theta }left( x right)} right)$
$to Jleft( theta right) = - frac{1}{m}left[ {sumlimits_{i = 1}^m {{y^{left( i right)}}log left( {{h_theta }left( {{x^{left( i right)}}} right)} right) + left( {1 - {y^{left( i right)}}} right)log left( {1 - {h_theta }left( {{x^{left( i right)}}} right)} right)} } right]$

$Objection. to mathop {min }limits_theta Jleft( theta right)$

梯度下降法

$${rm{Repeat}}left{ {{theta _j} = {theta _j} - alpha frac{1}{m}sumlimits_{i = 1}^m {left( {{h_theta }left( {{x^{left( i right)}}} right) - {y^{left( i right)}}} right)x_j^{left( i right)}} } right}$$
这一迭代形式与“ 线性回归”中的梯度下降法相同，但是“ $h(x^{(i)})$”是不同的。其中， 特征缩放（归一化）一样适用。

2.3 高级优化方法

用于求解 $min ~~ J(θ)$，收敛速度更快。

优化算法

1. 梯度下降法（Gradient descent）
2. 共轭梯度法（Conjugate gradient）
3. 变尺度法（BFGS）
4. 线性变尺度法（L-BFGS）

其中 2，3，4 优化算法无需学习参数 $α$，且效率比梯度下降法更好。

3 多类别分类

方法： 一对多算法（One-vs-all）
例子：
Email foldering/tagging: work $(y=1)$,friends $(y=2)$,family $(y=3)$,hobby $(y=4)$

$mathop {max }limits_i h_theta ^{left( i right)}left( x right)$

当 $y = {1,…,n}$，令 $y = i$ 为 $1$，其他为 $0$，采用逻辑回归方法，做 $n$ 次分类。

4 解决过拟合问题

4.1 过拟合

$begin{array}{ccccc} Jleft( theta right) & approx 0 to 0 end{array}$

解决方法

诊断，调试

1. 减少特征数量（舍弃特征）
2. 正则化（保留所有特征）

4.2 代价函数

${h_theta }left( x right) = {theta _0} + {theta _1}{x^1} + {theta _2}{x^2} + {theta _3}{x^3} + {theta _4}{x^4}$

希望 $θ_3$,$θ_4$ 尽量小，则

$$mathop {min }limits_theta frac{1}{{2m}}sumlimits_{i = 1}^m {{{left( {{h_theta }left( {{x^{left( i right)}}} right) - {y^{left( i right)}}} right)}^2}} underbrace { + 1000{theta _3} + 1000{theta _4}}_{惩罚项(实例)}$$

正则化

对某些参数增加惩罚项，其中针对所有参数的为

$Jleft( theta right) = frac{1}{{2m}}left[ {sumlimits_{i = 1}^m {{{left( {{h_theta }left( {{x^{left( i right)}}} right) - {y^{left( i right)}}} right)}^2}} + lambda sumlimits_{j = 1}^n {theta _j^2} } right]$

其中，$λ$ 为正则化参数，$λ$ 过大，会使得 $θ_j to 0$，以至于欠拟合。

4.3 正则化的线性回归

$Jleft( theta right) = frac{1}{{2m}}left[ {sumlimits_{i = 1}^m {{{left( {{h_theta }left( {{x^{left( i right)}}} right) - {y^{left( i right)}}} right)}^2}} + lambda sumlimits_{j = 1}^n {theta _j^2} } right]$

$mathop {min }limits_theta Jleft( theta right)$

梯度下降法

$$begin{array}{ccccc} {theta _0} = {theta _0} - alpha frac{1}{m}sumlimits_{i = 1}^m {left( {{h_theta }left( {{x^{left( i right)}}} right) - {y^{left( i right)}}} right)x_0^{left( i right)}} {theta _j} = {theta _j} - alpha left[ {frac{1}{m}sumlimits_{i = 1}^m {left( {{h_theta }left( {{x^{left( i right)}}} right) - {y^{left( i right)}}} right)x_j^{left( i right)}} + frac{lambda }{m}{theta _j}} right] j = 1,cdots,n end{array}$$

正规方程

$$theta = {left( {{X^T}X} right)^{ - 1}}{X^T}y to theta = {left( {{X^T}X - lambda {{left[ {begin{array}{*{20}{c}} 0&{}&{}&{} {}&1&{}&{} {}&{}& ddots &{} {}&{}&{}&1 end{array}} right]}_{left( {n + 1} right)}}} right)^{ - 1}}{X^T}y$$

当 $(X^TX)^{-1}$ 不可逆时，可将其转化为可逆矩阵。

4.4 正则化逻辑回归

$Jleft( theta right) = left[ { - frac{1}{m}sumlimits_{i = 1}^m {{y^{left( i right)}}log left( {{h_theta }left( {{x^{left( i right)}}} right)} right) + left( {1 - {y^{left( i right)}}} right)log left( {1 - {h_theta }left( {{x^{left( i right)}}} right)} right)} } right] + frac{lambda }{{2m}}sumlimits_{j = 1}^n {theta _j^2}$

$mathop {min }limits_theta Jleft( theta right)$

采用梯度下降法等优化算法求解。