http://www.52php.cn/article/p-mgousslh-bnv.html

1.1 训练 / 开发 / 测试集

1.2 偏差 / 方差

低偏差高方差，则表示泛化能力不强，可能过拟合。
高偏差，则表示可能还欠拟合。

1.3 机器学习基础

1.4 正则化

逻辑回归正则化

神经网络正则化

1.5 为什么正则化可以减少过拟合？

对于S类激活函数，当W接近与零时，激活函数更加趋近于线性函数，所以不会有太复杂的划分：

1.6 Dropout 正则化 1.7 理解 Dropout

更多理解和先参阅：http://www.52php.cn/article/p-hewdufor-bmr.html

测试阶段不使用Dropout

1.8 其他正则化方法

增加数据

提早停止

1.9 正则化输入

参阅：http://www.52php.cn/article/p-hewdufor-bmr.html

归一化的好处：

1.10 梯度消失与梯度爆炸

1.11 神经网络的权重初始化

初始化权值尽可能的接近于0，梯度下降的速度才能尽可能的快，所以讲初始化乘以一定的系数：

1.12 梯度的数值逼近 1.13 梯度检验 1.14 关于梯度检验实现的注记

基本的数学概念，不记录。

• 将模型看作关于各个参数函数：
  

• 检验：
  

• 梯度检验注意项：