概率论中的大数定律都发端于伯努利的工作。下面我们来回顾下这个问题：
假设袋中有
a
个白球，
b
个黑球，
p=aa+b
。有放回的从袋中抽球
N
次，记录抽到白球的次数为
X
，我们用
XN
去估计
p
。伯努利视图证明的就是：用
XN
去估计
p
的确定性——他称为道德确定性。确切的含义是：任意给定两个数
?>0
和
η>0
，总可以取足够大的抽取次数
N
，使事件
{|XN?p|>?}
的概率不超过
η
。这意思很显然：
|XN?p|>?
表明估计误差未达到指定的接近程度（也就是小于允许的误差），这种情况发生的可能性可以随心所欲地小，但代价是加大
N
。
伯努利大数定律也可以这样来说：在多次相同的条件的重复试验中，频率有越接近一稳定值的趋势。也告诉了我们当实验次数很大时，可以用事件发生的频率来代替事件的概率。
从上面的叙述中我们就能知道大数定律中的“大数”是啥意思了——就是很大的数。英文名——law of large numbers 可能更容易理解。
在伯努利的基础上，后面的数学家不断发展和完善了大数定律：
(1) 棣莫弗—拉普拉斯定理
证明的是二项分布的极限分布是正态分布，也告诉了我们实际问题时可以用大样本近似处理
(2) 切比雪夫大数定律
在用标准差估计精度的时候用到，类似
6σ
那个规律。
由切比雪夫不等式P{|X-EX|<ε}>=1-DX/ε^2
可以导出区间(x± k σ)下的概率. K=2时. x± 2σ. 75%；K=3，89%；K=4，94%
切比雪夫大数定律是切比雪夫不等式的推论。
(3) 辛钦大数定律
需要独立同分布的条件。 切比雪夫大数定律只需相互独立分布。
(4) 中心极限定理
说明的是在一定条件下，大量独立随机变量的平均数是以正态分布为极限的。
而大数定律只是揭示了大量随机变量的平均结果，但没有涉及到随机变量的分布的问题。
(5) 列维-林德伯格定理 是中心极限定理的一种，就是独立同分布的中心极限定理
