# 一、必备的基础知识
EM算法用到了大量的概率论与数理统计的知识，必须对基础有一定掌握才能完成EM算法的推导。
## 1.1 最大似然估计

思想：我们观测到了一组样本，为什么我们能观测到这一组样本呢？因为这一组样本出现的概率比较大，如果这一组观测值出现的概率比较小我们很可能就观测不到这组样本。基于以上理论，我们先将这组样本出现的概率求出来，前面提到这组样本出现的概率比较大我们才能观测到这组样本，那么多大的概率才算是概率比较大呢？我们没有概念，但是我们可以求出现这组样本的最大概率，这个最大概率的值是多少我们并不关心，在求概率最大的过程中就可以将概率分布中的参数θ求出来。

总结：最大似然估计就是令观测到的样本出现的概率最大，在求概率最大值的过程中对参数θ求导，令导数为零，进而求出参数θ。

权威的最大似然估计解释见下图：