@TOC
最大似然估计（Maximum likelihood estimation）可以简单理解为我们有一堆数据（数据之间是独立同分布的.iid），为了得到这些数据，我们设计了一个模型，最大似然估计就是求使模型能够得到这些数据的最大可能性的参数，这是一个统计（statistics）问题
与概率（probability）的区别：概率是我们已知参数
来预测结果，比如对于标准高斯分布
，我们知道了确切的表达式，那么最终通过模型得到的结果我们大致也可以猜测到。但是对于统计问题，我们预先知道了结果，比如我们有10000个样本（他们可能服从某一分布，假设服从高斯分布），我们的目的就是估计
使得我们假设的模型能够最大概率的生成我们目前知道的样本
一、似然函数定义
似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性，用表示，给定输出
时，关于参数
的似然函数
在数值上等于给定参数
后变量X的概率
在统计学习中，我们有个样本
，假设他们之间是相互独立的，那么似然函数
最大似然函数的目的就是求解一个使得
最大化
二、最大似然估计的无偏性判断
这里用一维高斯分布来判断和
的无偏性及有偏性，一维高斯分布函数
其中最大似然估计
分为三种情况
(1)已知，未知
，求
的最大似然估计量
似然函数：
两边分别取对数：
两边对求导
可以发现，当已知时，
的最大似然估计量
只受样本的影响，是
的无偏估计
(2)已知，未知
，求
的最大似然估计量
似然函数：
两边分别取对数：
两边对求导
可以发现，当已知时，
的最大似然估计量
受到样本以及样本均值的影响，是
的无偏估计
(3)和
均未知，求
、
的最大似然估计量
和
似然函数：
两边分别取对数：
- 两边对
求导
- 两边对
求导
可以发现，当的最大似然估计量
只受样本的影响（因为在计算时
被消去了），
是
的无偏估计
但是在计算的最大似然估计量
不仅受到样本的影响，还受到
的影响，其中
未知，只能用计算出的
来替代，通过下面计算可以发现
是
的有偏估计
所以在计算样本的方差时，需要在在前面乘上一个系数，即
三、最大似然和最小二乘的关系
当数据为高斯分布时，最大似然和最小二乘相同
假设一个模型为线性回归模型，噪声为高斯噪声
已知，设
，
由上面推导的最大似然函数求解：
由于前两项都与无关，因此可以将上式简化为：
而最小二乘法的公式也是如此：