极大似然估计MLE与最大后验概率估计MAP

2021-10-15 statistic 人工智能, 原创, 机器学习 0 评论字数统计: 1.7k(字) 阅读时长: 6(分)

@TOC

一、具体定义

从其他的文章中我们可以了解到极大似然估计和最大后验概率估计的公式，这里不做介绍直接给出

极大似然估计MLE：，频率学派
最大后验概率估计MAP：，贝叶斯学派

其中极大似然估计的公式很好理解，这里的表示我们模型的参数估计，表示数据

最大后验概率估计的公式怎么理解呢？其实这里的思想是加入了先验，首先我们来看贝叶斯公式

其中是我们的先验概率，是后验概率，右边分子中的是MLE，而整个分子就是MAP，有的人会说为什么不算分子呢，因为分子是我们的实验数据是已知的，所以加不加都不影响。也就是说MAP：，这里与MLE不同的就是乘上了先验

二、详细理解

这里我们假设抛硬币的例子（因为网上大多数教程都在抛硬币…），假设抛了十次：七个正面，三个反面，如果你不是贝叶斯学派，通过MLE计算你能得到。但是如果你是贝叶斯学派，通过MAP有人告诉你先验说这个概率就应该为0.5并且绝不会出错，所以你犹豫了，你觉得概率可能分布在0.5-0.7之间，但是具体多少呢？要根据样本数来确定，如果你没听懂这个没有关系，下面会给出详细的证明

1. MLE

MLE就是想让我们根据结果来找到一个最合适的模型，使得出现结果（也就是我们的数据，七个正面，三个反面）的可能性最大，假设正面的概率为，反面的概率为，那么我们的目标为

下面我们来看这个函数的图像，从图中看出，当是MLE最大，也就是说虽然我们的常识是硬币出现正反的概率为，但是频率学派不这么认为，他们认为正面出现的概率为

这里我们给出上述公式的图像

2. MAP

MAP是贝叶斯学派，他们的观点是要引入先验，这里的先验就是第三部分要说的正则，首先我们来看公式

我们假设硬币是从一个神秘商人那边买来的，买来的时候他说这是一枚神奇的硬币，用特殊的材料打造，质地非常均匀，古人在重大场合都用他来进行选择，所以正反概率都为0.5，但是由于时间比较久远了，硬币难免会出现一些变化，但是你对商人的话深信不疑，因此这里我们假设服从的高斯分布，也就是说正面出现的概率为0.5，出现其他概率的情况很低

10次实验

然后我们进行了之前的实验，抛了十次硬币：七个正面，三个反面

你的第一反应是这个商人是个骗子！这个几率根本不是0.5！但是别急，你是一个贝叶斯学派的人，通过商人给你的先验以及你用了MAP进行计算，你绘制了MAP的图像，如下所示

仔细观察发现，概率并不是完全的0.5了！但是也接近0.5，所以你并没有觉得商人骗你，于是你继续做了100次的实验，抛了一百次硬币：七十个正面，三十个反面,然后你继续用MAP理论绘制了如下的图像

100次实验

注意此时的函数公式为

这时你发现概率已经远远偏离了0.5，这时你已经开始紧张了，商人卖给你了假币！但是这时你还保持冷静不断的安慰自己，不然钱都打水漂了，一定是样本还不够多导致的，于是你进行了第三次实验

1000次实验

抛了一千次硬币：七百个正面，三百个反面，然后你继续用MAP理论绘制了如下的图像

这时你彻底坐不住了，这一定是假币，你被骗了，你很愤怒回去找商人投诉去了，即使是贝叶斯也就救不了他了

以上图像代码

import matplotlib.pyplot as plt
import numpy as np

x = np.linspace(0, 1, 1000)
# y = np.power(x, 7) * np.power(1-x, 3)
# y = np.exp(-np.power(x-0.5, 2) / (2*np.power(0.1, 2))) / (np.sqrt(2*np.pi)*0.1)
# y = (np.exp(-np.power(x-0.5, 2) / (2*np.power(0.1, 2))) / (np.sqrt(2*np.pi)*0.1)) * np.power(x, 7) * np.power(1-x, 3)
# y = (np.exp(-np.power(x-0.5, 2) / (2*np.power(0.1, 2))) / (np.sqrt(2*np.pi)*0.1)) * np.power(x, 70) * np.power(1-x, 30)
y = (np.exp(-np.power(x-0.5, 2) / (2*np.power(0.1, 2))) / (np.sqrt(2*np.pi)*0.1)) * np.power(x, 700) * np.power(1-x, 300)

plt.plot(x, y, ls="-", lw=2, label="plot figure")
plt.legend()
plt.show()