最大似然比估计（MLE）笔记
定义
最大似然比估计（Maximum Likelihood Estimation, MLE）是一种统计方法，用于通过最大化似然函数来估计模型参数，使得在这组参数下观测数据出现的概率最大。
步骤
1. 定义似然函数
- 似然函数
L(θ|X)：给定参数θ下观测数据X出现的概率。 - 在参数已知时，我们讨论观测数据的概率；在观测数据已知时，我们讨论参数的似然。
2. 构造对数似然函数
- 对数似然
log L(θ|X)：取对数可以将乘法转换为加法，简化计算。
3. 求导数并置零
- 对
log L(θ|X)对θ求偏导数。 - 将得到的导数（梯度）置为零，求解这些方程来找到参数值。
4. 求解方程
- 解方程组，找到参数
θ的估计值。
5. 检查最大值
- 确认所找到的参数值确实使似然函数最大化，通常通过检查二阶导数。
应用
- 概率分布拟合：估计分布的参数，如均值和方差。
- 机器学习模型：估计模型参数，如权重。
优点
- 在大样本情况下，MLE估计量是渐进最优的。
注意事项
- 假设已知数据的概率分布形式。
- 对数似然函数可能有多个局部最大值。
- MLE不保证参数估计值一定合法，有时需要约束。
在使用MLE时，可能需要数值优化技术，尤其是当解析解难以找到时。