引言
当你第一次看到线性回归时，你是否注意到了作为参数优化关键的损失函数（均方损失），你是否能够理解它的本质和由来。其实，在我第一次接触时，我是感到有些惊讶的，然后试着去强行理解它，而没有想到它的背后其实有一个数学理论作为支撑——最大似然估计。
最大似然估计
最大似然估计（Maximum Likelihood Estimation，MLE）是一种在统计学和机器学习中用于估计模型参数的方法。其核心思想是：在已知观测数据的情况下，寻找使得观测数据出现概率最大的模型参数值。（核心在于概率最大）
似然函数
我们的目的就是把上面的似然函数变成最大。
下面我们将以均方损失和交叉熵损失作为案例进行说明。
均方损失（MSE）：对应 “观测噪声服从高斯分布” 的 MLE
概率假设：模型预测误差服从高斯分布
theta是参数，也就是均值和方差。
构建对数似然函数
最大化对数似然 → 最小化 MSE
结论
均方损失是 “假设回归任务的观测噪声服从高斯分布” 时，最大似然估计的等价损失函数（即负对数似然）。
交叉熵损失：对应 “类别标签服从伯努利 / 多项式分布” 的 MLE
交叉熵损失是分类任务（输出为离散类别概率，如判断图像是猫 / 狗 / 鸟）中最常用的损失函数，分为二分类和多分类两种形式：
以二分类为例（多分类同理，只需将伯努利分布扩展为多项式分布）：
概率假设：类别标签服从伯努利分布
这个函数设计地很巧妙。
构建对数似然函数
最大化对数似然 → 最小化交叉熵
多分类的扩展
结论
交叉熵损失是 “假设分类任务的类别标签服从伯努利分布（二分类）或多项式分布（多分类）” 时，最大似然估计的等价损失函数（即负对数似然）。
核心对比：MSE 与交叉熵的 MLE 本质差异
两种损失函数的根本区别源于对 “标签生成过程” 的概率假设不同，而这种假设又由任务类型（回归 / 分类）决定：
| 损失函数 | 适用任务 | 背后的概率分布假设 | MLE 关联（等价性） |
|---|---|---|---|
| 均方损失（MSE） | 回归（连续输出） | 观测噪声～高斯分布 | 最小化 MSE = 最大化高斯分布下的对数似然 |
| 交叉熵损失（CE） | 分类（离散类别） | 类别标签～伯努利 / 多项式分布 | 最小化 CE = 最大化伯努利 / 多项式分布下的对数似然 |
怎么说呢？感觉还是很神奇的，损失函数竟然就这么水灵灵的被推导出来了。
