上一章：机器学习02——模型评估与选择
下一章：机器学习04——决策树
机器学习实战项目：【从 0 到 1 落地】机器学习实操项目目录：覆盖入门到进阶，大学生就业 / 竞赛必备

一、线性模型的基本形式

（一）数学表达

• 一般形式：对于包含d个属性的样本$x=(x_1;x_2;...;x_d)$，线性模型的输出为：
  $$f(x)=w_1{x}_1+w_2{x}_2+...+w_d{x}_d+b$$
  其中，$w_1,w_2,...,w_d$为属性权重（反映对应属性的重要性），b为偏置项。
• 向量形式：将权重表示为向量$w=(w_1;w_2;...;w_d)$，则模型可简化为：
  $$f(x)=w^{T}x+b$$
  （$w^T$为w的转置）。

（二）核心优点

• 形式简单、易于建模：仅通过线性组合即可构建模型，计算复杂度低；
• 可解释性强：权重$w_i$的大小直接反映对应属性对输出的影响程度（如“判断西瓜好坏”的模型中，根蒂的权重最大，说明根蒂是最关键的特征）；
• 非线性模型的基础：通过引入层级结构（如神经网络）或高维映射（如核方法），可扩展为复杂的非线性模型。

二、线性回归

线性回归旨在学习一个线性模型，以准确预测实值输出标记，核心是通过最小二乘法估计参数。

（一）单一属性线性回归

• 目标：对于样本$(x_i,y_i)$，学习$f(x)=wx+b$，使$f(x_i)\simeq y_i$；
• 参数估计（最小二乘法）：
  最小化均方误差（预测值与真实值的平方和）：
  $$(w^{\ast },b^{\ast })=\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2$$
  通过对w和b求导并令导数为0，可得闭式解：
  $$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\overline{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2},b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)$$
  其中$\overline{x}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$为样本均值。

（二）多元线性回归

• 目标：对于含d个属性的样本$x_i=(x_{i1};...;x_{id})$，学习$f(x_i)=w^T{x}_i+b$，使$f(x_i)\simeq y_i$；
• 矩阵表示：将w和b合并为向量$\hat{w}=(w;b)$，数据集表示为矩阵$X$（每行含样本属性及常数1），输出为向量$y=(y_1;...;y_m)$；
• 参数估计：通过最小二乘法最小化$(y-X\hat{w}{)}^T(y-X\hat{w})$，当$X^{T}X$为满秩矩阵时，闭式解为：
  $${\hat{w}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y$$
  若$X^{T}X$非满秩（如属性数多于样本数），需通过归纳偏好（如选择最简单解）或正则化处理。

（三）离散属性的处理

• 有序属性：直接连续化为数值（如“小/中/大”转换为“1/2/3”）；
• 无序属性：若有k个取值，转换为k维向量（如“红/绿/蓝”转换为“(1,0,0)/(0,1,0)/(0,0,1)”）。

三、广义线性模型

线性回归可通过联系函数扩展到非线性输出场景，形成广义线性模型。

（一）对数线性回归

• 当输出标记y与线性模型的关系为对数形式时：
  $$\ln y=w^{T}x+b⟹y=e^{w^{T}x+b}$$
  此时模型可拟合指数增长的输出（如人口增长、商品销量）。

（二）一般形式

• 广义线性模型定义为：
  $$y=g^{-1}(w^{T}x+b)$$
  其中$g(\cdot )$为联系函数（单调可微函数），作用是将线性模型的输出映射到目标变量的取值空间。对数线性回归是其特例（$g(\cdot )=\ln (\cdot )$）。

四、二分类任务

二分类任务需将线性模型输出$z=w^{T}x+b$映射到离散标记y∈{0,1}y \in \{0,1\}y∈{0,1}，核心是选择合适的映射函数。

（一）函数选择

• 单位阶跃函数：理想映射函数，但因不连续（在z=0处突变），无法用于参数学习：
  $$y=\{\begin{array}{ll}0,& z<0\\ 0.5,& z=0\\ 1,& z>0\end{array}$$
• 对数几率函数（替代函数）：单调可微的Sigmoid函数，可近似单位阶跃函数：
  $$y=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-(w^{T}x+b)}}$$
  其本质是将线性输出z转换为[0,1]区间的概率（样本为正例的概率）。

（二）对数几率回归

• 核心思想：通过对数几率（正例与反例的相对可能性的对数）建立线性关系：
  $$\ln \frac{y}{1-y}=w^{T}x+b$$
  （$\frac{y}{1-y}$为正例的“优势比”）；
• 优点：
  • 无需假设数据分布；
  • 可直接输出类别概率，便于决策；
  • 可用梯度下降、牛顿法等数值优化算法求解参数。

五、线性判别分析（LDA）

LDA是一种监督学习方法，通过将样本投影到一条直线上，实现类别分离（同类样本投影点接近，异类远离）。

（一）核心思想

• 同类紧凑：使同类样本的投影点协方差最小（聚在一起）；
• 异类分离：使不同类样本的投影中心距离最大（分开）。

（二）数学定义与优化目标

• 关键变量：
  • 类均值向量${\mu }_0,{\mu }_1$（两类样本的中心）；
  • 类内散度矩阵$S_w={\sum }_0+{\sum }_1$（衡量同类样本的分散程度）；
  • 类间散度矩阵$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$（衡量两类中心的距离）；
• 优化目标：最大化投影后的“类间距离/类内散度”：
  $$J(w)=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
  （广义瑞利商，通过拉格朗日乘子法求解）；
• 最优解：$w=S_w^{-1}({\mu }_0-{\mu }_1)$（投影方向与两类中心差成正比，与类内散度成反比）。

（三）多分类扩展

• 对于N类任务，LDA将样本投影到N-1维空间（维度低于原属性数），本质是监督降维技术；
• 优化目标扩展为最大化“类间散度矩阵迹/类内散度矩阵迹”，参数解为$S_w^{-1}{S}_b$的前N-1个最大广义特征值对应的特征向量。

六、优化方法总结

不同线性模型的优化目标与求解方法如下：

模型	优化目标	求解方法
线性回归	最小化均方误差	线性代数（闭式解）
对数几率回归	最大化样本似然（等价于最小化交叉熵）	凸优化（梯度下降、牛顿法）
LDA	最大化类间散度/类内散度	矩阵论（广义瑞利商）

上一章：机器学习02——模型评估与选择
下一章：机器学习04——决策树
机器学习实战项目：【从 0 到 1 落地】机器学习实操项目目录：覆盖入门到进阶，大学生就业 / 竞赛必备