一、引言

在集成学习（Ensemble Learning）中，Boosting（提升法） 是一种非常经典且强大的方法。它通过将多个弱学习器（Weak Learners）进行迭代组合，逐步提升整体的预测性能，从而得到一个强学习器（Strong Learner）。与 Bagging 不同，Boosting 更加注重 弱学习器的加权迭代训练，每一次迭代都在纠正前一轮模型的错误。

二、Boosting 的核心思想

Boosting 的基本思想是：

先训练一个弱分类器；
根据该弱分类器的分类结果，调整样本的权重（错误分类样本权重会提高）；
使用新的权重分布训练下一个弱分类器；
将多个弱分类器进行加权投票或加权求和，得到最终的强分类器。

换句话说，Boosting 强调的是 “关注困难样本”，每一步的训练会更加聚焦在之前容易出错的样本上。

三、Boosting 的一般形式

假设我们要学习一个函数 $F(x)$ ，Boosting 的思想可以表示为一个 加性模型（Additive Model）：

$F(x) = \sum_{m=1}^{M} \alpha_m h_m(x)$

其中：

$h_m(x)$ ：第 $m$ 个弱学习器；
$\alpha_m$ ：弱学习器的权重；
$M$ ：迭代的总次数。

四、AdaBoost（自适应提升算法）

1. 基本流程

AdaBoost 是 Boosting 最经典的实现之一，其主要思想是根据前一轮的分类结果 动态调整样本权重。

训练过程如下：

初始化所有样本的权重 $w_i = \frac{1}{N}$ ，其中 $N$ 是样本数；
在当前权重分布下训练一个弱分类器 $h_m(x)$ ；
计算分类误差率： $\epsilon_m = \frac{\sum_{i=1}^N w_i \cdot \mathbb{I}(y_i \neq h_m(x_i))}{\sum_{i=1}^N w_i}i$
计算该分类器的系数： $\alpha_m = \frac{1}{2} \ln \left( \frac{1 - \epsilon_m}{\epsilon_m} \right)$
更新样本权重： $w_i \leftarrow w_i \cdot \exp \left( - \alpha_m y_i h_m(x_i) \right)$
并进行归一化。
重复步骤 2–5，直到达到迭代次数 $M$ 。

最终预测函数为：

$F(x) = \text{sign}\left( \sum_{m=1}^{M} \alpha_m h_m(x) \right)$

五、Gradient Boosting（梯度提升）

1. 基本思想

Gradient Boosting 将 Boosting 与 梯度下降思想 结合。它不再像 AdaBoost 那样通过权重调整，而是通过 拟合损失函数的负梯度 来逐步优化模型。

2. 数学表达

假设我们要最小化某个损失函数 $L(y, F(x))$ ，在第 $m$ 次迭代时：

计算残差（即负梯度）：
$r_{im} = - \left[ \frac{\partial L(y_i, F(x_i))}{\partial F(x_i)} \right]_{F(x) = F_{m-1}(x)}$
训练一个弱学习器 $h_m(x)$ ，去拟合残差 $r_{im}$ 。
计算最优步长：
$\gamma_m = \arg\min_{\gamma} \sum_{i=1}^N L(y_i, F_{m-1}(x_i) + \gamma h_m(x_i))$
更新模型：
$F_m(x) = F_{m-1}(x) + \gamma_m h_m(x)$

最终模型：

$F(x) = F_0(x) + \sum_{m=1}^M \gamma_m h_m(x)$

六、Boosting 与 Bagging 的对比

特点	Bagging	Boosting
基本思想	并行训练多个弱学习器	顺序训练多个弱学习器
误差关注点	主要减少方差	主要减少偏差
训练方式	各弱学习器独立	每个弱学习器依赖前一轮结果
样本权重	均匀随机采样	动态调整，关注错误样本
代表算法	随机森林	AdaBoost, Gradient Boosting, XGBoost