Bagging-Bootstrap AGGrgratING

• Bagging并行训练n个基本学习器（base learner）
• 通过平均所有学习器的输出（回归）或主投票（分类）做决策
• 每个模型是用在训练集上通过bootstrap采样得到的新的数据集进行训练得到的
  bootstrap采样：假设有m个训练样例，那么随机采样m个样本做替代
  大概63%的样本会被采样，剩下的数据可用来进行验证

class Bagging:def __init__(self,base_learner,n_learners):self.learners = [clone(base_learner) for _ in range(n_learners)]def fit(self,X,y):for learner in self.learners:examples = np.random.choice(np.arange(len(X)),int(len(X)),replace=Ture)learner.fit(X.iloc[examples,:],y.iloc[examples])def predict(self,X):preds = [learner.predict(X) for learner in self.learners]return np.array(preds).mean(axis=0)

随机森林

• 使用决策树作为base learner
• 对每个learner都随机选取一系列特征

多适用于不稳定的learners

• Bagging减少了方差，尤其是对不稳定的learners
• 简单考虑回归，ground truth f，base learner h，bagging：$\hat{f}(x)=E[h(x)]$
• 由于$(E[x]{)}^2\le E[x^2]$，则有
  ${\left(f(x)-\hat{f}(x)\right)}^2\le E[(f(x)-h(x){)}^2]\iff (E[h(x)]{)}^2\le E[h(x{)}^2]$
• 决策树是不稳定的，线性回归是稳定的