什么是梯度增强特征选择（GBFS）

为什么 GBM 适合做特征选择

GBFS 的一般步骤

代码示例

什么是梯度增强特征选择（GBFS）

GBFS 并非一个像 Lasso 或随机森林那样有严格标准定义的独立算法，而是一种基于梯度提升机（Gradient Boosting Machine, GBM）模型来进行特征选择的思想和策略。

其核心思想是：利用训练好的 GBM 模型（如 XGBoost, LightGBM, CatBoost）内置的特征重要性评分，来识别并选择对预测目标最重要的特征子集

为什么 GBM 适合做特征选择

内置的特征重要性（Feature Importance）：大多数 GBM 实现都会自动计算特征重要性。最常见的两种计算方式是：
- 基于分裂（Gain）：衡量一个特征在所有树中被用于分裂时，所带来的不纯度（如基尼系数、均方误差）减少的总和。这是最常用、最可靠的指标。
- 基于频率（Frequency）：衡量一个特征在所有树中被用作分裂点的次数。
强大的非线性拟合能力：GBM 能够捕捉特征与目标之间复杂的非线性关系和交互效应，因此其评估出的特征重要性比一些线性模型（如 Lasso）更全面。
抗过拟合和鲁棒性：通过集成多棵弱学习器（树），GBM 对噪声数据相对鲁棒，其给出的特征重要性排序也更为稳定

GBFS 的一般步骤

训练一个 GBM 模型：使用全部特征在训练集上训练一个梯度提升模型（如 XGBRegressor 或 LGBMClassifier）。
获取特征重要性：从训练好的模型中提取每个特征的重要性分数。
排序和选择：将特征按重要性分数从高到低排序。
确定阈值：选择一个阈值来选择特征。方法有：

选择 Top-K 个特征：例如，只保留最重要的前 20 个特征。
重要性分数阈值：例如，只保留重要性分数大于平均值的特征。
递归消除：结合递归特征消除（RFE），逐步剔除最不重要的特征，通过交叉验证来确定最佳特征数量

代码示例

# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_breast_cancer
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from xgboost import XGBClassifier# 1. 加载数据
data = load_breast_cancer()
X, y = data.data, data.target
feature_names = data.feature_names# 查看数据形状
print("原始特征维度：", X.shape)  # (569, 30)# 2. 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 3. 训练一个XGBoost模型（使用所有特征）
model = XGBClassifier(random_state=42, use_label_encoder=False, eval_metric='logloss')
model.fit(X_train, y_train)# 4. 获取特征重要性（基于Gain）
importance_scores = model.feature_importances_
# 创建一个（特征名：重要性分数）的字典，并排序
feat_imp_dict = dict(zip(feature_names, importance_scores))
sorted_feat_imp = sorted(feat_imp_dict.items(), key=lambda x: x[1], reverse=True)# 打印最重要的10个特征
print("\n最重要的10个特征：")
for feat, imp in sorted_feat_imp[:10]:print(f"{feat}: {imp:.4f}")
# worst concave points: 0.2856
# mean concave points: 0.2357
# worst perimeter: 0.1743
# worst radius: 0.0760
# worst area: 0.0570
# worst texture: 0.0217
# worst concavity: 0.0187
# perimeter error: 0.0186
# mean texture: 0.0144
# mean radius: 0.0128# 5. 可视化特征重要性（可选）
plt.figure(figsize=(10, 8))
indices = np.argsort(importance_scores)[::-1] # 按重要性降序排列的索引
plt.title('Feature Importances (XGBoost - Gain)')
plt.barh(range(len(indices)), importance_scores[indices], color='b', align='center')
plt.yticks(range(len(indices)), [feature_names[i] for i in indices])
plt.xlabel('Relative Importance')
plt.gca().invert_yaxis() # 让最重要的特征显示在顶部
plt.tight_layout()
plt.show()# 6. 进行特征选择：我们选择最重要的前10个特征
top_k = 10
selected_feature_indices = indices[:top_k] # 获取最重要特征的索引X_train_selected = X_train[:, selected_feature_indices]
X_test_selected = X_test[:, selected_feature_indices]print(f"\n选择后的特征维度：{X_train_selected.shape}")  # (455, 10)# 7. 使用选择后的特征重新训练模型，验证效果
model_selected = XGBClassifier(random_state=42, use_label_encoder=False, eval_metric='logloss')
model_selected.fit(X_train_selected, y_train)# 预测
y_pred_full = model.predict(X_test)
y_pred_selected = model_selected.predict(X_test_selected)# 评估准确率
acc_full = accuracy_score(y_test, y_pred_full)
acc_selected = accuracy_score(y_test, y_pred_selected)print(f"\n模型性能对比:")
print(f"使用所有特征的测试集准确率: {acc_full:.4f}")  # 0.9561
print(f"使用Top-{top_k}个特征的测试集准确率: {acc_selected:.4f}")  # 0.9561