Datawhale AI夏令营第一期（机器学习方向）Task2笔记：用户新增预测挑战赛——从业务理解到技术实现

一、任务核心：业务与技术的“翻译”

本次Task聚焦“用户新增预测挑战赛”的核心逻辑，核心目标是锻炼“将业务问题转化为AI技术问题”的能力，具体包含两大能力：

业务透视眼：从“识别新增用户”的业务需求倒推特征设计逻辑
数据诊断术：通过可视化等手段挖掘特征中的有效信息

二、赛题核心认知：二分类任务的本质

1. 任务定义

“用户新增预测挑战赛”是由科大讯飞主办的二分类任务，需基于用户行为数据预测用户是否为新增用户（目标字段is_new_did，1表示新增，0表示非新增），评价指标为F1分数（分数越高模型性能越好）。

2. 业务与技术价值

类型	具体价值
行业价值	精准预测用户增长趋势、优化产品迭代方向；降低用户获取成本；为AI落地提供量化依据
技术价值	解决实际用户增长预测问题；验证AI在用户行为分析中的有效性；建立可复用方法论

3. 数据基础

输入数据：包含15个原始字段的用户行为事件记录，核心字段包括：
- did：用户唯一标识（关键）
- common_ts：事件发生时间戳（时间特征来源）
- udmap：事件自定义属性（JSON格式，含助手/插件ID）
- 其他字段：设备品牌、网络类型、地域信息等基础属性
输出要求：CSV文件，仅含is_new_did列（值为0或1）

4. 数据关键特征（探索发现）

测试集中93%的用户（did）出现在训练集中（可直接复用已知标签）
训练集中88%的用户标签为0（正负样本不平衡）
事件级数据需转化为用户级特征（需按did聚合）

三、解题核心：要点、难点与思路

1. 核心要点与难点

类别	具体内容
核心要点	从事件级数据提取用户级特征；处理高维稀疏特征；平衡正负样本；捕捉时间敏感特征
难点	用户行为聚合（事件→用户）；高维稀疏特征处理；样本不平衡；时间模式捕捉

2. 基础解题思路

模型选择：优先树模型（如LightGBM），原因是训练速度快、对高维稀疏特征处理友好
特征方向：时间特征（时段、行为间隔等）、用户行为聚合特征（行为次数、首次/末次行为时间等）
样本处理：利用“测试集与训练集用户重叠”特性——已知标签直接复用，未知标签建模预测

四、Baseline方案：从设计到实现

1. 方案设计逻辑

模块	具体设计	依据/优势
特征设计	提取时间特征（时段、停留时长等）	符合用户行为分析理论，捕捉行为模式
模型选择	LightGBM	稳定性高、训练效率快、对预处理需求低
验证方法	五折交叉验证	避免单次验证的随机性，提升模型评估可靠性
阈值优化	基于F1-score动态调整阈值	平衡精确率与召回率，适配样本不平衡场景

2. 核心优势与待改进点

类别	具体内容
方案优势	- 采用五折目标编码，避免数据泄露 - 基于LightGBM的并行训练，速度比XGBoost快3-5倍
待改进点	- `udmap`（JSON字段）未充分解析 - 缺乏特征重要性筛选 - 未处理设备品牌长尾分布

3. 核心代码逻辑

（1）交叉验证建模

通过分层K折（Stratified K-Fold）确保各折中正负样本比例一致，结合早停机制（early stopping）防止过拟合：

n_folds = 5
kf = StratifiedKFold(n_splits=n_folds, shuffle=True, random_state=42)for fold, (train_idx, val_idx) in enumerate(kf.split(X_train, y_train)):X_tr, X_val = X_train.iloc[train_idx], X_train.iloc[val_idx]y_tr, y_val = y_train.iloc[train_idx], y_train.iloc[val_idx]# 创建数据集train_set = lgb.Dataset(X_tr, label=y_tr)val_set = lgb.Dataset(X_val, label=y_val)# 模型训练（早停机制）model = lgb.train(params, train_set,num_boost_round=5000,valid_sets=[train_set, val_set],callbacks=[lgb.early_stopping(stopping_rounds=200), lgb.log_evaluation(200)])

（2）阈值优化（最大化F1）

默认0.5阈值未必最优，针对正样本稀少场景（如本任务），在0.1-0.4范围搜索最优阈值：

def find_optimal_threshold(y_true, y_pred_proba):best_threshold = 0.5best_f1 = 0# 聚焦正样本稀少场景的候选阈值for threshold in [0.1, 0.15, 0.2, 0.25, 0.3, 0.35, 0.4]:y_pred = (y_pred_proba >= threshold).astype(int)f1 = f1_score(y_true, y_pred)if f1 > best_f1:best_f1 = f1best_threshold = thresholdreturn best_threshold, best_f1