论文地址：https://dl.acm.org/doi/abs/10.1145/3637528.3671581

论文源码：https://github.com/zqiao11/TSCIL

会议：SIGKDD 2024（CCF-A）

现实环境本质上是非平稳的，随着时间推移常会引入新类别。这在时间序列分类中尤为常见，例如医疗领域出现新的疾病分类，或人类活动识别中增加新的活动类型。在此类情况下，要求学习系统有效吸收新类别，同时避免对旧类别的灾难性遗忘，这便催生了类增量学习（CIL）问题。然而，尽管图像和语言领域已取得令人鼓舞的进展，针对时间序列数据的类增量学习研究仍相对不足。现有研究存在实验设计不一致的问题，因此需要在广泛数据集上对方法进行全面评估与基准测试。为此，我们首先概述时间序列类增量学习（TSCIL）问题，强调其独特挑战并涵盖先进方法。此外，基于标准化设置，我们开发了统一的实验框架，该框架支持新算法的快速开发、新数据集的便捷集成以及评估流程的标准化。利用此框架，我们在标准场景和隐私敏感场景下对各种通用及时间序列特定的 CIL 方法进行了全面评估。我们的大量实验不仅为未来研究提供了标准基线，还阐明了批量归一化层或记忆缓冲区容量阈值等各种设计因素的影响。

论文主要提出了一个框架，该框架包含多种增量学习方法，可支持使用者自主选择和添加算法，涵盖基于正则化、经验重放、生成式重放的方法及基线方法。

基于正则化的类增量学习方法

1. LwF（Learning without Forgetting）

特点：通过知识蒸馏（Knowledge Distillation）保留旧知识，在学习新类时最小化新旧任务输出的差异。

2. MAS（Memory Aware Synapses）

特点：通过计算神经元对旧任务的重要性（突触权重），在训练新任务时施加正则化约束，防止关键参数遗忘。

3. DT²W（Deep Task-agnostic Two-stage Weighting）

特点：针对时间序列设计的任务无关权重加权方法，通过两阶段权重调整平衡新旧任务的学习。

基于经验重放的方法

1. ER（Experience Replay）

特点：最基础的经验重放方法，利用记忆缓冲区存储旧任务样本，训练时混合新旧数据以缓解遗忘。

2. DER（Deep Experience Replay）

特点：改进版经验重放，可能通过更高效的样本选择或特征提取增强旧知识保留。

3. Herding

特点：基于聚类的样本选择策略，用代表性样本（而非原始样本）填充记忆缓冲区，减少存储成本。

4. ASER（Asymmetric Experience Replay）

特点：非对称经验重放，可能通过调整新旧样本的权重或采样策略优化增量学习效果。

5. CLOPS（Class-Level Online Plasticity System）

特点：基于类级在线可塑性的系统，可能结合类别级别的样本管理和重放策略。

6. FastICARL

特点：快速增量分类算法，可能通过高效的特征提取和分类器更新机制提升增量学习效率。

基于生成式重放的方法

1. GR（Generative Replay）

特点：利用生成模型（如 TimeVAE）生成旧任务的合成样本，避免存储原始数据，适用于隐私敏感场景。

基线方法

1. Naive

特点：直接微调模型以学习新类，不采取任何抗遗忘策略，作为性能下限。

2. Offline

特点：假设可以访问所有历史数据（非增量场景），作为理想情况下的性能上限参考。

这里我们基于UWave数据集+分类场景详细解释基于经验重放、基于生成式重放和基于正则化的类增量学习方法。

首先我们介绍基于经验重放的增量学习方法，该数据集经过划分任务流，针对每个任务流进行实验，当期模型训练过程中会存储一些样本，同时会提取一些以往的样本作为训练数据。在存储和提取过程中会进行一些算法设计，就形成了不同的基于经验重构的增量学习方法。

其次，基于生成式重放的增量学习方法与基于经验重放的方法类似，就是将缓存区变成生成器。

最后，基于正则化的类增量学习方法通过对上次任务的模型使用本次数据进行校验作为正则化项约束对旧类别的预测。

探究批量归一化（BatchNorm）与层归一化（LayerNorm）对时间序列类增量学习（TSCIL）中模型准确率动态变化的影响，同时对比使用记忆缓冲区（经验重放）的方法与无记忆方法的表现差异。

系统评估基于正则化（Regularization）和经验重放（Experience Replay, ER）的类增量学习方法在时间序列数据上的性能，探究不同归一化技术（BatchNorm 与 LayerNorm）对模型抗遗忘能力和增量学习效率的影响。

探究记忆缓存大小对时间序列类增量学习中经验重放（ER-based）方法的平均准确率的影响，同时对比批量归一化（BatchNorm）与层归一化（LayerNorm）在不同内存限制下的调节作用。

探究不同类型分类器在时间序列类增量学习（TSCIL）中的性能差异，通过消融实验验证交叉熵（CE）和二元交叉熵（BCE）训练的单头分类器对模型抗遗忘能力和增量学习效率的影响。

系统验证生成式重放（Generative Replay, GR）方法在时间序列类增量学习（TSCIL）场景下的有效性，重点评估其在不存储原始数据的隐私敏感条件下，对旧类别知识的保留能力和新类别的学习效率，并通过多数据集对比揭示 GR 在时序数据中的适用边界。

本文介绍了一种用于时间序列类增量学习（TSCIL）的统一评估框架。我们通过全面的对比分析，揭示了现有类增量学习（CIL）策略在解决TSCIL问题时的优势与局限。通过大量实验，我们评估了TSCIL的关键影响因素，包括算法类型、归一化层选择、记忆预算配置以及分类器设计。实验发现，基于重放的方法普遍优于正则化技术，而使用层归一化（LayerNorm）替代批量归一化（BatchNorm）可显著缓解稳定性-可塑性矛盾。我们进一步探讨了时间序列数据特有的关键挑战——这些挑战对TSCIL的成功至关重要。结果与分析突出了归一化处理、数据隐私保护和类内变异等问题的影响机制。我们坚信，本研究为TSCIL领域的研究与发展提供了有价值的参考。