RAFT(Recurrent All-Pairs Field Transforms)作为ECCV 2020最佳论文,已成为光流估计领域的标杆模型。其通过构建4D相关体金字塔和GRU迭代优化机制,在精度与泛化性上实现了突破。但针对其计算效率、大位移处理、跨场景泛化等问题,研究者提出了多维度改进方案,核心方向可系统归纳如下:
⚙️ 一、算法效率优化:轻量化与加速
-
迭代机制精简
- SEA-RAFT 将GRU替换为卷积模块,大幅减少迭代次数(训练从12次→4次,推理从32次→12次),速度提升3倍(1080P图像达21 FPS),且在Spring数据集上EPE降低22.9%。
- 非晶查找算子(ALO) 通过减少相关体冗余数据,扩展搜索空间,在Sintel和KITTI上精度提升10%/5%,仅牺牲33%速度。
-
初始光流预测
SEA-RAFT复用上下文编码器直接回归初始光流,避免从零开始迭代,加速收敛。