摘要

https://www.arxiv.org/pdf/2507.12727
小目标检测仍是目标检测领域中的一个挑战性问题。为应对这一挑战，我们提出了一种基于YOLOv8的增强模型SOD-YOLO。该模型在颈部（neck）中集成了ASF（注意力尺度序列融合）机制以增强多尺度特征融合，新增了小目标检测层（命名为P2）以提供更高分辨率的特征图从而提升小目标检测效果，并采用Soft-NMS优化置信度得分以保留真实正例。实验结果表明，在VisDrone2019-DET数据集上，SOD-YOLO相比基线模型，${\mathrm{mAP}}_{50:95}$提升了36.1%，${\mathrm{mAP}}_{50}$提升了20.6%。这些改进使SOD-YOLO成为无人机影像小目标检测的一种实用且高效的解决方案。我们的源代码、超参数和模型权重已公开于：https://github.com/iamwangxiaobai/SOD-YOLO。

关键词：小目标检测；注意力尺度序列融合；无人机影像

1 引言

无人机（UAV，俗称无人机）已彻底改变了多个领域，包括野生动物监测、精准农业、搜救行动和基础设施检测[1]。这些应用通常需要检测小目标，如动物、害虫、失踪人员或结构缺陷。无人机能够从难以到达的高空视角捕获高分辨率影像，使其成为极具价值的工具。无人机应用中的一项关键任务是目标检测。

无人机领域的目标检测，尤其是小目标检测，可增强无人机的自主性和有效性。它使无人机能够实时识别和跟踪小目标，从而支持各种关键任务。在众多的目标检测方法中，两种主流策略已成为现代无人机系统的基石：单阶段目标检测和两阶段目标检测。

两阶段目标检测方法以R-CNN（基于区域的卷积神经网络）及其变体[2, 5]为代表，其流程为：首先在输入图像中生成一组候选区域，然后逐个分类这些区域。尽管有效，但这些方法计算量较大，对资源受限的无人机平台的实时应用构成挑战。相比之下，单阶段目标检测方法（如YOLO（You Only Look Once）[6, 13]）采用更简化的流程，通过单次遍历整个图像直接预测边界框和类别概率。这种高效性使其特别适用于需要实时处理和低延迟响应的无人机应用。

YOLO能够在单帧中检测多个目标，增强了其在需要全面态势感知的场景中的实用性。然而，YOLO也存在固有局限。与部分两阶段方法相比，其在小目标或密集目标场景下的精度可能较低。此外，YOLO的固定网格单元结构可能难以捕捉目标的细粒度细节，导致某些情境下性能不佳。再者，YOLO依赖预定义的锚框（anchor boxes），可能限制其对无人机操作中常见多样环境和目标尺度的适应性。

本文提出了一种增强的YOLOv8算法，命名为SOD-YOLO（小目标检测YOLO），旨在提升无人机影像中的小目标检测效果。我们的改进针对小目标尺寸微小和背景复杂的挑战。实验结果表明，SOD-YOLO在VisDrone2019-DET[14]数据集上将YOLOv8的性能提升了36.1%（${\mathrm{mAP}}_{50:95}$）和20.6%（${\mathrm{mAP}}_{50}$）。我们的主要贡献可总结如下：

• 集成ASF机制[15]，一种新型注意力融合策略，通过颈部（neck）增强模型对目标尺寸变化和复杂背景的处理能力。
• 引入P2层，即专用的小目标检测头，利用高分辨率特征图显著提升小目标检测精度。
• 实现Soft-NMS[18]，一种优化置信度得分的先进技术，有效保留真实正例并提升目标检测整体性能。

2 相关工作

2.1 实时目标检测器

YOLO在目标检测方法中脱颖而出，因其开创性的单阶段、实时神经网络架构。与传统两阶段检测器（如R-CNN）不同，YOLO通过单次遍历整个图像直接预测边界框和类别概率。这种设计显著减少了计算时间，使其非常适用于实时应用。YOLO已历经多次迭代，其中YOLOv5和YOLOv8是显著进展，同时提升了速度和精度。YOLO的高效性使其在需要低延迟和高吞吐量的领域中广受欢迎。

2.2 小目标检测的先前研究

2.2.1 网络架构增强

目标检测领域通过改进网络架构取得了显著进展。自YOLOv1问世以来，YOLO系列凭借对主干网络（backbone）和检测层的持续优化，始终引领实时目标检测。传统主干网络（如Darknet）被广泛使用，平衡了计算效率与检测性能。更近期的进展包括CSPNet[16]和EfficientNet[17]等先进主干网络，提供了更优的特征提取能力和网络效率。尽管有这些进展，小目标检测的精度仍面临挑战，因为传统主干网络和检测层常难以捕捉必要的细粒度特征。此外，小目标易被背景噪声掩盖或混淆，导致检测率降低和漏检（false negatives）增加。

基于这些基础，我们的工作在YOLOv8框架内引入了多项关键架构改进。我们提出ASF网络作为新型颈部（neck），设计用于根据目标尺度和上下文动态调整空间滤波器。这种自适应机制增强了特征提取能力，捕捉对小目标检测至关重要的细节空间信息。此外，我们集成了专用的小目标检测层，专门针对传统检测层可能忽略的细粒度特征。这些改进显著提升了模型对小目标的敏感度和精度，在复杂环境中实现了更优性能。

2.2.2 后处理技术

后处理技术对优化目标检测模型的结果至关重要。传统非极大抑制（NMS）技术虽有效，但常因硬性抑制准则丢弃真实正例，这对小目标检测尤为不利（小目标的边界框易重叠，导致信息严重丢失）。在密集场景中，这一问题更加突出（小目标紧密聚集）。此外，NMS的硬性阈值策略可能导致精度-召回平衡不佳，难以在多样目标尺寸和密度下实现高精度。近期提出的Soft-NMS等技术旨在解决这些问题。Soft-NMS通过逐步降低重叠边界框的置信度得分（而非直接消除），维持高召回率并提升精度。该方法在密集和杂乱环境中提升目标检测模型整体性能方面展现出潜力。

我们的方法将Soft-NMS集成到YOLOv8框架中，以增强小目标检测效果。Soft-NMS允许对重叠检测进行更精细的抑制，减少真实正例被丢弃的风险。通过引入该技术，我们的模型在小目标检测中实现了更优性能，确保在密集目标场景下结果更准确可靠。这一改进显著增强了检测系统的鲁棒性和有效性，确保在实际应用中具备高精度和召回率。

3 方法

3.1 ASF机制集成

标准YOLOv8架构采用序列化颈部（neck）设计，通过卷积（Conv）、C2f（增强残差块）和SPPF（空间金字塔池化融合）层逐步下采样并丰富特征图[19]。其头部（head）拼接多尺度特征（P3、P4、P5），并通过检测层进行目标预测。

针对无人机视角下的小目标检测，我们创新性地将自适应尺度融合（ASF）机制（最初为细胞实例分割开发[15]）集成到YOLOv8框架中，如图1所示。改进主要集中在新型尺度序列（ScalSeq）特征融合模块和基于ASF注意力的精化模块。

尺度序列（ScalSeq）特征融合：与YOLOv8采用的简单拼接策略不同，我们的颈部在特征聚合的关键阶段引入两个ScalSeq模块实例。每个ScalSeq单元接收来自不同尺度的三个输入特征图（即YOLOv8架构中定义的P3、P4、P5）。首先，每个特征图通过1×1卷积统一通道维度。随后，P4和P5特征图通过最近邻插值上采样，以匹配P3的空间分辨率。

空间对齐后，三个特征图沿新引入的“尺度”维度视为序列。沿此维度应用核大小为(1,1,1)的3D卷积，使模型能够学习跨尺度语义融合和上下文表征。该操作后接沿尺度维度的批归一化和LeakyReLU激活函数。最后，采用核大小为(3,1,1)的3D最大池化压缩尺度维度，得到标准2D特征图。ScalSeq模块的输出替代了YOLOv8颈部中常用的传统拼接机制，提供更具表达力和结构化的多尺度信息融合。

基于ASF注意力的精化：在每个ScalSeq模块后，我们引入名为attention_model的轻量级注意力块，进一步精化融合特征。该块实现自适应尺度融合（ASF）注意力机制。它接收两个特征图作为输入，并依次对第一个输入特征图应用通道注意力模块。通道注意力的结果与第二个输入特征图相加。最后，对相加后的特征图应用局部注意力模块。这种通道与局部注意力的顺序应用，使网络能够选择性强调无人机影像中普遍存在的信息性特征并抑制噪声。精化后的ASF增强特征随后用于颈部的后续层或作为跳接连接的一部分，改善最终预测阶段前上采样特征的质量。

相较于YOLOv8，颈部结构的这些修改实现了更复杂的多尺度特征融合，使SOD-YOLO在保持实时无人机应用所需计算效率的同时，更好地保留了检测小目标所需的细节信息。

3.2 小目标检测层

为增强无人机影像中小目标的检测能力，我们在网络P2层引入额外检测头，如图1所示。与标准检测头（P3、P4、P5）不同，后者对应更深层、更抽象且空间分辨率更低的特征表示，而P2层基于主干网络早期阶段的高分辨率特征图。这些浅层保留了更多细粒度空间信息（如目标边界、纹理和边缘），这些是航拍场景中检测小尺度目标的关键线索[21][22]。

引入P2检测层的理论依据在于小目标的固有特性：在高空无人机影像中，小目标通常仅占极少数像素，且易被深层下采样稀释或淹没[23]。尽管P3已提供中等分辨率，但可能因步幅卷积丢失关键局部细节。相比之下，P2保留更精细的空间粒度，并捕获更适合识别小目标的低层视觉特征，尤其在复杂背景和遮挡情况下。

为有效利用这些高分辨率特征，我们首先对主干网络选定的特征图进行上采样，并与浅层输出拼接，形成结合空间细节和上下文深度的丰富特征集。该复合特征通过C2f模块精化——C2f是一种增强残差块，旨在保留关键边缘和形状信息的同时实现有效特征融合[16]。

随后，处理后的P2特征图通过尺度序列（ScalSeq）模块，聚合多尺度信息并强调小目标表征。最终，精化后的P2输出与现有P3-P5检测头集成，形成多分辨率检测头组合。该设计确保了对目标尺度的全面覆盖，特别提升了模型对小目标和密集分布目标的敏感度和精度。

总体而言，P2检测层的引入为模型提供了早期阶段的空间线索，增强了无人机视觉应用中典型小目标检测任务的鲁棒性。它桥接了高分辨率局部特征与深层语义理解之间的鸿沟，显著提升了杂乱和尺度变异航拍环境中的检测精度。

模型	$\mathrm{mAP_{50:95}}$	$\mathrm{mAP_{50}}$	参数（百万）	FLOPs（十亿）
YOLOv5-m(2020)[10]	0.225	0.385	20.8	48.1
YOLOv7-m(2022)[11]	0.265	0.472	36.9	103.5
YOLOv8-m(2023)	0.258	0.436	25.8	78.7
YOLOv9-gelan-c(2024)[12]	0.305	0.489	25.2	101.8
YOLOv10-l(2024)[13]	0.286	0.462	25.7	126.4
SOD-YOLO（我们的）	0.351	0.526	22.6	94.9

模型	$\mathrm{mAP_{50:95}}$	$\mathrm{mAP_{50}}$	FLOPs（十亿）
基线（YOLOv8-m）	0.258	0.436	78.7
+ASF	0.265（+0.007）	0.440（+0.004）	82.7（+4.0）
+ASF+P2	0.294（+0.036）	0.476（+0.040）	94.9（+16.2）
+ASF+P2+Soft-NMS	0.352（+0.094）	0.526（+0.090）	94.9

3.3 Soft-NMS集成

NMS是目标检测模型中的关键后处理技术，用于移除冗余重叠边界框。传统NMS算法在当前检测框与最高分框的IoU超过阈值时，将当前框的得分置为0[25]。这种方法可能导致包含目标的检测框因重叠而被丢弃，降低小目标的召回率。

为解决潜在丢弃含目标检测框的问题，本研究采用Soft-NMS算法[18]。与传统NMS不同，Soft-NMS通过加权函数调整当前检测框的得分，降低与最高分框重叠的邻近框得分。重叠程度越高，得分衰减越快。该方法避免了移除含目标的框，也防止了两个相似框同时检测同一目标的情况。本研究采用的Soft-NMS算法考虑了检测框之间的重叠，相比传统NMS减少了漏检（false negative）的可能性，从而提升了小目标检测的准确性和可靠性。

传统NMS算法可用分数重置函数表示为：

$$S_i=\{\begin{array}{ll}{s}_i& \mathrm{IoU}(A,B_i)<N_t\\ 0& \mathrm{IoU}(A,B_i)\ge N_t\end{array}$$

Soft-NMS算法可用分数重置函数表示为：

$$S_i=\{\begin{array}{ll}{s}_i& \mathrm{IoU}(A,B_i)<N_t\\ s_i(1-\mathrm{IoU}(A,B_i))& \mathrm{IoU}(A,B_i)\ge N_t\end{array}$$

在方程（1）和（2）中，$S_i$表示第$i$个检测框的得分；$A$表示感兴趣区域内最高置信度的检测框；$B_i$表示第$i$个检测框；$\mathrm{IoU}$表示第$i$个检测框与$A$的重叠度；$N_t$表示校准后的重叠阈值。

4 实验

4.1 实验设置概述

为验证我们提出的SOD-YOLO模型在无人机影像小目标检测中的有效性和鲁棒性，我们在多种场景下开展了广泛实验。实验设置的设计目标如下：

• 评估目标：评估SOD-YOLO在复杂航拍场景中检测小目标和密集目标的能力，并验证其对基线YOLOv8-m模型的改进效果。
• 评估指标：我们主要报告IoU阈值为0.5（$mAP@0.5$）和0.5:0.95（$mAP@0.5:0.95$）的平均精度（mAP），以及数据集定义的小目标检测专项指标。
• 对比基线：我们将SOD-YOLO与基线YOLOv8-m及其他先进方法对比。为确保公平性，所有模型在相同设置下训练和评估。

4.2 数据集

VisDrone2019-DET。我们在广泛使用的VisDrone2019-DET数据集[14]上评估模型，该数据集是无人机目标检测的权威基准。数据集包含来自中国多城市的10,209张静态图像和288段无人机视频的261,908帧，涵盖多样场景（城市与乡村）、目标尺度和密度。静态图像集划分为6,471张训练集、548张验证集和1,610张测试集。

VisDrone定义了10个目标类别：行人、人群、自行车、汽车、厢式车、卡车、三轮车、遮阳三轮车、公交车和摩托车。值得注意的是，超过75%的标注目标面积小于图像的0.1%，凸显了小目标和微小目标的占比。目标分布还呈现明显的中心偏置，这支持了中心聚焦增强策略的合理性。

4.3 实现细节

训练环境。所有实验在配备单块NVIDIA RTX 4090 GPU的工作站上开展。模型主干为CSPDarknet53，使用随机梯度下降（SGD）优化器训练，采用余弦学习率调度和预热策略。

主要超参数：

• 初始学习率：3个epoch内线性预热至0.005
• 权重衰减：0.0005
• 动量：0.937
• 总训练轮数：200
• 输入图像尺寸：640×640
• 批量大小：8

更多超参数设置和实现细节请参考我们的GitHub仓库：https://github.com/iamwangxiaobai/SOD-YOLO。

4.4 评估准则

目标检测算法的常用评估指标包括交并比（IoU）、精确率（Precision）、召回率（Recall）和平均精度（mAP）。详细定义如下：

1. IoU（交并比）：IoU通过计算预测区域（$A$）与真实标注（$B$）的重叠面积除以两者的并集面积得到，公式为：
   $$\mathrm{IoU}=\frac{|A\cap B|}{|A\cup B|}$$
   IoU取值范围为0到1。值越大表示预测越精准。分子（重叠部分）越小说明预测未准确覆盖真实目标，分母（并集）越大说明预测区域过广，导致IoU降低。

2. 精确率（Precision）：精确率表示预测为正的样本中实际为正的比例，定义为：
   $$\mathrm{Precision}=\frac{\mathrm{True}\mathrm{Positives}}{\mathrm{True}\mathrm{Positives}+\mathrm{False}\mathrm{Positives}}$$

3. 召回率（Recall）：召回率表示实际为正的样本中被正确预测的比例，计算公式为：
   $$\mathrm{Recall}=\frac{\mathrm{True}\mathrm{Positives}}{\mathrm{True}\mathrm{Positives}+\mathrm{False}\mathrm{Negatives}}$$

4. mAP（平均精度）：平均精度（$\mathrm{AP}$）是精确率-召回率（PR）曲线上不同召回阈值处的精确率平均值。mAP是所有类别$\mathrm{AP}$的均值。其中，$\mathrm{mA}{\mathrm{P}}_{50}$表示IoU阈值为0.5时的mAP，$\mathrm{mA}{\mathrm{P}}_{50:95}$表示IoU阈值从0.5到0.95的均值mAP。

4.5 结果与对比

我们选择YOLOv8-m作为基线模型，并在以小目标为主的VisDrone2019-DET数据集上与多种先进目标检测器对比。VisDrone2019-DET验证集的结果如表1所示。对比YOLOv8-m与改进后的SOD-YOLO算法可知，SOD-YOLO在小目标检测上显著优于基线。具体而言，SOD-YOLO的$\mathrm{mA}{\mathrm{P}}_{50:95}$达到0.351，较YOLOv8-m的0.258提升0.093；$\mathrm{mA}{\mathrm{P}}_{50}$达到0.526，较YOLOv8-m的0.436提升0.09。这表明SOD-YOLO在小目标检测上性能更优，尤其在更高IoU阈值下表现出更好的精度和召回平衡。此外，对比YOLOv9-gelan-c和YOLOv10-l等模型，SOD-YOLO仍具竞争力：其$\mathrm{mA}{\mathrm{P}}_{50:95}$（0.351）和$\mathrm{mA}{\mathrm{P}}_{50}$（0.526）均超过YOLOv9-gelan-c（0.305和0.489），尽管两者参数量相近。这凸显了SOD-YOLO在检测精度与计算成本间的平衡优势。同时，SOD-YOLO保持了较低的参数量（22.6M）和有竞争力的FLOPs（94.9G），相比YOLOv7-m（36.9M参数，103.5G FLOPs）等模型更高效。因此，SOD-YOLO以适中的计算需求实现了小目标检测性能的提升。

图2展示了基线YOLOv8-m与SOD-YOLO在同一城市无人机图像上的检测结果。对比可见，SOD-YOLO在小目标和部分遮挡目标的检测能力上显著提升。例如，SOD-YOLO成功识别了YOLOv8-m漏检或误分类的多个路边行人（如靠近人行横道和路缘的儿童），而YOLOv8-m对此类目标存在漏检或误判为其他类别。此外，SOD-YOLO对中远距离的车辆和摩托车检测置信度更高，而YOLOv8-m对此类目标常遗漏或赋予低置信度边界框。SOD-YOLO在边界框定位和类别区分上的优势体现在其能正确区分卡车、厢式车和汽车，而YOLOv8-m对相似尺寸的车辆类别存在混淆。

这些视觉对比证实，SOD-YOLO中引入的ASF模块、P2检测层和Soft-NMS等改进，有效提升了无人机场景下密集、小目标和遮挡目标的检测性能。

4.6 消融实验

我们通过消融实验评估SOD-YOLO各组件的贡献，结果如表2所示。表中红色数值表示性能提升，绿色表示下降。基线模型YOLOv8-m的$\mathrm{mA}{\mathrm{P}}_{50:95}$为0.258，$\mathrm{mA}{\mathrm{P}}_{50}$为0.436，计算复杂度为78.7 GFLOPs。在模型颈部引入注意力融合策略（ASF）后，$\mathrm{mA}{\mathrm{P}}_{50:95}$提升至0.265（+0.007），$\mathrm{mA}{\mathrm{P}}_{50}$提升至0.440（+0.004），但FLOPs增至82.7G。进一步添加P2层（利用高分辨率特征图的小目标专用检测头）后，$\mathrm{mA}{\mathrm{P}}_{50:95}$增至0.294（+0.036），$\mathrm{mA}{\mathrm{P}}_{50}$增至0.476（+0.040），FLOPs升至94.9G。最后，集成Soft-NMS（通过软惩罚重叠框优化置信度）后，性能显著提升，$\mathrm{mA}{\mathrm{P}}_{50:95}$达到0.352（+0.094），$\mathrm{mA}{\mathrm{P}}_{50}$达到0.526（+0.090），且FLOPs保持在94.9G。结果表明，各组件均对模型性能有贡献，ASF、P2和Soft-NMS的联合作用带来了显著提升。

5 结论

本文提出了SOD-YOLO，一种针对无人机影像小目标检测的增强型YOLOv8算法。通过集成ASF机制、引入专用P2检测层和实施Soft-NMS，检测性能显著提升。ASF机制通过聚焦关键区域增强空间特征提取，使模型更好检测小目标和密集目标；P2检测层利用更低特征尺度捕捉更精细细节，提升小目标检测能力；Soft-NMS通过软惩罚重叠框而非直接丢弃，减少假阳性。在VisDrone2019-DET数据集上的实验表明，SOD-YOLO的$\mathrm{mA}{\mathrm{P}}_{50:95}$和$\mathrm{mA}{\mathrm{P}}_{50}$较基线YOLOv8分别提升36.1%和20.6%，验证了其在复杂无人机场景下处理小目标的有效性。

尽管取得显著改进，我们的工作仍存在局限。首先，ASF机制和P2检测层虽提升了小目标检测精度，但增加了模型计算复杂度，可能影响实时性能，尤其在计算资源受限的场景下。因此，未来工作可聚焦通过轻量化设计优化模型计算效率，确保实时应用中的性能。

致谢

本研究由国家自然科学基金（项目编号：72101189）资助。