1.前言

本章主要来介绍下RT-DETR的网络结构，参考的依旧是ultralytics实现的RT-DETR-L，代码如下：

ultralytics/ultralytics: Ultralytics YOLO 🚀

首先谈谈我对RT-DETR的浅显认识，他不像是YOLOv8这种纯CNN实现的网络，也不像是Vit这种以Transformer实现的网络，他是前一部分使用的是CNN构建Encoder，后一部分使用Transformer来构建Decoder，这样做的好处就是兼备了CNN的速度，以及Transformer对信息的上下文关联能力，做到了Real-Time的一种DetectionTransformer.

下图是论文的插图1，从下图可以看到，以Resnet50为主干网络的RT-DETR的推理速度是可以对标YOLOv8S的，那可见这个DETR是很RT了。

2.网络结构

接下来看下整体的网络结构，我依旧将RT-DETR网络分成Backbone，Neck和Head三大模块，这三部分可以理解为RT-DETR的Enco