Experiment
上来的一段话就概括了整章的内容。
We evaluate the representation learning capabilities of ResNet, Vision Transformer (ViT), and the hybrid.
章节的一开头就说明了，对比的模型就是
- ResNet，CNN领域中的代码模型。
- ViT。
- 上一篇中提到的Hybrid模型，也就是CNN来做特征提取，Transformer做全局整合。
To understand the data requirements of each model, we pre-train on datasets of varying size and evaluate many benchmark tasks.
第二句说的就是数据集的选用：
- ILSVRC-2012 ImageNet，论文挑选的小规模数据集，21k classes and 14M images。
- ImageNet-21k，论文认为的中等规模的数据集，21k classes and 14M images。
- JFT，Google内部的大型图形数据库，18k classes and
303M high-resolution images。
When considering the computational cost of pre-training the model, ViT performs very favourably,
