NVIDIA Jetson Nano 2GB 系列文章61：物件检测的模型训练与优化

物件检测 (objectdetection) 或物件定位 (object location) 是目前普及度最高的人工智能应用，也是过去几年中神经网络发展最迅猛的领域，短短几年之中创造出非常多优异的经典算法，并且各有所长，如今在数量与质量上都还持续进化中，这现象其实也是造成使用者很大困扰之处，因为究竟哪种神经网络最适合您的使用场景，最终还是得经过实际验证之后才能确认。

TAO 工具非常高效地协助我们解决这个难题，让我们在不了解各种神经网络结构与算法、也不熟悉 Tensorflow 或 Pytorch 这些复杂框架之前，不用撰写任何 C++ 或 Python 代码，就能非常轻易地训练好深度学习模型，并且快速验证不同网络模型的性能与效果，这估计能减少能降低 80% 以上的前期学习与评估的时间成本。



在 TAO 的 cv_samples 里提供多个物件检测算法，包括 detectnet_v2、dssd、ssd、facenet、fast_rcnn、lprnet、mask_rcnn、retinanet、unet、ssd、yolo_v4等十多个物件检测范例，每一个流程与本系列前一个  “图像分类的模型训练” 的范例是一致的，因此这里只挑选目前普及度较高的 ssd 神经网络进行示范就行。

首先进入 Jupyter 操作界面，打开 cv_samples/ssd/ssd.ipynb脚本，然后按照以下步骤逐步执行：

0. 环境变量配置与路径映射（Setup env variables and map drives）：

在系列文章 “视觉类训练脚本的环境配置” 内有详细的讲解，这里只要对下面两变量进行处理就可以：

• %env KEY=<您的NGC秘钥>
• 将 “%envLOCAL_PROJECT_DIR=YOUR_LOCAL_PROJECT_DIR_PATH” 改成 “os.environ["LOCAL_PROJECT_DIR"] = os.getcwd()”
  

然后执行这部分的 4 个指令块

• 安装 TAO 启动器（Install the TAO launcher）：
  

跳过第一个安装指令块，执行“!tao info”指令块就行。

2. 准备数据集与预训练模型（Preparedataset and pre-trained model）

数据集处理通常是模型训练过程比较消耗人力的步骤。这里推荐不使用脚本里的步骤去下载与解压缩，因为这里指向的下载位置在国外网站，这对大部分使用者是很困扰的，因此最好自行手动下载处理。

(1) TAO 的物件检测模型训练支持 KITTI 标注格式，这里使用的范例数据集与系列文章“视觉数据格式处理与增强”是同一套，如果前面实验已将下载的话就复制一份过来就行，也可以重新在https://pan.baidu.com/s/1WcRt9ONqsYhLRmL8Rg8_YQ（密码855n），下载 data_object_image_2.zip 与 data_object_label_2.zip 到 ssd.ipynb 相同目录下，然后执行以下指令进行解压缩：

cd ~/tao/cv_samples/ssd  # 请根据您实际路径
unzip -u data_object_image_2.zip -d data
unzip -u data_object_label_2.zip -d data
复制代码

会在这个工作目录下生成 data/training/image_2、data/training/label_2 与 data/testing 三个子目录，其中训练用数据量为 7481 张图片、测试数据量为 7518 张。

如果有自己的数据集想要转到 TAO 来进行训练，除了先将标注格式转成 KITTI 之外，最好也遵循上面的路径结构，这样就不需修改 spec 目录下相关配置文件里面的设定值，对初学者是最便利的方式。

(1) 接着调用 generate_val_dataset.py，从训练数据中提取 10% 内容作为校验用途，存放在 data/val 目录，于是在 data/training 下面的图像与标注文件数量就剩下 6733 个。然后执行 “2.3Generate tfrecords” 指令块，将训练与校验数据集都转成 tfrecords 格式，分别存放在对应的路径之下。

(2) 如果要配合迁移学习功能的话，接下来就是从 NGC 下载合适的预训练模型。这里选择的是 “nvidia/tao/pretrained_object_detection:resnet18”，最终下载的模型文件为 89MB 大小的 resnet_18.hdf5 模型文件。

只要这个数据集整理步骤做得完整，后面的部分就会很简单。

3. 提供训练用配置文件（Providetraining specification）

在 TAO 所有范例里，配置文件是所有内容的精华之处，这必须由专业算法工程师群进行调试，不仅要这些神经网络的结构与算法有足够深入的了解，还需要经过足够长的重复调试过程，才能调试出一个够完整的优化参数组合，这部分是英伟达非常庞大精英人力与成本的所提炼出来的精髓。

物件检测应用的设定组，比前面的图像分类要复杂很多，虽然初学者没有能力去做细节参数的调整，但还是得了解一下主要结构，对于学习深度神经网络会有很大的帮助。

在 ssd 项目的 specs 目录下有 5 个配置文件，其中与训练相关的有 4 个，但实际使用到的就是ssd_train_resnet18_kitti.txt与ssd_retrain_resnet18_kitti.txt这两个配置文件。

前者是提供给首次训练模型时使用，后者是对修剪过的模型进行再训练时使用，两者的内容几乎一样，主要差异在配合迁移学习功能的部分，前者使用“pretrain_model_path”指向从NGC下载的预训练模型，后者使用“pruned_model_path”指向后面会操作的 “修剪过的模型”，其他参数都一样。

现在就以 ssd_train_resnet18_kitti.txt 配置文件来做说明，里面总共有 6 个参数组：

(1) ssd_config：

这是根据网络种类所命名，不同网络的配置组内容都不太一样，例如 yolov3 范例的配置组为 “yolov3_config”，以此类推。每种神经网络都有截然不同的参数内容，在 ssd 网络有 12 个参数的设定，而 yolo_v4 网络有将近 20 个，所以网络之间的配置是不能套用或互换的。如果未来要开发自己的特殊模型，最好从现有的 20 范例里面去挑选，就能以该网络的配置文件为基础进行修改。

关于这个配置组的内容就不多时间去说明，初学者先不要贸然去修改，以免训练过程发生不可预期的错误，或者模型效果不好。

(2) training_config：

执行训练时的一些参数设定，这是使用者能进行调整的部分，包括以下部分：

• batch_size_per_gpu：根据执行训练的GPU总显存进行调整
• num_epochs：训练回合数，这里设定为80
• enable_qat：开启QAT训练模式，这里预设值为 ”false”，表示不开启
• checkpoint_interval：每多少回合生成一次模型文件，这里预设值为1
• learning_rate、regularizer 与 optimizer：如果对 ssd 有深入了解的，可以进一步调整。
  

(3) evaluation_config：

这些存放模型评估的一些参数，可以根据计算设备的显存值调整 batch_size 大小，不过这些并不影响训练的结果。

(4) nms_config：

NMS (Non-maximumsuppression) 非极大抑制应用的目的，是要消除多余的框，找到最佳的物体检查位置。

(5) augmentation_config：

这部分的参数内容请参考系类文章 “视觉类的数据增强”，有详细的说明。虽然没办法进入 TAO 源码（未开放）去确认，但这项参数设定组应该显示在物件检测模型训练过程中，并将“数据增强”功能加进来，这对提高模型精准度会起到很大的效果。

(6) dataset_config：

这里最主要配置数据源的路径，以及类别 “key:value” 对的映射关系；

• 一组 data_source：
  

里面包含 tfrecords_path 与 image_directory_path 两个路径设定；

• 多组 target_class_mapping：
  

每一组对应的 “key” 是数据集的原始类别名称，后面映射的 “value” 是训练后模型的识别分类。

例如这里使用的 KITTI 数据集中，原始分类有 “car/ van/cyclist/ person_sitting/ pedestrian/ DontCare/ tram/ truck/ misc” 等 9 种分类，经过映射后只保留 “Car/cyclist/ pedestrian” 三个分类，没有在映射组里的分类就会忽略，例如 truck、misc 等。

如果使用自己的数据集训练模型，这部分需要自行调整到合适的类别对应，否则训练的结果也不能实现您要达到的识别效果。

• 一组 validation_data_sources：
  

包括 label_directory_path 与 label_directory_path，存放校验数据集的图像与标注路径。

以上 6 组配置在每个物件检测模型的配置文件中都有，但是配置内容不尽相同， TAO 已经为所支持的网络都提供优化过的参数内容，初学者只要直接使用就可以，等日后有更深入的掌握，再试着去修改这些参数。

厉害厉害

不错不错

厉害厉害

赞赞赞赞赞