基于行空板的opencv车辆检测装置

基于行空板的opencv车辆检测装置

车辆检测技术作为物体检测中的一个重要内容，被用于自动驾驶、交通安全等各种领域，让车牌识别，交警线上智能判罚成为可能，为智慧交通系统奠定了基础。本教程我们就来学习如何利用现成的模型，结合行空板、USB摄像头检测并拍摄车辆。

任务目标

摄像头模拟电子眼，检测车辆。当检测到有车驶来时，就对该画面进行抓拍，并将抓拍的照片保存到行空板的系统文件里。

知识点

1. 掌握USB摄像头的使用方法。
2. 了解物体检测技术。
3. 了解OpenCV。

材料清单

硬件清单：

硬件	图片	链接
行空板x1		链接
USB摄像头 x1		链接
白色硅胶绞线 x1		链接
Type-C USB线x1		链接

软件使用：Mind+编程软件 x1

下载地址：https://mindplus.cc/

动手实践

车辆检测装置主要用于抓拍车辆，即如果摄像头检测到车辆就对该画面进行抓拍，然后将抓拍的照片保存在行空板的系统文件里，后期可以调取里面的照片筛选违规车辆。接下来，通过两个简单的小任务来学习如何制作项目。

任务一：显示实时视频

在此项任务中，打开摄像头，并将摄像头检测到的画面显示在行空板屏幕上。

任务二：完成车辆检测并拍摄功能

在任务一的基础上，加上车辆检测功能，当检测到汽车时，就在终端区域输出“检测到车辆”的信息，对该画面进行抓拍，并将抓拍的照片保存到行空板的系统文件里。

任务一：显示实时视频

1.硬件连接

将USB摄像头连接到行空板上，如下图。硬件连接成功后，使用USB线将行空板连接到计算机。

2.软件准备

1. 打开Mind+，按照下面图示完成软件准备过程。

2. 点击“扩展”，在用户库的搜索框输入地址“https://gitee.com/chenqi1233/ext-object_recognition”然后按下回车按键搜索“物体检测”的库，搜索完成后点击“物体检测”库完成添加。

3.编写程序

首先观察一下，任务一的界面上都包含哪些元素？标题，显示框，视频内容显示区域，效果如下图。

1. UI界面设置，首先利用“显示文字”指令将对象“标题”的内容显示在行空板屏幕上方。并添加视频显示区域。

2. 想要显示实时的视频画面，就需要使用“初始化摄像头”指令打开摄像头，并设置该摄像头的设备号为0。

3. 现在摄像头已经打开了，接下来我们可以使用“从VideoCapture对象（vd）中抓取下一帧（img）以及状态（ret）”指令将捕获到的画面存入到 ‘img’ 这个变量中，然后使用“对象名（img_src）将图片（img）裁剪为宽（）高（）”指令将‘img’变量里的图像裁剪成宽为240，高为270的新图像，并新图像保存在 ‘img_src’ 变量中，以供后续处理和分析使用。

4. 上面我们已经学习了如何捕获画面和裁剪画面，接下来，我们将完成画面实时显示功能。首先导入一张白底的背景图到文件系统中，然后在（0,50）的坐标位置显示这张背景图。

5. 因为OpenCV图像中的默认颜色格式是BGR，想要在行空板屏幕上显示画面，就需要将颜色格式转换成RGB，使用“对象名（imgROI）将图片（img_src）使用BGR和RGB之间进行转换”指令将‘img_src’ 变量中的图像转换成RGB，并将转换后的图像保存到‘imgROI’变量中。

6. 通过上面步骤，我们已经完成了图像颜色格式转换、图像尺寸剪裁和图像捕获。现在，只要利用“更新图片”就可以将捕获到的图像显示在显示框区域内。

4.程序运行

检查行空板是否已连接到mind+，无误后，点击右上角的运行按钮，程序运行成功后，行空板屏幕上会显示实时画面。

任务二：完成车辆检测功能

前面我们讲过，在任务一的基础上，加上车辆检测的功能，当检测到汽车就在终端区域输出“检测到车辆”的信息，并抓拍车辆图片保存到行空板的系统文件里。

1.准备工作

按照任务一的“硬件连接”与“软件准备”连接好行空板并准备好mind+软件。

2.编写程序

(1)要实现车辆检测的功能，需要提前加载车辆数据模型。提前将汽车数据模型导入到文件系统中的“项目中的文件”，步骤如下：

注意：可直接使用教程提供或者去网上查询下载汽车数据模型（后缀为 .xml 的文件），下载成功后，注意记录模型名称，如“haarcascade_car.xml”。

(2)如何通过程序加载模型？利用“创建级联分类器（casecadeCar）”指令创建一个空的级联分类器对象。由于创建的级联分类器对象是空的，无法进行物体检测。需要通过“对象名（casecadeCar）加载 [汽车数据模型] 模型”指令加载一个训练好的汽车检测模型文件。

(3)如何确保模型加载成功呢？利用“对象名（casecadeCar）是否加载完成”指令来检查分类器是否已经加载了一个训练好的分类器模型。

(4)获得识别结果，使用“对象名（casecade）输入检测图像（img）返回检测结果信息”指令完成对‘img’变量里的图像中的物体检测。为了方便后续处理和分析，我们需要创建变量“ car ”用来存储检测结果。

(5)运行步骤（4）的代码，观察终端区域的运行结果你会发现，当摄像头检测到汽车时，会输出一串数字类型的数据，未检测到汽车时，输出的是一个“（）”。因为检测到汽车，输出的是一串数字，所以我们可以通过判断变量car数据的长度，来判断画面中是否有汽车。当变量car数据的长度＞0时，说明画面中检测到汽车了，这时终端区域就输出“检测到车辆”。

(6)如何抓拍并保存图片？利用 保存图片（img_src）到（“Mind+.png”）指令就可以将图片保存下来，当然我们也可以使用变量，给不同的图片起不同的名字。完整参考程序如下：

3.程序运行

点击右上角的运行按钮，程序运行成功后，你会看见，当摄像头检测到是汽车时，终端区域输出“检测到有车辆”。

情况	摄像头	终端
检测到车辆

如何查看行空板中存的图片呢？

连接行空板10.1.2.3远程终端后，可以看到在文件系统的文件目录下，会多出一个名为“行空板中的文件”。

点击目录中的mindplus文件夹，然后再点击cache文件夹，找到对应的Mind+文件，如“车辆检测.mp”文件的保存位置。点击“车辆检测.mp”，可以看到抓拍的图片文件分别为：1.png、2.png、3.png......。

其中1.png、2.png、3.png......就是从摄像头中获取的图片。右击“xx.png”，选择“下载文件到电脑”，将图片下载到电脑上。记住保存的路径，通过电脑就可以查看摄像头拍摄的图片了。

牛

666

理论上是不是改一下代码区的 xml文件，可以实现任意模型的物体检测？