OpenCV—行空板获取USB摄像头视频

简介：通过Mind+创建一个Python程序，使用OpenCV扩展库获取USB摄像头视频画面。通过实验，初步了解Mind+和行空板使用Python编程的方法。

行空板是一款专为Python学习和使用设计的新一代国产开源硬件，采用单板计算机架构，集成LCD彩屏、WiFi蓝牙、多种常用传感器和丰富的拓展接口。同时，其自带Linux操作系统和Python环境，还预装了常用的Python库，为大家提供了简单易用、一体化的Python编程体验，特别适合教育和个人项目开发。



行空板自带USB接口，可直接连接普通USB摄像头，本次实验将通过Mind+编程，通过Python的OpenCV库获取USB摄像头视频画面，并实时在行空板屏幕上显示。本实验适合有一定行空板应用基础和Python编程经验的朋友，相关知识和案例可参考Mind+和行空板官网教程。   




1.实验目标

（1）初步了解行空板的特点

（2）初步了解Mind+的两种Python编程模式

（3）初步了解Python标准库和第三方库的概念

（4）初步了解Mind+安装Python第三方库的方法

（5）初步了解OpenCV库的用途

           

2.实验所需资源

硬件：

（1）电脑

（2）USB摄像头

（3）行空板   

（4）数据线

本文实验所用的台式电脑为Windows7操作系统，行空板为V0.3.5版本，数据线为Type-C接口。

软件：

（1）电脑安装Mind+软件

本文实验所用的Mind+软件版本为V1.8.0 RC3.1。

（2）Python环境及OpenCV库为Mind+自带版本

           

3.Mind+的Python编程模式

Mind+中的Python模式基于Python3.x，可直接运行所有Python功能。提供代码和模块（图形化）两种方式，支持代码和模块混编，代码模式提供库管理功能，满足入门到高级用户的需求。

（1）模块（图形化）编程模式


   



（2）代码模式





4.Python标准库和第三方库的概念

Python标准库是Python语言自带的一组模块和包，也就是说，当你安装Python时，这些库就已经包含在内，无需额外安装即可使用。这些模块提供了许多基本功能，如文件操作、数学计算、时间处理等，能够满足许多基础编程需求。比如：os模块提供了与操作系统交互的功能，包括文件和目录操作；math模块包含了数学函数，如三角函数和对数函数；datetime模块用于处理日期和时间；json模块则用于解析和构建JSON数据。这些模块覆盖了从基本的系统操作到高级的数据处理和网络通信的多个领域，为Python开发者提供了强大的支持。   

Python第三方库是指由Python社区或其他开发者开发的，可以扩展Python语言功能的软件包。第三方库不随Python解释器一起发布，需要通过包管理工具如pip进行安装。这些库通常提供了特定领域的功能或算法，使得开发者能够在其项目中方便地调用和使用这些功能，而无需从头开始编写代码。比如：OpenCV用于图像处理和计算机视觉算法，Pandas专注于数据处理和分析，NumPy支持高效的科学计算和多维数组操作，Matplotlib用于创建各种图表和数据可视化。这些库提供了丰富的功能和工具，扩展了Python的应用范围，使得Python成为一个强大的开发平台，能够满足各种复杂的应用需求。

5.Mind+安装Python第三方库的方法

在模块（图形化）编程模式下，通过点击“扩展库”选择加载官方库、pinpong库或用户库。  





在代码模式下，通过点击“库管理”对Python第三方库进行管理，可以在推荐库列表一键安装，或者在PIP模式中手动输入库名称安装。


6.OpenCV库的用途

OpenCV是一个重要的Python第三方库，专注于计算机视觉和机器学习领域。它提供了丰富的图像处理和计算机视觉算法，包括但不限于图像过滤、特征检测、目标识别和运动跟踪。通过OpenCV，开发者可以利用其优化的算法和丰富的函数接口，快速实现各种复杂的视觉任务，从而加速开发过程并提高应用程序的性能和功能。OpenCV的强大和复杂不是几个例子能说得清的，Mind+教程里有OpenCV模块的详细使用说明（https://www.unihiker.com.cn/wiki/mindplus_block_extension#），想要了解和使用OpenCV需要从Python基础学起，从专业书籍到具体案例进行理论学习和动手实践。本次实验单纯讲述如何在掌控板显示USB摄像头的视频画面，分别通过模块（图形化）编程和代码编程进行演示。   

7.模块（图形化）编程获取USB摄像头视频
将USB 摄像头接入行空板，再将行空板数据线连接到电脑主机，然后打开Mind+软件，选择Python模式。
（1）在Python模式新建项目，选择“模块”模式。



（2）在官方扩展库添加“行空板”和“OpenCV”。   



（3）完成添加后，点击“连接远程终端”连接行空板。



（4）按下列顺序添加OpenCV模块到Python主程序   



（5）点击“运行”按钮将程序上传到行空板


   



注意查看右下角“终端信息输出区”的上传和运行情况，上传正常后，行空板将显示摄像头画面，直到按下停止按钮。本来程序设定了在按下Esc按钮时候也会停止运行，但由于程序是在行空板上运行，而行空板并没有Esc按钮，所以可以增加一个按下行空板A键的判断程序：



理论上这段程序可以在行空板上运行，也可以连接USB摄像头在电脑上直接运行，但经过我多次反复测试，程序并不稳定，没有达到预期效果。这或许是图形化编程比较局限的一个地方，由于模块是经过封装的，和纯代码编程的命令和用法会有出入，模块间的组织和连接也需要不断的摸索和测试才能了解封装的逻辑和意图，和纯代码编程相比反而更费时费力。所以如果你的应用比较简单，模块化编程就能满足使用，那么直接学习各个图形化模块的使用就行。但如果想深入和灵活应用Python，代码模式才是Python的精髓，有必要重点学习和掌握。

8.代码模式编程获取USB摄像头视频

代码模式类似于其他常见的Python IDE，提供了结构化、模块化的编程方式，同时具备语法高亮、自动补全、调试等便捷功能。

（1）在Python模式新建项目，选择“代码”模式。


   

（2）打开“文件系统”，在“项目中的文件”新建一个py文件并双击打开



（3）通过“库管理”安装OpenCV库



（4）输入python代码   



为了便于理解图形模式和代码模式的区别，这里直接照搬了此前图形模式下自动生成的python代码，之所以强调代码模式的重要性，是因为进入代码模式，可以更加灵活和便捷的修改和完善程序，也更容易理解代码的运行逻辑，在需要开发图形模式下所不具备的功能时，可以引入各类第三方库，高效、灵活拓展程序。

（5）连接行空板并运行程序


   

效果和图形化模式完全一致。

附：程序代码

import cv2 from pinpong.board import Board, Pin  # 导入 pinpong 模块中的 Board 和 Pin 类 from pinpong.extension.unihiker import *  # 导入 pinpong.extension.unihiker 中的所有内容 # 初始化 Pinpong Board().begin() # 创建一个可调整大小的窗口并命名 cv2.namedWindow("Mind+'s Windows", cv2.WINDOW_NORMAL) cv2.moveWindow("Mind+'s Windows", 0, 0)  # 将窗口移动到屏幕左上角 cv2.resizeWindow("Mind+'s Windows", 240, 320)  # 调整窗口大小为 240x320 像素 # 初始化视频捕获对象 vd = cv2.VideoCapture() vd.set(cv2.CAP_PROP_FRAME_WIDTH, 240)  # 设置帧宽度为 240 像素 vd.set(cv2.CAP_PROP_FRAME_HEIGHT, 320)  # 设置帧高度为 320 像素 vd.open(0)  # 打开第一个可用的摄像头设备（设备索引为 0） # 检查视频捕获对象是否成功打开 if vd.isOpened():     while True:         ret, grab = vd.read()  # 读取视频帧         cv2.imshow("Mind+'s Windows", grab)  # 在窗口中显示视频帧         # 检测 ESC 键按下或A按钮被按下，以退出循环         if (cv2.waitKey(1) & 0xff == 27 or (button_a.is_pressed() == True)):             break # 释放视频捕获对象 vd.release() # 关闭所有 OpenCV 窗口 cv2.destroyAllWindows() 复制代码

按键检测那个地方有问题，不应该用行空板库里面的按钮A按下的检测，行空板的A键就等于鼠标键盘的a键，因此应该直接用opencv自带的按键检测功能





https://www.unihiker.com.cn/wiki/mindplus_block_extension#|-3-3%20OpenCV

Forgotten 发表于 2024-7-15 14:42
按键检测那个地方有问题，不应该用行空板库里面的按钮A按下的检测，行空板的A键就等于鼠标键盘的a键，因此 ...

感谢版主赐教，寻寻觅觅的OpenCV模块使用说明也看到了！
https://www.unihiker.com.cn/wiki/mindplus_block_extension#