🚀基于行空板的mediapipe手势识别与追踪：激发孩子的创造力！

一、实践目标

本项目在行空板上外接USB摄像头，通过摄像头来识别手掌，并在其上绘制关键点。

二、知识目标

1、学习使用MediaPipe的Hands模型进行手势识别并绘制关键点的方法。

三、实践准备

软件使用：Mind+编程软件x1

材料清单

行空板 X1 链接
Type-C&Micro二合一USB线 X1 链接
USB摄像头 X1 链接

一、实践过程

1、硬件搭建

1、将摄像头接入行空板的USB接口。

2、通过USB连接线将行空板连接到计算机。

2、软件编写

第一步：打开Mind+，远程连接行空板

第二步：编写程序

在“行空板的文件”中找到名为AI的文件夹，在其中新建一个名为“基于行空板的mediapipe手势识别与追踪”的文件夹，再新建一个项目文件，并命名为“main.py”。

示例程序：

代码

import cv2    # 导入OpenCV库，用于图像处理
import mediapipe as mp    # 导入MediaPipe库，用于机器学习模型的应用

mp_drawing = mp.solutions.drawing_utils    # 从MediaPipe的解决方案中导入绘图工具
mp_drawing_styles = mp.solutions.drawing_styles    # 从MediaPipe的解决方案中导入绘图样式工具
mp_hands = mp.solutions.hands    # 从MediaPipe的解决方案中导入Hands模型

# 打开摄像头，准备获取实时视频流
cap = cv2.VideoCapture(0)
cap.set(cv2.CAP_PROP_FRAME_WIDTH, 320)    # 设置视频流的宽度为320
cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 240)    # 设置视频流的高度为240
cap.set(cv2.CAP_PROP_BUFFERSIZE, 1)    # 设置视频流的缓冲区大小为1

# 设置窗口为全屏模式
cv2.namedWindow('MediaPipe Hands', cv2.WND_PROP_FULLSCREEN)
cv2.setWindowProperty('MediaPipe Hands', cv2.WND_PROP_FULLSCREEN, cv2.WINDOW_FULLSCREEN)

# 加载Hands模型
with mp_hands.Hands(
    model_complexity=0,
    min_detection_confidence=0.5,
    min_tracking_confidence=0.5) as hands:
  while cap.isOpened():
    # 读取摄像头的每一帧图像
    success, image = cap.read()
    if not success:
        print("Ignoring empty camera frame.")
        continue

    # 将图像转换为RGB格式
    image.flags.writeable = False
    image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

    # 使用Hands模型处理图像
    results = hands.process(image)

    # 将图像转换回BGR格式
    image.flags.writeable = True
    image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

    # 如果在图像中检测到手，则在图像上绘制手的关键点和连接线
    if results.multi_hand_landmarks:
        for hand_landmarks in results.multi_hand_landmarks:
            mp_drawing.draw_landmarks(
                image,
                hand_landmarks,
                mp_hands.HAND_CONNECTIONS,
                mp_drawing_styles.get_default_hand_landmarks_style(),
                mp_drawing_styles.get_default_hand_connections_style())

    # 将图像旋转90度并翻转，然后显示图像
    image = cv2.rotate(image, cv2.ROTATE_90_CLOCKWISE)
    cv2.imshow('MediaPipe Hands', cv2.flip(image, 1))

    # 如果用户按下ESC键（ASCII值为27），则退出循环
    if cv2.waitKey(5) & 0xFF == 27:
        break

# 释放摄像头
cap.release()