设为首页收藏本站
首页 > 论坛 > 行空板

[M10项目]行空板M10——隔空手势传屏

云天 | 初级技神 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2024-12-22 20:19:12 [显示全部楼层]
15浏览
0回复
0收藏
查看: 15|回复: 0

[M10项目] 行空板M10——隔空手势传屏

[复制链接]
本帖最后由 云天 于 2024-12-22 20:24 编辑

行空板M10——隔空手势传屏图3

【项目背景】

        随着智能手机和物联网技术的快速发展，手势控制作为一种新颖的交互方式，正在逐渐渗透到我们的日常生活中。华为手机的隔空手势截屏功能，就是一个很好的例子，它通过识别用户的手势来实现屏幕截图，不仅提高了用户体验，还展示了手势控制技术在移动设备上的应用潜力。

【项目设计】

        本项目旨在通过两个行空板实现类似的手势控制屏幕截图功能。我们将利用OpenCV库来采集手势图像，这是一个开源的计算机视觉和机器学习软件库，它提供了多种图像和视频处理功能，非常适合用于实时手势识别。同时，我们将使用Mediapipe库来识别手势，Mediapipe是一个由Google开发的跨平台框架，它集成了多种先进的机器学习模型，包括手势识别，能够实时准确地识别手部关键点和手势。

        项目的核心在于通过物联网技术，实现两个行空板之间的图像传输。当行空板1通过摄像头采集到的手势被识别为拳头时，它将触发屏幕截图功能，并将截图通过物联网发送给行空板2。而行空板2在识别到张开的手掌手势时，将接收并显示通过物联网传输过来的图片。

        这个项目不仅展示了手势识别技术在物联网领域的应用，还体现了如何通过智能硬件和软件的结合，实现更加直观和便捷的用户交互体验。通过这种方式，我们可以探索手势控制在智能家居、工业自动化、游戏娱乐等多个领域的应用潜力，推动智能交互技术的发展。

【硬件设计】

行空板M10——隔空手势传屏图1


摄像头通过USB接口连接行空板，供电使用充电宝。
【项目准备】
1.行空板安装 pyautogui，终端安装：sudo apt-get install scrot
2.行空板安装MediaPipe库，安装方法：https://www.unihiker.com.cn/wiki ... 3%E4%B8%8B%E8%BD%BD
【程序编写】
1.测试行空板画图，发送屏幕截图至siot物联网平台。
行空板M10——隔空手势传屏图2

2.增加手势（握拳）识别
  1. import cv2

  2. import mediapipe as mp

  3. import math

  4. import sys

  5. import siot

  6. import time

  7. 

  8. import pyautogui

  9. import numpy as np

  10. from unihiker import GUI

  11. import base64

  12. from io import BytesIO

  13. from PIL import Image

  14. from unihiker import Audio

  15. 

  16. sys.path.append("/root/mindplus/.lib/thirdExtension/nick-base64-thirdex")

  17. def frame2base64(frame):

  18.     frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

  19.     img = Image.fromarray(frame) #将每一帧转为Image

  20.     output_buffer = BytesIO() #创建一个BytesIO

  21.     img.save(output_buffer, format='JPEG') #写入output_buffer

  22.     byte_data = output_buffer.getvalue() #在内存中读取

  23.     base64_data = base64.b64encode(byte_data) #转为BASE64

  24.     return base64_data #转码成功 返回base64编码

  25. 

  26. def base642base64(frame):

  27.     data=str('data:image/png;base64,')

  28.     base64data = str(frame2base64(frame))

  29.     framedata = base64data[2:(len(base64data)-1)]

  30.     base642base64_data = data + str(framedata)

  31.     return base642base64_data

  32. 

  33. # 事件回调函数

  34. def mouse_move(x,y):

  35.     global HuaDongJianGe

  36.     global startX, startY,endX, endY,bs,img

  37.     global 画图

  38.     print((str(startX) + str((str(":") + str((str(startY) + str((str(" ") + str((str(endX) + str((str(":") + str(endY)))))))))))))

  39.     if ((time.time() - HuaDongJianGe) > 0.5):

  40.         bs = 0

  41.     HuaDongJianGe = time.time()

  42.     if (bs == 0):

  43.         startX = x

  44.         startY = y

  45.         endX = x

  46.         endY = y

  47.         bs = 1

  48.         画点=u_gui.fill_circle(x=x,y=y,r=2,color="#0000FF")

  49.         画图=u_gui.draw_line(x0=startX,y0=startY,x1=endX,y1=endY,width=5,color="#0000FF")

  50.     else:

  51.         startX = endX

  52.         startY = endY

  53.         endX = x

  54.         endY = y

  55.         画点=u_gui.fill_circle(x=x,y=y,r=2,color="#0000FF")

  56.         画图=u_gui.draw_line(x0=startX,y0=startY,x1=endX,y1=endY,width=5,color="#0000FF")

  57. def qingkong():

  58.     u_gui.clear()

  59. def jietu():

  60.     screenshot = pyautogui.screenshot()

  61.     screenshot.save('screenshot.png')

  62.     img = cv2.imread("screenshot.png", cv2.IMREAD_UNCHANGED)

  63.     

  64.     siot.publish(topic="df/pic", data=str(base642base64(img)))

  65. 

  66. mp_hands = mp.solutions.hands

  67. hands = mp_hands.Hands(static_image_mode=False, max_num_hands=1, min_detection_confidence=0.5, min_tracking_confidence=0.5)

  68. mp_drawing = mp.solutions.drawing_utils

  69. u_audio = Audio()

  70. u_gui=GUI()

  71. u_gui.on_mouse_move(mouse_move)

  72. startX = 0

  73. startY = 0

  74. endX = 0

  75. endY = 0

  76. bs = 0

  77. bs2 = 0

  78. HuaDongJianGe = time.time()

  79. siot.init(client_id="7134840160197196",server="10.1.2.3",port=1883,user="siot",password="dfrobot")

  80. 

  81. siot.connect()

  82. siot.loop()

  83. u_gui.on_mouse_move(mouse_move)

  84. 

  85. 

  86. 

  87. def distance(point1, point2):

  88.     return math.sqrt((point2.x - point1.x)**2 + (point2.y - point1.y)**2)

  89. # 定义一个函数来判断手势

  90. def determine_gesture(landmark):

  91.     # 定义拳头和手掌张开的阈值

  92.     fist_threshold = 1  # 拳头的阈值，较小的距离表示拳头

  93.     open_hand_threshold = 1.5  # 手掌张开的阈值，较大的距离表示手掌张开

  94. 

  95.     # 获取拇指尖和手腕之间的距离

  96.     middle_FINGER_TIP = landmark.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP]

  97.     middle_FINGER_MCP = landmark.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_MCP]

  98.     wrist = landmark.landmark[mp_hands.HandLandmark.WRIST]

  99.     d1 = distance(middle_FINGER_TIP, wrist)

  100.     d2 = distance(middle_FINGER_MCP, wrist)

  101.     d=d1/d2

  102.     print(d1/d2)

  103.     # 根据距离判断手势

  104.     

  105.     if d < fist_threshold:

  106.         return "Fist"

  107.     elif d > open_hand_threshold:

  108.         return "Open Hand"

  109.     else:

  110.         return "Unknown"

  111.     

  112. # 打开摄像头

  113. cap = cv2.VideoCapture(0)

  114. 

  115. while cap.isOpened():

  116.     success, image = cap.read()

  117. 

  118.     if not success:

  119.         continue

  120.     image = cv2.resize(image,( 240, 320))

  121.     

  122.     # 将BGR图像转换为RGB

  123.     image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

  124.     image = cv2.flip(image, 1)

  125. 

  126.     # 处理图像并获取手部关键点

  127.     results = hands.process(image)

  128.     

  129.     # 绘制手部关键点和连接线

  130.     image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

  131.     if results.multi_hand_landmarks:

  132.         for hand_landmarks in results.multi_hand_landmarks:

  133.             mp_drawing.draw_landmarks(image, hand_landmarks, mp_hands.HAND_CONNECTIONS)

  134.             # 判断手势

  135.             gesture = determine_gesture(hand_landmarks)

  136.             print(gesture)

  137.             if gesture=="Fist":

  138.               if bs2==0:

  139.                 bs2=1

  140.                 jietu()

  141.                 qingkong()

  142.                 u_audio.play("ding.mp3")

  143.             else:

  144.                 bs2=0

  145.             #cv2.putText(image, gesture, (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)

  146. 

  147.     # 显示图像

  148.     #cv2.imshow("Image", image)

  149. 

  150.     # 按'q'退出

  151.     #if cv2.waitKey(1) & 0xFF == ord('q'):

  152.         ##break

  153. 

  154. # 释放资源

  155. cap.release()

  156. #cv2.destroyAllWindows()

复制代码

3.接收截图

行空板M10——隔空手势传屏图4

4.手势（手掌张开）接收程序
  1. import cv2

  2. import mediapipe as mp

  3. import math

  4. import sys

  5. import siot

  6. import time

  7. import pyautogui

  8. import numpy as np

  9. from unihiker import GUI

  10. import base64

  11. from io import BytesIO

  12. from PIL import Image

  13. from unihiker import Audio

  14. 

  15. sys.path.append("/root/mindplus/.lib/thirdExtension/nick-base64-thirdex")

  16. def frame2base64(frame):

  17.     frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)

  18.     img = Image.fromarray(frame) #将每一帧转为Image

  19.     output_buffer = BytesIO() #创建一个BytesIO

  20.     img.save(output_buffer, format='JPEG') #写入output_buffer

  21.     byte_data = output_buffer.getvalue() #在内存中读取

  22.     base64_data = base64.b64encode(byte_data) #转为BASE64

  23.     return base64_data #转码成功 返回base64编码

  24. 

  25. def base642base64(frame):

  26.     data=str('data:image/png;base64,')

  27.     base64data = str(frame2base64(frame))

  28.     framedata = base64data[2:(len(base64data)-1)]

  29.     base642base64_data = data + str(framedata)

  30.     return base642base64_data

  31. 

  32. # 事件回调函数

  33. def mouse_move(x,y):

  34.     global HuaDongJianGe

  35.     global startX, startY,endX, endY,bs,img

  36.     global 画图

  37.     print((str(startX) + str((str(":") + str((str(startY) + str((str(" ") + str((str(endX) + str((str(":") + str(endY)))))))))))))

  38.     if ((time.time() - HuaDongJianGe) > 0.5):

  39.         bs = 0

  40.     HuaDongJianGe = time.time()

  41.     if (bs == 0):

  42.         startX = x

  43.         startY = y

  44.         endX = x

  45.         endY = y

  46.         bs = 1

  47.         画点=u_gui.fill_circle(x=x,y=y,r=2,color="#0000FF")

  48.         画图=u_gui.draw_line(x0=startX,y0=startY,x1=endX,y1=endY,width=5,color="#0000FF")

  49.     else:

  50.         startX = endX

  51.         startY = endY

  52.         endX = x

  53.         endY = y

  54.         画点=u_gui.fill_circle(x=x,y=y,r=2,color="#0000FF")

  55.         画图=u_gui.draw_line(x0=startX,y0=startY,x1=endX,y1=endY,width=5,color="#0000FF")

  56. def qingkong():

  57.     u_gui.clear()

  58. def jietu():

  59.     screenshot = pyautogui.screenshot()

  60.     screenshot.save('screenshot.png')

  61.     img = cv2.imread("screenshot.png", cv2.IMREAD_UNCHANGED)

  62.     

  63.     siot.publish(topic="df/pic", data=str(base642base64(img)))

  64.   

  65. mp_hands = mp.solutions.hands

  66. hands = mp_hands.Hands(static_image_mode=False, max_num_hands=1, min_detection_confidence=0.5, min_tracking_confidence=0.5)

  67. mp_drawing = mp.solutions.drawing_utils

  68. u_audio = Audio()

  69. u_gui=GUI()

  70. u_gui.on_mouse_move(mouse_move)

  71. startX = 0

  72. startY = 0

  73. endX = 0

  74. endY = 0

  75. bs = 0

  76. bs2 = 0

  77. HuaDongJianGe = time.time()

  78. siot.init(client_id="7134840160197196",server="10.1.2.3",port=1883,user="siot",password="dfrobot")

  79. siot.connect()

  80. siot.loop()

  81. u_gui.on_mouse_move(mouse_move)

  82. 

  83. def distance(point1, point2):

  84.     return math.sqrt((point2.x - point1.x)**2 + (point2.y - point1.y)**2)

  85. # 定义一个函数来判断手势

  86. def determine_gesture(landmark):

  87.     # 定义拳头和手掌张开的阈值

  88.     fist_threshold = 1  # 拳头的阈值，较小的距离表示拳头

  89.     open_hand_threshold = 1.5  # 手掌张开的阈值，较大的距离表示手掌张开

  90. 

  91.     # 获取拇指尖和手腕之间的距离

  92.     middle_FINGER_TIP = landmark.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_TIP]

  93.     middle_FINGER_MCP = landmark.landmark[mp_hands.HandLandmark.MIDDLE_FINGER_MCP]

  94.     wrist = landmark.landmark[mp_hands.HandLandmark.WRIST]

  95.     d1 = distance(middle_FINGER_TIP, wrist)

  96.     d2 = distance(middle_FINGER_MCP, wrist)

  97.     d=d1/d2

  98.     print(d1/d2)

  99.     # 根据距离判断手势

  100.     

  101.     if d < fist_threshold:

  102.         return "Fist"

  103.     elif d > open_hand_threshold:

  104.         return "Open Hand"

  105.     else:

  106.         return "Unknown"

  107.     

  108. # 打开摄像头

  109. cap = cv2.VideoCapture(0)

  110. 

  111. while cap.isOpened():

  112.     success, image = cap.read()

  113. 

  114.     if not success:

  115.         continue

  116.     image = cv2.resize(image,( 240, 320))

  117.     

  118.     # 将BGR图像转换为RGB

  119.     image = cv2.cvtColor(image, cv2.COLOR_BGR2RGB)

  120.     image = cv2.flip(image, 1)

  121. 

  122.     # 处理图像并获取手部关键点

  123.     results = hands.process(image)

  124.     

  125.     # 绘制手部关键点和连接线

  126.     image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)

  127.     if results.multi_hand_landmarks:

  128.         for hand_landmarks in results.multi_hand_landmarks:

  129.             mp_drawing.draw_landmarks(image, hand_landmarks, mp_hands.HAND_CONNECTIONS)

  130.             # 判断手势

  131.             gesture = determine_gesture(hand_landmarks)

  132.             print(gesture)

  133.             if gesture=="Fist":

  134.               if bs2==0:

  135.                 bs2=1

  136.                 jietu()

  137.                 qingkong()

  138.                 u_audio.play("ding.mp3")

  139.             else:

  140.                 bs2=0

  141.             #cv2.putText(image, gesture, (50, 50), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 0, 255), 2)

  142. 

  143.     # 显示图像

  144.     #cv2.imshow("Image", image)

  145. 

  146.     # 按'q'退出

  147.     #if cv2.waitKey(1) & 0xFF == ord('q'):

  148.         ##break

  149. 

  150. # 释放资源

  151. cap.release()

  152. #cv2.destroyAllWindows()

复制代码
【演示视频】


回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主
勋章墙
活跃会员 宣传大使 创客造 编辑选择奖 志“童”道合 编辑选择奖 编辑选择奖

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail