设为首页收藏本站
首页 > 论坛 > Mind+

[项目分享]手势控制机械钳 精华

云天 | 初级技神 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2021-11-19 23:24:08 [显示全部楼层]
14734浏览
7回复
5收藏
查看: 14734|回复: 7

[项目分享] 手势控制机械钳

[复制链接]
本帖最后由 云天 于 2021-11-20 08:35 编辑

最近通过不断的研究和应用，感觉Mind+Python模式结合Mediapipe是一对完美结合，本次将使用Mediapipe的手部标志追踪再结合Pinpong库，控制机械钳。
【MediaPipe】
MediaPipe 是一款由 Google Research 开发并开源的多媒体机器学习模型应用框架。在谷歌，一系列重要产品，如 YouTube、Google Lens、ARCore、Google Home 以及 Nest，都已深度整合了 MediaPipe。
手势控制机械钳图1


【Mind+安装】

手势控制机械钳图2

1、安装mediapipe

手势控制机械钳图3

2、安装pinpong

手势控制机械钳图4

【手势标识追踪】

手势控制机械钳图5


  1. 

  2. 

  3. 

  4. import cv2

  5. import mediapipe as mp

  6. import time

  7. import math

  8. import numpy as np

  9. 

  10. class handDetector():

  11.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):

  12.         self.mode = mode

  13.         self.maxHands = maxHands

  14.         self.detectionCon = detectionCon

  15.         self.trackCon = trackCon

  16. 

  17.         self.mpHands = mp.solutions.hands

  18.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,

  19.         self.detectionCon, self.trackCon)

  20.         self.mpDraw = mp.solutions.drawing_utils

  21.         self.tipIds = [4, 8, 12, 16, 20]

  22. 

  23.     def findHands(self, img, draw=True):

  24.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

  25.         self.results = self.hands.process(imgRGB)

  26.     # print(results.multi_hand_landmarks)

  27. 

  28.         if self.results.multi_hand_landmarks:

  29.             for handLms in self.results.multi_hand_landmarks:

  30.                 if draw:

  31.                     self.mpDraw.draw_landmarks(img, handLms,

  32.                     self.mpHands.HAND_CONNECTIONS)

  33. 

  34.         return img

  35. 

  36.     def findPosition(self, img, handNo=0, draw=True):

  37.         xList = []

  38.         yList = []

  39.         bbox = []

  40.         self.lmList = []

  41.         if self.results.multi_hand_landmarks:

  42.             myHand = self.results.multi_hand_landmarks[handNo]

  43.             for id, lm in enumerate(myHand.landmark):

  44.             # print(id, lm)

  45.                 h, w, c = img.shape

  46.                 cx, cy = int(lm.x * w), int(lm.y * h)

  47.                 xList.append(cx)

  48.                 yList.append(cy)

  49.             # print(id, cx, cy)

  50.                 self.lmList.append([id, cx, cy])

  51.                 if draw:

  52.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

  53. 

  54.             xmin, xmax = min(xList), max(xList)

  55.             ymin, ymax = min(yList), max(yList)

  56.             bbox = xmin, ymin, xmax, ymax

  57. 

  58.             if draw:

  59.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),

  60.         (0, 255, 0), 2)

  61. 

  62.         return self.lmList, bbox

  63. 

  64.     def fingersUp(self):

  65.         fingers = []

  66.     # Thumb

  67.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:

  68.             fingers.append(1)

  69.         else:

  70.             fingers.append(0)

  71. 

  72.     # Fingers

  73.         for id in range(1, 5):

  74.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:

  75.                 fingers.append(1)

  76.             else:

  77.                 fingers.append(0)

  78. 

  79.         # totalFingers = fingers.count(1)

  80. 

  81.         return fingers

  82. 

  83.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):

  84.         x1, y1 = self.lmList[p1][1:]

  85.         x2, y2 = self.lmList[p2][1:]

  86.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

  87. 

  88.         if draw:

  89.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)

  90.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)

  91.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)

  92.             cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)

  93.             length = math.hypot(x2 - x1, y2 - y1)

  94. 

  95.         return length, img, [x1, y1, x2, y2, cx, cy]

  96. 

  97. def main():

  98.     pTime = 0

  99.     cTime = 0

  100.     cap = cv2.VideoCapture(0)

  101.     detector = handDetector()

  102.     while True:

  103.         success, img = cap.read()

  104.         img = detector.findHands(img)

  105.         lmList, bbox = detector.findPosition(img)

  106.         if len(lmList) != 0:

  107.             #print(lmList[4])

  108.             

  109.             fingers = detector.findDistance(8,4,img)    

  110.              

  111.             print(fingers[0])

  112.         cTime = time.time()

  113.         fps = 1 / (cTime - pTime)

  114.         pTime = cTime

  115. 

  116.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

  117. 

  118.         cv2.imshow("Image", img)

  119.         cv2.waitKey(1)

  120. 

  121. if __name__ == "__main__":

  122.     main()

复制代码
【两指距离】
两指距离获取后，使用平均值进行滤波。
并采用距离比值（拇指与食指的距离与掌根与小拇指根的距离），来表示拇指与食指的张开程度。目的是为了解决，在图像“近大远小”的问题。
           dis1 = detector.findDistance(8,4,img)
           dis2 = detector.findDistance(0,17,img)   
           dis= dis1[0]/dis2[0]
  1. 

  2. 

  3. 

  4. import cv2

  5. import mediapipe as mp

  6. import time

  7. import math

  8. import numpy as np

  9. 

  10. class handDetector():

  11.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):

  12.         self.mode = mode

  13.         self.maxHands = maxHands

  14.         self.detectionCon = detectionCon

  15.         self.trackCon = trackCon

  16. 

  17.         self.mpHands = mp.solutions.hands

  18.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,

  19.         self.detectionCon, self.trackCon)

  20.         self.mpDraw = mp.solutions.drawing_utils

  21.         self.tipIds = [4, 8, 12, 16, 20]

  22. 

  23.     def findHands(self, img, draw=True):

  24.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

  25.         self.results = self.hands.process(imgRGB)

  26.     # print(results.multi_hand_landmarks)

  27. 

  28.         if self.results.multi_hand_landmarks:

  29.             for handLms in self.results.multi_hand_landmarks:

  30.                 if draw:

  31.                     self.mpDraw.draw_landmarks(img, handLms,

  32.                     self.mpHands.HAND_CONNECTIONS)

  33. 

  34.         return img

  35. 

  36.     def findPosition(self, img, handNo=0, draw=True):

  37.         xList = []

  38.         yList = []

  39.         bbox = []

  40.         self.lmList = []

  41.         if self.results.multi_hand_landmarks:

  42.             myHand = self.results.multi_hand_landmarks[handNo]

  43.             for id, lm in enumerate(myHand.landmark):

  44.             # print(id, lm)

  45.                 h, w, c = img.shape

  46.                 cx, cy = int(lm.x * w), int(lm.y * h)

  47.                 xList.append(cx)

  48.                 yList.append(cy)

  49.             # print(id, cx, cy)

  50.                 self.lmList.append([id, cx, cy])

  51.                 if draw:

  52.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

  53. 

  54.             xmin, xmax = min(xList), max(xList)

  55.             ymin, ymax = min(yList), max(yList)

  56.             bbox = xmin, ymin, xmax, ymax

  57. 

  58.             if draw:

  59.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),(0, 255, 0), 2)

  60. 

  61.         return self.lmList, bbox

  62. 

  63.     def fingersUp(self):

  64.         fingers = []

  65.     # Thumb

  66.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:

  67.             fingers.append(1)

  68.         else:

  69.             fingers.append(0)

  70. 

  71.     # Fingers

  72.         for id in range(1, 5):

  73.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:

  74.                 fingers.append(1)

  75.             else:

  76.                 fingers.append(0)

  77. 

  78.         # totalFingers = fingers.count(1)

  79. 

  80.         return fingers

  81. 

  82.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):

  83.         x1, y1 = self.lmList[p1][1:]

  84.         x2, y2 = self.lmList[p2][1:]

  85.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

  86. 

  87.         if draw:

  88.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)

  89.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)

  90.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)

  91.             #cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)

  92.             length = math.hypot(x2 - x1, y2 - y1)

  93. 

  94.         return length, img, [x1, y1, x2, y2, cx, cy]

  95. 

  96. def main():

  97.     global dis,i

  98.     i=0

  99.     dis=[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]

  100.     pTime = 0

  101.     cTime = 0

  102.     cap = cv2.VideoCapture(0)

  103.     detector = handDetector()

  104.     while True:

  105.         success, img = cap.read()

  106.         img = detector.findHands(img)

  107.         lmList, bbox = detector.findPosition(img)

  108.         if len(lmList) != 0:

  109.             #print(lmList[4])

  110.             

  111.             dis1 = detector.findDistance(8,4,img)

  112.             dis2 = detector.findDistance(0,17,img)    

  113.             dis[i]= dis1[0]/dis2[0]

  114.             i=i+1

  115.             if i>19:

  116.                 i=0

  117.             print(np.mean(dis))

  118.         cTime = time.time()

  119.         fps = 1 / (cTime - pTime)

  120.         pTime = cTime

  121. 

  122.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

  123. 

  124.         cv2.imshow("Image", img)

  125.         cv2.waitKey(1)

  126. 

  127. if __name__ == "__main__":

  128.     main()

复制代码

【手势控制机械钳】
  1. 

  2. 

  3. 

  4. import cv2

  5. import mediapipe as mp

  6. import time

  7. import math

  8. import numpy as np

  9. from pinpong.board import Board

  10. from pinpong.extension.microbit import *

  11. from pinpong.libs.microbit_motor import DFServo 

  12. 

  13. Board("microbit").begin() 

  14. 

  15. class handDetector():

  16.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):

  17.         self.mode = mode

  18.         self.maxHands = maxHands

  19.         self.detectionCon = detectionCon

  20.         self.trackCon = trackCon

  21. 

  22.         self.mpHands = mp.solutions.hands

  23.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,

  24.         self.detectionCon, self.trackCon)

  25.         self.mpDraw = mp.solutions.drawing_utils

  26.         self.tipIds = [4, 8, 12, 16, 20]

  27. 

  28.     def findHands(self, img, draw=True):

  29.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

  30.         self.results = self.hands.process(imgRGB)

  31.     # print(results.multi_hand_landmarks)

  32. 

  33.         if self.results.multi_hand_landmarks:

  34.             for handLms in self.results.multi_hand_landmarks:

  35.                 if draw:

  36.                     self.mpDraw.draw_landmarks(img, handLms,

  37.                     self.mpHands.HAND_CONNECTIONS)

  38. 

  39.         return img

  40. 

  41.     def findPosition(self, img, handNo=0, draw=True):

  42.         xList = []

  43.         yList = []

  44.         bbox = []

  45.         self.lmList = []

  46.         if self.results.multi_hand_landmarks:

  47.             myHand = self.results.multi_hand_landmarks[handNo]

  48.             for id, lm in enumerate(myHand.landmark):

  49.             # print(id, lm)

  50.                 h, w, c = img.shape

  51.                 cx, cy = int(lm.x * w), int(lm.y * h)

  52.                 xList.append(cx)

  53.                 yList.append(cy)

  54.             # print(id, cx, cy)

  55.                 self.lmList.append([id, cx, cy])

  56.                 if draw:

  57.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

  58. 

  59.             xmin, xmax = min(xList), max(xList)

  60.             ymin, ymax = min(yList), max(yList)

  61.             bbox = xmin, ymin, xmax, ymax

  62. 

  63.             if draw:

  64.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),(0, 255, 0), 2)

  65. 

  66.         return self.lmList, bbox

  67. 

  68.     def fingersUp(self):

  69.         fingers = []

  70.     # Thumb

  71.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:

  72.             fingers.append(1)

  73.         else:

  74.             fingers.append(0)

  75. 

  76.     # Fingers

  77.         for id in range(1, 5):

  78.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:

  79.                 fingers.append(1)

  80.             else:

  81.                 fingers.append(0)

  82. 

  83.         # totalFingers = fingers.count(1)

  84. 

  85.         return fingers

  86. 

  87.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):

  88.         x1, y1 = self.lmList[p1][1:]

  89.         x2, y2 = self.lmList[p2][1:]

  90.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

  91. 

  92.         if draw:

  93.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)

  94.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)

  95.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)

  96.             #cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)

  97.             length = math.hypot(x2 - x1, y2 - y1)

  98. 

  99.         return length, img, [x1, y1, x2, y2, cx, cy]

  100. def numberMap(x, in_min, in_max, out_min, out_max):

  101.   return (x - in_min) * (out_max - out_min) / (in_max - in_min) + out_min

  102. 

  103. def main():

  104.     global dis,i

  105.     i=0

  106.     dis=[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]

  107.     pTime = 0

  108.     cTime = 0

  109.     cap = cv2.VideoCapture(0)

  110.     detector = handDetector()

  111.     S8 = DFServo(8)

  112.     while True:

  113.         success, img = cap.read()

  114.         img = detector.findHands(img)

  115.         lmList, bbox = detector.findPosition(img)

  116.         if len(lmList) != 0:

  117.             #print(lmList[4])

  118.             

  119.             dis1 = detector.findDistance(8,4,img)

  120.             dis2 = detector.findDistance(0,17,img)    

  121.             dis[i]= dis1[0]/dis2[0]

  122.             i=i+1

  123.             if i>19:

  124.                 i=0

  125.             dis_avg=np.mean(dis)*10

  126.             angle=int(numberMap(dis_avg,20,1,40,100))

  127.             

  128.             S8.angle(angle)

  129.         cTime = time.time()

  130.         fps = 1 / (cTime - pTime)

  131.         pTime = cTime

  132. 

  133.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

  134. 

  135.         cv2.imshow("Image", img)

  136.         cv2.waitKey(1)

  137. 

  138. if __name__ == "__main__":

  139.     main()

复制代码


回复

使用道具 举报

精彩评论(7)

rzegkly  版主

发表于 2022-2-2 21:06:33

喜欢
回复

使用道具 举报

赤星三春牛！  初级技神

发表于 2022-2-5 20:21:22

嘿嘿嘿嘿
回复

使用道具 举报

赤星三春牛！  初级技神

发表于 2022-2-5 20:21:42

这个不错
回复

使用道具 举报

QQQQQQQ  初级技匠

发表于 2022-3-13 13:53:27

厉害厉害
回复

使用道具 举报

星辰大海：//。，  中级技师

发表于 2022-10-23 17:26:50

6666666666666
回复

使用道具 举报

O0LIt6pcvaMS  学徒

发表于 2023-4-6 16:33:41

为什么还是下不了mediapipe呢？
回复

使用道具 举报

曾剑波  初级技匠 来自手机

发表于 2023-10-11 21:44:31

很好！最近在做人工智能项目
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主
勋章墙
活跃会员 宣传大使 创客造 编辑选择奖 志“童”道合 编辑选择奖 编辑选择奖

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail