DF创客社区发现DF创客商城教程产品资料库

手势控制机械钳

2021-11-193.3万
云天
云天

UID: 1934

577文章
178粉丝
1611获取喜欢
精华项目
AI 快速预览详细 收起
本文介绍了如何使用Mind+Python模式结合Mediapipe手部标志追踪来控制机械钳。首先需要安装mediapipe和pinpong库，然后通过手势标识追踪获取两指距离，并采用距离比值解决图像“近大远小”的问题。最后，通过Pinpong库控制机械钳的角度。整个过程包括安装步骤、手势标识追踪方法及具体代码实现，适合编程初学者。


最近通过不断的研究和应用，感觉Mind+Python模式结合Mediapipe是一对完美结合，本次将使用Mediapipe的手部标志追踪再结合Pinpong库，控制机械钳。
【MediaPipe】
MediaPipe 是一款由 Google Research 开发并开源的多媒体机器学习模型应用框架。在谷歌，一系列重要产品，如 YouTube、Google Lens、ARCore、Google Home 以及 Nest，都已深度整合了 MediaPipe。
手势控制机械钳图1


【Mind+安装】

手势控制机械钳图2

1、安装mediapipe

手势控制机械钳图3

2、安装pinpong

手势控制机械钳图4

【手势标识追踪】

手势控制机械钳图5


  1. 

  2. 

  3. 

  4. import cv2

  5. import mediapipe as mp

  6. import time

  7. import math

  8. import numpy as np

  9. 

  10. class handDetector():

  11.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):

  12.         self.mode = mode

  13.         self.maxHands = maxHands

  14.         self.detectionCon = detectionCon

  15.         self.trackCon = trackCon

  16. 

  17.         self.mpHands = mp.solutions.hands

  18.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,

  19.         self.detectionCon, self.trackCon)

  20.         self.mpDraw = mp.solutions.drawing_utils

  21.         self.tipIds = [4, 8, 12, 16, 20]

  22. 

  23.     def findHands(self, img, draw=True):

  24.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

  25.         self.results = self.hands.process(imgRGB)

  26.     # print(results.multi_hand_landmarks)

  27. 

  28.         if self.results.multi_hand_landmarks:

  29.             for handLms in self.results.multi_hand_landmarks:

  30.                 if draw:

  31.                     self.mpDraw.draw_landmarks(img, handLms,

  32.                     self.mpHands.HAND_CONNECTIONS)

  33. 

  34.         return img

  35. 

  36.     def findPosition(self, img, handNo=0, draw=True):

  37.         xList = []

  38.         yList = []

  39.         bbox = []

  40.         self.lmList = []

  41.         if self.results.multi_hand_landmarks:

  42.             myHand = self.results.multi_hand_landmarks[handNo]

  43.             for id, lm in enumerate(myHand.landmark):

  44.             # print(id, lm)

  45.                 h, w, c = img.shape

  46.                 cx, cy = int(lm.x * w), int(lm.y * h)

  47.                 xList.append(cx)

  48.                 yList.append(cy)

  49.             # print(id, cx, cy)

  50.                 self.lmList.append([id, cx, cy])

  51.                 if draw:

  52.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

  53. 

  54.             xmin, xmax = min(xList), max(xList)

  55.             ymin, ymax = min(yList), max(yList)

  56.             bbox = xmin, ymin, xmax, ymax

  57. 

  58.             if draw:

  59.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),

  60.         (0, 255, 0), 2)

  61. 

  62.         return self.lmList, bbox

  63. 

  64.     def fingersUp(self):

  65.         fingers = []

  66.     # Thumb

  67.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:

  68.             fingers.append(1)

  69.         else:

  70.             fingers.append(0)

  71. 

  72.     # Fingers

  73.         for id in range(1, 5):

  74.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:

  75.                 fingers.append(1)

  76.             else:

  77.                 fingers.append(0)

  78. 

  79.         # totalFingers = fingers.count(1)

  80. 

  81.         return fingers

  82. 

  83.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):

  84.         x1, y1 = self.lmList[p1][1:]

  85.         x2, y2 = self.lmList[p2][1:]

  86.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

  87. 

  88.         if draw:

  89.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)

  90.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)

  91.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)

  92.             cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)

  93.             length = math.hypot(x2 - x1, y2 - y1)

  94. 

  95.         return length, img, [x1, y1, x2, y2, cx, cy]

  96. 

  97. def main():

  98.     pTime = 0

  99.     cTime = 0

  100.     cap = cv2.VideoCapture(0)

  101.     detector = handDetector()

  102.     while True:

  103.         success, img = cap.read()

  104.         img = detector.findHands(img)

  105.         lmList, bbox = detector.findPosition(img)

  106.         if len(lmList) != 0:

  107.             #print(lmList[4])

  108.             

  109.             fingers = detector.findDistance(8,4,img)    

  110.              

  111.             print(fingers[0])

  112.         cTime = time.time()

  113.         fps = 1 / (cTime - pTime)

  114.         pTime = cTime

  115. 

  116.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

  117. 

  118.         cv2.imshow("Image", img)

  119.         cv2.waitKey(1)

  120. 

  121. if __name__ == "__main__":

  122.     main()

复制代码
【两指距离】
两指距离获取后，使用平均值进行滤波。
并采用距离比值（拇指与食指的距离与掌根与小拇指根的距离），来表示拇指与食指的张开程度。目的是为了解决，在图像“近大远小”的问题。
           dis1 = detector.findDistance(8,4,img)
           dis2 = detector.findDistance(0,17,img)   
           dis= dis1[0]/dis2[0]
  1. 

  2. 

  3. 

  4. import cv2

  5. import mediapipe as mp

  6. import time

  7. import math

  8. import numpy as np

  9. 

  10. class handDetector():

  11.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):

  12.         self.mode = mode

  13.         self.maxHands = maxHands

  14.         self.detectionCon = detectionCon

  15.         self.trackCon = trackCon

  16. 

  17.         self.mpHands = mp.solutions.hands

  18.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,

  19.         self.detectionCon, self.trackCon)

  20.         self.mpDraw = mp.solutions.drawing_utils

  21.         self.tipIds = [4, 8, 12, 16, 20]

  22. 

  23.     def findHands(self, img, draw=True):

  24.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

  25.         self.results = self.hands.process(imgRGB)

  26.     # print(results.multi_hand_landmarks)

  27. 

  28.         if self.results.multi_hand_landmarks:

  29.             for handLms in self.results.multi_hand_landmarks:

  30.                 if draw:

  31.                     self.mpDraw.draw_landmarks(img, handLms,

  32.                     self.mpHands.HAND_CONNECTIONS)

  33. 

  34.         return img

  35. 

  36.     def findPosition(self, img, handNo=0, draw=True):

  37.         xList = []

  38.         yList = []

  39.         bbox = []

  40.         self.lmList = []

  41.         if self.results.multi_hand_landmarks:

  42.             myHand = self.results.multi_hand_landmarks[handNo]

  43.             for id, lm in enumerate(myHand.landmark):

  44.             # print(id, lm)

  45.                 h, w, c = img.shape

  46.                 cx, cy = int(lm.x * w), int(lm.y * h)

  47.                 xList.append(cx)

  48.                 yList.append(cy)

  49.             # print(id, cx, cy)

  50.                 self.lmList.append([id, cx, cy])

  51.                 if draw:

  52.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

  53. 

  54.             xmin, xmax = min(xList), max(xList)

  55.             ymin, ymax = min(yList), max(yList)

  56.             bbox = xmin, ymin, xmax, ymax

  57. 

  58.             if draw:

  59.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),(0, 255, 0), 2)

  60. 

  61.         return self.lmList, bbox

  62. 

  63.     def fingersUp(self):

  64.         fingers = []

  65.     # Thumb

  66.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:

  67.             fingers.append(1)

  68.         else:

  69.             fingers.append(0)

  70. 

  71.     # Fingers

  72.         for id in range(1, 5):

  73.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:

  74.                 fingers.append(1)

  75.             else:

  76.                 fingers.append(0)

  77. 

  78.         # totalFingers = fingers.count(1)

  79. 

  80.         return fingers

  81. 

  82.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):

  83.         x1, y1 = self.lmList[p1][1:]

  84.         x2, y2 = self.lmList[p2][1:]

  85.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

  86. 

  87.         if draw:

  88.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)

  89.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)

  90.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)

  91.             #cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)

  92.             length = math.hypot(x2 - x1, y2 - y1)

  93. 

  94.         return length, img, [x1, y1, x2, y2, cx, cy]

  95. 

  96. def main():

  97.     global dis,i

  98.     i=0

  99.     dis=[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]

  100.     pTime = 0

  101.     cTime = 0

  102.     cap = cv2.VideoCapture(0)

  103.     detector = handDetector()

  104.     while True:

  105.         success, img = cap.read()

  106.         img = detector.findHands(img)

  107.         lmList, bbox = detector.findPosition(img)

  108.         if len(lmList) != 0:

  109.             #print(lmList[4])

  110.             

  111.             dis1 = detector.findDistance(8,4,img)

  112.             dis2 = detector.findDistance(0,17,img)    

  113.             dis[i]= dis1[0]/dis2[0]

  114.             i=i+1

  115.             if i>19:

  116.                 i=0

  117.             print(np.mean(dis))

  118.         cTime = time.time()

  119.         fps = 1 / (cTime - pTime)

  120.         pTime = cTime

  121. 

  122.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

  123. 

  124.         cv2.imshow("Image", img)

  125.         cv2.waitKey(1)

  126. 

  127. if __name__ == "__main__":

  128.     main()

复制代码

【手势控制机械钳】
  1. 

  2. 

  3. 

  4. import cv2

  5. import mediapipe as mp

  6. import time

  7. import math

  8. import numpy as np

  9. from pinpong.board import Board

  10. from pinpong.extension.microbit import *

  11. from pinpong.libs.microbit_motor import DFServo 

  12. 

  13. Board("microbit").begin() 

  14. 

  15. class handDetector():

  16.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):

  17.         self.mode = mode

  18.         self.maxHands = maxHands

  19.         self.detectionCon = detectionCon

  20.         self.trackCon = trackCon

  21. 

  22.         self.mpHands = mp.solutions.hands

  23.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,

  24.         self.detectionCon, self.trackCon)

  25.         self.mpDraw = mp.solutions.drawing_utils

  26.         self.tipIds = [4, 8, 12, 16, 20]

  27. 

  28.     def findHands(self, img, draw=True):

  29.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

  30.         self.results = self.hands.process(imgRGB)

  31.     # print(results.multi_hand_landmarks)

  32. 

  33.         if self.results.multi_hand_landmarks:

  34.             for handLms in self.results.multi_hand_landmarks:

  35.                 if draw:

  36.                     self.mpDraw.draw_landmarks(img, handLms,

  37.                     self.mpHands.HAND_CONNECTIONS)

  38. 

  39.         return img

  40. 

  41.     def findPosition(self, img, handNo=0, draw=True):

  42.         xList = []

  43.         yList = []

  44.         bbox = []

  45.         self.lmList = []

  46.         if self.results.multi_hand_landmarks:

  47.             myHand = self.results.multi_hand_landmarks[handNo]

  48.             for id, lm in enumerate(myHand.landmark):

  49.             # print(id, lm)

  50.                 h, w, c = img.shape

  51.                 cx, cy = int(lm.x * w), int(lm.y * h)

  52.                 xList.append(cx)

  53.                 yList.append(cy)

  54.             # print(id, cx, cy)

  55.                 self.lmList.append([id, cx, cy])

  56.                 if draw:

  57.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

  58. 

  59.             xmin, xmax = min(xList), max(xList)

  60.             ymin, ymax = min(yList), max(yList)

  61.             bbox = xmin, ymin, xmax, ymax

  62. 

  63.             if draw:

  64.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),(0, 255, 0), 2)

  65. 

  66.         return self.lmList, bbox

  67. 

  68.     def fingersUp(self):

  69.         fingers = []

  70.     # Thumb

  71.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:

  72.             fingers.append(1)

  73.         else:

  74.             fingers.append(0)

  75. 

  76.     # Fingers

  77.         for id in range(1, 5):

  78.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:

  79.                 fingers.append(1)

  80.             else:

  81.                 fingers.append(0)

  82. 

  83.         # totalFingers = fingers.count(1)

  84. 

  85.         return fingers

  86. 

  87.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):

  88.         x1, y1 = self.lmList[p1][1:]

  89.         x2, y2 = self.lmList[p2][1:]

  90.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

  91. 

  92.         if draw:

  93.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)

  94.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)

  95.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)

  96.             #cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)

  97.             length = math.hypot(x2 - x1, y2 - y1)

  98. 

  99.         return length, img, [x1, y1, x2, y2, cx, cy]

  100. def numberMap(x, in_min, in_max, out_min, out_max):

  101.   return (x - in_min) * (out_max - out_min) / (in_max - in_min) + out_min

  102. 

  103. def main():

  104.     global dis,i

  105.     i=0

  106.     dis=[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]

  107.     pTime = 0

  108.     cTime = 0

  109.     cap = cv2.VideoCapture(0)

  110.     detector = handDetector()

  111.     S8 = DFServo(8)

  112.     while True:

  113.         success, img = cap.read()

  114.         img = detector.findHands(img)

  115.         lmList, bbox = detector.findPosition(img)

  116.         if len(lmList) != 0:

  117.             #print(lmList[4])

  118.             

  119.             dis1 = detector.findDistance(8,4,img)

  120.             dis2 = detector.findDistance(0,17,img)    

  121.             dis[i]= dis1[0]/dis2[0]

  122.             i=i+1

  123.             if i>19:

  124.                 i=0

  125.             dis_avg=np.mean(dis)*10

  126.             angle=int(numberMap(dis_avg,20,1,40,100))

  127.             

  128.             S8.angle(angle)

  129.         cTime = time.time()

  130.         fps = 1 / (cTime - pTime)

  131.         pTime = cTime

  132. 

  133.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

  134. 

  135.         cv2.imshow("Image", img)

  136.         cv2.waitKey(1)

  137. 

  138. if __name__ == "__main__":

  139.     main()

复制代码


创作许可协议

本项目采用 None(不开放任何权利，保留所有权利) 进行许可。

其他主题Mind+

相关推荐

评论(7)
曾剑波
曾剑波
很好！最近在做人工智能项目
O0LIt6pcvaMS
O0LIt6pcvaMS
为什么还是下不了mediapipe呢？
星辰大海：//。，
星辰大海：//。，
6666666666666
Mr-k
Mr-k
厉害厉害
三春牛-创客
三春牛-创客
这个不错
三春牛-创客
三春牛-创客
嘿嘿嘿嘿
rzegkly
rzegkly
喜欢
- 没有更多了 -
云天
云天

UID: 1934

577文章
178粉丝
1611获取喜欢

创作许可协议

本项目采用 None(不开放任何权利，保留所有权利) 进行许可。

相关推荐

DF创客社区2014年度编辑选择奖 教程篇
DF创客社区2014年度编辑选择奖 教程篇Ash1的用户头像Ash13.9万3
我的Q&A问答专栏
我的Q&A问答专栏陈德熹的用户头像陈德熹20
新版本自制陨石大冒险1.0.3正式版正式发布
新版本自制陨石大冒险1.0.3正式版正式发布陈德熹的用户头像陈德熹40