[项目分享]手势控制机械钳 精华

2021-11-19 23:24:08 [显示全部楼层]
442浏览
查看: 442|回复: 0

[项目分享] 手势控制机械钳

[复制链接]
本帖最后由 云天 于 2021-11-20 08:35 编辑

最近通过不断的研究和应用,感觉Mind+Python模式结合Mediapipe是一对完美结合,本次将使用Mediapipe的手部标志追踪再结合Pinpong库,控制机械钳。
【MediaPipe】
MediaPipe 是一款由 Google Research 开发并开源的多媒体机器学习模型应用框架。在谷歌,一系列重要产品,如 YouTube、Google Lens、ARCore、Google Home 以及 Nest,都已深度整合了 MediaPipe。
2021_0109_d728a471g00qmngmq0592d200ia00a7g00ia00a7.gif


【Mind+安装】

QQ截图20211119210925.png

1、安装mediapipe

QQ截图20211119211118.png

2、安装pinpong

QQ截图20211119211023.png

【手势标识追踪】

360截图20211119205503525.jpg


  1. import cv2
  2. import mediapipe as mp
  3. import time
  4. import math
  5. import numpy as np
  6. class handDetector():
  7.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):
  8.         self.mode = mode
  9.         self.maxHands = maxHands
  10.         self.detectionCon = detectionCon
  11.         self.trackCon = trackCon
  12.         self.mpHands = mp.solutions.hands
  13.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,
  14.         self.detectionCon, self.trackCon)
  15.         self.mpDraw = mp.solutions.drawing_utils
  16.         self.tipIds = [4, 8, 12, 16, 20]
  17.     def findHands(self, img, draw=True):
  18.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
  19.         self.results = self.hands.process(imgRGB)
  20.     # print(results.multi_hand_landmarks)
  21.         if self.results.multi_hand_landmarks:
  22.             for handLms in self.results.multi_hand_landmarks:
  23.                 if draw:
  24.                     self.mpDraw.draw_landmarks(img, handLms,
  25.                     self.mpHands.HAND_CONNECTIONS)
  26.         return img
  27.     def findPosition(self, img, handNo=0, draw=True):
  28.         xList = []
  29.         yList = []
  30.         bbox = []
  31.         self.lmList = []
  32.         if self.results.multi_hand_landmarks:
  33.             myHand = self.results.multi_hand_landmarks[handNo]
  34.             for id, lm in enumerate(myHand.landmark):
  35.             # print(id, lm)
  36.                 h, w, c = img.shape
  37.                 cx, cy = int(lm.x * w), int(lm.y * h)
  38.                 xList.append(cx)
  39.                 yList.append(cy)
  40.             # print(id, cx, cy)
  41.                 self.lmList.append([id, cx, cy])
  42.                 if draw:
  43.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)
  44.             xmin, xmax = min(xList), max(xList)
  45.             ymin, ymax = min(yList), max(yList)
  46.             bbox = xmin, ymin, xmax, ymax
  47.             if draw:
  48.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),
  49.         (0, 255, 0), 2)
  50.         return self.lmList, bbox
  51.     def fingersUp(self):
  52.         fingers = []
  53.     # Thumb
  54.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:
  55.             fingers.append(1)
  56.         else:
  57.             fingers.append(0)
  58.     # Fingers
  59.         for id in range(1, 5):
  60.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:
  61.                 fingers.append(1)
  62.             else:
  63.                 fingers.append(0)
  64.         # totalFingers = fingers.count(1)
  65.         return fingers
  66.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):
  67.         x1, y1 = self.lmList[p1][1:]
  68.         x2, y2 = self.lmList[p2][1:]
  69.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2
  70.         if draw:
  71.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)
  72.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)
  73.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)
  74.             cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)
  75.             length = math.hypot(x2 - x1, y2 - y1)
  76.         return length, img, [x1, y1, x2, y2, cx, cy]
  77. def main():
  78.     pTime = 0
  79.     cTime = 0
  80.     cap = cv2.VideoCapture(0)
  81.     detector = handDetector()
  82.     while True:
  83.         success, img = cap.read()
  84.         img = detector.findHands(img)
  85.         lmList, bbox = detector.findPosition(img)
  86.         if len(lmList) != 0:
  87.             #print(lmList[4])
  88.             
  89.             fingers = detector.findDistance(8,4,img)   
  90.             
  91.             print(fingers[0])
  92.         cTime = time.time()
  93.         fps = 1 / (cTime - pTime)
  94.         pTime = cTime
  95.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)
  96.         cv2.imshow("Image", img)
  97.         cv2.waitKey(1)
  98. if __name__ == "__main__":
  99.     main()
复制代码
【两指距离】
两指距离获取后,使用平均值进行滤波。
并采用距离比值(拇指与食指的距离与掌根与小拇指根的距离),来表示拇指与食指的张开程度。目的是为了解决,在图像“近大远小”的问题。
           dis1 = detector.findDistance(8,4,img)
           dis2 = detector.findDistance(0,17,img)   
           dis= dis1[0]/dis2[0]
  1. import cv2
  2. import mediapipe as mp
  3. import time
  4. import math
  5. import numpy as np
  6. class handDetector():
  7.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):
  8.         self.mode = mode
  9.         self.maxHands = maxHands
  10.         self.detectionCon = detectionCon
  11.         self.trackCon = trackCon
  12.         self.mpHands = mp.solutions.hands
  13.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,
  14.         self.detectionCon, self.trackCon)
  15.         self.mpDraw = mp.solutions.drawing_utils
  16.         self.tipIds = [4, 8, 12, 16, 20]
  17.     def findHands(self, img, draw=True):
  18.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
  19.         self.results = self.hands.process(imgRGB)
  20.     # print(results.multi_hand_landmarks)
  21.         if self.results.multi_hand_landmarks:
  22.             for handLms in self.results.multi_hand_landmarks:
  23.                 if draw:
  24.                     self.mpDraw.draw_landmarks(img, handLms,
  25.                     self.mpHands.HAND_CONNECTIONS)
  26.         return img
  27.     def findPosition(self, img, handNo=0, draw=True):
  28.         xList = []
  29.         yList = []
  30.         bbox = []
  31.         self.lmList = []
  32.         if self.results.multi_hand_landmarks:
  33.             myHand = self.results.multi_hand_landmarks[handNo]
  34.             for id, lm in enumerate(myHand.landmark):
  35.             # print(id, lm)
  36.                 h, w, c = img.shape
  37.                 cx, cy = int(lm.x * w), int(lm.y * h)
  38.                 xList.append(cx)
  39.                 yList.append(cy)
  40.             # print(id, cx, cy)
  41.                 self.lmList.append([id, cx, cy])
  42.                 if draw:
  43.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)
  44.             xmin, xmax = min(xList), max(xList)
  45.             ymin, ymax = min(yList), max(yList)
  46.             bbox = xmin, ymin, xmax, ymax
  47.             if draw:
  48.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),(0, 255, 0), 2)
  49.         return self.lmList, bbox
  50.     def fingersUp(self):
  51.         fingers = []
  52.     # Thumb
  53.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:
  54.             fingers.append(1)
  55.         else:
  56.             fingers.append(0)
  57.     # Fingers
  58.         for id in range(1, 5):
  59.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:
  60.                 fingers.append(1)
  61.             else:
  62.                 fingers.append(0)
  63.         # totalFingers = fingers.count(1)
  64.         return fingers
  65.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):
  66.         x1, y1 = self.lmList[p1][1:]
  67.         x2, y2 = self.lmList[p2][1:]
  68.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2
  69.         if draw:
  70.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)
  71.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)
  72.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)
  73.             #cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)
  74.             length = math.hypot(x2 - x1, y2 - y1)
  75.         return length, img, [x1, y1, x2, y2, cx, cy]
  76. def main():
  77.     global dis,i
  78.     i=0
  79.     dis=[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
  80.     pTime = 0
  81.     cTime = 0
  82.     cap = cv2.VideoCapture(0)
  83.     detector = handDetector()
  84.     while True:
  85.         success, img = cap.read()
  86.         img = detector.findHands(img)
  87.         lmList, bbox = detector.findPosition(img)
  88.         if len(lmList) != 0:
  89.             #print(lmList[4])
  90.             
  91.             dis1 = detector.findDistance(8,4,img)
  92.             dis2 = detector.findDistance(0,17,img)   
  93.             dis[i]= dis1[0]/dis2[0]
  94.             i=i+1
  95.             if i>19:
  96.                 i=0
  97.             print(np.mean(dis))
  98.         cTime = time.time()
  99.         fps = 1 / (cTime - pTime)
  100.         pTime = cTime
  101.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)
  102.         cv2.imshow("Image", img)
  103.         cv2.waitKey(1)
  104. if __name__ == "__main__":
  105.     main()
复制代码

【手势控制机械钳】
  1. import cv2
  2. import mediapipe as mp
  3. import time
  4. import math
  5. import numpy as np
  6. from pinpong.board import Board
  7. from pinpong.extension.microbit import *
  8. from pinpong.libs.microbit_motor import DFServo
  9. Board("microbit").begin()
  10. class handDetector():
  11.     def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):
  12.         self.mode = mode
  13.         self.maxHands = maxHands
  14.         self.detectionCon = detectionCon
  15.         self.trackCon = trackCon
  16.         self.mpHands = mp.solutions.hands
  17.         self.hands = self.mpHands.Hands(self.mode, self.maxHands,
  18.         self.detectionCon, self.trackCon)
  19.         self.mpDraw = mp.solutions.drawing_utils
  20.         self.tipIds = [4, 8, 12, 16, 20]
  21.     def findHands(self, img, draw=True):
  22.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
  23.         self.results = self.hands.process(imgRGB)
  24.     # print(results.multi_hand_landmarks)
  25.         if self.results.multi_hand_landmarks:
  26.             for handLms in self.results.multi_hand_landmarks:
  27.                 if draw:
  28.                     self.mpDraw.draw_landmarks(img, handLms,
  29.                     self.mpHands.HAND_CONNECTIONS)
  30.         return img
  31.     def findPosition(self, img, handNo=0, draw=True):
  32.         xList = []
  33.         yList = []
  34.         bbox = []
  35.         self.lmList = []
  36.         if self.results.multi_hand_landmarks:
  37.             myHand = self.results.multi_hand_landmarks[handNo]
  38.             for id, lm in enumerate(myHand.landmark):
  39.             # print(id, lm)
  40.                 h, w, c = img.shape
  41.                 cx, cy = int(lm.x * w), int(lm.y * h)
  42.                 xList.append(cx)
  43.                 yList.append(cy)
  44.             # print(id, cx, cy)
  45.                 self.lmList.append([id, cx, cy])
  46.                 if draw:
  47.                     cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)
  48.             xmin, xmax = min(xList), max(xList)
  49.             ymin, ymax = min(yList), max(yList)
  50.             bbox = xmin, ymin, xmax, ymax
  51.             if draw:
  52.                 cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),(0, 255, 0), 2)
  53.         return self.lmList, bbox
  54.     def fingersUp(self):
  55.         fingers = []
  56.     # Thumb
  57.         if self.lmList[self.tipIds[0]][1] > self.lmList[self.tipIds[0] - 1][1]:
  58.             fingers.append(1)
  59.         else:
  60.             fingers.append(0)
  61.     # Fingers
  62.         for id in range(1, 5):
  63.             if self.lmList[self.tipIds[id]][2] < self.lmList[self.tipIds[id] - 2][2]:
  64.                 fingers.append(1)
  65.             else:
  66.                 fingers.append(0)
  67.         # totalFingers = fingers.count(1)
  68.         return fingers
  69.     def findDistance(self, p1, p2, img, draw=True,r=15, t=3):
  70.         x1, y1 = self.lmList[p1][1:]
  71.         x2, y2 = self.lmList[p2][1:]
  72.         cx, cy = (x1 + x2) // 2, (y1 + y2) // 2
  73.         if draw:
  74.             cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)
  75.             cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)
  76.             cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)
  77.             #cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)
  78.             length = math.hypot(x2 - x1, y2 - y1)
  79.         return length, img, [x1, y1, x2, y2, cx, cy]
  80. def numberMap(x, in_min, in_max, out_min, out_max):
  81.   return (x - in_min) * (out_max - out_min) / (in_max - in_min) + out_min
  82. def main():
  83.     global dis,i
  84.     i=0
  85.     dis=[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0]
  86.     pTime = 0
  87.     cTime = 0
  88.     cap = cv2.VideoCapture(0)
  89.     detector = handDetector()
  90.     S8 = DFServo(8)
  91.     while True:
  92.         success, img = cap.read()
  93.         img = detector.findHands(img)
  94.         lmList, bbox = detector.findPosition(img)
  95.         if len(lmList) != 0:
  96.             #print(lmList[4])
  97.             
  98.             dis1 = detector.findDistance(8,4,img)
  99.             dis2 = detector.findDistance(0,17,img)   
  100.             dis[i]= dis1[0]/dis2[0]
  101.             i=i+1
  102.             if i>19:
  103.                 i=0
  104.             dis_avg=np.mean(dis)*10
  105.             angle=int(numberMap(dis_avg,20,1,40,100))
  106.             
  107.             S8.angle(angle)
  108.         cTime = time.time()
  109.         fps = 1 / (cTime - pTime)
  110.         pTime = cTime
  111.         cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)
  112.         cv2.imshow("Image", img)
  113.         cv2.waitKey(1)
  114. if __name__ == "__main__":
  115.     main()
复制代码


您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2021 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail