云天 发表于 2021-11-19 23:24:08

手势控制机械钳

本帖最后由 云天 于 2021-11-20 08:35 编辑

最近通过不断的研究和应用，感觉Mind+Python模式结合Mediapipe是一对完美结合，本次将使用Mediapipe的手部标志追踪再结合Pinpong库，控制机械钳。
【MediaPipe】
MediaPipe 是一款由 Google Research 开发并开源的多媒体机器学习模型应用框架。在谷歌，一系列重要产品，如 YouTube、Google Lens、ARCore、Google Home 以及 Nest，都已深度整合了 MediaPipe。


【Mind+安装】

1、安装mediapipe

2、安装pinpong

【手势标识追踪】





import cv2
import mediapipe as mp
import time
import math
import numpy as np

class handDetector():
    def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):
      self.mode = mode
      self.maxHands = maxHands
      self.detectionCon = detectionCon
      self.trackCon = trackCon

      self.mpHands = mp.solutions.hands
      self.hands = self.mpHands.Hands(self.mode, self.maxHands,
      self.detectionCon, self.trackCon)
      self.mpDraw = mp.solutions.drawing_utils
      self.tipIds =

    def findHands(self, img, draw=True):
      imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
      self.results = self.hands.process(imgRGB)
    # print(results.multi_hand_landmarks)

      if self.results.multi_hand_landmarks:
            for handLms in self.results.multi_hand_landmarks:
                if draw:
                  self.mpDraw.draw_landmarks(img, handLms,
                  self.mpHands.HAND_CONNECTIONS)

      return img

    def findPosition(self, img, handNo=0, draw=True):
      xList = []
      yList = []
      bbox = []
      self.lmList = []
      if self.results.multi_hand_landmarks:
            myHand = self.results.multi_hand_landmarks
            for id, lm in enumerate(myHand.landmark):
            # print(id, lm)
                h, w, c = img.shape
                cx, cy = int(lm.x * w), int(lm.y * h)
                xList.append(cx)
                yList.append(cy)
            # print(id, cx, cy)
                self.lmList.append()
                if draw:
                  cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

            xmin, xmax = min(xList), max(xList)
            ymin, ymax = min(yList), max(yList)
            bbox = xmin, ymin, xmax, ymax

            if draw:
                cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),
      (0, 255, 0), 2)

      return self.lmList, bbox

    def fingersUp(self):
      fingers = []
    # Thumb
      if self.lmList] > self.lmList - 1]:
            fingers.append(1)
      else:
            fingers.append(0)

    # Fingers
      for id in range(1, 5):
            if self.lmList] < self.lmList - 2]:
                fingers.append(1)
            else:
                fingers.append(0)

      # totalFingers = fingers.count(1)

      return fingers

    def findDistance(self, p1, p2, img, draw=True,r=15, t=3):
      x1, y1 = self.lmList
      x2, y2 = self.lmList
      cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

      if draw:
            cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)
            cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)
            cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)
            cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)
            length = math.hypot(x2 - x1, y2 - y1)

      return length, img,

def main():
    pTime = 0
    cTime = 0
    cap = cv2.VideoCapture(0)
    detector = handDetector()
    while True:
      success, img = cap.read()
      img = detector.findHands(img)
      lmList, bbox = detector.findPosition(img)
      if len(lmList) != 0:
            #print(lmList)
            
            fingers = detector.findDistance(8,4,img)   
            
            print(fingers)
      cTime = time.time()
      fps = 1 / (cTime - pTime)
      pTime = cTime

      cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

      cv2.imshow("Image", img)
      cv2.waitKey(1)

if __name__ == "__main__":
    main()
https://www.bilibili.com/video/BV1Q34y1d7UE?share_source=copy_web【两指距离】两指距离获取后，使用平均值进行滤波。并采用距离比值（拇指与食指的距离与掌根与小拇指根的距离），来表示拇指与食指的张开程度。目的是为了解决，在图像“近大远小”的问题。
         dis1 = detector.findDistance(8,4,img)
         dis2 = detector.findDistance(0,17,img)   
         dis= dis1/dis2



import cv2
import mediapipe as mp
import time
import math
import numpy as np

class handDetector():
    def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):
      self.mode = mode
      self.maxHands = maxHands
      self.detectionCon = detectionCon
      self.trackCon = trackCon

      self.mpHands = mp.solutions.hands
      self.hands = self.mpHands.Hands(self.mode, self.maxHands,
      self.detectionCon, self.trackCon)
      self.mpDraw = mp.solutions.drawing_utils
      self.tipIds =

    def findHands(self, img, draw=True):
      imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
      self.results = self.hands.process(imgRGB)
    # print(results.multi_hand_landmarks)

      if self.results.multi_hand_landmarks:
            for handLms in self.results.multi_hand_landmarks:
                if draw:
                  self.mpDraw.draw_landmarks(img, handLms,
                  self.mpHands.HAND_CONNECTIONS)

      return img

    def findPosition(self, img, handNo=0, draw=True):
      xList = []
      yList = []
      bbox = []
      self.lmList = []
      if self.results.multi_hand_landmarks:
            myHand = self.results.multi_hand_landmarks
            for id, lm in enumerate(myHand.landmark):
            # print(id, lm)
                h, w, c = img.shape
                cx, cy = int(lm.x * w), int(lm.y * h)
                xList.append(cx)
                yList.append(cy)
            # print(id, cx, cy)
                self.lmList.append()
                if draw:
                  cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

            xmin, xmax = min(xList), max(xList)
            ymin, ymax = min(yList), max(yList)
            bbox = xmin, ymin, xmax, ymax

            if draw:
                cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),(0, 255, 0), 2)

      return self.lmList, bbox

    def fingersUp(self):
      fingers = []
    # Thumb
      if self.lmList] > self.lmList - 1]:
            fingers.append(1)
      else:
            fingers.append(0)

    # Fingers
      for id in range(1, 5):
            if self.lmList] < self.lmList - 2]:
                fingers.append(1)
            else:
                fingers.append(0)

      # totalFingers = fingers.count(1)

      return fingers

    def findDistance(self, p1, p2, img, draw=True,r=15, t=3):
      x1, y1 = self.lmList
      x2, y2 = self.lmList
      cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

      if draw:
            cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)
            cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)
            cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)
            #cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)
            length = math.hypot(x2 - x1, y2 - y1)

      return length, img,

def main():
    global dis,i
    i=0
    dis=
    pTime = 0
    cTime = 0
    cap = cv2.VideoCapture(0)
    detector = handDetector()
    while True:
      success, img = cap.read()
      img = detector.findHands(img)
      lmList, bbox = detector.findPosition(img)
      if len(lmList) != 0:
            #print(lmList)
            
            dis1 = detector.findDistance(8,4,img)
            dis2 = detector.findDistance(0,17,img)   
            dis= dis1/dis2
            i=i+1
            if i>19:
                i=0
            print(np.mean(dis))
      cTime = time.time()
      fps = 1 / (cTime - pTime)
      pTime = cTime

      cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

      cv2.imshow("Image", img)
      cv2.waitKey(1)

if __name__ == "__main__":
    main()
https://www.bilibili.com/video/BV1PU4y1u7eN?share_source=copy_web
【手势控制机械钳】



import cv2
import mediapipe as mp
import time
import math
import numpy as np
from pinpong.board import Board
from pinpong.extension.microbit import *
from pinpong.libs.microbit_motor import DFServo

Board("microbit").begin()

class handDetector():
    def __init__(self, mode=False, maxHands=2, detectionCon=0.8, trackCon=0.5):
      self.mode = mode
      self.maxHands = maxHands
      self.detectionCon = detectionCon
      self.trackCon = trackCon

      self.mpHands = mp.solutions.hands
      self.hands = self.mpHands.Hands(self.mode, self.maxHands,
      self.detectionCon, self.trackCon)
      self.mpDraw = mp.solutions.drawing_utils
      self.tipIds =

    def findHands(self, img, draw=True):
      imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
      self.results = self.hands.process(imgRGB)
    # print(results.multi_hand_landmarks)

      if self.results.multi_hand_landmarks:
            for handLms in self.results.multi_hand_landmarks:
                if draw:
                  self.mpDraw.draw_landmarks(img, handLms,
                  self.mpHands.HAND_CONNECTIONS)

      return img

    def findPosition(self, img, handNo=0, draw=True):
      xList = []
      yList = []
      bbox = []
      self.lmList = []
      if self.results.multi_hand_landmarks:
            myHand = self.results.multi_hand_landmarks
            for id, lm in enumerate(myHand.landmark):
            # print(id, lm)
                h, w, c = img.shape
                cx, cy = int(lm.x * w), int(lm.y * h)
                xList.append(cx)
                yList.append(cy)
            # print(id, cx, cy)
                self.lmList.append()
                if draw:
                  cv2.circle(img, (cx, cy), 5, (255, 0, 255), cv2.FILLED)

            xmin, xmax = min(xList), max(xList)
            ymin, ymax = min(yList), max(yList)
            bbox = xmin, ymin, xmax, ymax

            if draw:
                cv2.rectangle(img, (xmin - 20, ymin - 20), (xmax + 20, ymax + 20),(0, 255, 0), 2)

      return self.lmList, bbox

    def fingersUp(self):
      fingers = []
    # Thumb
      if self.lmList] > self.lmList - 1]:
            fingers.append(1)
      else:
            fingers.append(0)

    # Fingers
      for id in range(1, 5):
            if self.lmList] < self.lmList - 2]:
                fingers.append(1)
            else:
                fingers.append(0)

      # totalFingers = fingers.count(1)

      return fingers

    def findDistance(self, p1, p2, img, draw=True,r=15, t=3):
      x1, y1 = self.lmList
      x2, y2 = self.lmList
      cx, cy = (x1 + x2) // 2, (y1 + y2) // 2

      if draw:
            cv2.line(img, (x1, y1), (x2, y2), (255, 0, 255), t)
            cv2.circle(img, (x1, y1), r, (255, 0, 255), cv2.FILLED)
            cv2.circle(img, (x2, y2), r, (255, 0, 255), cv2.FILLED)
            #cv2.circle(img, (cx, cy), r, (0, 0, 255), cv2.FILLED)
            length = math.hypot(x2 - x1, y2 - y1)

      return length, img,
def numberMap(x, in_min, in_max, out_min, out_max):
return (x - in_min) * (out_max - out_min) / (in_max - in_min) + out_min

def main():
    global dis,i
    i=0
    dis=
    pTime = 0
    cTime = 0
    cap = cv2.VideoCapture(0)
    detector = handDetector()
    S8 = DFServo(8)
    while True:
      success, img = cap.read()
      img = detector.findHands(img)
      lmList, bbox = detector.findPosition(img)
      if len(lmList) != 0:
            #print(lmList)
            
            dis1 = detector.findDistance(8,4,img)
            dis2 = detector.findDistance(0,17,img)   
            dis= dis1/dis2
            i=i+1
            if i>19:
                i=0
            dis_avg=np.mean(dis)*10
            angle=int(numberMap(dis_avg,20,1,40,100))
            
            S8.angle(angle)
      cTime = time.time()
      fps = 1 / (cTime - pTime)
      pTime = cTime

      cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,(255, 0, 255), 3)

      cv2.imshow("Image", img)
      cv2.waitKey(1)

if __name__ == "__main__":
    main()

https://www.bilibili.com/video/BV15Y41147mB?share_source=copy_web

rzegkly 发表于 2022-2-2 21:06:33

喜欢

赤星三春牛！ 发表于 2022-2-5 20:21:22

嘿嘿嘿嘿

赤星三春牛！ 发表于 2022-2-5 20:21:42

这个不错

QQQQQQQ 发表于 2022-3-13 13:53:27

厉害厉害

星辰大海：//。， 发表于 2022-10-23 17:26:50

6666666666666

O0LIt6pcvaMS 发表于 2023-4-6 16:33:41

为什么还是下不了mediapipe呢？

曾剑波 发表于 2023-10-11 21:44:31

很好！最近在做人工智能项目
页: [1]
查看完整版本: 手势控制机械钳