设为首页收藏本站
首页 > 论坛 > Mind+

[项目分享]Mind+Python+Mediapipe项目——AI健身之开合跳

云天 | 初级技神 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2021-12-3 22:52:06 [显示全部楼层]
8025浏览
1回复
0收藏
查看: 8025|回复: 1

[项目分享] Mind+Python+Mediapipe项目——AI健身之开合跳

[复制链接]
本帖最后由 云天 于 2021-12-3 23:02 编辑

【项目背景】
要说燃脂运动，相信很多人首先会想到“波比跳”，当然啦对于很多新手来说做波比跳并不是特别的容易，所以他们就会选择一种相对比较简单但效果同样很不错的——开合跳！长时间锻炼，需要毅力坚持。但也可以让枯燥的运动，变的有乐趣。今天这个项目让人工智能陪我们一起快乐健身。

【项目设计】
Mind+Python+Mediapipe项目——AI健身之开合跳图1

使用Mind+Python模式下加载Google的开源Mediapipe人工智能算法库，识别人体姿态，利用动作中两臂与躯体的夹角及两腿夹角的变化来判断开合跳次数，并通过Pinpong库控制LED灯实时显示次数。
其中使用到了Python文件操作功能，边制作边学习。

【测试程序】
Mind+Python+Mediapipe项目——AI健身之开合跳图2

使用网络视频进行合跳测试，标注关键信息点。
  1. 

  2. import numpy as np

  3. import time

  4. import cv2

  5. import PoseModule as pm

  6. cap = cv2.VideoCapture('hetiao4.mp4')

  7. detector = pm.poseDetector()

  8. count = 0

  9. dir = 0

  10. pTime = 0

  11. success=True

  12. while success:

  13.   success, img = cap.read()

  14.   if success:

  15.     img = cv2.resize(img, (640, 480))

  16. 

  17.     img = detector.findPose(img, False)

  18.     lmList = detector.findPosition(img, False)

  19.     

  20.     if len(lmList) != 0:

  21.         # 双腿

  22.         angle1 = detector.findAngle(img, 28, 23, 27)

  23.         # 双臂

  24.         angle2 = detector.findAngle(img, 15, 11, 23)

  25.         angle3 = detector.findAngle(img, 16, 12, 24)

  26.         print(angle1,angle2,angle3)

  27. 

  28.     cTime = time.time()

  29.     fps = 1 / (cTime - pTime)

  30.     pTime = cTime

  31.     cv2.putText(img, str(int(fps)), (50, 100), cv2.FONT_HERSHEY_PLAIN, 5,(255, 0, 0), 5)

  32.     cv2.imshow("Image", img)

  33.     cv2.waitKey(1)

  34. cap.release()

  35. cv2.destroyAllWindows()

复制代码


【获取标准数据】
Mind+Python+Mediapipe项目——AI健身之开合跳图3



通过对标准动作检测，获取动作标准数据，并存储在数据文件中。
  1. 

  2. 

  3. 

  4. import numpy as np

  5. import time

  6. import cv2

  7. import PoseModule as pm

  8. import os,sys

  9. cap = cv2.VideoCapture('ht.mp4')

  10. detector = pm.poseDetector()

  11. count = 0

  12. dir = 0

  13. pTime = 0

  14. success=True

  15. angle1=[]

  16. angle2=[]

  17. angle3=[]

  18. def max_min(a):

  19.  h = []

  20.  l = []

  21.  

  22.  for i in range(1, len(a)-1):

  23.     if(a[i-1] < a[i] and a[i+1] < a[i]):

  24.         h.append(a[i])

  25.     elif(a[i-1] > a[i] and a[i+1] > a[i]):

  26.         l.append(a[i])

  27.  if(len(h) == 0):

  28.     h.append(max(a))

  29.  if(len(l) == 0):

  30.     l.append(min(a[a.index(max(a)):]))

  31.  

  32.  print(int(np.mean(h)),int(np.mean(l)))

  33.  return(int(np.mean(h)),int(np.mean(l)))

  34. while success:

  35.   success, img = cap.read()

  36.   if success:

  37.     img = cv2.resize(img, (640, 480))

  38. 

  39.     img = detector.findPose(img, False)

  40.     lmList = detector.findPosition(img, False)

  41.     

  42.     if len(lmList) != 0:

  43.         # 双腿

  44.         angle1.append( detector.findAngle(img, 28, 23, 27))

  45.         # 双臂

  46.         angle2.append( detector.findAngle(img, 15, 11, 23))

  47.         angle3.append( detector.findAngle(img, 16, 12, 24))

  48.         

  49.         

  50.     cTime = time.time()

  51.     fps = 1 / (cTime - pTime)

  52.     pTime = cTime

  53.     cv2.putText(img, str(int(fps)), (50, 100), cv2.FONT_HERSHEY_PLAIN, 5,(255, 0, 0), 5)

  54.     cv2.imshow("Image", img)

  55.     cv2.waitKey(1)

  56. a1,b1=max_min(angle1)

  57. a2,b2=max_min(angle2)

  58. a3,b3=max_min(angle3)

  59. fo = open("data.txt", "w")

  60. fo.write(str(a1)+","+str(b1)+","+str(a2)+","+str(b2)+","+str(a3)+","+str(b3))

  61. # 关闭文件

  62. fo.close()

  63. cap.release()

  64. cv2.destroyAllWindows()

  65. 

  66. 

复制代码
调用函数计算出两臂、两腿夹角的最大角度和最小角度，并通过文件操作将数据写入“data.txt”文件中。

  1. 

  2. a1,b1=max_min(angle1)

  3. a2,b2=max_min(angle2)

  4. a3,b3=max_min(angle3)

  5. fo = open("data.txt", "w")

  6. fo.write(str(a1)+","+str(b1)+","+str(a2)+","+str(b2)+","+str(a3)+","+str(b3))

复制代码

【开合跳计数程序】
1、读取标准数据文件，并将数据转换为列表
  1. 

  2. from pathlib import Path

  3. import sys

  4. my_file = Path("data.txt")

  5. if not my_file.is_file():

  6.     print("没有标准数据文件")

  7.     sys.exit()

  8. else:

  9.     f = open("data.txt",encoding = "utf-8") 

  10.     data=f.read()

  11.     data=data.split(",")

  12.     f.close()

复制代码
2、利用标准数据对动作进行判定，是否完成一次完整动作，并在屏幕显示
  1. 

  2. # 双腿夹角

  3.         angle1 = detector.findAngle(img, 28, 23, 27)

  4.         # 双臂与躯干夹角

  5.         angle2 = detector.findAngle(img, 15, 11, 23)

  6.         angle3 = detector.findAngle(img, 16, 12, 24)

  7.         #print(angle1,angle2,angle3)

  8.         per1 = np.interp(angle1, (int(data[1]), int(data[0])), (0, 100))

  9.         per2 = np.interp(angle2, (int(data[3]), int(data[2])), (100, 0))

  10.         per3 = np.interp(angle3, (int(data[5]), int(data[4])), (0, 100))

  11.         light = int(np.interp(angle1, (220, 310), (119, 0)))

  12.         # print(angle, per)

  13.         # 计算个数

  14.         per=per1+per2+per3

  15.         #print(per1,per2,per3)

  16.         if per == 300:

  17.             

  18.             if dir == 0:

  19.                 count += 0.5

  20.                 dir = 1

  21.         if per == 0:

  22.             

  23.             if dir == 1:

  24.                 count += 0.5

  25.                 dir = 0

  26.         #print(count)

  27.         cv2.putText(img, str(int(count)), (45, 460), cv2.FONT_HERSHEY_PLAIN, 7,(255, 0, 0), 8)

复制代码




【LED炫灯显示计数】
1、Pinpong库初始化
  1. from pinpong.board import Board,Pin,NeoPixel

  2. NEOPIXEL_PIN = Pin.P0

  3. PIXELS_NUM = 120 #灯数

  4. Board("microbit").begin()  #初始化

  5. npX = NeoPixel(Pin(NEOPIXEL_PIN), PIXELS_NUM)
复制代码
2、亮灯显示计数

  1. light = int(np.interp(int(count)), (0, 120), (0, 120)))

  2.         npX.rainbow(0,light,0,0x0000FF)
复制代码
【完整程序】
Mind+Python+Mediapipe项目——AI健身之开合跳图4

  1. 

  2. 

  3. import numpy as np

  4. import time

  5. import cv2

  6. import PoseModule as pm

  7. from pathlib import Path

  8. import sys

  9. my_file = Path("data.txt")

  10. if not my_file.is_file():

  11.     print("没有标准数据文件")

  12.     sys.exit()

  13. else:

  14.     f = open("data.txt",encoding = "utf-8") 

  15.     data=f.read()

  16.     data=data.split(",")

  17.     f.close()

  18. from pinpong.board import Board,Pin,NeoPixel

  19. NEOPIXEL_PIN = Pin.P0

  20. PIXELS_NUM = 120 #灯数

  21. Board("microbit").begin()  #初始化

  22. npX = NeoPixel(Pin(NEOPIXEL_PIN), PIXELS_NUM)

  23. cap = cv2.VideoCapture('d.mp4')

  24. 

  25. cap.set(3, 640)

  26. cap.set(4, 480)

  27. detector = pm.poseDetector()

  28. count = 0

  29. dir = 0

  30. pTime = 0

  31. success=True

  32. 

  33. while success:

  34.   success, img = cap.read()

  35.   if success:

  36.     img = cv2.resize(img, (640, 480))

  37. 

  38.     img = detector.findPose(img, False)

  39.     lmList = detector.findPosition(img, False)

  40.     

  41.     if len(lmList) != 0:

  42.         # 双腿夹角

  43.         angle1 = detector.findAngle(img, 28, 23, 27)

  44.         # 双臂与躯干夹角

  45.         angle2 = detector.findAngle(img, 15, 11, 23)

  46.         angle3 = detector.findAngle(img, 16, 12, 24)

  47.         #print(angle1,angle2,angle3)

  48.         per1 = np.interp(angle1, (int(data[1]), int(data[0])), (0, 100))

  49.         per2 = np.interp(angle2, (int(data[3]), int(data[2])), (100, 0))

  50.         per3 = np.interp(angle3, (int(data[5]), int(data[4])), (0, 100))

  51.         

  52.         # print(angle, per)

  53.         # 计算个数

  54.         per=per1+per2+per3

  55.         #print(per1,per2,per3)

  56.         if per == 300:

  57.             

  58.             if dir == 0:

  59.                 count += 0.5

  60.                 dir = 1

  61.         if per == 0:

  62.             

  63.             if dir == 1:

  64.                 count += 0.5

  65.                 dir = 0

  66.         #print(count)

  67.         light = int(np.interp(int(count)), (0, 120), (0, 120)))

  68.         npX.rainbow(0,light,0,0x0000FF)

  69.         cv2.putText(img, str(int(count)), (45, 460), cv2.FONT_HERSHEY_PLAIN, 7,(255, 0, 0), 8)

  70.     cTime = time.time()

  71.     fps = 1 / (cTime - pTime)

  72.     pTime = cTime

  73.     cv2.putText(img, str(int(fps)), (50, 100), cv2.FONT_HERSHEY_PLAIN, 5,(255, 0, 0), 5)

  74.     cv2.imshow("Image", img)

  75.     cv2.waitKey(1)

  76. cap.release()

  77. cv2.destroyAllWindows()

  78. 

复制代码
【演示视频】

【PoseModule.py】
以上文件所引用的“PoseModule.py”文件。
  1. 

  2. import math

  3. import mediapipe as mp

  4. import cv2

  5. class poseDetector():

  6. 

  7.     def __init__(self, mode=False, upBody=False, smooth=True,

  8.                  detectionCon=0.85, trackCon=0.5):

  9. 

  10.         self.mode = mode

  11.         self.upBody = upBody

  12.         self.smooth = smooth

  13.         self.detectionCon = detectionCon

  14.         self.trackCon = trackCon

  15. 

  16.         self.mpDraw = mp.solutions.drawing_utils

  17.         self.mpPose = mp.solutions.pose

  18.         self.pose = self.mpPose.Pose(self.mode, self.upBody, self.smooth,

  19.                                      self.detectionCon, self.trackCon)

  20. 

  21.     def findPose(self, img, draw=True):

  22.         imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)

  23.         self.results = self.pose.process(imgRGB)

  24.         if self.results.pose_landmarks:

  25.             if draw:

  26.                 self.mpDraw.draw_landmarks(img, self.results.pose_landmarks,

  27.                                            self.mpPose.POSE_CONNECTIONS)

  28.         return img

  29. 

  30.     def findPosition(self, img, draw=True):

  31.         self.lmList = []

  32.         if self.results.pose_landmarks:

  33.             for id, lm in enumerate(self.results.pose_landmarks.landmark):

  34.                 h, w, c = img.shape

  35.                 # print(id, lm)

  36.                 cx, cy = int(lm.x * w), int(lm.y * h)

  37.                 self.lmList.append([id, cx, cy])

  38.                 if draw:

  39.                     cv2.circle(img, (cx, cy), 5, (255, 0, 0), cv2.FILLED)

  40.         return self.lmList

  41.     def midpoint(self,img,p1,p2,draw=True):

  42.         x1, y1 = self.lmList[p1][1:]

  43.         x2, y2 = self.lmList[p2][1:] 

  44.         x3=int((x1+x2)/2)

  45.         y3=int((y1+y2)/2)

  46.         if draw:

  47.          cv2.circle(img, (x3, y3), 10, (0, 0, 255), cv2.FILLED)

  48.          cv2.circle(img, (x3, y3), 15, (0, 0, 255), 2)

  49.         point={"x":x3,"y":y3} 

  50.         return point

  51.     def findAngle(self, img, p1, p2, p3, draw=True):

  52. 

  53.         # Get the landmarks

  54.         x1, y1 = self.lmList[p1][1:]

  55.         x2, y2 = self.lmList[p2][1:]

  56.         x3, y3 = self.lmList[p3][1:]

  57. 

  58.         # Calculate the Angle

  59.         angle = math.degrees(math.atan2(y3 - y2, x3 - x2) -

  60.                              math.atan2(y1 - y2, x1 - x2))

  61.         if angle < 0:

  62.             angle += 360

  63. 

  64.         # print(angle)

  65. 

  66.         # Draw

  67.         if draw:

  68.             cv2.line(img, (x1, y1), (x2, y2), (255, 255, 255), 3)

  69.             cv2.line(img, (x3, y3), (x2, y2), (255, 255, 255), 3)

  70.             cv2.circle(img, (x1, y1), 10, (0, 0, 255), cv2.FILLED)

  71.             cv2.circle(img, (x1, y1), 15, (0, 0, 255), 2)

  72.             cv2.circle(img, (x2, y2), 10, (0, 0, 255), cv2.FILLED)

  73.             cv2.circle(img, (x2, y2), 15, (0, 0, 255), 2)

  74.             cv2.circle(img, (x3, y3), 10, (0, 0, 255), cv2.FILLED)

  75.             cv2.circle(img, (x3, y3), 15, (0, 0, 255), 2)

  76.             cv2.putText(img, str(int(angle)), (x2 - 50, y2 + 50),

  77.                         cv2.FONT_HERSHEY_PLAIN, 2, (0, 0, 255), 2)

  78.         return angle

  79. 

  80. 

复制代码








回复

使用道具 举报

精彩评论(1)

西门吹风  学徒

发表于 2022-4-26 11:03:39

想问下， if per == 300: 这个300是什么意思的，我看了好久看不懂呢
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主
勋章墙
活跃会员 宣传大使 创客造 编辑选择奖 志“童”道合 编辑选择奖 编辑选择奖

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2025 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail