查看: 11846|回复: 10

[教程] 【AI2+AI】人工智能舞姿识别app

[复制链接]

人工智能舞姿识别APP

难度： 中级

课程类型： 教程

学科： 计算机科学

年级水平：

9~12年级

本教程由Youth Mobile Power提供

教程地址: Awesome Dancing with AI Tutorial

我们在YR Media的朋友发表了一个有趣的关于人工智能的互动故事，题为“你能教人工智能跳舞吗？”这引起了我们的思考。有没有一种算法来描述、识别或测量一种美妙的舞蹈？舞蹈动作可以量化和测量吗？人工智能可以帮助我们提高舞蹈技巧吗？在这个项目中，你将学习如何使用新的AI技术PoseNet来跟踪身体的关键点，创建骨骼模型，并开发一些基本方法来量化、测量和识别一些舞蹈动作。

1. 项目简介

你喜欢跳舞吗？你擅长吗？你想要提高吗？有没有一种算法来描述、识别或测量一种美妙的舞姿？舞蹈动作可以量化和测量吗？人工智能可以帮助你提高你的舞蹈技巧吗？在这个项目中，我们将学习如何使用新的AI技术PoseNet来跟踪身体的关键点，创建骨骼模型，并开发一些基本方法来量化、测量和识别一些舞蹈动作。

重要: 这个项目不能使用模拟器来测试app，因为模拟器不能运行MIT App Inventor扩展，比如PoseNet扩展。要确保你的移动设备具备PoseNet所需的硬件功能，请在附件中的.aia测试文件上使用AI2伴侣进行测试。

2. 图形用户界面(GUI)

在启动文件中已经创建了一个GUI。可以更改组件的属性来得到你想要的外观和感觉。但不要重命名组件，因为本教程会使用操作指南中给出的名称。

SwapCameraButton按钮可以根据用户的意愿切换前置或后置摄像头。CanvasLiveButton将画布背景从纯黑色切换到实时摄像机视图。ResetButton设置Dance Score得分为零。

WebViewer组件用来显示摄像头视图，Canvas组件是在黑色背景或实时摄像机视图背景上创建身体骨架模型的地方。WebViewer组件和Canvas组件的尺寸必须匹配，以便对身体进行跟踪。建议不要更改启动文件中给出的默认尺寸。

注意，组件面板最底部是PosenetExtension，这是我们用来跟踪身体关键点的AI技术，它可以帮助你构建身体的骨骼版本。

3. PoseNet 关键点

PoseNet追踪的身体关键点是:眼睛、耳朵、鼻子、肩膀、手肘、手腕、臀部、膝盖和脚踝。

如果PoseNet能够跟踪主体关键点，它就会返回一个包含两个元素的列表，这两个元素表示关键点的x坐标和y坐标。当PoseNet无法跟踪主体关键点时，它会返回一个空列表。

4. 初步的GUI代码

初始文件中已经提供了一些GUI的初步代码。研究这些代码可以让你对它们的作用有一个大致的了解。

上面这两组代码块用于将PoseNet的状态传达为“就绪”，或者在出现错误时显示错误消息。

每次点击ResetButton时，重置Dance Score为零。

swapcamera按钮将相机视图从默认的“前置”视图切换到“后置”视图，反之亦然。

CanvasLiveButton调整一个布尔变量的值，该变量用来在实时背景或纯黑色背景上显示PoseNet构造的骨骼。

5. 辅助函数（1）

初始文件中还有一些辅助性的函数。

getX和getY函数提取给定点的x和y坐标。某个点是一个由PoseNet返回的两个元素组成的列表，它们表示给定点位置的x和y坐标。

6. 辅助函数（2）

defined是一个布尔函数，如果给定点是一个包含两个元素的列表(表示该点位置的x和y坐标)，则返回true，否则返回false。如果PoseNet无法检测到身体关键点中的任何一个，则为每个缺失的关键点返回一个空列表。

allDefined是一个布尔函数，用于检查给定点列表中的所有点是否都已定义。如果所有点都已定义，则返回true，否则如果任意点未定义，则返回false。我们将使用这个辅助函数来共同检查身体的某些关键点是否被PoseNet扩展正确地跟踪并返回。如果身体的姿势由于光线不好、背景凌乱、衣服松垮等可能原因导致PoseNet无法追踪到身体的任何关键点，将返回一个空列表，说明未能检测到这个关键点。

7. 辅助函数（3）

distance是一个函数，当画布上的两个点被定义后，该函数用于计算定义这两个点之间的距离。它使用毕达哥拉斯Pythagorean公式:

上面的公式也许会让你回忆起高中的几何和代数。

8. 辅助函数（4）

drawPoint过程在画布上给定的定义点的位置绘制一个半径为4像素的小圆。这个过程帮助我们画出身体的关键点如关节。我们设置点的半径为4像素，这样关键点肉眼可见。

drawLine过程在画布上的两个定义点之间画一条线段。我们使用这个过程来绘制骨架中的骨骼来代表身体。

9. 姿态更新

当PoseNet扩展检测到它所跟踪的对象改变了位置时，会触发PosenetExtension1.PoseUpdated事件。这个事件处理程序的代码在初始文件中已经创建了，虽然每个被调用的过程(drawKeyPoints, drawBody, drawHead等)的代码都是空的，但接下来你可以很快创建。注意如果用户单击CanvasLiveButton时,事件处理程序中的if then语句可以确保摄像机实时画面会在画布上播放，画布默认为纯黑色背景。

10. 构建骨架

现在我们来编写一些过程。

drawKeyPoints过程用来绘制一个红色圆圈来表示PoseNet返回的身体的每个关键点:

设置画布画笔颜色为红色(或其他特别的颜色)
对PoseNetExtension1.KeyPoints列表中PoseNet返回的每个点，使用前面提及的辅助过程drawPoint绘制一个点。

提示

解决方案

先尝试自己编写代码，如果遇到困难可以参考提示。

drawBody过程会画出身体的骨架，通过适当关键点之间画黄线来勾勒骨架：

设置画布的画笔颜色为黄色（或者其他与关键点不同的颜色）
对于PosenetExtension1.Skeleton列表中的每块骨骼，使用前面提及的辅助过程drawLine在骨骼的两端之间绘制一条直线。

注意：PosenetExtension1.Skeleton返回一个“骨骼”列表，其中每个“骨骼”都是一个包含两个关键点的列表，这两个关键点是骨骼两端的点。比如在骨骼中，小腿的骨头是一个由脚踝关键点和膝盖关键点组成的列表。

提示

解决方案

先尝试自己编写代码，如果遇到困难可以参考提示。

11. 绘制圆形的头部（可选）

如果想在骨骼肩膀上有一个圆形的头，可以编写drawHead过程。否则在肩膀上方只有一些标明耳朵、眼睛和鼻子的关键点，没有圆形的头部，就像在前面动画中所示。

drawHead过程：

设置画布的画笔颜色为绿色(或其他一些独特的颜色)
检查是否已定义LeftEar和RightEar关键点。
用代数的中点公式，以两耳连接线的中点为圆心画一个圆：

选择圆的半径为两个耳朵之间距离的一半，确保圆穿过两只耳朵。

提示

解决方案

注意：如果水平方向的代码太长，可以使用“外接输入项”菜单选项(通过右键单击)来缩小操作所需的空间。要回到默认选项，可使用“内嵌输入项”，如下所示。

先尝试自己编写代码，如果遇到困难可以参考提示。

12. 测试应用

现在我们使用AI伴侣来测试应用是否运行良好。注意，不能在测试中使用模拟器，因为它不支持MIT App Inventor扩展，如PoseNet。

检查你的app是否可以跟踪你或他人的身体，并可以正确构建骨骼连接身体的关键点。为了获得最佳的PoseNet效果，确保身体部分光线充足，并且背景是纯色。松松垮垮的衣服也可能会干扰对身体关键点的追踪。

如果你用的是手机而不是平板电脑，屏幕可能太小，无法一次显示所有内容。在本例中，由于该项目默认选中了屏幕的“Scrollable”属性，可以通过滚动屏幕来显示想要的内容。也可以选择隐藏HorizontalArrangement1组件(该组件用于显示影子舞者的图像)。如果仍然缺少屏幕空间，还可以不勾选webviewwer1的Visible属性将其隐藏。如果进行了上述操作，要注意Canvas1的尺寸（2500x300）仍然必须完全匹配WebViewer1的尺寸。

13. 检测舞步

我们探讨一些简单的舞蹈动作：

“手在空中”舞步

“膝盖向上”舞步I, II

“特拉沃尔塔”舞步I, II

约翰·特拉沃尔塔著名的《狂热周六夜》舞步

“T形”舞步

现在我们编写代码来检测这些舞蹈动作。当这些舞蹈动作被检测到时，被跟踪的舞者的舞蹈分数Dance Score将自动增加。

14. “手在空中”舞步

过程checkForHandsintheAirMove：

首先检查PoseNet返回的以下关键点是否定义：左右手腕和左右耳朵。
定义“手在空中”舞步的一种方法是确保两个手腕点都在各边耳朵点的上方。要做到这一点，只需比较右手腕和右耳的y坐标，并对左手腕和左耳做相似的事情。画布上的x轴和y轴的位置如下图所示，原点在画布的左上角。所以右手腕在右耳上方意味着右手腕的y坐标小于右耳的y坐标。左手腕和左耳也是如此。

如果两个手腕都在各边耳朵之上，则增加Dance Score。

提示

解决方案

先尝试自己编写代码，如果遇到困难可以参考提示。

15. “膝盖向上”舞步

过程checkForKneeUpMove：

首先检查PoseNet返回的以下关键点是否定义：右膝，右臀，左膝，左臀。
定义“膝盖向上”舞步的一种方法是：或者右膝盖点在右臀部点之上，或者左膝盖点在左臀部点之上。要确定这一点，只需比较右膝盖的y坐标和右臀部的y坐标，并对左膝盖和左臀部做相似的事情。
如果任何一个膝盖在其对应的臀部之上，那么增加Dance Score。

提示