【行空板K10+姿势识别】基于 AI 姿态识别的小智健身助手

一、项目介绍

不知道你有没有过这样的体验：刚开始去健身房时，面对各种健身器材和健身动作总有些手忙脚乱，很多动作还不太熟练，想请教别人，却又不太好意思；自己照着视频练，又总担心动作不到位，甚至练了半天也不知道到底做得标不标准。如果这个时候，身边能有一个随时陪着你的“健身教练”，既能看懂你的动作，又能及时提醒你哪里需要调整，还能直接和你对话，是不是会方便很多？

基于这个想法，我尝试将行空板 K10 作为主控和交互终端、AI 视觉手势和姿态识别传感器负责获取人体姿态和关键点数据，并结合小智AI语音交互与 MCP 工具调用，做一个能够识别人体姿态、进行动作校正，并通过语音实时反馈的 AI 健身教练。希望它不仅能帮你“看动作”，还能真正做到陪伴训练、给出动作校正反馈，同时还可以直接和小智对话，比如询问“这个动作标准吗？”，小智会根据传感器实际检测结果进行回答。让健身小白也可以自己训练。

二、项目框架图

在这个项目中，我们使用AI视觉姿态识别传感器结合 行空板K10 与 小智AI，共同构建了一个能够“看动作、会判断、能交流”的 AI 健身教练助手。

其中，AI视觉姿态识别传感器负责实时采集人体动作信息，并完成人体检测、姿态识别以及关键点输出；行空板K10 作为系统的核心控制终端，负责接收和解析传感器数据，对当前人体状态、动作类别和训练结果进行分析处理，同时在屏幕上显示标准动作图和实时反馈。 而 小智 则承担“智能健身教练”的角色，负责与用户进行语音交互。用户可以直接询问“我站到位了吗？”“这个动作标准吗？”等问题，行空板 K10 通过 MCP 将人体状态查询、动作反馈、训练模式切换等能力注册成可调用工具，由小智根据语义自动选择相应工具，并将分析结果以自然语言反馈给用户。

什么是 MCP？ 

MCP（Model Context Protocol，模型上下文协议）旨在为大型语言模型（LLM）应用与外部数据源、工具之间提供无缝集成的标准化方式。可以理解为连接 AI 与外部设备功能 的一座“桥梁”。大语言模型本身擅长理解用户语言和生成回答，但它并不知道设备当前检测到了什么，也不能直接读取传感器数据，因此需要通过 MCP 将这些能力开放给 AI 调用。

“小智MCP”指的是开源 AI 聊天机器人项目 “小智”（Xiaozhi） 对模型上下文协议（MCP） 的集成与应用。它让小智这个语音交互终端，能够通过 MCP 标准连接和控制外部世界。在本项目中，姿态传感器负责采集人体姿态和关键点数据，行空板 K10 负责对这些数据进行解析和动作分析，并将人体状态查询、动作反馈、训练模式切换等功能注册成 MCP工具。当用户通过语音询问“这个动作标准吗？”时，小智会根据用户语义自动选择并调用对应的 MCP 工具，读取行空板 K10 当前已经分析好的真实训练数据，再将结果转换成自然语言反馈给用户。

三、项目展示

首页效果及功能

系统启动后首先进入训练动作选择界面，中间列出当前支持的训练动作，例如“靠墙静蹲，弓步压腿，平板支撑”。用户可以通过按键（A：短按—向上选择模式，B：短按—向下选择模式）快速切换想要训练的健身动作，并长按A键进入对应的训练模式。

也可以通过“你好，小智”来唤醒小智，然后和他说：“今天我想锻炼一下靠墙静蹲”，小智就会自动进入靠墙静蹲校正模式。

次页效果及功能

选择“靠墙静蹲”模式后，传感器会根据你的动作进行提示，哪里可以调整一下，你可以询问小智：“你好，小智，请告诉我靠墙静蹲的关键技术要点”它会将腿如何摆，腰腹要收到什么程度，这些关键技术要点告诉你，然后你也可以及时调整。

同时你也可以和小智说：“我想挑战一下靠墙静蹲30秒，请帮我计时一下”，然后小智就会自动进入倒计时，并在结束时会有结束提示音。

效果视频

四、项目制作准备

所需硬件

• 行空板 K10（UNIHIKER K10）*1
• SEN0670 AI视觉手势和姿态识别传感器 *1
• PH2.0-4P数据线 *1
• USB TYPE-C数据线 *1

接线关系

所需软件 

xiaozhi-esp32 是一个开源的 ESP-IDF 项目，由于 ESP-IDF 的配置过程比较繁琐，可以直接下载我调试好的 xiaozhi 固件在行空板K10上烧录。

烧录工具：附件1

固件下载：附件2

五、项目制作步骤

在健身过程中，我们通常会通过观察身体姿势来判断一个动作是否标准，例如靠墙静蹲时大腿是否接近水平、弓步时前后腿的位置是否正确、平板支撑时身体是否保持稳定，腹部是否收紧。那么问题来了：AI 是如何“看懂”这些动作，并判断我们的姿势是否标准的呢？

这里就要用到 人体姿态识别。姿态识别并不是简单判断画面中“有没有人”，而是通过人体头部、肩膀、手臂、髋部、膝盖、脚踝等关键位置，分析人体当前所处的姿势。像一些常见的姿态识别方案，会在电脑、手机或者性能较强的主控上运行视觉模型，再根据这些关键点的位置关系判断人体当前正在做什么动作。但这些方法需要依靠较多的算力或者比较好的电脑性能。

而在本项目中所使用的AI视觉手势与姿态识别传感器不需要额外部署复杂的视觉模型，只需要接收传感器返回的识别结果，就可以识别人体并输出 17 个关键点，同时还可以通过“学习”功能记住我们预先录入的标准健身姿态。

当用户进行训练时，传感器会将当前人体姿态与已经学习好的标准动作进行比较，并给出对应的 姿态 ID 和相似度。行空板K10再根据这些识别结果判断当前动作状态，并将结果显示在屏幕上，同时提供给小智进行语音反馈。

学习健身姿态

在它判断我们动作是否标准之前，我们首先需要让AI视觉姿态识别传感器“认识”我们想要检测的动作。虽然传感器能够识别人体并输出关键点，但它并不知道项目中什么样的姿势代表“靠墙静蹲”“弓步压腿”或“平板支撑”。因此，我们需要先通过传感器的自学习功能，分别采集几个标准健身姿态，让传感器记住这些动作的特征。

学习完成后，每个动作都会对应一个独立的姿态 ID。当用户站到传感器前进行训练时，AI视觉姿态识别传感器会将当前人体姿态与已经学习过的动作进行匹配，并输出对应的姿态 ID、相似度以及人体关键点数据。

本项目中一共学习了 3 种健身姿态：

• ID 1：靠墙静蹲 —— 主要观察下蹲高度、膝关节和身体姿态；
• ID 2：弓步压腿 —— 主要观察前后腿姿势以及身体重心；
• ID 3：平板支撑 —— 主要观察肩部、髋部和脚踝是否保持良好的身体直线。

这三个动作既包含站立训练，也包含地面支撑动作，人体姿态差异比较明显，比较适合用来展示姿态识别和动作校正功能。

步骤1 打开官方学习工具

接下来，我们先使用配套的官方学习工具，将这 3 个标准健身姿态依次录入传感器中。首先下载AI 视觉手势与姿态识别传感器配套的官方软件，也就是文章最后的附件3。

解压后，双击其中的 .exe 文件即可启动软件。使用 USB 数据线将电脑与AI 视觉手势与姿态识别传感器连接，软件会自动识别传感器对应的串口。选择对应的串口并打开。

步骤2 进入姿态识别模式，学习自定义姿势

在软件中选择姿态识别模式。然后站在距离传感器大约 2 米的位置，摆出自定义的姿势，这里以“靠墙静蹲”姿态为例。摆出姿态后，可以在左侧画面中看到人体关键点以及人体检测框。在还没有完成学习之前，人体关键点会以绿色显示。

点击学习按钮，等待3秒后，关键点就会变颜色，表示我们学习成功，同时还可以自定义命名。

下面是具体的姿态学习过程。也可以参考官方姿势学习教程：https://wiki.dfrobot.com/sen0670/docs/23979

项目烧录：

本项目在 xiaozhi-esp32 的基础上针对 AI 健身场景进行了二次开发。原版小智主要负责语音唤醒、语音对话、网络连接等基础能力，而这一版本进一步加入了 AI视觉姿态传感器接入、健身动作分析、行空板K10 专属训练界面以及 MCP 健身工具，让小智从单纯的“语音助手”变成了能够获取真实人体姿态数据的“AI 健身教练”。此外，还加入了训练计时、持续计时以及语音打断等功能，使训练过程中的反馈更加及时。

步骤1 将小智刷入行空板K10

通过USB将连接好的硬件连接电脑，解压之前下载的烧录工具和固件，先打开“Flash download tool”文件中的“flash_download_tool_3.9.8_w1”

然后选择

ChipType：ESP32-S3

WorkMode：Develop

LoadMode：UART，之后点击OK

在第一行空白框中按“…”按钮，选择上面下载的固件并且解压缩得到merged-binary.bin文件。并使用 0x00 作为填充起始地址。

然后选择正确的COM端口

波特率设置为1152000。

先按“ERASE”键擦除K10中当前的固件。

擦除步骤完成后，按“START”将小智固件刷入K10。

步骤2 配置 Wi-Fi

成功刷新固件后，按下行空板K10背面的RST按钮。K10首先会进入Wi-Fi配置模式

现在用你的电脑或手机连接小智的热点（看屏幕上具体显示什么热点），然后配置 Wi-Fi SSID 和密码，让小智连接到互联网。（注：行空板K10 只能连接 2.4GHz Wi-Fi）

等待Wi-Fi 连接成功，行空板K10 将在 3 秒内重启，并且在屏幕上将显示一个六位数的设备代码。

步骤3 添加设备

下一步可以去小智配置站点配置语言模型和说话人。

使用浏览器输入xiaozhi.me打开小智配置网站，并且点击控制台。

使用您的手机号码注册一个小智账号。然后进入控制台后，再按照行空板K10显示屏上的输入6位设备码。

添加成功之后，行空板K10上会显示如下，表示添加成功。

步骤4 自定义设置

您可以进入配置角色屏幕来自定义更改 xiaozhi 的角色身份。

步骤5 唤醒你的AI健身助手

完成前面的配置后，我们的 AI 健身教练就可以正式上岗啦！接下来，让我们通过一个简单的健身体验，看看 AI 视觉手势姿态传感器 SEN0670 和行空板 K10 是如何配合工作的。

1. 做好运动准备

首先，将AI视觉姿态识别传感器固定在合适的位置，正对运动区域。然后站在传感器前方，调整距离，确保身体及运动时需要识别的关键部位都处于传感器的识别范围内，避免身体被遮挡。

2. 选择健身动作

打开行空板 K10，在首页通过 A、B 按键切换不同的健身动作模式。选择想要练习的动作后，长按 A 键约 1 秒，即可进入对应的健身界面。你也可以通过使用“你好，小智，进入平板支撑模式”，实时语音交互，完成页面模式的进入。

行空板 K10 的按键功能如下：

3. 开始健身，体验 AI 动作反馈

进入健身模式后，可以参考健身界面上的标准健身姿态，开始运动，同时也可以通过语音咨询小智：“你好，小智，我想锻炼一下靠墙静蹲，你可以和我说一下这个健身动作的关键技术点吗”。然后小智就会和告诉你需要注意啥，手脚要保持什么样的角度，背要如何收紧等等。

运动过程中，传感器会采集人体姿态信息，并将识别结果传递给行空板 K10。系统根据人体关键点的位置及动作判断规则，分析当前动作是否符合要求。当动作符合预设标准时，系统会给出相应的正确动作反馈；如果动作不规范，系统也会通过提示引导我们调整姿势。

这样一来，我们不仅能够完成动作练习，还可以根据 AI 的反馈及时调整自己的动作。

4. 体验语音训练计时

除了动作校正，小智还可以帮助我们记录训练时间。本项目提供了两种计时方式：

（1） 倒计时训练

如果想进行一组固定时长的训练，可以直接告诉小智：

“小智，帮我做一分钟平板支撑。”

小智会通过 MCP 调用倒计时工具，按照指定的时长开始计时。在训练过程中，还可以根据计时状态给出阶段性提醒，例如“还剩 30 秒，坚持住！”“最后 10 秒，加油！”等。倒计时结束后，小智会发出提示音，提示本组训练完成。

（2）正计时训练

如果想挑战自己的耐力，看看一个动作究竟能坚持多久，也可以对小智说：

“小智，帮我看看平板支撑能坚持多久。”

此时，小智会启动正计时功能，持续记录训练时长。当我们坚持不住时，只需要说“停止计时”，小智便会结束计时，并反馈本次训练实际持续的时间。

例如：“本次平板支撑坚持了 58 秒，不错哦！”

通过这两种计时方式，我们既可以进行固定时长的日常训练，也可以随时挑战自己的运动耐力。

5. 结束训练

训练完成后，可以通过 B 键返回 K10 首页，选择其他健身动作继续体验，也可以通过语音告诉小智“结束训练”。

六、小智是怎么“看懂”你的健身动作的？

当我们站在AI视觉姿态识别传感器前做出一个健身动作时，小智是如何判断我们做的健身动作“标不标准”。显然，小智并不是直接“看见”了我们的动作，而是在背后经历了一整套从人体姿态采集、数据解析、动作判断，到 AI 获取结果并进行语音反馈的过程。

姿态数据解析

当我们站到AI视觉姿态识别传感器前做动作时，并不是直接告诉 行空板K10“你的动作标准不标准”，它首先做的是把人体变成一组可以计算的数据。比如它会判断画面里有没有人、当前更像哪一种已经学习过的姿态，以及肩膀、髋部、膝盖、脚踝等身体部位分别位于什么位置。这些信息会以 pose_keypoints 的形式返回，其中包含人体检测框、姿态 ID、相似度以及 17 个人体关键点。

// 解析 SEN0670 返回的人体姿态数据
static bool ParseFitnessPose(
    const char* json,
    FitnessPoseSnapshot& pose
) {
    pose = FitnessPoseSnapshot();

    // 查找 pose_keypoints 数据
    const char* pose_key =
        FindLastKey(json, "\"pose_keypoints\"");
    if (!pose_key) return false;

    // 找到当前 JSON 对象起始位置
    const char* object_start = pose_key;
    while (object_start > json && *object_start != '{') {
        --object_start;
    }

    cJSON* root =
        cJSON_ParseWithOpts(object_start, nullptr, false);
    if (!root) return false;

    cJSON* keypoints =
        cJSON_GetObjectItemCaseSensitive(
            root, "pose_keypoints"
        );

    if (!cJSON_IsArray(keypoints) ||
        cJSON_GetArraySize(keypoints) == 0) {
        cJSON_Delete(root);
        return false;
    }

    // 读取检测到的人体
    cJSON* person = cJSON_GetArrayItem(keypoints, 0);
    cJSON* header = cJSON_GetArrayItem(person, 0);

    // 数据格式：
    // [x, y, width, height, score, pose_id]
    pose.person  = true;
    pose.x       = cJSON_GetArrayItem(header, 0)->valueint;
    pose.y       = cJSON_GetArrayItem(header, 1)->valueint;
    pose.width   = cJSON_GetArrayItem(header, 2)->valueint;
    pose.height  = cJSON_GetArrayItem(header, 3)->valueint;
    pose.score   = cJSON_GetArrayItem(header, 4)->valueint;
    pose.pose_id = cJSON_GetArrayItem(header, 5)->valueint;

    // 解析 17 个人体关键点
    cJSON* points = cJSON_GetArrayItem(person, 1);

    if (cJSON_IsArray(points) &&
        cJSON_GetArraySize(points) >= 17) {

        for (int i = 0; i < 17; ++i) {
            cJSON* point =
                cJSON_GetArrayItem(points, i);

            int x =
                cJSON_GetArrayItem(point, 0)->valueint;
            int y =
                cJSON_GetArrayItem(point, 1)->valueint;
            int confidence =
                cJSON_GetArrayItem(point, 2)->valueint;

            FitnessPoint p =
                PointFromKeypoint(x, y, confidence);

            // 保存动作分析需要的主要关节点
            switch (i) {
                case 5:  pose.lshoulder = p; break;
                case 6:  pose.rshoulder = p; break;
                case 11: pose.lhip = p; break;
                case 12: pose.rhip = p; break;
                case 13: pose.lknee = p; break;
                case 14: pose.rknee = p; break;
                case 15: pose.lankle = p; break;
                case 16: pose.rankle = p; break;
                default: break;
            }
        }

        pose.keypoints_available = true;
    }

    cJSON_Delete(root);
    return true;
}

根据姿态 ID 和关键点数据判断动作

拿到人体姿态数据以后，下一步就是判断：这个动作到底做得标不标准？

以靠墙静蹲为例，程序会利用髋、膝、踝三个关键点计算膝关节角度，同时结合膝盖间距、脚踝间距以及上半身倾斜程度，判断动作是否存在下蹲过高、膝盖内扣或身体倾斜等问题。

// 靠墙静蹲动作分析
static FitnessFeedbackCode EvaluateWallSit(
    const FitnessPoseSnapshot& p
) {
    // 没检测到人体
    if (!p.person)
        return FITNESS_FB_NO_PERSON;
    // 关键点数据不足
    if (!p.keypoints_available || p.height <= 0)
        return FITNESS_FB_ADJUST_POSITION;
    // 计算左右腿“髋-膝-踝”夹角
    const float knee = AverageValid(
        Angle3(p.lhip, p.lknee, p.lankle),
        Angle3(p.rhip, p.rknee, p.rankle)
    );

    const FitnessPoint shoulder =
        Midpoint(p.lshoulder, p.rshoulder);
    const FitnessPoint hip =
        Midpoint(p.lhip, p.rhip);

    if (knee < 0 ||
        !shoulder.valid ||
        !hip.valid)
        return FITNESS_FB_ADJUST_POSITION;

    // 膝关节角度过大，说明下蹲深度不足
    if (knee > 125.0f)
        return FITNESS_FB_WALL_SIT_TOO_HIGH;
    // 判断膝盖是否明显内扣
    const float knee_width =
        fabsf(p.lknee.x - p.rknee.x);
    const float ankle_width =
        fabsf(p.lankle.x - p.rankle.x);

    if (ankle_width > 1.0f &&
        knee_width < ankle_width * 0.60f)
        return FITNESS_FB_WALL_SIT_KNEE_IN;
    // 判断上半身是否倾斜
    if (TiltFromVertical(shoulder, hip) > 22.0f)
        return FITNESS_FB_WALL_SIT_BODY_TILT;

    return FITNESS_FB_NEAR_STANDARD;
}

将动作分析结果整理成小智能理解的数据

完成动作判断以后，还需要把这些结果提供给小智。项目中通过 GetFitnessFeedbackJson() 将当前人体状态、动作类别、相似度以及动作反馈统一整理成 JSON 数据。实际代码中还包含数据新鲜度、训练状态等信息。

// 将当前健身状态整理成 JSON
std::string GetFitnessFeedbackJson() {
    // 获取当前最新训练状态
    FitnessEvaluatedState state =
        CopyFitnessState(true);

    char json[1200];

    snprintf(
        json,
        sizeof(json),
        "{"
        "\"exercise\":\"%s\","
        "\"person_detected\":%s,"
        "\"keypoints_available\":%s,"
        "\"detected_pose_id\":%d,"
        "\"stable_pose_id\":%d,"
        "\"similarity_score\":%d,"
        "\"feedback\":\"%s\","
        "\"feedback_zh\":\"%s\""
        "}",

        // 当前选择的训练动作
        ExerciseNameEn(state.exercise),
        // 是否检测到人体
        state.pose.person ? "true" : "false",
        // 是否获取到人体关键点
        state.pose.keypoints_available ?
            "true" : "false",
        // SEN0670 当前识别到的姿态ID
        state.pose.pose_id,
        // 多帧稳定后的姿态ID
        state.filtered_pose_id,
        // 当前姿态相似度
        state.filtered_pose_id != 0 ?
            state.filtered_score : 0,
        // 动作反馈代码
        FeedbackCodeName(state.feedback),
        // 中文动作提示
        FeedbackZh(state.feedback)
    );

    return std::string(json);
}

注册 MCP 工具，让小智能够调用动作分析结果

有了动作分析结果以后，还需要给小智提供一个可以访问数据的接口。在项目中通过McpServer::AddTool() 注册 self.fitness.get_feedback 工具。真实代码的工具描述明确规定，在用户询问动作是否标准、姿态怎么样、相似度多少或哪里需要调整时，需要调用这个工具。

// 注册健身动作反馈 MCP 工具
void InitializeTools() {
    auto& mcp_server =
        McpServer::GetInstance();

    mcp_server.AddTool(

        // MCP 工具名称
        "self.fitness.get_feedback",

        // 工具功能描述
        // 小智会根据这段描述判断
        // 用户当前的问题是否需要调用该工具
        "用于查询当前健身动作是否标准、"
        "动作相似度以及需要如何调整。"
        "当用户询问动作怎么样、姿势是否标准、"
        "哪里需要调整时调用本工具。"
        "请根据传感器分析结果进行回答。",

        // 当前工具无需额外参数
        PropertyList(),

        // 小智调用该工具后执行的回调函数
        [this](const PropertyList&)
            -> ReturnValue {

            // 读取K10已经分析好的动作数据
            std::string result =
                GetFitnessFeedbackJson();

            ESP_LOGI(
                "FITNESS",
                "MCP get_feedback CALLED: %s",
                result.c_str()
            );

            // 将结果返回给小智
            return result;
        }
    );
}

所以整个调用的过程可以概括为：

用户：
“我的动作标准吗？”
        ↓
小智理解用户语义
        ↓
选择 MCP 工具
self.fitness.get_feedback
        ↓
K10执行工具回调
        ↓
GetFitnessFeedbackJson()
        ↓
读取当前姿态ID、相似度和动作反馈
        ↓
返回JSON结果
        ↓
小智生成自然语言
        ↓
“目前动作比较标准，可以继续保持。”

七、总结

到这里，我们成功将 AI 视觉手势与姿态识别传感器、行空板 K10 与小智语音交互结合起来，打造了一个能够识别人体动作、判断动作是否标准，并通过语音实时反馈的 AI 健身教练。

当然，这个 AI 健身教练的应用远不止于此。想象一下，在家中，它可以成为我们的私人运动伙伴，陪伴我们完成日常锻炼，并及时提醒不规范的动作；在校园里，它可以辅助体育教学，帮助学生练习标准动作，甚至变身为趣味十足的体感游戏设备。而 AI 视觉手势与姿态识别传感器的能力也不局限于健身，通过识别不同的人体姿态和手势，我们还可以尝试用挥手切换训练项目、用特定动作控制灯光，或者设计无需触碰屏幕的互动游戏。未来，如果再结合更多传感器和外部设备，行空板 K10 就能将这些识别结果转化为更加丰富的交互体验，让 AI 不仅能够听懂我们的指令，还能看懂我们的动作，真正走进更多日常生活场景。

附件下载链接

点击下载