设为首页收藏本站
首页 > 论坛 > 行空板

[K10项目分享]行空板 K10小智：用语音指挥会说会跑会抓的智能车 精华

云天 | 中级技神 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2025-10-10 08:45:19 [显示全部楼层]
53浏览
0回复
0收藏
查看: 53|回复: 0

[K10项目分享] 行空板 K10小智：用语音指挥会说会跑会抓的智能车

[复制链接]
本帖最后由 云天 于 2025-10-10 08:45 编辑

【项目起源】  
       前不久，我在 DFRobot 论坛发过一个“能听会说的小车”雏形（https://mc.dfrobot.com.cn/thread-398314-1-1.html），但只用了行空板k10的四个引脚。这次我把金手指引出的“引脚”通过IO扩展板接入 3个L298N（DF-MD V1.3）电机驱动器，控制小车真正做到了“说一句，动一路”——前进、后退、左转、右转、机械臂 360° 旋转、抬起放下、机械爪张合，全部一条语音指令搞定。
行空板 K10小智：用语音指挥会说会跑会抓的智能车图5
【整体架构 】

```
┌------------------------┐
│  小智 AI（LLM 语音）│ ←── 普通话/英语自然语言
└----------┬------------┘
                 │ WebSocket / MCP
┌----------┴----------------┐
│ 行空板 K10（ESP32-S3）│  ESP-IDF 5.x
│  ├─ 4×MEMS 麦克风       │  ←── “小智，前进”
│  ├─ ES8311 功放             │  →── “好的，正在前进”
│  ├─ LCD 实时表情            │
│  └─ TCA9555 16-bit IO   ├-----------┐
└----------------------------┘               │
                                                            ▼ I²C
                                ┌--------------------------------------┐
                                │                   IO 扩展板                     │
                                │             P0~P15 全部引出               │
                                └--┬---------------┬-----------┬-----┘
                                     │                      │                 │
                                L298N-底盘    L298N-臂      L298N-爪
                               ┌----------┐   ┌----------┐   ┌--------┐
                               │左轮 右轮│   │水平 俯仰│   │   张合  │
                               └----------┘   └----------┘   └--------┘
```
行空板 K10小智：用语音指挥会说会跑会抓的智能车图4

行空板 K10小智：用语音指挥会说会跑会抓的智能车图3

【电机接线对照表（TCA9555 → L298N）】

|    功能段   | P 引脚 | 8255 位 | L298N 通道 |               备注           |
|------------|--------|----------|-------------|------------------- ---|
| 左轮 ENA  |    P8    |    BIT8   |     ENA       | 与 P12(IN1) 组合      |
| 右轮 ENB  |    P9    |    BIT9   |      ENB       | 与 P13(IN2) 组合      |
| 左轮 IN1   |    P5    |    BIT12 |      IN1        |                                 |
| 右轮 IN2   |    P4    |    BIT13 |      IN2        |                                 |
| 爪 ENA     |    P3    |    BIT14 |      ENA       | 接爪电机                   |
| 爪 IN1      |    P12  |    BIT3   |      IN1        | 0张开，1闭合            |
| 臂水平      |    P2    |    BIT7   |      ENA       | 水平旋转电机            |
| 臂水平      |    P13  |    BIT4   |      IN2        | 0左旋转，1右旋转     |
| 臂俯仰      |    P11  |    BIT2   |      ENA       | 俯仰电机                   |
| 臂俯仰 M  |    P1    |   ——   |       IN1       | 直接 GPIO2 控制方向 |


行空板 K10小智：用语音指挥会说会跑会抓的智能车图1

行空板 K10小智：用语音指挥会说会跑会抓的智能车图2

【软件关键片段】

1. IO 扩展板一次初始化  
  1. uint16_t output_pins = (1<<8)|(1<<9)|(1<<12)|(1<<13)|(1<<14)|(1<<3)|(1<<4)|(1<<2)|(1<<7);

  2. 

  3. esp_io_expander_set_dir(io_expander, output_pins, IO_EXPANDER_OUTPUT);

  4. 

  5. esp_io_expander_set_level(io_expander, output_pins, 0); // 全部归零，防止上电乱动
复制代码


2. MCP“一句话注册” 
  1.  mcp_server.AddTool("self.car.action",

  2.             "可控制小车及车载机械臂、机械爪的运行动作，小车的动作是前进、后退、停止、左转、右转。机械臂的动作是左旋转、右旋转、抬起、放下。机械爪的动作是张开、闭合",

  3.             PropertyList({Property("动作", kPropertyTypeString)}),

  4.             [this,gpio_num_P1](const PropertyList& properties) -> ReturnValue {

  5.                 std::string action=properties["动作"].value<std::string>().c_str();

  6.                 if (action=="前进"){

  7.                     SetPnumLevel(8,1);

  8.                     SetPnumLevel(9,1);

  9.                     SetPnumLevel(12,1);

  10.                     SetPnumLevel(13,1);

  11.                     if (stop_timer_) {

  12.                         xTimerStop(stop_timer_, 0);

  13.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  14.                         xTimerStart(stop_timer_, 0);

  15.                     }

  16.                 }else if(action=="停止"){

  17.                     SetPnumLevel(8,0);//P8引脚 

  18.                     SetPnumLevel(9,0);//P9引脚

  19.                 }else if(action=="后退"){

  20.                     SetPnumLevel(8,1);//P8引脚 

  21.                     SetPnumLevel(9,1);//P9引脚

  22.                     SetPnumLevel(12,0);//P5引脚

  23.                    SetPnumLevel(13,0);//P4引脚

  24.                    if (stop_timer_) {

  25.                     xTimerStop(stop_timer_, 0);

  26.                     xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  27.                     xTimerStart(stop_timer_, 0);

  28.                 }

  29. 

  30.                 }else if(action=="左转"){

  31.                     

  32.                     SetPnumLevel(8,1);

  33.                     SetPnumLevel(9,1);

  34.                     SetPnumLevel(12,0);

  35.                     SetPnumLevel(13,1);

  36.                     if (stop_timer_) {

  37.                         xTimerStop(stop_timer_, 0);

  38.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  39.                         xTimerStart(stop_timer_, 0);

  40.                     }

  41. 

  42.                 }else if(action=="右转"){

  43.                     

  44.                     SetPnumLevel(8,1);

  45.                     SetPnumLevel(9,1);

  46.                     SetPnumLevel(12,1);

  47.                     SetPnumLevel(13,0);

  48.                     if (stop_timer_) {

  49.                         xTimerStop(stop_timer_, 0);

  50.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  51.                         xTimerStart(stop_timer_, 0);

  52.                     }

  53. 

  54.                 }else if(action=="左旋转"){

  55.                     //机械臂水平动作

  56.                     SetPnumLevel(7,1);//P2引脚 E

  57.                     SetPnumLevel(4,0);//P13引脚 M

  58.                     if (stop_timer_) {

  59.                         xTimerStop(stop_timer_, 0);

  60.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  61.                         xTimerStart(stop_timer_, 0);

  62.                     }

  63.                 }else if(action=="右旋转"){

  64.                     //机械臂水平动作

  65.                     SetPnumLevel(7,1);//P2引脚 E

  66.                     SetPnumLevel(4,1);//P13引脚 M

  67.                     if (stop_timer_) {

  68.                         xTimerStop(stop_timer_, 0);

  69.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  70.                         xTimerStart(stop_timer_, 0);

  71.                     }

  72.                 }else if(action=="张开"){

  73.                     //机械爪动作

  74.                     SetPnumLevel(14,1);//P3引脚 E

  75.                     SetPnumLevel(3,0);//P12引脚 M

  76.                     if (stop_timer_) {

  77.                         xTimerStop(stop_timer_, 0);

  78.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1.6 * 1000), 0);

  79.                         xTimerStart(stop_timer_, 0);

  80.                     }

  81.                 }else if(action=="闭合"){

  82. //机械爪动作

  83.                     SetPnumLevel(14,1);//P3引脚 E

  84.                     SetPnumLevel(3,1);//P12引脚 M

  85.                     if (stop_timer_) {

  86.                         xTimerStop(stop_timer_, 0);

  87.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1.6 * 1000), 0);

  88.                         xTimerStart(stop_timer_, 0);

  89.                     }

  90.                 }else if(action=="抬起"){

  91. //机械臂垂直运动

  92.                     SetPnumLevel(2,1);//P11引脚 E

  93.                     gpio_set_level(gpio_num_P1, 0); //M

  94.                     if (stop_timer_) {

  95.                         xTimerStop(stop_timer_, 0);

  96.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  97.                         xTimerStart(stop_timer_, 0);

  98.                     }

  99.                 }else if(action=="放下"){

  100.                     //机械臂垂直运动

  101.                     SetPnumLevel(2,1);//P11引脚 E

  102.                     gpio_set_level(gpio_num_P1, 1); //M

  103.                     if (stop_timer_) {

  104.                         xTimerStop(stop_timer_, 0);

  105.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(0.8 * 1000), 0);

  106.                         xTimerStart(stop_timer_, 0);

  107.                     }

  108.                 }

  109.                 return ReturnValue(action);

  110.              

  111.          });

  112.                

  113.     }
复制代码


把 12 条动作全部写进一个 Lambda，LLM 只需一次函数调用即可精准执行。

3. 停车回调函数  
  1. static void StopMotorCallbackStatic(TimerHandle_t xTimer)

  2.     {

  3.         auto* self = static_cast<Df_K10Board*>(pvTimerGetTimerID(xTimer));

  4.         self->StopMotorCallback();

  5.  

  6.     }

  7.     void StopMotorCallback()

  8.     {

  9.         SetPnumLevel(8,0);

  10.         SetPnumLevel(9,0);

  11.         SetPnumLevel(12,0);

  12.         SetPnumLevel(13,0);

  13.         SetPnumLevel(14,0);

  14.         SetPnumLevel(3,0);

  15.         SetPnumLevel(2,0);

  16.         SetPnumLevel(7,0);

  17.         SetPnumLevel(4,0);

  18.     }
复制代码

每条动作都会根据实际行程重置定时器（爪 1.6 s、臂 0.8~1 s、底盘 1 s），兼顾“到位”与“安全”。

【演示视频】
【一句话总结】  
“当语音助手不再只是‘聊天’，而是能直接操作 5 路电机、11 种动作、100% 开源可二次开发，你会发现——**给 ESP32 装上‘大模型’，才是嵌入式玩家的新浪漫。**”
【完整代码】
"XIAOZHI-ESP32-MAIN/main/boards/df-k10/df_k10_board.cc"
  1. #include "wifi_board.h"

  2. #include "k10_audio_codec.h"

  3. #include "display/lcd_display.h"

  4. #include "esp_lcd_ili9341.h"

  5. #include "led_control.h"

  6. #include "application.h"

  7. #include "button.h"

  8. #include "config.h"

  9. #include "esp32_camera.h"

  10. #include "led/circular_strip.h"

  11. #include "assets/lang_config.h"

  12. #include <esp_log.h>

  13. #include <esp_lcd_panel_vendor.h>

  14. #include <driver/i2c_master.h>

  15. #include <driver/spi_common.h>

  16. #include <wifi_station.h>

  17. #include <freertos/timers.h>

  18. #include "esp_io_expander_tca95xx_16bit.h"

  19. #include <mcp_server.h>

  20. #include <freertos/timers.h>

  21. #define TAG "DF-K10"

  22. 

  23. LV_FONT_DECLARE(font_puhui_20_4);

  24. LV_FONT_DECLARE(font_awesome_20_4);

  25.     TimerHandle_t stop_timer_ = nullptr;

  26. class Df_K10Board : public WifiBoard {

  27. private:

  28.     i2c_master_bus_handle_t i2c_bus_;

  29.     esp_io_expander_handle_t io_expander;

  30.     LcdDisplay *display_;

  31.     button_handle_t btn_a;

  32.     button_handle_t btn_b;

  33.     Esp32Camera* camera_;

  34. 

  35.     button_driver_t* btn_a_driver_ = nullptr;

  36.     button_driver_t* btn_b_driver_ = nullptr;

  37. 

  38.     CircularStrip* led_strip_;

  39.     TimerHandle_t stop_timer_ = nullptr;

  40.     static Df_K10Board* instance_;

  41. 

  42.     void InitializeI2c() {

  43.         // Initialize I2C peripheral

  44.         i2c_master_bus_config_t i2c_bus_cfg = {

  45.                 .i2c_port = (i2c_port_t)1,

  46.                 .sda_io_num = AUDIO_CODEC_I2C_SDA_PIN,

  47.                 .scl_io_num = AUDIO_CODEC_I2C_SCL_PIN,

  48.                 .clk_source = I2C_CLK_SRC_DEFAULT,

  49.                 .glitch_ignore_cnt = 7,

  50.                 .intr_priority = 0,

  51.                 .trans_queue_depth = 0,

  52.                 .flags = {

  53.                                 .enable_internal_pullup = 1,

  54.                         },

  55.         };

  56.         ESP_ERROR_CHECK(i2c_new_master_bus(&i2c_bus_cfg, &i2c_bus_));

  57.     }

  58. 

  59.     void InitializeSpi() {

  60.         spi_bus_config_t buscfg = {};

  61.         buscfg.mosi_io_num = GPIO_NUM_21;

  62.         buscfg.miso_io_num = GPIO_NUM_NC;

  63.         buscfg.sclk_io_num = GPIO_NUM_12;

  64.         buscfg.quadwp_io_num = GPIO_NUM_NC;

  65.         buscfg.quadhd_io_num = GPIO_NUM_NC;

  66.         buscfg.max_transfer_sz = DISPLAY_WIDTH * DISPLAY_HEIGHT * sizeof(uint16_t);

  67.         ESP_ERROR_CHECK(spi_bus_initialize(SPI3_HOST, &buscfg, SPI_DMA_CH_AUTO));

  68.     }

  69. 

  70.     esp_err_t IoExpanderSetLevel(uint16_t pin_mask, uint8_t level) {

  71.         return esp_io_expander_set_level(io_expander, pin_mask, level);

  72.     }

  73. 

  74.     uint8_t IoExpanderGetLevel(uint16_t pin_mask) {

  75.         uint32_t pin_val = 0;

  76.         esp_io_expander_get_level(io_expander, DRV_IO_EXP_INPUT_MASK, &pin_val);

  77.         pin_mask &= DRV_IO_EXP_INPUT_MASK;

  78.         return (uint8_t)((pin_val & pin_mask) ? 1 : 0);

  79.     }

  80. 

  81.     void InitializeIoExpander() {

  82.         esp_io_expander_new_i2c_tca95xx_16bit(

  83.                 i2c_bus_, ESP_IO_EXPANDER_I2C_TCA9555_ADDRESS_000, &io_expander);

  84. 

  85.         esp_err_t ret;

  86.         ret = esp_io_expander_print_state(io_expander);

  87.         if (ret != ESP_OK) {

  88.             ESP_LOGE(TAG, "Print state failed: %s", esp_err_to_name(ret));

  89.         }

  90.         ret = esp_io_expander_set_dir(io_expander, IO_EXPANDER_PIN_NUM_0,IO_EXPANDER_OUTPUT);

  91.         if (ret != ESP_OK) {

  92.             ESP_LOGE(TAG, "Set direction failed: %s", esp_err_to_name(ret));

  93.         }

  94.         ret = esp_io_expander_set_level(io_expander, 0, 1);

  95.         if (ret != ESP_OK) {

  96.             ESP_LOGE(TAG, "Set level failed: %s", esp_err_to_name(ret));

  97.         }

  98.         ret = esp_io_expander_set_dir(

  99.                 io_expander, DRV_IO_EXP_INPUT_MASK,

  100.                 IO_EXPANDER_INPUT);

  101.         if (ret != ESP_OK) {

  102.             ESP_LOGE(TAG, "Set direction failed: %s", esp_err_to_name(ret));

  103.         }

  104.         // 设置多个引脚为输出模式

  105.         uint16_t output_pins = (1 << 8) | (1 << 9) | (1 << 12) | (1 << 13) | (1 << 14) | (1 << 3) | (1 << 4) | (1 << 2) | (1 << 7);  // 引脚 P8,P9,P5,P4,P3,P12,P13,P11,P2

  106.         ret = esp_io_expander_set_dir(io_expander, output_pins,IO_EXPANDER_OUTPUT);

  107.         if (ret != ESP_OK) {

  108.             ESP_LOGE(TAG, "Set direction failed: %s", esp_err_to_name(ret));

  109.         }

  110.         ret = esp_io_expander_set_level(io_expander, output_pins, 0);

  111.         if (ret != ESP_OK) {

  112.             ESP_LOGE(TAG, "Set level failed: %s", esp_err_to_name(ret));

  113.         }

  114. 

  115.     }

  116.     void SetPnumLevel(uint16_t Pnum,uint8_t level) {

  117.         esp_err_t ret = esp_io_expander_set_level(io_expander, 1<<Pnum, level);

  118.         if (ret != ESP_OK) {

  119.             ESP_LOGE(TAG, "Set level for P failed: %s", esp_err_to_name(ret));

  120.         }

  121.     }

  122.     void InitializeButtons() {

  123.         instance_ = this;

  124. 

  125.         // Button A

  126.         button_config_t btn_a_config = {

  127.             .long_press_time = 1000,

  128.             .short_press_time = 0

  129.         };

  130.         btn_a_driver_ = (button_driver_t*)calloc(1, sizeof(button_driver_t));

  131.         btn_a_driver_->enable_power_save = false;

  132.         btn_a_driver_->get_key_level = [](button_driver_t *button_driver) -> uint8_t {

  133.             return !instance_->IoExpanderGetLevel(IO_EXPANDER_PIN_NUM_2);

  134.         };

  135.         ESP_ERROR_CHECK(iot_button_create(&btn_a_config, btn_a_driver_, &btn_a));

  136.         iot_button_register_cb(btn_a, BUTTON_SINGLE_CLICK, nullptr, [](void* button_handle, void* usr_data) {

  137.             auto self = static_cast<Df_K10Board*>(usr_data);

  138.             auto& app = Application::GetInstance();

  139.             if (app.GetDeviceState() == kDeviceStateStarting && !WifiStation::GetInstance().IsConnected()) {

  140.                 self->ResetWifiConfiguration();

  141.             }

  142.             app.ToggleChatState();

  143.         }, this);

  144.         iot_button_register_cb(btn_a, BUTTON_LONG_PRESS_START, nullptr, [](void* button_handle, void* usr_data) {

  145.             auto self = static_cast<Df_K10Board*>(usr_data);

  146.             auto codec = self->GetAudioCodec();

  147.             auto volume = codec->output_volume() - 10;

  148.             if (volume < 0) {

  149.                 volume = 0;

  150.             }

  151.             codec->SetOutputVolume(volume);

  152.             self->GetDisplay()->ShowNotification(Lang::Strings::VOLUME + std::to_string(volume));

  153.         }, this);

  154. 

  155.         // Button B

  156.         button_config_t btn_b_config = {

  157.             .long_press_time = 1000,

  158.             .short_press_time = 0

  159.         };

  160.         btn_b_driver_ = (button_driver_t*)calloc(1, sizeof(button_driver_t));

  161.         btn_b_driver_->enable_power_save = false;

  162.         btn_b_driver_->get_key_level = [](button_driver_t *button_driver) -> uint8_t {

  163.             return !instance_->IoExpanderGetLevel(IO_EXPANDER_PIN_NUM_12);

  164.         };

  165.         ESP_ERROR_CHECK(iot_button_create(&btn_b_config, btn_b_driver_, &btn_b));

  166.         iot_button_register_cb(btn_b, BUTTON_SINGLE_CLICK, nullptr, [](void* button_handle, void* usr_data) {

  167.             auto self = static_cast<Df_K10Board*>(usr_data);

  168.             auto& app = Application::GetInstance();

  169.             if (app.GetDeviceState() == kDeviceStateStarting && !WifiStation::GetInstance().IsConnected()) {

  170.                 self->ResetWifiConfiguration();

  171.             }

  172.             app.ToggleChatState();

  173.         }, this);

  174.         iot_button_register_cb(btn_b, BUTTON_LONG_PRESS_START, nullptr, [](void* button_handle, void* usr_data) {

  175.             auto self = static_cast<Df_K10Board*>(usr_data);

  176.             auto codec = self->GetAudioCodec();

  177.             auto volume = codec->output_volume() + 10;

  178.             if (volume > 100) {

  179.                 volume = 100;

  180.             }

  181.             codec->SetOutputVolume(volume);

  182.             self->GetDisplay()->ShowNotification(Lang::Strings::VOLUME + std::to_string(volume));

  183.         }, this);

  184.     }

  185. 

  186.     void InitializeCamera() {

  187. 

  188.         camera_config_t config = {};

  189.         config.ledc_channel = LEDC_CHANNEL_2;   // LEDC通道选择  用于生成XCLK时钟 但是S3不用

  190.         config.ledc_timer = LEDC_TIMER_2;       // LEDC timer选择  用于生成XCLK时钟 但是S3不用

  191.         config.pin_d0 = CAMERA_PIN_D2;

  192.         config.pin_d1 = CAMERA_PIN_D3;

  193.         config.pin_d2 = CAMERA_PIN_D4;

  194.         config.pin_d3 = CAMERA_PIN_D5;

  195.         config.pin_d4 = CAMERA_PIN_D6;

  196.         config.pin_d5 = CAMERA_PIN_D7;

  197.         config.pin_d6 = CAMERA_PIN_D8;

  198.         config.pin_d7 = CAMERA_PIN_D9;

  199.         config.pin_xclk = CAMERA_PIN_XCLK;

  200.         config.pin_pclk = CAMERA_PIN_PCLK;

  201.         config.pin_vsync = CAMERA_PIN_VSYNC;

  202.         config.pin_href = CAMERA_PIN_HREF;

  203.         config.pin_sccb_sda = -1;  // 这里如果写-1 表示使用已经初始化的I2C接口

  204.         config.pin_sccb_scl = CAMERA_PIN_SIOC;

  205.         config.sccb_i2c_port = 1;               //  这里如果写1 默认使用I2C1

  206.         config.pin_pwdn = CAMERA_PIN_PWDN;

  207.         config.pin_reset = CAMERA_PIN_RESET;

  208.         config.xclk_freq_hz = XCLK_FREQ_HZ;

  209.         config.pixel_format = PIXFORMAT_RGB565;

  210.         config.frame_size = FRAMESIZE_VGA;

  211.         config.jpeg_quality = 12;

  212.         config.fb_count = 1;

  213.         config.fb_location = CAMERA_FB_IN_PSRAM;

  214.         config.grab_mode = CAMERA_GRAB_WHEN_EMPTY;

  215. 

  216.         camera_ = new Esp32Camera(config);

  217.     }

  218. 

  219.     void InitializeIli9341Display() {

  220.         esp_lcd_panel_io_handle_t panel_io = nullptr;

  221.         esp_lcd_panel_handle_t panel = nullptr;

  222. 

  223.         // 液晶屏控制IO初始化

  224.         ESP_LOGD(TAG, "Install panel IO");

  225.         esp_lcd_panel_io_spi_config_t io_config = {};

  226.         io_config.cs_gpio_num = GPIO_NUM_14;

  227.         io_config.dc_gpio_num = GPIO_NUM_13;

  228.         io_config.spi_mode = 0;

  229.         io_config.pclk_hz = 40 * 1000 * 1000;

  230.         io_config.trans_queue_depth = 10;

  231.         io_config.lcd_cmd_bits = 8;

  232.         io_config.lcd_param_bits = 8;

  233.         ESP_ERROR_CHECK(esp_lcd_new_panel_io_spi(SPI3_HOST, &io_config, &panel_io));

  234. 

  235.         // 初始化液晶屏驱动芯片

  236.         ESP_LOGD(TAG, "Install LCD driver");

  237.         esp_lcd_panel_dev_config_t panel_config = {};

  238.         panel_config.reset_gpio_num = GPIO_NUM_NC;

  239.         panel_config.bits_per_pixel = 16;

  240.         panel_config.color_space = ESP_LCD_COLOR_SPACE_BGR;

  241. 

  242.         ESP_ERROR_CHECK(esp_lcd_new_panel_ili9341(panel_io, &panel_config, &panel));

  243.         ESP_ERROR_CHECK(esp_lcd_panel_reset(panel));

  244.         ESP_ERROR_CHECK(esp_lcd_panel_init(panel));

  245.         ESP_ERROR_CHECK(esp_lcd_panel_invert_color(panel, DISPLAY_BACKLIGHT_OUTPUT_INVERT));

  246.         ESP_ERROR_CHECK(esp_lcd_panel_swap_xy(panel, DISPLAY_SWAP_XY));

  247.         ESP_ERROR_CHECK(esp_lcd_panel_mirror(panel, DISPLAY_MIRROR_X, DISPLAY_MIRROR_Y));

  248.         ESP_ERROR_CHECK(esp_lcd_panel_disp_on_off(panel, true));

  249. 

  250.         display_ = new SpiLcdDisplay(panel_io, panel,

  251.                                 DISPLAY_WIDTH, DISPLAY_HEIGHT, DISPLAY_OFFSET_X, DISPLAY_OFFSET_Y, DISPLAY_MIRROR_X, DISPLAY_MIRROR_Y, DISPLAY_SWAP_XY,

  252.                                 {

  253.                                         .text_font = &font_puhui_20_4,

  254.                                         .icon_font = &font_awesome_20_4,

  255.                                         .emoji_font = font_emoji_64_init(),

  256.                                 });

  257.     }

  258. 

  259.     // 物联网初始化，添加对 AI 可见设备

  260.     void InitializeIot() {

  261.         gpio_num_t gpio_num_P0 = GPIO_NUM_1;

  262.         gpio_num_t gpio_num_P1 = GPIO_NUM_2;

  263.         gpio_config_t cfg = {

  264.             .pin_bit_mask = (1ULL << gpio_num_P0) | (1ULL << gpio_num_P1),

  265.             .mode = GPIO_MODE_OUTPUT,

  266.             .pull_up_en = GPIO_PULLUP_DISABLE,

  267.             .pull_down_en = GPIO_PULLDOWN_DISABLE,

  268.             .intr_type = GPIO_INTR_DISABLE,

  269.         };

  270.         ESP_ERROR_CHECK(gpio_config(&cfg));

  271.         gpio_set_level(gpio_num_P0, 0);

  272.         gpio_set_level(gpio_num_P1, 0);

  273.         stop_timer_ = xTimerCreate("StopMotorTimer",pdMS_TO_TICKS(1000),pdFALSE,this,StopMotorCallbackStatic);

  274. 

  275.         auto& mcp_server = McpServer::GetInstance();

  276.     

  277.          mcp_server.AddTool("self.car.action",

  278.             "可控制小车及车载机械臂、机械爪的运行动作，小车的动作是前进、后退、停止、左转、右转。机械臂的动作是左旋转、右旋转、抬起、放下。机械爪的动作是张开、闭合",

  279.             PropertyList({Property("动作", kPropertyTypeString)}),

  280.             [this,gpio_num_P1](const PropertyList& properties) -> ReturnValue {

  281.                 std::string action=properties["动作"].value<std::string>().c_str();

  282.                 if (action=="前进"){

  283.                     SetPnumLevel(8,1);

  284.                     SetPnumLevel(9,1);

  285.                     SetPnumLevel(12,1);

  286.                     SetPnumLevel(13,1);

  287.                     if (stop_timer_) {

  288.                         xTimerStop(stop_timer_, 0);

  289.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  290.                         xTimerStart(stop_timer_, 0);

  291.                     }

  292.                 }else if(action=="停止"){

  293.                     SetPnumLevel(8,0);//P8引脚 

  294.                     SetPnumLevel(9,0);//P9引脚

  295.                 }else if(action=="后退"){

  296.                     SetPnumLevel(8,1);//P8引脚 

  297.                     SetPnumLevel(9,1);//P9引脚

  298.                     SetPnumLevel(12,0);//P5引脚

  299.                    SetPnumLevel(13,0);//P4引脚

  300.                    if (stop_timer_) {

  301.                     xTimerStop(stop_timer_, 0);

  302.                     xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  303.                     xTimerStart(stop_timer_, 0);

  304.                 }

  305.                     //夹子

  306.                     //SetPnumLevel(14,0);//P3引脚 E

  307.                     //SetPnumLevel(3,0);//P12引脚 M

  308.                     //上下

  309.                     

  310.                     //SetPnumLevel(2,0);//P11引脚 E

  311. 

  312.                     //水平

  313.                     //SetPnumLevel(7,0);//P2引脚 E

  314.                     //SetPnumLevel(4,0);//P13引脚 M

  315.                     

  316. 

  317.                     //SetPnumLevel(15,0);//LED灯

  318.                     //SetPnumLevel(16,0);无对应引脚

  319.                     //SetPnumLevel(1,0);//无对应引脚

  320.                     //SetPnumLevel(5,0);//无对应引脚

  321.                     //SetPnumLevel(6,0);//无对应引脚

  322.                     //SetPnumLevel(10,0);//无对应引脚

  323.                     //SetPnumLevel(11,0);//无对应引脚

  324.                 }else if(action=="左转"){

  325.                     

  326.                     SetPnumLevel(8,1);

  327.                     SetPnumLevel(9,1);

  328.                     SetPnumLevel(12,0);

  329.                     SetPnumLevel(13,1);

  330.                     if (stop_timer_) {

  331.                         xTimerStop(stop_timer_, 0);

  332.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  333.                         xTimerStart(stop_timer_, 0);

  334.                     }

  335. 

  336.                 }else if(action=="右转"){

  337.                     

  338.                     SetPnumLevel(8,1);

  339.                     SetPnumLevel(9,1);

  340.                     SetPnumLevel(12,1);

  341.                     SetPnumLevel(13,0);

  342.                     if (stop_timer_) {

  343.                         xTimerStop(stop_timer_, 0);

  344.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  345.                         xTimerStart(stop_timer_, 0);

  346.                     }

  347. 

  348.                 }else if(action=="左旋转"){

  349.                     

  350.                     SetPnumLevel(7,1);//P2引脚 E

  351.                     SetPnumLevel(4,0);//P13引脚 M

  352.                     if (stop_timer_) {

  353.                         xTimerStop(stop_timer_, 0);

  354.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  355.                         xTimerStart(stop_timer_, 0);

  356.                     }

  357.                 }else if(action=="右旋转"){

  358.                     

  359.                     SetPnumLevel(7,1);//P2引脚 E

  360.                     SetPnumLevel(4,1);//P13引脚 M

  361.                     if (stop_timer_) {

  362.                         xTimerStop(stop_timer_, 0);

  363.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  364.                         xTimerStart(stop_timer_, 0);

  365.                     }

  366.                 }else if(action=="张开"){

  367.                     

  368.                     SetPnumLevel(14,1);//P3引脚 E

  369.                     SetPnumLevel(3,0);//P12引脚 M

  370.                     if (stop_timer_) {

  371.                         xTimerStop(stop_timer_, 0);

  372.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1.6 * 1000), 0);

  373.                         xTimerStart(stop_timer_, 0);

  374.                     }

  375.                 }else if(action=="闭合"){

  376.                     

  377.                     SetPnumLevel(14,1);//P3引脚 E

  378.                     SetPnumLevel(3,1);//P12引脚 M

  379.                     if (stop_timer_) {

  380.                         xTimerStop(stop_timer_, 0);

  381.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1.6 * 1000), 0);

  382.                         xTimerStart(stop_timer_, 0);

  383.                     }

  384.                 }else if(action=="抬起"){

  385.                     

  386.                     SetPnumLevel(2,1);//P11引脚 E

  387.                     gpio_set_level(gpio_num_P1, 0); //M

  388.                     if (stop_timer_) {

  389.                         xTimerStop(stop_timer_, 0);

  390.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(1 * 1000), 0);

  391.                         xTimerStart(stop_timer_, 0);

  392.                     }

  393.                 }else if(action=="放下"){

  394.                     

  395.                     SetPnumLevel(2,1);//P11引脚 E

  396.                     gpio_set_level(gpio_num_P1, 1); //M

  397.                     if (stop_timer_) {

  398.                         xTimerStop(stop_timer_, 0);

  399.                         xTimerChangePeriod(stop_timer_, pdMS_TO_TICKS(0.8 * 1000), 0);

  400.                         xTimerStart(stop_timer_, 0);

  401.                     }

  402.                 }

  403.                 return ReturnValue(action);

  404.              

  405.          });

  406.                

  407.     }

  408.     static void StopMotorCallbackStatic(TimerHandle_t xTimer)

  409.     {

  410.         auto* self = static_cast<Df_K10Board*>(pvTimerGetTimerID(xTimer));

  411.         self->StopMotorCallback();

  412.  

  413.     }

  414.     void StopMotorCallback()

  415.     {

  416.         SetPnumLevel(8,0);

  417.         SetPnumLevel(9,0);

  418.         SetPnumLevel(12,0);

  419.         SetPnumLevel(13,0);

  420.         SetPnumLevel(14,0);

  421.         SetPnumLevel(3,0);

  422.         SetPnumLevel(2,0);

  423.         SetPnumLevel(7,0);

  424.         SetPnumLevel(4,0);

  425.     }

  426. 

  427. public:

  428.     

  429.     Df_K10Board() {

  430.         InitializeI2c();

  431.         InitializeIoExpander();

  432.         InitializeSpi();

  433.         InitializeIli9341Display();

  434.         InitializeButtons();

  435.         InitializeIot();

  436.         //InitializeCamera();

  437.     }

  438. 

  439.     virtual AudioCodec *GetAudioCodec() override {

  440.         static K10AudioCodec audio_codec(

  441.                     i2c_bus_,

  442.                     AUDIO_INPUT_SAMPLE_RATE,

  443.                     AUDIO_OUTPUT_SAMPLE_RATE,

  444.                     AUDIO_I2S_GPIO_MCLK,

  445.                     AUDIO_I2S_GPIO_BCLK,

  446.                     AUDIO_I2S_GPIO_WS,

  447.                     AUDIO_I2S_GPIO_DOUT,

  448.                     AUDIO_I2S_GPIO_DIN,

  449.                     AUDIO_CODEC_PA_PIN,

  450.                     AUDIO_CODEC_ES8311_ADDR,

  451.                     AUDIO_CODEC_ES7210_ADDR,

  452.                     AUDIO_INPUT_REFERENCE);

  453.         return &audio_codec;

  454.     }

  455. 

  456.     //virtual Camera* GetCamera() override {

  457.         //return camera_;

  458.     //}

  459. 

  460.     virtual Display *GetDisplay() override {

  461.         return display_;

  462.     }

  463. };

  464. 

  465. DECLARE_BOARD(Df_K10Board);

  466. 

  467. Df_K10Board* Df_K10Board::instance_ = nullptr;

复制代码



回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主
勋章墙
活跃会员 宣传大使 创客造 编辑选择奖 志“童”道合 编辑选择奖 编辑选择奖 编辑选择奖

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2025 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail