设为首页收藏本站
首页 > 论坛 > 行空板

[M10项目][行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件 精华

loria | 初级技师 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2024-1-7 21:57:17 [显示全部楼层]
76888浏览
2回复
1收藏
查看: 76888|回复: 2

[M10项目] [行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件

[复制链接]
本帖最后由 loria 于 2024-1-9 11:43 编辑

[行空板+大模型]智能家居助手——让ChatGPT帮你控制硬件

行空板+大模型应用案例一：基于ChatGLM的多角色交互式聊天机器人

一、导语（项目功能介绍）：
想象一下，假设现在你是一个对python一无所知的用户，但是你对行空板和硬件产品都很感兴趣，现在你只需要将硬件正确的接在对应的引脚位置，然后告诉大模型你想实现的功能，比如“我在21号引脚接了一个风扇，我想要打开风扇”，模型就能帮助你调用相关的函数控制风扇的启动，大模型的funtion calling功能完全能帮助我们实现这一场景。

OpenAI在2023年6月的更新中为Chat Completions 模型增加了function calling功能。我们知道通过ChatCompletion，我们能实现通过调用API完成与ChatGPT的对话。而有了Funtion Calling功能,可以让模型不仅仅能根据自身预训练的数据库进行知识问答，还能额外挂载一个函数库，根据用户的提问去函数库检索，按照用户的实际需求去调用外部函数并获取函数的运行结果。
可以说funtion calling彻底的改变了开发者与模型互动的方式。这个功能允许开发者描述函数给AI模型，然后模型可以智能地决定输出一个包含调用这些函数的参数的JSON对象。简单来说，大模型的function calling功能允许我们使用自然语言的形式调用函数，实现让GPT模型调用谷歌邮箱API（Gmail API），自动让GPT模型读取邮件，并自动进行回复等等 。整理了目前支持funtion calling的模型，如下图。
[行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件图1

借助funtion calling功能，用户能通过简单的语句实现控制硬件，而无需深入的研究底层的代码逻辑。举个例子，现在我在定义了一个控制行空板板载蜂鸣器播放音调的函数play_music，并且告诉了模型这个函数的功能。那么可以有以下对话场景的出现。

[行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件图2
整个实现的逻辑如下图。
[行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件图3
本篇帖子就来展示如何实现这一功能。本文旨在提供方法和思路，笔者希望通过这篇文章抛砖引玉，展示给大家看通过大模型控制硬件的可能性，以行空板板载蜂鸣器、灯带、风扇模拟生活中智能家居的声、光、动。也希望大家在看完这篇帖子后能发挥创意，实现行空板结合大模型控制硬件的更多好玩的应用。（PS：本项目的实现需借助魔法上网。）

二、演示视频

[url=]

三、软硬件


[行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件图4
行空板


[行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件图5
Gravity: 130 直流电机风扇

[行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件图6
WS2812-16 RGB LED Ring  

[行空板+大模型]智能家居助手—让ChatGPT帮你控制硬件图7

Mind+

四、funtion calling 的实现流程
智谱AI在官方文档里给出了使用模型进行工具调用的流程，ChatGLM3-6b和GPT3.5的实现逻辑是一样的，因此我们可以进行参考。
首先，我们要定义好函数工具，比如控制行空板板载蜂鸣器播放音乐的函数工具play_music、用于控制风扇硬件的函数工具fan_action、用于控制LED灯带的函数工具led_light_action
接着我们要定义一个工具列表，向模型描述这些函数工具的名称、函数的具体功能、调用函数所需的参数、参数的具体类型、参数的详细信息。这是官方给的样例，按照样例能获得最好的性能。
  1. tools = [

  2.     {

  3.         "name": "track",

  4.         "description": "追踪指定股票的实时价格",

  5.         "parameters": {

  6.             "type": "object",

  7.             "properties": {

  8.                 "symbol": {

  9.                     "description": "需要追踪的股票代码"

  10.                 }

  11.             },

  12.             "required": ['symbol']

  13.         }

  14.     },

  15.     {

  16.         "name": "text-to-speech",

  17.         "description": "将文本转换为语音",

  18.         "parameters": {

  19.             "type": "object",

  20.             "properties": {

  21.                 "text": {

  22.                     "description": "需要转换成语音的文本"

  23.                 },

  24.                 "voice": {

  25.                     "description": "要使用的语音类型（男声、女声等）"

  26.                 },

  27.                 "speed": {

  28.                     "description": "语音的速度（快、中等、慢等）"

  29.                 }

  30.             },

  31.             "required": ['text']

  32.         }

  33.     }

  34. ]

  35. system_info = {"role": "system", "content": "Answer the following questions as best as you can. You have access to the following tools:", "tools": tools} 
复制代码

最后是，将用户的输入进行json格式解析，传给模型。模型根据用户的输入实现对应工具的调用。

五、准备操作
3.行空板联网
调用api必须要联网。由于在本项目中，我们使用了OpenAI的api和微软的语音api，所以我们要为行空板连接网络。（1）打开浏览器，输入“10.1.2.3”进行行空板页面。（2）选择“网络设置”,选择WIFI ，输入密码，注意行空板仅支持2.4GWIFI热点。点击“连接”，行空板成功联网会显示“连接成功”。

六、tool描述和funtion实现
接下来，我将按照funtion calling的实现过程，按照“编写控制硬件的函数工具——定义工具列表描述函数工具的详细信息——解析用户输入传给模型 ”进行代码的编写。
6.1蜂鸣器6.1.1pinpong库示例程序
为了完整的实现使用funtion calling功能控制行空板的板载蜂鸣器，我们先一起来看看pinpong库中控制蜂鸣器播放音调的示例代码是怎么写的。pinpong库有关蜂鸣器的示例程序如下。
  1. import time

  2. from pinpong.board import Board,Pin 

  3. from pinpong.extension.unihiker import *   

  4. 

  5. Board().begin()#初始化

  6. 

  7. #音乐 DADADADUM ENTERTAINER PRELUDE ODE NYAN RINGTONE FUNK BLUES BIRTHDAY WEDDING FUNERAL PUNCHLINE

  8. #音乐 BADDY CHASE BA_DING WAWAWAWAA JUMP_UP JUMP_DOWN POWER_UP POWER_DOWN 

  9. #播放模式 Once(播放一次) Forever(一直播放) OnceInBackground(后台播放一次) ForeverInBackground(后台一直播放)

  10. buzzer.play(buzzer.DADADADUM, buzzer.Once) #播放音乐一次

  11. while True:

  12.     time.sleep(1) #等待1秒 保持状态
复制代码

6.1.2定义控制蜂鸣器播放音乐的函数play_music
根据pinpong库中控制行空板板载蜂鸣器的示例程序，我们可以写出一个play_music函数来控制蜂鸣器播放内置音乐。它接受一个参数“music”，用于指定要播放的音乐名称。if music in [...]检查传入的音乐名称是否在预定义的音乐列表中。如果在，使用buzzer.play函数播放音乐，如果不在就提醒示没有找到指定的音乐名称，无法进行播放。


  1. def play_music(music):

  2.     if music in ["DADADADUM", "ENTERTAINER", "PRELUDE", "ODE", "NYAN", "RINGTONE", "FUNK", "BLUES", "BIRTHDAY", "WEDDING", "FUNERAL", "PUNCHLINE", "BADDY", "CHASE", "BA_DING", "WAWAWAWAA", "JUMP_UP", "JUMP_DOWN", "POWER_UP", "POWER_DOWN"]:   

  3.         buzzer.play(getattr(buzzer, music), buzzer.OnceInBackground)  

  4.         print(f"已调用，播放{music}")

  5.     else:

  6.         print("对不起，我这里没有这个音乐。")
复制代码

6.1.3定义工具列表
按照官方样例的格式，详细的描述play_music函数的名称、描述以及参数。


  1. tools = [

  2.     {

  3.         "type": "function",

  4.         "function": {

  5.             "name": "play_music",

  6.             "description": "Plays music in the house when the user is bored or needs relaxation. The music list includes 'DADADADUM', 'ENTERTAINER', 'PRELUDE', 'ODE', 'NYAN', 'RINGTONE', 'FUNK', 'BLUES', 'BIRTHDAY', 'WEDDING', 'FUNERAL', 'PUNCHLINE', 'BADDY', 'CHASE', 'BA_DING', 'WAWAWAWAA', 'JUMP_UP', 'JUMP_DOWN', 'POWER_UP', 'POWER_DOWN'.",   

  7.             "parameters": {

  8.                 "type": "object",

  9.                 "properties": {

  10.                     "music": {

  11.                         "type": "string",

  12.                         "enum": ["DADADADUM", "ENTERTAINER", "PRELUDE", "ODE", "NYAN", "RINGTONE", "FUNK", "BLUES", "BIRTHDAY", "WEDDING", "FUNERAL", "PUNCHLINE", "BADDY", "CHASE", "BA_DING", "WAWAWAWAA", "JUMP_UP", "JUMP_DOWN", "POWER_UP", "POWER_DOWN"],

  13.                         "description": "The music to play in the house." 

  14.                     },

  15.                 },

  16.                 "required": ["music"],  

  17.             },

  18.         }

  19.     }

  20. ]
复制代码

接着，定义一个函数，使用chatcompletion向模型发送聊天完成请求
  1. def chat_completion_request(messages, tools=None, tool_choice=None):

  2.     """

  3.     发送 Chat Completion 请求给 OpenAI GPT-3.5-turbo 模型，并返回模型的响应。

  4. 

  5.     参数：

  6.     - messages: 包含对话历史的列表，每个对话历史是一个字典，包含 "role" 和 "content"。

  7.     - tools: （可选）包含工具描述的列表，每个工具是一个字典。

  8.     - tool_choice: （可选）工具选择，用于指定使用哪个工具。

  9. 

  10.     返回：

  11.     - response: 发送请求后的模型响应。

  12.     """

  13.     headers = {

  14.         "Content-Type": "application/json",

  15.         "Authorization": "Bearer " + OPENAI_API_KEY,  

  16.     }

  17. 

  18.     # 构建请求的 JSON 数据

  19.     json_data = {"model": "gpt-3.5-turbo", "messages": messages}

  20.     if tools is not None: 

  21.         json_data.update({"tools": tools}) 

  22.     if tool_choice is not None:

  23.         json_data.update({"tool_choice": tool_choice})

  24. 

  25.     try:

  26.         # 发送 POST 请求到 OpenAI API

  27.         response = requests.post(

  28.             "https://api.openai.com/v1/chat/completions",

  29.             headers=headers,

  30.             json=json_data,

  31.         )

  32. 

  33.         return response

  34.     except Exception as e:

  35.         # 处理异常情况

  36.         print("Unable to generate ChatCompletion response")

  37.         print(f"Exception: {e}")

  38.         return e

复制代码

接下来，就是在主循环中，获取用户输入和模型的响应，与一般的打印模型的响应不同，这里要多加一项即检查模型的响应中是否含有工具调用的相关信息(tool_calls)。如果存在，提取函数和参数信息，然后调用相应的函数执行操作。
  1. while True:

  2.     # 用户输入，通过命令行获取用户的自然语言输入

  3.     user_input = input('请输入：')

  4. 

  5.     # 将用户输入添加到对话历史中，定义用户的角色为 "user"

  6.     conversation.append({"role": "user", "content": user_input})

  7. 

  8.     # 调用 chat_completion_request 函数，向模型发送对话历史，并获取模型的响应

  9.     response = chat_completion_request(conversation, tools)

  10.     print("Model Response: ", response.json())

  11. 

  12.     # 提取助手的回复内容

  13.     assistant_response = response.json()["choices"][0]["message"]["content"]

  14. 

  15.     # 如果助手的回复为空，将其设置为默认值 "执行操作"

  16.     if assistant_response is None: 

  17.         assistant_response = "执行操作"

  18. 

  19.     # 打印助手的回复

  20.     print(f"Assistant: {assistant_response}")

  21. 

  22.     # 检查模型的响应中是否包含 tool_calls（Function Calling 操作）

  23.     if 'tool_calls' in response.json()["choices"][0]["message"]: 

  24.         # 提取工具调用信息中的函数和参数

  25.         function_call = response.json()["choices"][0]["message"]["tool_calls"][0]["function"] 

  26.         arguments = json.loads(function_call["arguments"])

  27. 

  28.         # 调用 play_music 函数，根据模型的指令执行音乐播放操作

  29.         play_music(arguments["music"])

  30. 

  31.     # 将助手的回复添加到对话历史中，定义助手的角色为 "assistant"

  32.     conversation.append({"role": "assistant", "content": assistant_response}) 

复制代码

6.1.4使用funtion calling功能控制行空板蜂鸣器的完整程序如下
  1. import requests 

  2. import json

  3. from pinpong.board import Board, Pin

  4. from pinpong.extension.unihiker import * 

  5. import openai  

  6. 

  7. Board().begin() # 初始化

  8. 

  9. OPENAI_API_KEY=' ' #  OpenAI API 密钥

  10. 

  11. def chat_completion_request(messages, tools=None, tool_choice=None):  

  12.     headers = {

  13.         "Content-Type": "application/json",  

  14.         "Authorization": "Bearer " + OPENAI_API_KEY, 

  15.     }

  16.     json_data = {"model": "gpt-3.5-turbo", "messages": messages}

  17.     if tools is not None:

  18.         json_data.update({"tools": tools})

  19.     if tool_choice is not None:  

  20.         json_data.update({"tool_choice": tool_choice}) 

  21.     try:

  22.         response = requests.post( 

  23.             "https://api.openai.com/v1/chat/completions",

  24.             headers=headers,

  25.             json=json_data,

  26.         )

  27.         return response

  28.     except Exception as e:

  29.         print("Unable to generate ChatCompletion response")

  30.         print(f"Exception: {e}")

  31.         return e

  32. 

  33. tools = [

  34.     {

  35.         "type": "function",

  36.         "function": {

  37.             "name": "play_music", 

  38.             "description": "Plays music in the house when the user is bored or needs relaxation. The music list includes 'DADADADUM', 'ENTERTAINER', 'PRELUDE', 'ODE', 'NYAN', 'RINGTONE', 'FUNK', 'BLUES', 'BIRTHDAY', 'WEDDING', 'FUNERAL', 'PUNCHLINE', 'BADDY', 'CHASE', 'BA_DING', 'WAWAWAWAA', 'JUMP_UP', 'JUMP_DOWN', 'POWER_UP', 'POWER_DOWN'.", 

  39.             "parameters": {

  40.                 "type": "object",

  41.                 "properties": {

  42.                     "music": {

  43.                         "type": "string",

  44.                         "enum": ["DADADADUM", "ENTERTAINER", "PRELUDE", "ODE", "NYAN", "RINGTONE", "FUNK", "BLUES", "BIRTHDAY", "WEDDING", "FUNERAL", "PUNCHLINE", "BADDY", "CHASE", "BA_DING", "WAWAWAWAA", "JUMP_UP", "JUMP_DOWN", "POWER_UP", "POWER_DOWN"],

  45.                         "description": "The music to play in the house." 

  46.                     },

  47.                 },

  48.                 "required": ["music"],

  49.             },

  50.         }

  51.     }

  52. ]

  53. 

  54. def play_music(music):

  55.     if music in ["DADADADUM", "ENTERTAINER", "PRELUDE", "ODE", "NYAN", "RINGTONE", "FUNK", "BLUES", "BIRTHDAY", "WEDDING", "FUNERAL", "PUNCHLINE", "BADDY", "CHASE", "BA_DING", "WAWAWAWAA", "JUMP_UP", "JUMP_DOWN", "POWER_UP", "POWER_DOWN"]:

  56.         buzzer.play(getattr(buzzer, music), buzzer.OnceInBackground)

  57.         print(f"已调用，播放{music}")

  58.     else:

  59.         print("对不起，我这里没有这个音乐。")

  60. 

  61. conversation = [{"role": "system", "content": "You are a smart home assistant that can play music for relaxation when the user is bored or needs it. You can suggest playing music when the user seems bored or tired."}]

  62. 

  63. while True:

  64.     user_input = input('请输入：')

  65.     conversation.append({"role": "user", "content": user_input})

  66. 

  67.     response = chat_completion_request(conversation, tools) 

  68.     print("Model Response: ", response.json())

  69. 

  70.     assistant_response = response.json()["choices"][0]["message"]["content"] 

  71.     if assistant_response is None: 

  72.         assistant_response = "执行操作"

  73.     print(f"Assistant: {assistant_response}")  

  74. 

  75.     if 'tool_calls' in response.json()["choices"][0]["message"]: 

  76.         function_call = response.json()["choices"][0]["message"]["tool_calls"][0]["function"]

  77.         arguments = json.loads(function_call["arguments"])  

  78.         play_music(arguments["music"])

  79. 

  80.     conversation.append({"role": "assistant", "content": assistant_response}) 
复制代码

6.2风扇

在生活中，我们使用风扇时能通过调节档位来改变风扇的转速。这里我们能用PWM模拟输出实现这一功能。
6.2.1pinpong库关于PWM输出控制好风扇的示例程序
关于行空板支持PWM的引脚号，可以查看官方的说明：PWM（模拟输出）。
根据官方对PWM的说明，我们使用PWM控制风扇的代码，如下。
  1. from pinpong.board import Board,Pin  

  2. Board(" ").begin()

  3. fan = Pin(Pin.P22, Pin.PWM)  #初始化风扇的引脚位置

  4. fan.write_analog(800)        #PWM输出控制风扇的转速，范围是0——1023；0即引脚电平为0，风扇不转；1023为电平最高，风扇转速最大。
复制代码

6.2.2定义控制风扇的函数
通过示例程序，我们可以看出通过funtion calling 使模型控制风扇，首先我们要告诉模型：风扇的引脚位置的初始化 。接着我们要告诉模型对风扇的操作，包括打开风扇、提高转速、降低转速、关闭风扇（通过PWM输出控制转速）。
我们依旧是先写函数，根据函数完成工具的描述和工具调用的代码。
我们先来完成风扇初始化的代码。站在用户的角度，使用风扇时，会将使用引脚线将风扇接在行空板能使用PWM的引脚的位置，然后将引脚的位置告诉模型。为了让模型知道引脚的位置，我们要先定义一个能支持PWM的引脚的列表。
定义一个全局变量fan,用于存储风扇的引脚信息。

  1. pin_map = {

  2.     21: Pin.P21,

  3.     22: Pin.P22,

  4.     23: Pin.P23,

  5. }
复制代码

接着，定义控制风扇的函数fan_action,通过分支结构判断指定的风扇的类型，通过用户的输入完成对风扇的初始化和控制等。fan_action有三个参数，‘action’:指定要执行的动作，用于使用分支结构控制风扇的状态。'pn_number'用于风扇初始化时确定风扇连接的引脚号。‘user_input’用于确定用户对风扇的控制指令。
值得注意的是，当用户没有进行初始化就说打开风扇或者说了错误的引脚号时，要打印错误信息，提醒用户给出正确的引脚位置。
  1. def fan_action(action, pin_number=None, user_input=None):  

  2.     """

  3.     控制风扇的行为。

  4. 

  5.     参数：

  6.     - action: 指定要执行的动作，可以是 "initialize"（初始化）或其他操作。

  7.     - pin_number: （仅在 action 为 "initialize" 时需要）风扇连接的引脚号。

  8.     - user_input: （仅在执行其他操作时需要）用户的输入，用于确定具体的操作。

  9. 

  10.     返回：

  11.     无返回值。通过打印信息告知用户操作的结果。

  12. 

  13.     详细解释：

  14.     1. 使用全局变量 `fan`，用于存储风扇的引脚信息。

  15.     2. 如果 action 是 "initialize"，则进行初始化操作。

  16.         a. 检查传入的引脚号是否在 pin_map 中，如果不在则打印错误信息。

  17.         b. 使用 Pin 类创建风扇对象，并设置为 PWM 模式。

  18.         c. 打印初始化成功的信息。

  19.     3. 如果 action 不是 "initialize"，执行相应的操作。

  20.         a. 检查风扇是否已经初始化，如果未初始化则打印错误信息。

  21.         b. 根据用户输入执行相应的操作：

  22.             - "turn on": 开启风扇，设置 PWM 为 800。

  23.             - "turn off": 关闭风扇，设置 PWM 为 0。

  24.             - "increase": 增加风扇转速，设置 PWM 为 1023。

  25.             - "decrease": 减少风扇转速，设置 PWM 为 512。

  26.         c. 打印执行操作成功的信息。

  27. 

  28.     使用示例：

  29.     ```

  30.     # 初始化风扇，连接到引脚号 5

  31.     fan_action("initialize", pin_number=5)

  32. 

  33.     # 执行操作，根据用户输入控制风扇

  34.     fan_action("operate", user_input="turn on")

  35.     ```

  36. 

  37.     注意：确保在使用之前设置全局变量 pin_map 以包含正确的引脚映射。

  38.     """

  39.     global fan 

  40. 

  41.     # 如果是初始化操作

  42.     if action == "initialize":

  43.         if pin_number not in pin_map: 

  44.             print(f"错误的引脚号：{pin_number}")

  45.             return

  46.         # 使用 Pin 类创建风扇对象，并设置为 PWM 模式

  47.         fan = Pin(pin_map[pin_number], Pin.PWM)

  48.         print(f"风扇已初始化，接在{pin_number}号端口")

  49.     else:

  50.         # 如果风扇未初始化

  51.         if fan is None: 

  52.             print("对不起，风扇尚未初始化，请先告诉我引脚号")

  53.             return

  54. 

  55.         # 根据用户输入执行相应的操作

  56.         if "turn on" in user_input: 

  57.             fan.write_analog(800)

  58.             print("风扇已开启")

  59.         elif "turn off" in user_input:

  60.             fan.write_analog(0)

  61.             print("风扇已关闭")

  62.         elif "increase" in user_input:

  63.             fan.write_analog(1023)

  64.             print("风扇转速已增加")

  65.         elif "decrease" in user_input:

  66.             fan.write_analog(512)

  67.             print("风扇转速已减少")

复制代码

6.2.3添加对风扇函数的工具描述
详细的解释函数以及各个参数的作用。
  1. tools = [

  2.     {

  3.         "type": "function",

  4.         "function": {

  5.             "name": "fan_action",

  6.             "description": "This function initializes or controls the fan based on the given action and user's command. It can initialize the fan, turn on the fan, turn off the fan, increase the fan speed, or decrease the fan speed. It will print an error message if the fan has not been initialized.",

  7.             "parameters": {

  8.                 "type": "object",

  9.                 "properties": {

  10.                     "action": {

  11.                         "type": "string",

  12.                         "enum": ["initialize", "turn_on", "turn_off", "increase_speed", "decrease_speed"],

  13.                         "description": "The action to perform on the fan.",  

  14.                     },

  15.                     "pin_number": {

  16.                         "type": "integer",

  17.                         "description": "The pin number where the fan is connected. Required for 'initialize' action.", 

  18.                     },

  19.                     "user_input": {

  20.                         "type": "string",

  21.                         "description": "The user's command to control the fan. Required for 'turn on', 'turn off', 'increase speed', 'decrease speed' actions.", 

  22.                     },

  23.                 },

  24.                 "required": ["action"], 

  25.             },

  26.         },

  27.     },

  28. ]
复制代码

6.2.4使用funtion calling功能控制风扇的完整程序如下
  1. # 导入所需的库和模块

  2. import requests 

  3. import json

  4. from pinpong.board import Board, Pin

  5. import openai

  6. import time

  7. 

  8. # 初始化 Pinpong Board

  9. Board(" ").begin()

  10. 

  11. # 设置你的 OpenAI API 密钥

  12. OPENAI_API_KEY = ' '

  13. 

  14. # 初始化风扇变量

  15. fan = None

  16. 

  17. # 引脚号映射到 Pinpong Pins

  18. pin_map = {

  19.     21: Pin.P21,

  20.     22: Pin.P22,

  21.     23: Pin.P23,

  22.     24: Pin.P24,

  23. }

  24. 

  25. # 发起聊天请求到 OpenAI API 的函数

  26. def chat_completion_request(messages, tools=None, tool_choice=None): 

  27.     headers = {

  28.         "Content-Type": "application/json",

  29.         "Authorization": "Bearer " + OPENAI_API_KEY,

  30.     }

  31.     json_data = {"model": "gpt-3.5-turbo-1106", "messages": messages}

  32.     if tools is not None:

  33.         json_data.update({"tools": tools})

  34.     if tool_choice is not None:

  35.         json_data.update({"tool_choice": tool_choice})

  36.     try:

  37.         response = requests.post(

  38.             "https://api.openai.com/v1/chat/completions",

  39.             headers=headers,

  40.             json=json_data,

  41.         )

  42.         return response

  43.     except Exception as e:

  44.         print("无法生成 ChatCompletion 响应")

  45.         print(f"异常: {e}")

  46.         return e

  47. 

  48. # 定义风扇控制工具

  49. tools = [

  50.     {

  51.         "type": "function",

  52.         "function": {

  53.             "name": "fan_action",

  54.             "description": "此函数根据给定的操作和用户的命令初始化或控制风扇。可以初始化风扇、打开风扇、关闭风扇、增加风扇速度或减少风扇速度。如果风扇未初始化，将打印错误消息。",

  55.             "parameters": {

  56.                 "type": "object",

  57.                 "properties": {

  58.                     "action": {

  59.                         "type": "string",

  60.                         "enum": ["initialize", "turn_on", "turn_off", "increase_speed", "decrease_speed"],

  61.                         "description": "在风扇上执行的操作。",

  62.                     },

  63.                     "pin_number": {

  64.                         "type": "integer",

  65.                         "description": "风扇连接的引脚编号。对于 'initialize' 操作，此项为必填。",

  66.                     },

  67.                     "user_input": {

  68.                         "type": "string",

  69.                         "description": "用户控制风扇的命令。对于 'turn on'、'turn off'、'increase speed'、'decrease speed' 操作，此项为必填。",

  70.                     },

  71.                 },

  72.                 "required": ["action"],

  73.             },

  74.         },

  75.     },

  76. ]

  77. 

  78. # 执行基于用户命令的风扇操作的函数

  79. def fan_action(action, pin_number=None, user_input=None): 

  80.     global fan

  81.     if action == "initialize": 

  82.         if pin_number not in pin_map:  

  83.             print(f"错误的引脚号：{pin_number}")

  84.             return

  85.         fan = Pin(pin_map[pin_number], Pin.PWM)

  86.         print(f"风扇已初始化，接在{pin_number}号端口")

  87.     else:

  88.         if fan is None:

  89.             print("风扇尚未初始化")

  90.             return

  91.         if "turn on" in user_input: 

  92.             fan.write_analog(800)

  93.             print("风扇已开启")

  94.         elif "turn off" in user_input:

  95.             fan.write_analog(0)

  96.             print("风扇已关闭")

  97.         elif "increase" in user_input:

  98.             fan.write_analog(1023)

  99.             print("风扇转速已增加")

  100.         elif "decrease" in user_input:

  101.             fan.write_analog(512)

  102.             print("风扇转速已减少")

  103. 

  104. # 系统发起的对话消息

  105. conversation = [

  106.     {"role": "system", "content": "你是一个能够控制风扇的有用助手。"},

  107. ]

  108. 

  109. # 主循环

  110. while True:

  111.     user_input = input('请输入：')

  112.     conversation.append({"role": "user", "content": user_input})

  113. 

  114.     # 向 OpenAI API 发起聊天请求

  115.     response = chat_completion_request(conversation, tools)

  116.     print("模型响应: ", response.json())

  117. 

  118.     # 处理模型的响应并执行请求的函数

  119.     if 'tool_calls' in response.json()["choices"][0]["message"]:

  120.         function_call = response.json()["choices"][0]["message"]["tool_calls"][0]["function"] 

  121.         print(f"模型调用的函数: {function_call['name']}")

  122.         if function_call["name"] == "fan_action":

  123.             arguments = json.loads(function_call["arguments"])

  124.             fan_action(arguments["action"], arguments.get("pin_number"), arguments.get("user_input"))  

  125. 

  126.     # 显示助手的响应

  127.     assistant_response = response.json()["choices"][0]["message"]["content"]

  128.     if assistant_response is None:

  129.         assistant_response = "执行操作" 

  130.     print(f"助手: {assistant_response}")

  131. 

  132.     # 将助手的响应添加到对话中

  133.     conversation.append({"role": "assistant", "content": assistant_response})  

  134.  
复制代码

6.3灯带6.3.1pinpong库灯带示例程序
通过pinpong库的示例程序可以看出，灯带的初始化需要两个参数：（1）灯带的引脚位置 （2）灯珠的数量。而灯珠颜色的设置是通过修改RGB值来实现的。
  1. # -*- coding: utf-8 -*-

  2. import time

  3. from pinpong.board import Board,Pin,NeoPixel

  4. 

  5. NEOPIXEL_PIN = Pin.D7 #灯的引脚号

  6. PIXELS_NUM = 4 #灯珠数量数

  7. np = NeoPixel(Pin(NEOPIXEL_PIN), PIXELS_NUM)  #灯带的初始化

  8. 

  9. while True:

  10.   np[0] = (0, 255 ,0) #设置第一个灯RGB亮度

  11.   np[1] = (255, 0, 0) #设置第二个灯RGB亮度

  12.   np[2] = (0, 0, 255) #设置第三个灯RGB亮度

  13.   np[3] = (255, 0, 255) #设置第四个灯RGB亮度

  14.   time.sleep(1)
复制代码

6.3.2定义点亮灯带的函数
在定义点亮灯带的函数时，我们先来思考用户会怎样使用灯带。当用户将灯带接在行空板的引脚上后，首先会告诉模型灯带的引脚号和灯珠的数量，只有这样，才能完成灯带的正确的初始化。因此，我们需要先定义两个全局变量，用于灯带的初始化操作。


  1. led = None  #用于初始化灯带对象

  2. num_beads_global = None #用于初始化灯珠数量
复制代码

当灯带初始化完成之后，用户会告诉模型想点亮的灯珠的数量和颜色，如“我想点亮4颗灯珠为红色”，这时，我们需要将红色转换成其对应的RGB值。为了实现这样的功能，我们可以定义一个颜色字典，将颜色名字与其RGB值对应起来。
  1. # 创建颜色字典

  2. COLOR_DICT = {

  3.     "red": [255, 0, 0],

  4.     "green": [0, 255, 0],

  5.     "blue": [0, 0, 255],

  6.     "white": [255, 255, 255],

  7.     "black": [0, 0, 0],

  8.     "yellow": [255, 255, 0],

  9.     "pink": [255, 105, 180],

  10.     "purple": [128, 0, 128]

  11. }
复制代码

接下来，定义函数 led_light_action ，用于初始化和控制 LED 灯带，支持两种操作：initialize（初始化）和 lightup（点亮）。在 initialize 操作中，它根据给定的引脚号和灯珠数量初始化 LED 灯带，而在 lightup 操作中，它点亮指定数量的 LED 灯珠，并设置它们的颜色。同时，函数会进行错误检查，确保必要的参数被提供，并在出现错误时输出相应的错误消息。
  1. def led_light_action(action, pin_number=None, num_lights=None, color=None):

  2.     global led

  3.     global num_beads_global

  4. 

  5.     # 如果动作是初始化

  6.     if action == "initialize":

  7.         # 检查参数是否完整

  8.         if pin_number is None or num_lights is None:

  9.             print("错误：'pin_number' 和 'num_lights' 在 'initialize' 动作中是必需的。")

  10.             return

  11.         # 初始化 LED 灯

  12.         led = NeoPixel(Pin(pin_number), num_lights)

  13.         num_beads_global = num_lights

  14.         print(f"LED 灯已在引脚 {pin_number} 上用 {num_lights} 颗珠子进行初始化。") 

  15. 

  16.     # 如果动作是点亮

  17.     elif action == "lightup":

  18.         # 检查 LED 是否已初始化

  19.         if led is None:

  20.             print("错误：LED 灯尚未初始化。")

  21.             return

  22.         # 检查参数是否完整

  23.         if num_lights is None or color is None:

  24.             print("错误：'num_lights' 和 'color' 在 'lightup' 动作中是必需的。")

  25.             return

  26.         # 检查 'num_lights' 是否为正整数，且不大于全局珠子数量

  27.         if not isinstance(num_lights, int) or num_lights <= 0 or num_lights > num_beads_global: 

  28.             print("错误：'num_lights' 必须是正整数且不能大于珠子数量。")

  29.             return

  30.         # 获取颜色对应的 RGB 值

  31.         color_rgb = COLOR_DICT.get(color.lower())

  32.         if color_rgb is None:

  33.             print(f"错误：未知颜色 '{color}'")

  34.             return

  35.         # 逐个点亮指定数量的珠子

  36.         for i in range(num_lights):

  37.             led[i] = tuple(color_rgb)

  38.             led.write(i, color_rgb[0], color_rgb[1], color_rgb[2])

  39.         print(f"点亮了 {num_lights} 颗珠子，颜色为 {color}。")

  40. 

  41.     # 如果动作未知

  42.     else:

  43.         print(f"错误：未知动作 '{action}'")
复制代码

6.3.3点亮灯带的函数的工具描述
  1. tools = [

  2.     {

  3.         "type": "function",

  4.         "function": {

  5.             "name": "led_light_action",

  6.             "description": "This function performs actions on a LED light. It can initialize the LED light on a specific pin with a certain number of beads, or light up a certain number of beads in a specific color.",

  7.             "parameters": {

  8.                 "type": "object",

  9.                 "properties": {

  10.                     "action": {

  11.                         "type": "string",

  12.                         "enum": ["initialize", "lightup"],

  13.                         "description": "The action to perform. 'initialize' will set up the LED light on a specific pin with a certain number of beads. 'lightup' will light up a certain number of beads in a specific color."

  14.                     },

  15.                     "pin_number": {

  16.                         "type": "integer",

  17.                         "description": "The pin number where the LED light is connected. This is required when the 'action' is 'initialize'."

  18.                     },

  19.                     "num_lights": {

  20.                         "type": "integer",

  21.                         "description": "The number of beads to light up or initialize. This is required when the 'action' is 'initialize' or 'lightup'." 

  22.                     },

  23.                     "color": {

  24.                         "type": "string",

  25.                         "description": "The color to use when lighting up the beads. This is required when the 'action' is 'lightup'."

  26.                     },

  27.                 },

  28.                 "required": ["action"],

  29.             },

  30.         },

  31.     }

  32. 

  33. ]
复制代码

6.3.4使用funtion calling 功能点亮灯带的完整程序如下
  1. import requests

  2. import json

  3. from pinpong.board import Board, Pin, NeoPixel

  4. 

  5. Board().begin()  # 初始化

  6. 

  7. OPENAI_API_KEY = ' '  # OpenAI API 密钥

  8. 

  9. # 创建颜色字典

  10. COLOR_DICT = {

  11.     "red": [255, 0, 0],

  12.     "green": [0, 255, 0],

  13.     "blue": [0, 0, 255],

  14.     "white": [255, 255, 255],

  15.     "black": [0, 0, 0],

  16.     "yellow": [255, 255, 0],

  17.     "pink": [255, 105, 180],

  18.     "purple": [128, 0, 128]

  19. }

  20. 

  21. led = None

  22. num_beads_global = None

  23. 

  24. def chat_completion_request(messages, tools=None, tool_choice=None): 

  25.     headers = {

  26.         "Content-Type": "application/json",

  27.         "Authorization": "Bearer " + OPENAI_API_KEY,

  28.     }

  29.     json_data = {"model": "gpt-3.5-turbo", "messages": messages}

  30.     if tools is not None:

  31.         json_data.update({"tools": tools})

  32.     if tool_choice is not None:

  33.         json_data.update({"tool_choice": tool_choice})

  34.     try:

  35.         response = requests.post(

  36.             "https://api.openai.com/v1/chat/completions",

  37.             headers=headers,

  38.             json=json_data,

  39.         )

  40.         return response

  41.     except Exception as e:

  42.         print("Unable to generate ChatCompletion response")

  43.         print(f"Exception: {e}")

  44.         return None

  45. 

  46. def led_light_action(action, pin_number=None, num_lights=None, color=None):

  47.     global led

  48.     global num_beads_global

  49. 

  50.     if action == "initialize":

  51.         if pin_number is None or num_lights is None:

  52.             print("Error: 'pin_number' and 'num_lights' are required for 'initialize' action.")

  53.             return

  54.         led = NeoPixel(Pin(pin_number), num_lights)

  55.         num_beads_global = num_lights

  56.         print(f"LED light initialized on pin {pin_number} with {num_lights} beads.")

  57. 

  58.     elif action == "lightup":

  59.         if led is None:

  60.             print("Error: LED light has not been initialized.")

  61.             return

  62.         if num_lights is None or color is None:

  63.             print("Error: 'num_lights' and 'color' are required for 'lightup' action.") 

  64.             return

  65.         if not isinstance(num_lights, int) or num_lights <= 0 or num_lights > num_beads_global:

  66.             print("Error: 'num_lights' must be a positive integer and not greater than the number of beads.")

  67.             return

  68.         color_rgb = COLOR_DICT.get(color.lower())

  69.         if color_rgb is None:

  70.             print(f"Error: Unknown color '{color}'")

  71.             return

  72.         for i in range(num_lights):

  73.             led[i] = tuple(color_rgb)

  74.             led.write(i, color_rgb[0], color_rgb[1], color_rgb[2])

  75.         print(f"Lit up {num_lights} beads with color {color}.")

  76. 

  77.     else:

  78.         print(f"Error: Unknown action '{action}'")

  79. 

  80. tools = [

  81.     {

  82.         "type": "function",

  83.         "function": {

  84.             "name": "led_light_action",

  85.             "description": "This function performs actions on a LED light. It can initialize the LED light on a specific pin with a certain number of beads, or light up a certain number of beads in a specific color.",

  86.             "parameters": {

  87.                 "type": "object",

  88.                 "properties": {

  89.                     "action": {

  90.                     "type": "string",

  91.                     "enum": ["initialize", "lightup"],

  92.                     "description": "The action to perform. 'initialize' will set up the LED light on a specific pin with a certain number of beads. 'lightup' will light up a certain number of beads in a specific color."

  93.                 },

  94.                 "pin_number": {

  95.                     "type": "integer",

  96.                     "description": "The pin number where the LED light is connected. This is required when the 'action' is 'initialize'."

  97.                 },

  98.                 "num_lights": {

  99.                     "type": "integer",

  100.                     "description": "The number of beads to light up or initialize. This is required when the 'action' is 'initialize' or 'lightup'."

  101.                 },

  102.                 "color": {

  103.                     "type": "string",

  104.                     "description": "The color to use when lighting up the beads. This is required when the 'action' is 'lightup'."

  105.                 },

  106.             },

  107.             "required": ["action"],

  108.         },

  109.     },

  110. }

  111. 

  112. ]

  113. 

  114. messages = [

  115.     {"role": "system", "content": "You are a helpful assistant."},

  116. ]

  117. 

  118. while True:

  119.     user_input = input("User: ")

  120.     messages.append({"role": "user", "content": user_input})

  121. 

  122.     response = chat_completion_request(messages, tools)

  123.     if not isinstance(response, requests.Response):

  124.         print("Error: Failed to generate ChatCompletion response.")

  125.         break

  126. 

  127.     print("Model JSON Response: ", response.json())  # 打印模型的 JSON 响应

  128. 

  129.     model_response = response.json()["choices"][0]["message"]["content"]

  130.     print("Model: ", model_response)

  131.     #messages.append({"role": "assistant", "content": model_response})  # 添加模型的响应到消息历史

  132. 

  133.     if "tool_calls" in response.json()["choices"][0]["message"]:

  134.         function_call = response.json()["choices"][0]["message"]["tool_calls"][0]["function"]

  135.         if function_call["name"] == "led_light_action":

  136.             arguments = json.loads(function_call["arguments"])

  137.             led_light_action(arguments["action"], arguments.get("pin_number"), arguments.get("num_lights"), arguments.get("color"))
复制代码

6.4添加语音交互
在代码基本功能实现好之后，接下来，来添加交互和页面设计。使用微软的语音服务实现用户语音转文本，以及模型回复文本转语音。
  1. import azure.cognitiveservices.speech as speechsdk 

  2. from azure.cognitiveservices.speech import SpeechConfig, SpeechRecognizer, SpeechSynthesizer, AudioConfig

  3. # 初始化语音识别和语音合成服务

  4. speech_config = SpeechConfig(subscription=" ", region="eastus") #填入微软语音服务API

  5. recognizer = SpeechRecognizer(speech_config=speech_config)

  6. synthesizer = SpeechSynthesizer(speech_config=speech_config)

  7. import speechsdk

  8. 

  9. # 语音转文本函数

  10. def recognize_from_microphone(): 

  11.     # 配置音频参数

  12.     audio_config = speechsdk.AudioConfig(use_default_microphone=True)

  13.     

  14.     # 创建语音识别器对象

  15.     speech_recognizer = speechsdk.SpeechRecognizer(speech_config=speech_config, audio_config=audio_config)

  16.     

  17.     # 异步进行一次语音识别

  18.     result = speech_recognizer.recognize_once_async().get()

  19. 

  20.     # 根据识别结果进行处理

  21.     if result.reason == speechsdk.ResultReason.RecognizedSpeech:

  22.         print("识别的文本为: ", result.text)  # 将识别结果打印在终端

  23.         return result.text 

  24.     elif result.reason == speechsdk.ResultReason.NoMatch:

  25.         print("无法识别任何语音: {}".format(result.no_match_details))

  26.     elif result.reason == speechsdk.ResultReason.Canceled: 

  27.         # 处理取消的情况

  28.         cancellation_details = result.cancellation_details

  29.         print("语音识别被取消: {}".format(cancellation_details.reason)) 

  30.         if cancellation_details.reason == speechsdk.CancellationReason.Error:

  31.             print("错误详情: {}".format(cancellation_details.error_details))

  32.             print("你是否设置了语音资源密钥和区域值？")

  33. 

  34. # 文本到语音合成函数

  35. def tts(text):

  36.     # 检查输入文本是否为空

  37.     if text is None:

  38.         print("没有文本可合成.")

  39.         return

  40.     

  41.     # 配置语音合成参数

  42.     speech_config.set_property(property_id=speechsdk.PropertyId.SpeechServiceResponse_RequestSentenceBoundary, value='true') 

  43.     

  44.     # 配置音频输出参数

  45.     audio_config = speechsdk.audio.AudioOutputConfig(use_default_speaker=True)

  46.     

  47.     # 创建语音合成器对象

  48.     speech_synthesizer = speechsdk.SpeechSynthesizer(speech_config=speech_config, audio_config=audio_config)

  49.     

  50.     # 异步进行文本到语音合成

  51.     speech_synthesis_result = speech_synthesizer.speak_text_async(text).get()

复制代码

接下来进行界面设计，添加录音的图片和提示语。
  1. from unihiker import Audio

  2. from unihiker import GUI

  3. # 初始化 Audio 类

  4. audio = Audio()

  5. 

  6. # 初始化 GUI

  7. u_gui = GUI()

  8. 

  9.     u_gui.draw_text(x=120, y=10, text="Start Home Assistant", origin='top', color="blue", font_size=15) 

  10.     u_gui.draw_image(image="mic.jpg", x=120, y=230, w=180, h=50, origin='center', onclick=on_mic_click)

  11.     u_gui.draw_image(image="Mind.jpg", x=120, y=120, w=350, h=150, origin='center')

  12.     recording_status = u_gui.draw_text(x=120, y=300, text="Press to start recording", origin='center', color="blue", font_size=15)

复制代码

可以使用flag变量标记录音状态。
如果 flag 的值为 1，表示用户点击了麦克风按钮，程序将切换到录音状态，并调用 recognize_from_microphone 函数获取用户的语音输入。
如果 flag 的值为 2，表示用户的语音输入已经被处理，程序将调用模型生成回复，并执行相应的工具调用（如果存在）。
如果 flag 的值为 0，表示程序已经处理完用户的输入，准备好接受下一次录音。

  1. flag=0

  2. 

  3. def on_mic_click():

  4.     global flag

  5.     flag = 1

  6. 

  7. def main():

  8.     global flag

  9.     global user_input  # 声明 user_input 是一个全局变量

  10.     user_input = '' 

  11.     u_gui.draw_text(x=120, y=10, text="Start Home Assistant", origin='top', color="blue", font_size=15)

  12.     u_gui.draw_image(image="mic.jpg", x=120, y=230, w=180, h=50, origin='center', onclick=on_mic_click)

  13.     u_gui.draw_image(image="Mind.jpg", x=120, y=120, w=350, h=150, origin='center')

  14.     recording_status = u_gui.draw_text(x=120, y=300, text="Press to start recording", origin='center', color="blue", font_size=15)

  15. 

  16.     while True:

  17. 

  18.         # 检查flag的值，并更新UI

  19.         if flag == 1:

  20.             recording_status.config(text="listening...")

  21.             user_input = recognize_from_microphone()  # 在这里获取用户的输入

  22.             time.sleep(3)

  23.             flag = 2  #

  24. 

  25.         # 如果用户已经说完了，设置flag的值为2，并发送用户的输入到模型please

  26.         if user_input != "" and flag == 2:

  27.             recording_status.config(text="thinking...")

  28.             conversation.append({"role": "user", "content": user_input})

  29.             response = chat_completion_request(conversation, tools)

  30.             print("Model Response: ", response.json())

  31. 

  32.             # 将模型的回复转换为语音并播放

  33.             try:

  34.                 assistant_response = response.json()["choices"][0]["message"]["content"]

  35.             except KeyError:

  36.                 assistant_response = "我已经成功为您操作"

  37. 

  38. 

  39.             if assistant_response is None:

  40.                 assistant_response="我已经成功为您操作"

  41.             print(f"Assistant: {assistant_response}")

  42.             #tts(assistant_response)

  43. 

  44.             # 执行模型的回复中的工具调用

  45.             if 'tool_calls' in response.json()["choices"][0]["message"]: 

  46.                 function_call = response.json()["choices"][0]["message"]["tool_calls"][0]["function"]

  47.                 arguments = json.loads(function_call["arguments"])

  48.                 if function_call["name"] == "play_music":

  49.                     play_music(arguments["music"])

  50.                 elif function_call["name"] == "fan_action":

  51.                     fan_action(arguments["action"], arguments.get("pin_number"), arguments.get("user_input"))

  52.                 elif function_call["name"] == "led_light_action":

  53.                     led_light_action(arguments["action"], arguments.get("pin_number"), arguments.get("num_lights"), arguments.get("color")) 

  54. 

  55.             conversation.append({"role": "assistant", "content": assistant_response}) 

  56.             flag = 0  # 设置flag的值为1，表示已经处理完用户的输入

  57.             recording_status.config(text="Press to start recording")

  58. 

  59. if __name__ == "__main__":

  60.     main()
复制代码

七、完整程序
  1. import requests

  2. import json

  3. import openai

  4. import time

  5. import azure.cognitiveservices.speech as speechsdk

  6. from azure.cognitiveservices.speech import SpeechConfig, SpeechRecognizer, SpeechSynthesizer, AudioConfig

  7. import os 

  8. from pinpong.extension.unihiker import *  

  9. from unihiker import Audio

  10. from unihiker import GUI

  11. from pinpong.board import Board, Pin,NeoPixel

  12. 

  13. Board(" ").begin()

  14. # 初始化 Audio 类

  15. audio = Audio()

  16. 

  17. # 初始化 GUI

  18. u_gui = GUI()

  19. 

  20. flag=0

  21. 

  22. # 初始化语音识别和语音合成服务

  23. speech_config = SpeechConfig(subscription=" ", region="eastus") 

  24. recognizer = SpeechRecognizer(speech_config=speech_config)

  25. synthesizer = SpeechSynthesizer(speech_config=speech_config)

  26. #  OpenAI API 密钥

  27. OPENAI_API_KEY = ' ' 

  28. 

  29. global fan, led, num_beads_global

  30. fan, led, num_beads_global = None, None, None

  31. 

  32. pin_map = {

  33.     21: Pin.P21,

  34.     22: Pin.P22,

  35.     23: Pin.P23,

  36.     24: Pin.P24,

  37. }

  38. 

  39. # 创建颜色字典

  40. COLOR_DICT = {

  41.     "red": [255, 0, 0],

  42.     "green": [0, 255, 0],

  43.     "blue": [0, 0, 255],

  44.     "white": [255, 255, 255],

  45.     "black": [0, 0, 0],

  46.     "yellow": [255, 255, 0],

  47.     "pink": [255, 105, 180],

  48.     "purple": [128, 0, 128]

  49. }

  50. 

  51. 

  52. def recognize_from_microphone(): 

  53.     audio_config = AudioConfig(use_default_microphone=True)

  54.     speech_recognizer = SpeechRecognizer(speech_config=speech_config, audio_config=audio_config)

  55.     result = speech_recognizer.recognize_once_async().get()

  56. 

  57.     if result.reason == speechsdk.ResultReason.RecognizedSpeech:

  58.         print("识别的文本为: ", result.text)  # 这行代码将识别结果打印在终端

  59.         return result.text

  60.     elif result.reason == speechsdk.ResultReason.NoMatch:

  61.         print("No speech could be recognized: {}".format(result.no_match_details))   

  62.     elif result.reason == speechsdk.ResultReason.Canceled: 

  63.         cancellation_details = result.cancellation_details

  64.         print("Speech Recognition canceled: {}".format(cancellation_details.reason))  

  65.         if cancellation_details.reason == speechsdk.CancellationReason.Error:

  66.             print("Error details: {}".format(cancellation_details.error_details))

  67.             print("Did you set the speech resource key and region values?") 

  68. 

  69. 

  70. def tts(text):

  71.     if text is None:

  72.         print("No text to synthesize.") 

  73.         return

  74.     speech_config.set_property(property_id=speechsdk.PropertyId.SpeechServiceResponse_RequestSentenceBoundary, value='true')

  75.     audio_config = speechsdk.audio.AudioOutputConfig(use_default_speaker=True)

  76.     speech_synthesizer = speechsdk.SpeechSynthesizer(speech_config=speech_config, audio_config=audio_config)

  77.     speech_synthesis_result = speech_synthesizer.speak_text_async(text).get()

  78. 

  79. 

  80. 

  81. 

  82. def chat_completion_request(messages, tools=None, tool_choice=None):

  83.     headers = {

  84.         "Content-Type": "application/json",

  85.         "Authorization": "Bearer " + OPENAI_API_KEY, 

  86.     }

  87.     json_data = {"model": "gpt-3.5-turbo-1106", "messages": messages} 

  88.     if tools is not None:

  89.         json_data.update({"tools": tools}) 

  90.     if tool_choice is not None:

  91.         json_data.update({"tool_choice": tool_choice})

  92.     try:

  93.         response = requests.post(

  94.             "https://api.openai.com/v1/chat/completions",

  95.             headers=headers,

  96.             json=json_data,

  97.         )

  98.         return response

  99.     except Exception as e:

  100.         print("Unable to generate ChatCompletion response")

  101.         print(f"Exception: {e}")

  102.         return e

  103. 

  104. 

  105. def play_music(music):

  106.     if music in ["DADADADUM", "ENTERTAINER", "PRELUDE", "ODE", "NYAN", "RINGTONE", "FUNK", "BLUES", "BIRTHDAY", "WEDDING", "FUNERAL", "PUNCHLINE", "BADDY", "CHASE", "BA_DING", "WAWAWAWAA", "JUMP_UP", "JUMP_DOWN", "POWER_UP", "POWER_DOWN"]:

  107.         buzzer.play(getattr(buzzer, music), buzzer.OnceInBackground)

  108.         print(f"已调用，播放{music}")

  109.     else:

  110.         print("对不起，我这里没有这个音乐。")

  111. 

  112. def fan_action(action, pin_number=None, user_input=None): 

  113.     global fan

  114.     if action == "initialize": 

  115.         if pin_number not in pin_map:

  116.             print(f"错误的引脚号：{pin_number}")

  117.             return

  118.         fan = Pin(pin_map[pin_number], Pin.PWM)

  119.         print(f"风扇已初始化，接在{pin_number}号端口")

  120.         assistant_response=(f"风扇已初始化，接在{pin_number}号端口")

  121.     else:

  122.         if fan is None:

  123.             print("好的，风扇尚未初始化")

  124.             return

  125.         if "turn on" in user_input:

  126.             fan.write_analog(800)

  127.             print("好的，风扇已开启")

  128.             assistant_response="好的，风扇已开启"

  129.         elif "turn off" in user_input:

  130.             fan.write_analog(0)

  131.             print("好的，风扇已关闭")

  132.             assistant_response="好的，风扇已关闭"

  133.         elif "increase" in user_input:

  134.             fan.write_analog(1023)

  135.             print("好的，风扇转速已增加")

  136.             assistant_response="好的，风扇转速已增加"

  137.         elif "decrease" in user_input: 

  138.             fan.write_analog(512)

  139.             print("好的，风扇转速已减少")

  140.             assistant_response="好的，风扇转速已增加"

  141. 

  142. def led_light_action(action, pin_number=None, num_lights=None, color=None):

  143.     global led

  144.     global num_beads_global

  145. 

  146.     if action == "initialize":

  147.         if pin_number is None or num_lights is None:

  148.             print("错误，灯带'initialize' 动作需要 'pin_number' 和 'num_lights'。")

  149.             return

  150.         led = NeoPixel(Pin(pin_number), num_lights)

  151.         num_beads_global = num_lights

  152.         print(f"好的，现在我知道LED 灯已在引脚 {pin_number} 上初始化，有 {num_lights} 个灯珠。")

  153.         assistant_response=(f"好的，现在我知道LED 灯已在引脚 {pin_number} 上初始化，有 {num_lights} 个灯珠。")

  154. 

  155.     elif action == "lightup":

  156.         if led is None:

  157.             print("错误：LED 灯尚未初始化。")

  158.             return

  159.         if num_lights is None or color is None:

  160.             print("错误：'lightup' 动作需要 'num_lights' 和 'color'。告诉我完整的")

  161.             return

  162.         if not isinstance(num_lights, int) or num_lights <= 0 or num_lights > num_beads_global:

  163.             print("错误：'num_lights' 必须是正整数，且不能大于初始化的灯珠数量。")

  164.             return

  165.         color_rgb = COLOR_DICT.get(color.lower())

  166.         if color_rgb is None:

  167.             print(f"错误：未知颜色 '{color}',请在颜色字典中添加这个颜色")

  168.             return

  169.         for i in range(num_lights):

  170.             led[i] = tuple(color_rgb)

  171.             led.write(i, color_rgb[0], color_rgb[1], color_rgb[2])

  172.         print(f"好的，我现在已点亮 {num_lights} 个灯珠，颜色为 {color}。")

  173.         assistant_response=(f"好的，我现在已点亮 {num_lights} 个灯珠，颜色为 {color}。")

  174.     else:

  175.         print(f"错误：未知操作 '{action}'")

  176. 

  177. tools = [

  178.     {

  179.         "type": "function",

  180.         "function": {

  181.            "name": "play_music", 

  182.             "description": "When the user requests to play music, this function is called.Plays music in the house when the user is bored or needs relaxation. The music list includes 'DADADADUM', 'ENTERTAINER', 'PRELUDE', 'ODE', 'NYAN', 'RINGTONE', 'FUNK', 'BLUES', 'BIRTHDAY', 'WEDDING', 'FUNERAL', 'PUNCHLINE', 'BADDY', 'CHASE', 'BA_DING', 'WAWAWAWAA', 'JUMP_UP', 'JUMP_DOWN', 'POWER_UP', 'POWER_DOWN'.",

  183.             "parameters": {

  184.                 "type": "object",

  185.                 "properties": {

  186.                     "music": {

  187.                         "type": "string",

  188.                         "enum": ["DADADADUM", "ENTERTAINER", "PRELUDE", "ODE", "NYAN", "RINGTONE", "FUNK", "BLUES", "BIRTHDAY", "WEDDING", "FUNERAL", "PUNCHLINE", "BADDY", "CHASE", "BA_DING", "WAWAWAWAA", "JUMP_UP", "JUMP_DOWN", "POWER_UP", "POWER_DOWN"],

  189.                         "description": "The music to play in the house." 

  190.                     },

  191.                 },

  192.                 "required": ["music"],

  193.             },

  194.         }

  195.     },

  196.     {

  197.         "type": "function",

  198.         "function": {

  199.             "name": "fan_action",

  200.             "description": "This function initializes or controls the fan based on the given action and user's command. It can initialize the fan, turn on the fan, turn off the fan, increase the fan speed, or decrease the fan speed. It will print an error message if the fan has not been initialized.", 

  201.             "parameters": {

  202.                 "type": "object",

  203.                 "properties": {

  204.                     "action": {

  205.                         "type": "string",

  206.                         "enum": ["initialize", "turn_on", "turn_off", "increase_speed", "decrease_speed"],

  207.                         "description": "The action to perform on the fan.",

  208.                     },

  209.                     "pin_number": {

  210.                         "type": "integer",

  211.                         "description": "The pin number where the fan is connected. Required for 'initialize' action.", 

  212.                     },

  213.                     "user_input": {

  214.                         "type": "string",

  215.                         "description": "The user's command to control the fan. Required for 'turn on', 'turn off', 'increase speed', 'decrease speed' actions.",

  216.                     },

  217.                 },

  218.                 "required": ["action"],

  219.             },

  220.         },

  221.     },

  222.     {

  223.         "type": "function",

  224.         "function": {

  225.             "name": "led_light_action",

  226.             "description": "This function performs actions on a LED light. It can initialize the LED light on a specific pin with a certain number of beads, or light up a certain number of beads in a specific color.",

  227.             "parameters": {

  228.                 "type": "object",

  229.                 "properties": {

  230.                     "action": {

  231.                         "type": "string",

  232.                         "enum": ["initialize", "lightup"],

  233.                         "description": "The action to perform. 'initialize' will set up the LED light on a specific pin with a certain number of beads. 'lightup' will light up a certain number of beads in a specific color."

  234.                     },

  235.                     "pin_number": {

  236.                         "type": "integer",

  237.                         "description": "The pin number where the LED light is connected. This is required when the 'action' is 'initialize'."

  238.                     },

  239.                     "num_lights": {

  240.                         "type": "integer",

  241.                         "description": "The number of beads to light up or initialize. This is required when the 'action' is 'initialize' or 'lightup'."

  242.                     },

  243.                     "color": {

  244.                         "type": "string",

  245.                         "description": "The color to use when lighting up the beads. This is required when the 'action' is 'lightup'."

  246.                     },

  247.                 },

  248.                 "required": ["action"],

  249.             },

  250.         },

  251.     }

  252. ]

  253. 

  254. conversation = [

  255.     {"role": "system", "content": "You are a smart home assistant that can play music for relaxation when the user is bored or needs it. You can suggest playing music when the user seems bored or tired.You are a helpful assistant that can also control a fan and a LED light."},

  256. ]

  257. flag=0

  258. 

  259. def on_mic_click():

  260.     global flag

  261.     flag = 1

  262. 

  263. def main():

  264.     global flag

  265.     global user_input  # 声明 user_input 是一个全局变量

  266.     user_input = '' 

  267.     u_gui.draw_text(x=120, y=10, text="Start Home Assistant", origin='top', color="blue", font_size=15)

  268.     u_gui.draw_image(image="mic.jpg", x=120, y=230, w=180, h=50, origin='center', onclick=on_mic_click)

  269.     u_gui.draw_image(image="Mind.jpg", x=120, y=120, w=350, h=150, origin='center')

  270.     recording_status = u_gui.draw_text(x=120, y=300, text="Press to start recording", origin='center', color="blue", font_size=15)

  271. 

  272.     while True:

  273. 

  274.         # 检查flag的值，并更新UI

  275.         if flag == 1:

  276.             recording_status.config(text="listening...")

  277.             user_input = recognize_from_microphone()  # 在这里获取用户的输入

  278.             time.sleep(3)

  279.             flag = 2  #

  280. 

  281.         # 如果用户已经说完了，设置flag的值为2，并发送用户的输入到模型please

  282.         if user_input != "" and flag == 2:

  283.             recording_status.config(text="thinking...")

  284.             conversation.append({"role": "user", "content": user_input})

  285.             response = chat_completion_request(conversation, tools)

  286.             print("Model Response: ", response.json())

  287.             

  288.             # 将模型的回复转换为语音并播放

  289.             try:

  290.                 assistant_response = response.json()["choices"][0]["message"]["content"]

  291.             except KeyError:

  292.                 assistant_response = "我已经成功为您操作"

  293.             

  294. 

  295.             if assistant_response is None: 

  296.                 assistant_response="我已经成功为您操作"

  297.             print(f"Assistant: {assistant_response}")

  298.             #tts(assistant_response)

  299. 

  300.             # 执行模型的回复中的工具调用

  301.             if 'tool_calls' in response.json()["choices"][0]["message"]: 

  302.                 function_call = response.json()["choices"][0]["message"]["tool_calls"][0]["function"]

  303.                 arguments = json.loads(function_call["arguments"])

  304.                 if function_call["name"] == "play_music":

  305.                     play_music(arguments["music"])

  306.                 elif function_call["name"] == "fan_action": 

  307.                     fan_action(arguments["action"], arguments.get("pin_number"), arguments.get("user_input"))

  308.                 elif function_call["name"] == "led_light_action":

  309.                     led_light_action(arguments["action"], arguments.get("pin_number"), arguments.get("num_lights"), arguments.get("color"))

  310. 

  311.             conversation.append({"role": "assistant", "content": assistant_response})

  312.             flag = 0  # 设置flag的值为1，表示已经处理完用户的输入

  313.             recording_status.config(text="Press to start recording") 

  314. 

  315. if __name__ == "__main__":

  316.     main()
复制代码



参考资料
OpenAI官方文档

行空板的板载硬件库
ChatGLM3-6B funtion calling官方文档
智谱AI技术文档


下载附件funtion calling项目 - 副本.zip


回复

使用道具 举报

精彩评论(2)

迟迟具体  见习技师

发表于 2024-5-15 09:48:31

厉害呀，感谢
回复

使用道具 举报

lt1996  学徒

发表于 2024-5-17 11:20:59

Zhipuai装不上
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail