查看: 3385|回复: 1

Mind+Python编程与智能进阶教程——08智能语音开关

本帖最后由木子呢于 2021-12-1 14:23 编辑

Mind+Python编程与智能进阶教程——08智能语音开关

课程目录：

一、实践情境

与机器进行语音交流，让机器明白我们说什么，这是人们长期以来梦寐以求的事情。

现如今，在国家的大力发展下，我国在语音识别、机器视觉、人脸识别、指纹识别等人工智能基础性技术上不断取得突破，许多曾经的梦想逐渐转变为现实。

二、实践目标

本实践项目运用micro:bit作为智能终端，结合继电器硬件来设计一个智能语音开关。通过语音来与智能终端进行交流，继而控制继电器的开关。

三、知识目标

1、了解语音识别的一般过程

2、掌握运用micro:bit作为智能终端，通过Python编程将语音转换成文字的方式

3、掌握运用micro:bit作为智能终端，通过Python编程实现语音控制智能硬件的方式

四、实践准备

硬件清单：

软件使用： Mind+编程软件

其他：

1、十字/一字两用螺丝刀 x1

2、家用迷你小风扇 x1

五、实践过程
在本项目中，我们将分三步，设计一个智能语音开关，实现通过语音来控制继电器开关。

1、录制语音并将其转换成文字

2、语音控制micro:bit点阵屏显示笑脸

3、添加继电器，实现语音控制继电器开关

任务1：语音转文字

1. 分析设计

在这个任务中，我们将完成语音的录制，并将录制的语音文件转换为文字显示在Mind+终端界面。

这里，我们可先调用录音程序利用电脑麦克风录制语音，再借助百度AI开放平台的语音识别技术，将音频中的特征进行提取，并调用已有的识别引擎，识别所输入的语音，最终转换成文字显示在软件终端。

由于我们需要使用到百度AI平台的语音识别技术，因此，我们需提前创建好百度AI账户并获取密钥。

对于语音转换成文字的效果实现，我们分步骤进行，具体流程如下，

2. 获取百度AI平台账户密钥

STEP1：进入百度云网站

点击进入下列网站：https://cloud.baidu.com/

STEP2：注册并登录百度云账号，

STEP3：登录成功后，在右上角个人账号中点击“用户中心”，点击左上角的，找到“产品服务”中的“语音技术”，并点击进入。

STEP4：创建应用

在新页面中点击“创建应用”，应用名称和应用描述任意填写，无需企业认证，将“语音技术”、“文字识别”、“图像识别”、“人体分析”全部勾选，（有些目前用不上，但是都可以勾选，后续用得上）。

添加成功后点击“返回应用列表”，这样在列表中就可以看到我们新添加的应用了

STEP5：领取资源

分别点击“语音识别”和“语音合成”的“领取免费资源”，选上全部接口后点击“0元领取”即可。

STEP6：记录关键参数

领取完资源后，回到应用列表，找到我们需要的应用和对应的APPID、API Key、Secret Key，将其记录下来，这三个中的关键参数都是我们后续代码中所需要的。

3. 软件编写

在编写语音识别的代码之前，我们首先需要先手动编写录音程序以便在后续调用，之后安装所需要的库，最后便是项目任务一主程序的编写。

Tips：录音程序已提供，附录1可见。

软件设置：

STEP1：创建与保存项目文件

启动Mind+软件，选择“Python模式”，另存项目并命名为“m智能语音开关”。

STEP2：创建与保存Python文件

创建一个Python程序文件“任务一.py”，双击打开。

安装库：

STEP1：安装百度AI库

在“库管理”的“PIP模式”下输入“pip install baidu-aip”，并点击运行进行安装。

STEP2：安装实现录音需要的PyAudio库

在“库管理”的“PIP模式”下输入“pip install PyAudio”，并点击运行进行安装。

编写录音程序文件：

（1）在“任务一.py”的同级目录下，新建一个“pyrec1.py”程序文件，将附录1 中的录音程序代码写入并保存。

程序编写、运行及回顾：

STEP1：编写Python程序

import pyrec1 #导入录音程序文件

from aip import AipSpeech #导入百度语音识别库

import time #导入时间库

#和我们百度AI开放平台中创建的应用的三个参数一致，按照自己所创建的应用参数对应进行替换

APP_ID = '' #填入APP_ID信息

API_KEY = ''#填入API_KEY信息

SECRET_KEY = ''#填入SECRET_KEY信息

client = AipSpeech(APP_ID,API_KEY,SECRET_KEY) #创建百度云客户端连接

file_name_record='record.wav' #音频文件保存名

pyrec1.record(file_name_record) #录音

print("正在转换") # 打印“正在转换”

#打开语音文件并读取,读取信息存入file_context

with open(file_name_record,'rb') as fp:

    file_context = fp.read()

#向百度云发出请求，百度云反馈字典格式信息

res = client.asr (file_context, 'wav', 16000, {'dev_pid': 1537,})

print(res) #打印出识别到的结果

res_str = res.get ("result") [0] #获取信息中的文本内容

print('语音转文字成功：',res_str)#只打印关键的语音文本信息
复制代码

Tips：须在程序中填入对应的APPID、API Key、Secret Key三个参数。

STEP2：运行程序并观察效果

（1）运行程序，并录制语音

点击运行，可以看到终端内显示“开始录音，请说话”的提示字样，之后对着电脑任意说两三秒语音。

（2）观察终端界面

三秒后可以在终端看到结束提示，之后就能得到经过语音识别转换而来的语音信息及中文显示了。

Tips：这里，我们说的语音为“上海自来水来自海上”。

（3）观察文件信息栏

同时，刷新右侧文件信息栏后可以看到有新生成的两个语音文件，这就是我们刚才录制的语音得到的音频文件。

Tips：可以打开音频文件用播放器听一听自己刚才录制的语音哦。

STEP3：回顾程序

4. 调试修改

在实验时，说话的字数长短可能会影响识别的准确率，让我们多次实验，录制不同长度的语音，看一看文字长短与准确率之间的关系如何吧。

事实上，在识别的过程中，录制的语音可能会受文字长短、普通话标准与否、语速快慢等因素的影响而识别出错。因此，录制语音时需注意这些细节哦！

任务2：语音控制笑脸显示

1.分析设计

在上个任务中，我们已经成功地将语音转化为文字输出在Mind+软件终端。接下来，我们将在此基础上结合micro:bit智能硬件对识别出来的文字进行判别，实现通过语音来控制micro:bit显示笑脸。

这里，我们可将micro:bit开发板与计算机相连，之后录制指定的语音使百度AI平台进行识别，识别正确控制点阵屏秀一个笑脸。

2.硬件搭建

通过USB连接线将micro:bit接到计算机。

3.软件编写

软件设置：

STEP1：创建与保存Python文件

新建一个Python程序文件“任务二.py”，双击打开。

程序编写、运行及回顾：

STEP1：编写Python程序

import pyrec1 #导入录音程序文件

from aip import AipSpeech #导入百度语音识别库

import time #导入时间库

from pinpong.board import Board #导入pinpong.board包中的Board模块

from pinpong.extension.microbit import * #导入pinpong.extension.microbit中所有模块

Board("microbit").begin() #初始化，选择板型和端口号，不输入端口号则进行自动识别

#和我们百度AI开放平台中创建的应用的三个参数一致，按照自己所创建的应用参数对应进行替换

APP_ID = ''

API_KEY = ''

SECRET_KEY = ''

client = AipSpeech(APP_ID,API_KEY,SECRET_KEY) #创建百度云客户端连接

file_name_record = 'record.wav' #音频文件保存名

while True: #循环执行

    if button_a.is_pressed() == 1: #按下板载按钮A

        pyrec1.record(file_name_record) #录音

        print("正在转换") # 打印“正在转换”

        #打开语音文件并读取,读取信息存入file_context

        with open(file_name_record,'rb') as fp:

            file_context = fp.read()

        #向百度云发出请求，百度云反馈字典格式信息

        res = client.asr (file_context, 'wav', 16000, {'dev_pid': 1537,})

        print(res) #打印出识别到的结果

        res_str = res.get ("result") [0] #获取信息中的文本内容

        print('语音转文字成功：',res_str)#只打印关键的语音文本信息

        if '你好' in res_str: #判断识别结果中是否有“你好”二字，如果有则反馈显示笑脸

            display.show(Image.HAPPY)

        else:

            display.show(Image.SAD)
复制代码

Tips：须在程序中填入相应的APPID、API Key、Secret Key三个参数。

STEP2：运行程序并观察效果

（1）运行程序，按下板载按键A录制语音

按下A按键一秒，依据终端提示，口述“你好”二字。

（2）观察软件终端和点阵屏

当语音识别转换出“你好”二字时，点阵屏随即显示出笑脸状。

而当识别错误时，点阵屏则显示哭脸。

STEP3：回顾程序

4.调试修改

尝试修改程序，通过语音“音乐一号”控制micro:bit播放音乐1，之后再添加更多语音设定，实现不同的语音指令播放不同的音乐。

任务3：智能语音开关

1.分析设计

在上个任务中，我们已经成功地通过语音来控制micro:bit板载上的点阵屏及蜂鸣器。接下来，我们将在此基础上添加扩展板和继电器，设计一个智能语音开关，实现通过语音来控制继电器开关。

这里，我们可通过扩展板将继电器与micro:bit开发板相连，之后录制指定的语音使百度AI平台进行识别，识别正确则控制继电器开关。

2.硬件搭建

STEP1：通过连接线将继电器连在扩展板的P8端口，并将继电器开关拨至NO端。

STEP2：将micro:bit开发板插入I/O扩展板，并通过USB连接线将micro:bit接到计算机。

3.软件编写

软件设置：

STEP1：创建与保存Python文件

新建一个Python程序文件“任务三.py”，双击打开。

程序编写及运行：

STEP1：编写Python程序

import pyrec1 #导入录音函数文件

from aip import AipSpeech #导入百度语音识别库

import time #导入时间库

from pinpong.board import Board,Pin  #导入pinpong.board包中的Board和Pin模块

from pinpong.extension.microbit import * #导入pinpong.extension.microbit中所有模块

Board("microbit").begin() #初始化，选择板型和端口号，不输入端口号则进行自动识别

switch = Pin(Pin.D8,Pin.OUT) #初始化D8引脚为电平输出模式

#和我们百度AI开放平台中创建的应用的三个参数一致，按照自己所创建的应用参数对应进行替换

APP_ID = ''

API_KEY = ''

SECRET_KEY = ''

client = AipSpeech(APP_ID,API_KEY,SECRET_KEY) #创建百度云客户端连接

file_name_record = 'record.wav' #音频文件保存名

while True: #循环执行

    if button_a.is_pressed() == 1: #按下板载按钮A

        pyrec1.record(file_name_record) #录音

        print("正在转换") #打印“正在转换”

        #打开语音文件并读取,读取信息存入file_context

        with open(file_name_record,'rb') as fp:

            file_context = fp.read()

        #向百度云发出请求，百度云反馈字典格式信息

        res = client.asr (file_context, 'wav', 16000, {'dev_pid': 1537,})

        print(res) #打印出识别到的结果

        res_str = res.get ("result") [0] #获取信息中的文本内容

        print('语音转文字成功：',res_str)#只打印关键的语音文本信息

        if '关灯' in res_str: #判断识别结果是否正确，如果是则执行关灯（给数字引脚D8高电平）

            display.show(Image.HAPPY)

            switch.write_digital(1)#引脚输出高电平

        else:

            display.show(Image.SAD)

            switch.write_digital(0)#引脚输出低电平

复制代码

Tips：须在程序中填入对应的APPID、API Key、Secret Key三个参数。

STEP2：运行程序并观察效果

（1）运行程序，按下板载按键A录制语音

按下A按键，口述“关灯”二字

（2）观察软件终端和继电器

当语音识别转换出“关灯”二字时，继电器上的灯熄灭，同时点阵屏显示笑脸。

而当识别错误时，继电器上的指示灯保持常亮，点阵屏则显示哭脸

六、巩固提高

1.项目小结

本节课我们以micro:bit、扩展板以及继电器为器件设计了一个智能语音开关。首先录制语音并借助百度AI开放平台的语音识别技术将其转换成文字，之后对识别转换的文字进行判别，识别正确则显示笑脸，最后添加继电器，实现通过语音来控制继电器开关。

2. 项目拓展

（1）在我们的项目中，仅仅是利用继电器上的指示灯来模拟了开关的效果。接下来，让我们进一步拓展实验，尝试将家用小电器（如迷你小风扇）的正负极接入继电器，结合12V电源适配器，实现完整的语音控制风扇吧！Tips：注意用电安全！

（2）尝试使用方言来试一试效果吧！

附录

附录1：录音程序

import wave

import os

import sys

from pyaudio import PyAudio,paInt16

framerate=16000

NUM_SAMPLES=2000

chunk=2014

channels=1

sampwidth=2

TIME=30

#保存

def save_wave_file(filename,data):

    '''save the date to the wavfile'''

    wf=wave.open(filename,'wb')

    wf.setnchannels(channels)

    wf.setsampwidth(sampwidth)

    wf.setframerate(framerate)

    wf.writeframes(b"".join(data))

    wf.close()

#录音

def record(file_name):

    try:

        os.close(file_name)

        os.remove(file_name)#先删除一下文件，以防重名

    except:

        pass

    #os.close(sys.stderr.fileno())

    print('开始录音,请说话......')

    pa=PyAudio()

    stream=pa.open(format = paInt16,channels=1,

                   rate=framerate,input=True,

                   frames_per_buffer=NUM_SAMPLES)

    my_buf=[]

    count=0

   

    while count<time:< span="">

        string_audio_data = stream.read(NUM_SAMPLES)

        my_buf.append(string_audio_data)

        count+=1

        #print('.')

    print('录音结束,请安静!')   

    save_wave_file(file_name,my_buf)

    stream.close()
复制代码