查看: 3311|回复: 6

[创客活动] 人工智能开源硬件OpenAI体验工作坊

本帖最后由 szjuliet 于 2019-8-25 07:59 编辑

本周六上午参加了深圳大学 xuming创客教育工作室的人工智能开源硬件OpenAI工作坊，体验了工作室开发的OpenAI的部分案例，现分享如下。部分内容来自xuming老师的课件。

功能演示视频：

体验材料：

OpenAI模块（使用Type-C连接线）
识别卡片一张（正反两面，一面为颜色开关，一面为二维码和条形码）

人工智能开源硬件OpenAI体验工作坊图4

硬件参数：

ARM Cortex-M7
工作频率： 480MHz
RAM存储：1M
Flash存储：2M
图形加速、图像编码；
ASR语音识别
通讯接口；
机器视觉Python库；
语音识别Python库；
Caffe深度学习神经网络库

部分应用案例

颜色追踪
形状检测
目标跟踪
边缘检测
角点检测
轨迹跟踪
条码识别
二维码识别
人脸检测
人眼检测与瞳孔检测
笑脸检测
数字识别
语音识别

人工智能开源硬件OpenAI体验工作坊图2

板上固化算法库（Python on Board）
机器视觉（OpenCV/MV）
语音识别（ASR）
异步通信（UART）
CNN深度学习神经网络库（ Caffe ）

IDE使用的是团队二次开发的IDE，删除了多余的功能，保留并新增了必要的功能，界面友好，操作简单。
人工智能开源硬件OpenAI体验工作坊图8

示例程序：语音识别控制板载RGB LED灯开关及点亮不同颜色
[mw_shl_code=python,true]'''
Demo1:
语音识别功能使用基本流程：
初始化-->添加关键词识别列表-->开始识别-->等待识别结果

相关API:
add_cmd(cmd_str, cmd_num): 添加关键词（关键词，编号）
run(): 开始语音识别
get_res(): 获取识别结果，返回识别到关键词的对应编号
'''
from driver_asr import asr
import pyb, time

red_led = pyb.LED(2)
green_led = pyb.LED(3)
blue_led = pyb.LED(1)

ASR = asr()                                     # 创建语音识别实例
ASR.add_cmd("hong", 1)                # 添加关键词“红”，编号为“1”。
ASR.add_cmd("lv", 2)             # 添加关键词“绿”，编号为“2”。
ASR.add_cmd("lan", 3)             # 添加关键词“蓝”，编号为“3”。
ASR.add_cmd("kai deng", 4)       # 添加关键词“开灯”，编号为“4”。
ASR.add_cmd("guan deng", 5)       # 添加关键词“关灯”，编号为“5”。
ASR.run()                                     # 开始识别
# ASR.get_res()       : 当语音识别有识别的结果，将返回关键词对应编号

def asr_test(sel):
if sel == 1 :
      red_led.on()
      green_led.off()
      blue_led.off()
elif sel == 2 :
      red_led.off()
      green_led.on()
      blue_led.off()
elif sel == 3 :
      red_led.off()
      green_led.off()
      blue_led.on()
elif sel == 4 :
      red_led.on()
      green_led.on()
      blue_led.on()
elif sel == 5 :
      red_led.off()
      green_led.off()
      blue_led.off()

while True:
asr_test(ASR.get_res())
time.sleep(100)[/mw_shl_code]

人工智能开源硬件OpenAI体验工作坊图3

体验感受：
板子的性能还是比较强大的，无需联网即可完成各个功能，反应速度很快，识别效果也不错。运行环境的搭建也比较简单，只需要将程序解压缩即可运行，win10下无需安装驱动，将板子连接上电脑，运行IDE即可顺畅的运行程序。
xuming老师的团队还开发了一系列课程及项目学习，新学期开学可以尝试开课。