设为首页收藏本站
首页 > 论坛 > MaixPy

[问题求助]【求助】语音识别 不正常工作

reihold | 学徒 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2022-5-4 22:35:21 [显示全部楼层]
1873浏览
1回复
0收藏
查看: 1873|回复: 1

[问题求助] 【求助】语音识别 不正常工作

[复制链接]
本帖最后由 reihold 于 2022-5-4 22:50 编辑

语音识别#      #asr#     #红外遥控

最近想着自己做一个可以app控制及语音控制的红外遥控器，目前基本的红外光线调制已经写好了，可以正常通信。正在写一个通过巴法云的通信，起到上云，app控制的功能。可是，问题就出现了
大概的情况是
这是没加socket通信前的代码（语音识别控制）：

while True:
        # time.sleep(1)
        tmp = t.recognize()
        print(tmp)
        if tmp != None:
            # print(tmp)
            print(type(list(tmp.keys())[0]))
            print(list(tmp.keys())[0])
            tim.stop()
            t.stop()
            tim2.stop()

            if list(tmp.keys())[0] == "guan-bi":
                print("guanbi")
                my_lib.ir_send_gree_off()
            if list(tmp.keys())[0] == "da-kai":
                print("dakai")
                my_lib.ir_send_gree()

到这里，一起都是正常的，我希望通过app也能控制，于是，有了下面的核心代码

    while True:
        # time.sleep(1)
        tmp = t.recognize()
        print(tmp)
        if tmp != None:
            # print(tmp)
            print(type(list(tmp.keys())[0]))
            print(list(tmp.keys())[0])
            tim.stop()
            t.stop()
            tim2.stop()

            if list(tmp.keys())[0] == "guan-bi":
                print("guanbi")
                my_lib.ir_send_gree_off()
            if list(tmp.keys())[0] == "da-kai":
                print("dakai")
                my_lib.ir_send_gree()
            tim.restart()
            tim2.restart()
            t.run()
        print("--------socket 接收中-------")

        data = client.recv(128)    # 从服务器端套接字中读取字节数据, 超时等待1s
        #data = poller.poll(1000)  # time in milliseconds
        if(len(data) != 0):                             # 如果接收数据为0字节时,关闭套接字
            data=data.decode('utf-8')
            print(data.strip())                         # 去掉尾部回车换行符，并打印接收到的字符
        print("-------socket 接收结束-------")

经过测试排查，发现删除clinet.recv(128)之后语音又能正常工作。（我用了data = b'abcdefg'）进行了替换，这时候socket不会阻塞读取。（注，我设置了socket的超时等待是1s）

打印的结果如下：语音识别一直是none

attachmentId-3234

我想这个应该问题大概出在语音识别模块的时序上，但是我不知道正确解决问题的方向，希望大佬指点! 不慎感激！
: )



现阶段的全部代码如下：
  1. from machine import Timer

  2. import my_lib

  3. import utime

  4. from speech_recognizer import asr

  5. from Maix import GPIO, I2S

  6. from fpioa_manager import fm

  7. import socket

  8. import network

  9. import gc

  10. import os

  11. import machine

  12. from fpioa_manager import fm

  13. from board import board_info

  14. import time

  15. 

  16. fm.register(20, fm.fpioa.I2S0_IN_D0, force=True)

  17. fm.register(32, fm.fpioa.I2S0_SCLK, force=True)  # dock 32

  18. fm.register(30, fm.fpioa.I2S0_WS, force=True)   # dock 30

  19. 

  20. rx = I2S(I2S.DEVICE_0)

  21. rx.channel_config(rx.CHANNEL_0, rx.RECEIVER, align_mode=I2S.STANDARD_MODE)

  22. rx.set_sample_rate(16000)

  23. print(rx)

  24. 

  25. 

  26. #需要修改的地方

  27. wifiName = "*******"                   #wifi 名称，不支持5G wifi

  28. wifiPassword = "**********"       #wifi 密码

  29. clientID = "***************"   # Client ID ，密钥，巴法云控制台获取

  30. myTopic='************'                     # 需要订阅的主题值，巴法MQTT控制台创建

  31. 

  32. #默认设置

  33. serverIP = 'bemfa.com'    # mqtt 服务器地址

  34. port = 8344

  35. 

  36. class maix_asr(asr):

  37.     asr_vocab = ["lv", "shi", "yang", "chun", "yan", "jing", "da", "kuai", "wen", "zhang", "de", "di", \

  38.         "se", "si", "yue", "lin", "luan", "geng", "xian", "huo", "xiu", "mei", "yi", "ang", "ran", "ta",\

  39.             "jin", "ping", "yao", "bu", "li", "liang", "zai", "yong", "dao", "shang", "xia", "fan", "teng",\

  40.             "dong", "she", "xing", "zhuang", "ru", "hai", "tun", "zhi", "tou", "you", "ling", "pao",\

  41.             "hao", "le", "zha", "zen", "me", "zheng", "cai", "ya", "shu", "tuo", "qu", "fu", "guang",\

  42.             "bang", "zi", "chong", "shui", "cuan", "ke", "shei", "wan", "hou", "zhao", "jian", "zuo", "cu",\

  43.                  "hei", "yu", "ce", "ming", "dui", "cheng", "men", "wo", "bei", "dai", "zhe", "hu", "jiao",

  44.                  "pang", "ji", "lao", "nong", "kang", "yuan", "chao", "hui", "xiang", "bing", "qi", "chang",

  45.                  "nian", "jia", "tu", "bi", "pin", "xi", "zou", "chu", "cun", "wang", "na", "ge", "an", "ning",

  46.                   "tian", "xiao", "zhong", "shen", "nan", "er", "ri", "zhu", "xin", "wai", "luo", "gang", "qing",

  47.                   "xun", "te", "cong", "gan", "lai", "he", "dan", "wei", "die", "kai", "ci", "gu", "neng", "ba",

  48.                   "bao", "xue", "shuai", "dou", "cao", "mao", "bo", "zhou", "lie", "qie", "ju", "chuan", "guo",

  49.                   "lan", "ni", "tang", "ban", "su", "quan", "huan", "ying", "a", "min", "meng", "wu", "tai",

  50.                    "hua", "xie", "pai", "huang", "gua", "jiang", "pian", "ma", "jie", "wa", "san", "ka",

  51.                     "zong", "nv", "gao", "ye", "biao", "bie", "zui", "ren", "jun", "duo", "ze", "tan",

  52.                      "mu", "gui", "qiu", "bai", "sang", "jiu", "yin", "huai", "rang", "zan", "shuo", "sha", "ben",

  53.             "yun", "la", "cuo", "hang", "ha", "tuan", "gong", "shan", "ai", "kou", "zhen", "qiong",

  54.             "ding", "dang", "que", "weng", "qian", "feng", "jue", "zhuan", "ceng", "zu", "bian", "nei",

  55.              "sheng", "chan", "zao", "fang", "qin", "e", "lian", "fa", "lu", "sun", "xu", "deng",

  56.              "guan", "shou", "mo", "zhan", "po", "pi", "gun", "shuang", "qiang", "kao", "hong",

  57.              "kan", "dian", "kong", "pei", "tong", "ting", "zang", "kuang", "reng", "ti", "pan",

  58.               "heng", "chi", "lun", "kun", "han", "lei", "zuan", "man", "sen", "duan", "leng",

  59.                "sui", "gai", "ga", "fou", "kuo", "ou", "suo", "sou", "nu", "du", "mian", "chou",

  60.                 "hen", "kua", "shao", "rou", "xuan", "can", "sai", "dun", "niao", "chui",

  61.                 "chen", "hun", "peng", "fen", "cang", "gen", "shua", "chuo", "shun", "cha",

  62.                 "gou", "mai", "liu", "diao", "tao", "niu", "mi", "chai", "long", "guai", "xiong",

  63.                 "mou", "rong", "ku", "song", "che", "sao", "piao", "pu", "tui", "lang", "chuang",

  64.                 "keng", "liao", "miao", "zhui", "nai", "lou", "bin", "juan", "zhua", "run", "zeng",

  65.                  "ao", "re", "pa", "qun", "lia", "cou", "tie", "zhai", "kuan", "kui", "cui", "mie",

  66.                  "fei", "tiao", "nuo", "gei", "ca", "zhun", "nie", "mang", "zhuo", "pen", "zun", "niang",

  67.                  "suan", "nao", "ruan", "qiao", "fo", "rui", "rao", "ruo", "zei", "en", "za", "diu",

  68.                  "nve", "sa", "nin", "shai", "nen", "ken", "chuai", "shuan", "beng", "ne", "lve", "qia",

  69.                   "jiong", "pie", "seng", "nuan", "nang", "miu", "pou", "cen", "dia", "o", "zhuai", "yo",

  70.                    "dei", "n", "ei", "nou", "bia", "eng", "den", "_"]

  71. 

  72.     def get_asr_list(string='xiao-ai-fas-tong-xue'):

  73.         return [__class__.asr_vocab.index(t) for t in string.split('-') if t in __class__.asr_vocab]

  74. 

  75.     def get_asr_string(listobj=[117, 214, 257, 144]):

  76.         return '-'.join([__class__.asr_vocab[t] for t in listobj if t < len(__class__.asr_vocab)])

  77. 

  78.     def unit_test():

  79.         print(__class__.get_asr_list('xiao-ai'))

  80.         print(__class__.get_asr_string(

  81.             __class__.get_asr_list('xiao-ai-fas-tong-xue')))

  82. 

  83.     def config(self, sets):

  84.         self.set([(sets[key], __class__.get_asr_list(key)) for key in sets])

  85. 

  86.     def recognize(self):

  87.         res = self.result()

  88.         # print(tmp)

  89.         if res != None:

  90.             sets = {}

  91.             for tmp in res:

  92.                 sets[__class__.get_asr_string(tmp[1])] = tmp[0]

  93.                 #print(tmp[0], get_asr_string(tmp[1]))

  94.             return sets

  95.         return None

  96. 

  97. 

  98. 

  99. # WIFI 连接函数   maixpy 适配完成

  100. def do_connect():

  101.     fm.register(7,fm.fpioa.UART2_TX) # wifi的引脚，详见

  102.                                      # https://github.com/sipeed/MaixPy_scripts

  103.                                      # /blob/master/board/config_maix_dock.py 配置文件

  104.     fm.register(6,fm.fpioa.UART2_RX)

  105.     uart = machine.UART(machine.UART.UART2,115200,timeout=1000, read_buf_len=4096)

  106.     nic=network.ESP8285(uart)

  107.     nic.connect(wifiName,wifiPassword)

  108.     if not nic.isconnected():

  109.         print('connecting to network...')

  110.         nic.connect(wifiName, wifiPassword)

  111.         while not nic.isconnected():

  112.             pass

  113.     print('connect  WiFi ok')

  114. 

  115. 

  116. 

  117. # tcp 客户端初始化 #TODO

  118. def connect_and_subscribe():

  119.   addr_info = socket.getaddrinfo(serverIP, port)

  120.   addr = addr_info[0][-1]

  121.   client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)   # 创建TCP的套接字,也可以不给定参数。默认为TCP通讯方式

  122.   client.connect(addr)                                 # 设置要连接的服务器端的IP和端口,并连接

  123.   print('set socket delay')

  124.   client.settimeout(1) # 设置1s的超时

  125.   print('finish socket delay setting')

  126.   substr = 'cmd=1&uid='+clientID+'&topic='+myTopic+'\r\n'

  127.   client.send(substr.encode("utf-8"))

  128.   print("Connected to %s" % serverIP)

  129.   return client

  130. 

  131. #心跳 #TODO

  132. def Ping(timer):

  133.     # 发送心跳

  134.     try:

  135.         print("send alive, ping!")

  136.         keeplive = 'ping\r\n'

  137.         timer.callback_arg().send(keeplive.encode("utf-8"))

  138.         #client.send(keeplive.encode("utf-8"))

  139.     except:

  140.         restart_and_reconnect()

  141. 

  142. # 重新连接  #TODO

  143. def restart_and_reconnect():

  144.   print('Failed to connect to TCP  broker. Reconnecting...')

  145.   time.sleep(10)

  146.   machine.reset()

  147. 

  148. 

  149. def on_timer(timer):

  150.     #print("time up:",timer)

  151.     print("param:",timer.callback_arg())

  152.     timer.callback_arg().state()

  153. 

  154. 

  155. try:

  156.     # 连接局域网wifi

  157.     do_connect()

  158. 

  159.     #开始连接TCP

  160.     try:

  161.         client = connect_and_subscribe()

  162.     except OSError as e:

  163.         print(e)

  164.         restart_and_reconnect()

  165. 

  166.     # 与巴法云的ping连接, 保持心跳连接, 配置周期回调

  167.     tim2 = Timer(Timer.TIMER2, Timer.CHANNEL0, mode=Timer.MODE_PERIODIC,

  168.                 period=10000, callback=Ping, arg = client)

  169.     tim2.start()

  170.     # default: maix dock / maix duino set shift=0

  171.     t = maix_asr(0x500000, I2S.DEVICE_0, 3, shift=0)  # maix bit set shift=1

  172.     tim = Timer(Timer.TIMER0, Timer.CHANNEL0,

  173.                 mode=Timer.MODE_PERIODIC, period=10000, callback=on_timer, arg=t)

  174. 

  175.     t.config({

  176.         'da-kai': 0.3,

  177.         'guan-bi': 0.3

  178.     })

  179. 

  180.     print(t.get())

  181. 

  182.     while True:

  183.         # time.sleep(1)

  184.         tmp = t.recognize()

  185.         print(tmp)

  186.         if tmp != None:

  187.             # print(tmp)

  188.             print(type(list(tmp.keys())[0]))

  189.             print(list(tmp.keys())[0])

  190.             tim.stop()

  191.             t.stop()

  192.             tim2.stop()

  193. 

  194.             if list(tmp.keys())[0] == "guan-bi":

  195.                 print("guanbi")

  196.                 my_lib.ir_send_gree_off()

  197.             if list(tmp.keys())[0] == "da-kai":

  198.                 print("dakai")

  199.                 my_lib.ir_send_gree()

  200.             tim.restart()

  201.             tim2.restart()

  202.             t.run()

  203.         print("--------socket 接收中-------")

  204. 

  205.         data = client.recv(128)    # 从服务器端套接字中读取字节数据, 超时等待1s

  206.         #data = poller.poll(1000)  # time in milliseconds

  207.         if(len(data) != 0):                             # 如果接收数据为0字节时,关闭套接字

  208.             data=data.decode('utf-8')

  209.             print(data.strip())                         # 去掉尾部回车换行符，并打印接收到的字符

  210.         print("-------socket 接收结束-------")

  211. 

  212. 

  213. except Exception as e:  # 如果出错就重新启动

  214.     print(e)

  215.     print('or Failed to connect to  broker. Reconnecting...')

  216.     restart_and_reconnect()

  217. 

  218. finally:

  219.     tim.stop()

  220.     tim2.stop()

  221.     client.close()

  222.     t.__del__()

  223.     del t

复制代码


回复

使用道具 举报

精彩评论(1)

星辰大海：//。，  中级技师

发表于 2022-9-11 15:32:26

哈哈哈哈哈哈哈哈哈
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail