班级AI电子相册

【项目背景】

(学生的项目)进入高中学习快一年了，与老师和同学们在一起经历了很多。有军训时的阳光和风雨，有在一起学习的日日夜夜。这是我们的青春，值得去留念。我们准备利用在创客社团学到的知识，制作一个“班级AI电子相册”，在教师节时做为礼物送给我们的班主任老师。

【项目设计】

此《班级AI电子相册》采用开源AI硬件，利用人工智能语音识别技术，通过语音控制观看电子相片，并通过语音合成模块播放相片的相关介绍。有“自动播放”、“语音控制”两种模式。

【硬件清单】

序号 硬件名称 功能 1 主控：FireBeetle Board ESP32-E（Arduino开发板） FireBeetle ESP32-E深度支持ArduinoIDE编程，GDI显示接口，单线连接显示屏，板载充电电路以及PH2.0锂电池接口。 2 2.0" 320x240 IPS广视角TFT显示屏 2.0寸LCD显示模块采用ST7789V驱动芯片，具有320x240个彩色像素点（RGB565）。这是一款IPS显示模块，拥有优秀的可视角度（80/80/80/80）；采用SPI（4线）通信方式；支持GDI接口(GDI接口必须和带GDI接口主控配合使用），即插即用。2.0寸LCD显示模块支持3.3V和5V，并兼容多个主控：UNO、Leonardo、ESP32、ESP8266、FireBeetle M0等。与ESP32配合使用GDI接口，即插即用，有效减少接线步骤。模块板载了MicroSD Card卡槽，用户可以显示更多的图片。 3 中英文语音合成模块 让声音为你的项目增添一抹特色！连接上语音合成模块，再添加几行简单的代码就可以让您的项目开口说话。无论是中文还是英文对于语音合成模块来说都是”so easy”，播报当前时间，播报环境数据统统不在话下，与语音识别模块结合还可实现语音对话！该模块采用I2C和UART两种通讯方式，Gravity接口，兼容绝大部分主控。模块上已经自带了一个喇叭，所以您无需再额外的添加喇叭。 4 I2C语音识别模块 让声音为您的项目增添一抹特色！连接上语音识别模块，再添加几行简单的代码，您的项目就可以听懂您说的话。无需机器学习，无需特定人语音，无需联网，随时随地都可以进行语音识别，结合语音合成模块还可以实现语音对话。使用Gravity I2C接口通信，兼容绝大部分主控，非常适合接入教育场景使用。三种语音识别模式和三种语音输入方式使模块可以集成入更多的场景。

【设计步骤】

步骤1：处理图片

因屏幕分辨率为240*320。所以利用Fireworks处理成宽240，高320.因所有的图片都是横拍的，所以要进行旋转处理。

步骤2：主控板与屏幕及电池相连接口

主控板上有GDI接口，通过此接口与屏幕相接。PH2.0接口与3.7V电池相连，为设备供电。

步骤3：引脚布局图通过以下“引脚布局”图，可发现主控板有两个IIC接口，可与“语音识别”与“语音合成”模块相连。

步骤4：电子电路图

步骤5：实物连接图

语音识别与语音合成分别连接在主控板上的两个IIC接口上。

【程序设计】

使用的软件环境为：Arduino IDE
#include <SD.h>
#include <SPI.h>
#include "DFRobot_GDL.h"
#include "DFRobot_Picdecoder_SD.h"
#include "DFRobot_SpeechSynthesis.h"
#include "DFRobot_ASR.h"
DFRobot_SpeechSynthesis_I2C ss;
DFRobot_Picdecoder_SD decoder;
DFRobot_ASR  asr;


/*ESP32 and ESP8266*/

#define TFT_DC  25
#define TFT_CS  14
#define TFT_RST 26
#define TFT_SD  13

//屏幕设置
DFRobot_ILI9341_240x320_HW_SPI  screen(/*dc=*/TFT_DC,/*cs=*/TFT_CS,/*rst=*/TFT_RST);

File root;
int i;
int j;
int k;
int num;
void setup()
{
  num=5;
  k=1;
  //初始化串行端口
  Serial.begin(115200);
  //初始屏幕
  screen.begin();
  //语音识别初始化
  asr.begin(PASSWORD);
  asr.addCommand("xiao tian xiao tian",0);
  asr.addCommand("zi dong bo fang",1);//自动播放模式
  asr.addCommand("yu yin kong zhi",2);//语音控制模式
  asr.addCommand("xia yi zhang",3);//播放下一张
  asr.addCommand("shang yi zhang",4);//播放上一张
  //开始识别
  asr.start();
  //语音合成初始化
  ss.begin();
  ss.speak(F("班级智能电子相册"));
  Serial.println("OK");
  //初始化SD卡，等待初始化成功
  while(1)
  {
    if (SD.begin(/*sdcs=*/TFT_SD))
    {
      Serial.println("initialization done.");
      break;
    }
    Serial.println("initialization failed!");
  }
  //显示开机画面
  decoder.drawPicture(/*filename=*/"/picture/0.jpg",/*sx=*/0,/*sy=*/0,/*ex=*/screen.width(),/*ey=*/screen.height(),/*screenDrawPixel=*/screenDrawPixel);
 
  
}
void loop()
{
 j=asr.read();
  switch(j)            //判断识别内容，在有识别结果的情况下asr.read()会返回识别到的词条编号，否则返回-1
  {
    case 0:                     //若是唤醒指令“小天 小天”，唤醒语音识别模块，并随机响应
       switch(random(0,5))        
         {
          case 0:
            ss.speak(F("嗯"));
            break;
          case 1:
            ss.speak(F("我在"));
            break;
          case 2:
            ss.speak(F("在听"));
            break;
          case 3:
            ss.speak(F("来了"));
            break;
          case 4:
            ss.speak(F("您说"));
            break;
          case 5:
            ss.speak(F("在了"));
            break;
         }
     break; 
    case 1://开启自动播放模式
      k=0;
      ss.speak(F("自动播放模式"));
      break;
    case 2://开启语音控制播放模式
      k=1; 
      ss.speak(F("语音控制播放模式"));
      break; 
    case 3: //处理显示下一张照片时的照片序号
     if(k==1){ 
      if(i<num-1)
        {
          i++;
        }
      else
      {
        i=0;
      }
     }
      break; 
    case 4: //处理显示上一张照片的照片序号
    if(k==1){  
      if(i>0)
        {
          i--;
        }
      else
      {
        i=num;
      }
    }
      break; 
  }
  if(k==0 &&(j==-1 || j==1) )//自动播放模式下，处理显示照片序号
  { 
   
       if(i<num-1)
        {
          i++;
        }
      else
      {
        i=0;
      }
      delay(1000);
  }
  if(k==1 && (j==3 ||j==4)||k==0 )//显示照片
  {  
    switch(i)
    {
      
    case 0:
      decoder.drawPicture(/*filename=*/"/picture/1.jpg",/*sx=*/0,/*sy=*/0,/*ex=*/screen.width(),/*ey=*/screen.height(),/*screenDrawPixel=*/screenDrawPixel);
      ss.speak(F("军训的第二天,在军训中,我们很苦很累,但这是一种人生体验,战胜自我,锻炼意志的最佳良机。"));
 
      break;
      case 1:                    
      decoder.drawPicture(/*filename=*/"/picture/2.jpg",/*sx=*/0,/*sy=*/0,/*ex=*/screen.width(),/*ey=*/screen.height(),/*screenDrawPixel=*/screenDrawPixel);
      ss.speak(F("看我的被子叠的怎么样？"));

      break;
    case 2:                    
      decoder.drawPicture(/*filename=*/"/picture/3.jpg",/*sx=*/0,/*sy=*/0,/*ex=*/screen.width(),/*ey=*/screen.height(),/*screenDrawPixel=*/screenDrawPixel);
      ss.speak(F("第一次阅读励志信时,激动的心如波涛汹涌的大海,久久不能平静。因为他给了我们太多心灵上的触动,他让我们振奋精神,养成良好习惯、改正坏习惯,发现自己的闪光点。"));

      break;
    case 3:                    
      decoder.drawPicture(/*filename=*/"/picture/4.jpg",/*sx=*/0,/*sy=*/0,/*ex=*/screen.width(),/*ey=*/screen.height(),/*screenDrawPixel=*/screenDrawPixel);
      ss.speak(F("每次考试后，班级通过表彰对优秀学生的良好表现予以充分肯定和褒扬，同时也充分发挥先进典型的示范引领及激励作用，激励更多的同学见贤思齐、奋发进取。"));

      break;
    case 4:                    
      decoder.drawPicture(/*filename=*/"/picture/5.jpg",/*sx=*/0,/*sy=*/0,/*ex=*/screen.width(),/*ey=*/screen.height(),/*screenDrawPixel=*/screenDrawPixel);
      ss.speak(F("对优秀学生进行有效表彰，可全面调动我们学习的积极性、促进我们全面发展、给我们创设良好的教学环境"));

      break;
    
  }

 }
}

//这个函数的功能是在屏幕上画一个像素
void screenDrawPixel(int16_t x, int16_t y, uint16_t color)
{
  //在屏幕上画一个点
  screen.writePixel(x,y,color);
}
复制代码

程序中首先对屏幕、语音合成及语音识别模块进行初始化，并利用声音提醒初始化完成，显示开机画面。

当检测到唤醒词“xiao tian xiao tian”将唤醒语音识别模块，使用“zi dong bo fang”，开启“自动播放模式”；使用“yu yin kong zhi”，开启“语音控制模式”。

当在“语音控制模式”下，使用关键词“xia yi zhang”、“shang yi zhang”可上下翻页。

在播放照片的同时，语音合成模块用语音播报“照片简介”。