柚子相机-i人奶茶店
2024-06-206.3万
AI 快速预览详细
柚子相机-i人奶茶店项目为社恐人群提供了一种无接触的奶茶购买方式。通过摄像头识别点单，语音播报和取餐口递出，全程无需与人接触。项目使用了Maixhub在线模型训练平台进行图像分类训练，上传了1183张训练图片和80张验证图片，选择awnn模型进行训练。结合ESP32编程实现整个系统。该项目适用于18岁以上的成年人，减少了社交压力，让购物更轻松。
|
一．功能介绍 1.针对小众社恐人群，提供合适的购买方式，全程去接触，通过摄像头识别点单，奶茶制作完成，通过取餐口进行递出； 二．硬件清单 1.柚子相机 2.拓展板 3.语音播报 4.扬声器 5.连接线若干 三．制作步骤 1.模型训练 使用的是Maixhub在线模型训练平台，https://maixhub.com/  登录平台，进行模型训练 点击新建训练 新建训练，输入训练项目的名称和类型（类型分为图像分类和图像检测，分类只需要创建不同类物体的文件夹，检测需要对图片添加标注，检测不仅可以识别到物体的种类，也能返回在图像中的坐标位置等信息），这边选择的是图像分类。   创建数据，上传数据集，名称自行添加；  这边使用柚子相机拍摄了咖啡，果茶，冰巧克力等其他饮品的图片，将四种图片按照不同标签（American coffee；Ice chocolate；Passion fruit lemon； )上传训练集和验证集；训练图片上传了1183张，验证图片80张（要求每个图片不低于50张，不超过3000张） [size=10.5000pt]  图像标注，对上传的图片进行标注，也就是框选出图片中咖啡，冰巧克力，果茶的位置，并打上标签，标签使用拼音首字母缩写。  创建训练任务，设置训练参数，柚子相机选择awnn模型，图像增强这边选择了随机模糊，商品图片不能镜像和旋转，迭代次数这边选择的100次，理论上迭代次数和识别成功率成正比，但是迭代次数越多训练时间越长，而且达到一定次数后损失率会达到峰值，不会再收敛。 参数设置完成以后可以开始训练，平台端会显示训练的进度，所需时间取决于当前训练的人数和数据集的大小。训练完成后，会生成awnn的模型和main.py主程序，可在线下载，下载完成后将程序和模型拷贝到柚子相机的app文件夹下。 2. 程序设计 首先是柚子相机的图像识别的程序，模型训练完成后会生成一个main.py的文件，需对程序进行修改.   Esp32编程这边使用的是mind+编程  定义串口1是连接柚子相机的，波特率和柚子相机波特率一致115200. 硬件连接： 柚子相机连接拓展板P8P9连接语音播报 3. 外观绘制  使用激光切割和描线，完成绘制（部分图纸，详细见附件图纸） 黑色为切割线：红色为浅描线 4. 连接方式  使用拓展板连接在柚子相机处，将语音播报连接在拓展板处 5. 整体展示  视频链接：【柚子相机案例—i人奶茶店-哔哩哔哩】 https://b23.tv/iJlJQQP  i人奶茶店.zip |
