柚子相机项目组 发表于 2024-6-12 16:57:10

柚子相机-购物计数

一.功能介绍1. 使用柚子相机作为识别商品的工具,液晶显示屏显示购买商品的数量二.硬件清单1. 柚子相机2. 柚子相机拓展板3. 液晶显示屏4. 连接线若干5. Type-c线三.制作步骤1. 模型训练使用的是Maixhub在线模型训练平台,https://maixhub.com/

登录平台,进入模型训练
点击新建训练 新建训练,输入训练项目的名称和类型(类型分为图像分类和图像检测,分类只需要创建不同类物体的文件夹,检测需要对图片添加标注,检测不仅可以识别到物体的种类,也能返回在图像中的坐标位置等信息),这边选择的是图像分类。

创建数据,上传数据集,名称自行添加;这边使用柚子相机拍摄了苹果,薯片,可乐等其他商品的图片,将四种图片按照不同标签(拼音首字母缩写)上传训练集和验证集;训练图片上传了896张,验证图片80张(要求每个图片不低于50张,不超过3000张)

图像标注,对上传的图片进行标注,也就是框选出图片中商品的置信度,并打上标签,标签使用拼音首字母缩写。


创建训练任务,设置训练参数,柚子相机选择awnn模型,图像增强这边选择了随机模糊,商品图片不能镜像和旋转,迭代次数这边选择的100次,理论上迭代次数和识别成功率成正比,但是迭代次数越多训练时间越长,而且达到一定次数后损失率会达到峰值,不会再收敛。参数设置完成以后可以开始训练,平台端会显示训练的进度,所需时间取决于当前训练的人数和数据集的大小。训练完成后,会生成awnn的模型和main.py主程序,可在线下载,下载完成后将程序和模型拷贝到柚子相机的app文件夹下。


2. 程序设计首先是柚子相机的图像识别的程序,模型训练完成后会生成一个main.py的文件,需对程序进行修改.

Esp32编程这边使用的是mind+编程 定义串口1是连接柚子相机的,波特率和柚子相机波特率一致115200.硬件连接:柚子相机连接拓展板SDA SCL 管脚控制液晶显示屏
3. 连接方式将拓展板连接在SDA SCL管脚(整体连接)使用拓展板连接在柚子相机处,将液晶显示屏连接在拓展板处
https://www.bilibili.com/video/BV1ghGme3EcR/?buvid=Y841848E3B95CC19416798068D171CA415EB&is_story_h5=false&mid=vfhpUqu%2BtdoFtIZRVVMZTX8FTQ%2FSZMtL1rElX6M3iMo%3D&p=1&plat_id=116&share_from=ugc&share_medium=iphone&share_plat=ios&share_source=COPY&share_tag=s_i×tamp=1718255197&unique_k=o7oUlu9&up_id=3546656595250072&vd_source=792a0d3bb04a4cf689ef61e4d1afc72e
页: [1]
查看完整版本: 柚子相机-购物计数