识别月相赋诗词——Mind+2.0&行空板M10模型训练实例分割

古今同月

一、前言

“今人不见古时月，今月曾今照古人。”

自古以来月亮寄托着人们浓厚的情感，东坡先生的“人有悲欢离合，月有阴晴圆缺，此事古难全。但愿人长久，千里共婵娟。”更是成为千古名句。

这个项目，我们通过月的“阴晴圆缺（月相）”，走进人的“悲欢离合(诗词)”。与古人同赏一轮山间明月！

二、月相

关于月相，我们需要弄清楚两个重要的信息：一是月相形成的原因。二是月相的分类。

【月相的形成】

1. 月相不是因为地球的遮挡形成（月食是地球的遮挡，日食是月球的遮挡）。

2. 月球会围绕地球转动，转动一周约为一个月，在一个月的过程中，我们可以看到所有的月相。

3. 太阳光我们看作平行光，月球始终会有一半球面受太阳光照射（除了月食时），而月球始终会反射一半月球面的太阳光光。当月球转动到不同位置时，“被太阳照亮一的面，反射到地球上的光的比例”会发生变化，所以就有了不同的月相。

【月相的分类】

朔月（初一，不可见）- 蛾眉月（初三-初四，新月）- 上弦月（初七-初八）- 盈凸月（十一-十二）- 望月（十五-十六，满月）- 亏凸月（十七-廿二）- 下弦月（廿三-廿四）- 残月（廿五-廿九，亏眉月）- 晦月（三十，朔月前夕）

三、训练月相模型

本次要实现的功能，是能够利用行空板M10识别到月相后，将月相抠下来，显示在行空板M10上，然后根据月相生成诗词和图画。所以模型训练我们使用Mind+2.0的实例分割功能，具备“抠图”功能。

1. 准备数据集

在准备数据集时，有想过采集一个月真实的月亮照片做为数据，也想过直接找网上现成的月相图片做数据集。但在课堂场景中，都缺少了“实物”的真实感。所以，就找Luke帮忙设计一个“月相教具”。3D打印了一个球，黑色类比月球的暗面，白色类比月球上被太阳照射的一面。这样就可以实现“手搓月相”，让数据采集能拍到“实物”。

2.数据的标注（这一步，感兴趣的可以体验一下，不需要全部标记完，我手动标注60张花了1h左右，后续我会把我标记的数据添加附件）

将拍摄的月相画面进行数据标注。

感受下标注的过程......

3.平衡数据集

我采集并标注了20张蛾眉月、6张满月、14张上弦月、20张盈凸月。但直接用于训练，效果不会太好。

所以将上述已经标注过的数据文件直接上传至数据集，其中蛾眉月上传1次，满月上传3次，上弦月上传2次，盈凸月上传1次，用于平衡数据集。（多次重复上传操作效果提升不会太明显）。

由于标注太费时间，所以我就标注了4个类型的月相做演示。

如果是老师带学生做标注，可以让不同的学生分别标注不同的月相，再将标注的数据集导入在一起，可事半功倍。

4.模型训练-模型验证-导出模型

得到模型文件和数据文件

四、“古今同月”项目设计

1. 功能思路

  1.1 摄像头识别的画面，以图片的形式（出现在屏幕最底层），显示在行空板M10上。（便于其他屏幕效果做交互展示）

  1.2 屏幕中出现一个背景图，图中有一个圆形是透明的，这样就能将行空板获取的月相图片通过这个圆形显示出来。

  1.3 将不同月相对应的诗词图画素材和模型一起放入项目中的文件

素材中的所有的诗词图画素材中都没有月相，而最终我们会将识别到的月相，利用实例分割的功能，保存为图片，置于行空板最顶层，然后显示在素材中。

效果如图

1.4 加入交互控制的功能，按下A键识别月相，按下B键返回值主界面。

2. 程序设计

五、效果展示

附件：