查看: 5426|回复: 3

宅家一起云合奏（MQTT+ESP8266）

[复制链接]

本帖最后由 szjuliet 于 2021-2-25 10:17 编辑

宅家一起云合奏（MQTT+ESP8266）图1

MELODY - 宅家一起云合奏（MQTT+ESP8266）

简介：MELODY - 宅家一起云合奏

居家工作有许多优势及技术解决方案，但是同事间制定和创建生活连接的难度仍很大。MELODY是一款数字实体设备，可以创建协作式短音乐节拍。同事之间可以协调时间，设备通过玩家的轮次和不同的随机声音设置韵律节拍。第一个参与者设置特定的节奏，然后每个参与者添加与设置的节奏相对应的自己的音乐片段。为了使没有乐理背景的用户更容易使用，软件通过对用户的点击进行采样并调整为适当的节奏来帮助用户保持节奏一致。约3分钟后，所有参与者都完成自己的录音，音乐节拍结束。

简介：MELODY是如何工作的？

Melody基于ESP2866硬件，该硬件通过MQTT协议与Node-Red服务器通信。设备将玩家的音符转换成字符串并发送到服务器，又将字符串从服务器发送回其他玩家。这样每个人都可以播放和收听音乐，而不会受到网络连接的干扰。

MELODY有两个主要的视觉指示。一个是LED灯带，可让玩家知道音乐节奏循环何时开始及结束，并指示是否轮到自己了。另一个是位于设备中央的LED显示屏，用于可视地显示目前的旋律。从3倒数到1表示倒计时开始播放，并且定时显示指示用户何时以及如何参与合奏。录制的旋律会自动保存到公司的云中，以备将来使用。

这个项目是由位于Herzliya（IDC）跨学科中心的媒体创新实验室（MiLab）的四名学生Shahar Agassy，Eden Bar-Tov，Gal Eshchar和Gad Stern设计的。在Zvika Markfeld，Netta Ofer和Michal Leschinsky的协助及Noa Morag和Oren Zuckerman的指导下完成。

感谢汤姆·格兰诺特（Tom Granot）制作的项目，他的项目帮助我如何在本项目中实现某些步骤（这些步骤是仿照他的项目实现的）。

材料：

3D打印机
ESP8266+
7个按钮
8X8 LED矩阵
WS2812B LED灯条
I2S放大器
1/8英寸（3.5毫米）母头4极音频插孔
1K电阻4个
3K电阻1个

步骤1：理解任务流

这个项目我们要解决以下问题：

如何实现在线以让玩家可以同时演奏？
如何解决网络延迟问题并创建无缝体验？
如何让没有音乐背景的人演奏出来的音乐也能听起来好听？

音乐的时间安排和序列化

为了解决第一个问题，我们研究了MIDI协议并试着用了一下，发现它比我们实际需要的功能更复杂，想简化后构建第一个有效的原型。我们从MIDI中汲取了灵感，并用一串数字（从0-5）乘以循环次数再乘以玩家人数来表示一段音乐循环（我们将在后面解释所有音乐中的数学）。

在音乐中，我们将节奏分成音乐小节。每个小节基本上都是一小段时间，
我们选择使用4分之4节拍（在音乐小节中表示4个节拍）- 最常见的小节。

然后将每个节拍拆分为4个采样窗口，演奏的每个音符将自动对齐以保持整齐，还可以将一首歌曲表示为一串数字发送到服务器。

为了对没有音乐背景的玩家友好，我们做了三件事：

限制键的数量让玩家专注于较少的选项。
选择相同音阶的音符，这些音符可以一起演奏，因此不会有任何不和谐的声音。
每个按键都设置到节奏“窗口”，让玩家的音乐与节奏泾渭分明

通讯协议

在了解音乐背后的逻辑之后，如何让玩家进行交流？

我们使用MQTT - 一种在设备之间传输消息的发布-订阅网络协议。

每个玩家都订阅了两个主题：循环loop（获取最新的循环）和轮次turn（获取当前玩家的ID用于同步）。

轮到某个玩家时，当TA演奏完后，按下UP按钮，循环loop（更新后的循环）会发送到MQTT代理，MQTT再将循环传输给所有玩家的循环频道。

旧的循环会保持“休眠”状态，直到新的循环播放完毕并将其替换。这个过程对玩家是透明的。由于新循环保存在当前玩家的本地设备，因此音乐没有网络延迟，故此我们解决了第二个问题。

步骤2：设定服务器-Ngrok

ngrok是一种隧道服务。它可以将本地运行的服务（示例中为Node-RED）暴露给外界 - 没有设置服务器或处理DNS记录的麻烦。只需在计算机上运行Node-RED，然后在运行Node-RED的同一端口上运行ngrok。

好了-接下来你会得到一个URL，使用这个地址从世界任何地方访问Node-RED。

安装与配置

在此处下载适用于自己操作系统的ngrok。
依照下载页面上的步骤操作，直到“Fire it up”步骤。
在“Fire it up”中，将80替换为1883，将http替换为tcp，如./ngrok tcp 1883，依照你自己电脑的的情况替换（译注：我的电脑是64位win10，命令为ngrok.exe http 80。ngrok文档地址为https://ngrok.com/docs）。
保存URL和端口号（如图所示），稍后我们将需要。

步骤3：服务器设置-Node-Red

Node-RED项目的服务器逻辑是一个可视化编程环境，它可以连接各种软件（及硬件！）。

这里我们对所有玩家之间的沟通逻辑进行设置（共享及接收循环、协调玩家轮次）

安装Node-Red

按照以下步骤在本地计算机上加载Node-RED流：

Node-RED需要Node.js，请从此处安装
按此处说明安装Node-RED。

现在已经安装好了Node-RED，按照上述步骤中的说明运行它，在http://127.0.0.1:1880页面下会看到一个空白的画布。

现在需要导入用于该项目的流程，可以在这里找到它，点击导入import添加JSON文件，点击Deploy分发。

安装Node-Red：

查看此步骤所附的图像，则可以看到我们有2个主要的“动作”：从某个玩家那里接收当前循环并传送到其他玩家；向所有玩家广播新的轮次以保持游戏同步。

步骤4：设定服务器-MQTT（Mosquitto）

传感器和激活器需要通过MQTT进行通信，由于Node-RED没有自己的MQTT代理，因此我们使用专用的MQTT代理。我们会使用Node-RED建议的Mosquitto。有关MQTT以及为何在物联网项目中经常使用MQTT等相关信息，参见此处。（译注：原文没有附链接）

安装与配置

从此处根据你的操作系统下载Mosquitto并进行安装。
正常情况下要按照此处的说明将Node-RED连接到Mosquitto。但如果使用本教程的Node-RED流，则已经进行了预配置。只要正确安装Node-RED流和Mosquitrro，并且Mosquitto运行在端口1883（默认情况下在其上运行）上运行，它就可以立即使用。
注意MQTT代理和你的Node-RED服务器在同一台计算机上运行。这对于简化系统内部的通信很有用。有关更多信息，请参见下面的说明。

监控MQTT流量

我使用MQTTfx监控流量，这是一个出色的工具，GUI非常简单。

步骤5：代码

代码在[GitHub](https://github.com/edenbartov/Melody_中（包含所有数据文件和config.h）

安装依赖库

在将代码加载到esp2866之前，需要安装一些库：

libmad-8266（将音乐从SPIFF中解码到I2S）
EspMQTTClient
ESP8266WiFi
Adafruit_NeoPixel

使用SPIFF将声音上传到ESP：

参照 instructable上的帖子。
将数据文件夹添加到源代码目录。
在Arduino IDE的“工具”菜单下，将flash大小更改为“ 4MB（FS:3MB TOA:~512KB）”
同样在“工具”菜单下按ESP2866 Sketch Data上传

设置参数：

之后转到config.h文件添加所需的数据，例如WIFI密码及上一步中的ngrok URL和端口（查看图片参考）。

ps-我还添加了自动连接功能，可以从智能手机设置WIFI和ngrok数据。这只是概念的第一个证明，希望有一天能添加这个功能。

设置玩家数量（此游戏最适合2-3个玩家，并且开箱已经加载了2个玩家的声音）。但可以轻松调整更多操作：

每个玩家都可以在 node-red中添加另一个流，以在特定用户的主题下发布循环。

此外还可以通过将以下数组设置为自定义声音来编辑音乐声音：

在这里可以看到有3种乐器（玩家0的Chrods，玩家1的Lead，玩家2的Bass）

const char * path [NUMofNotes] = {“ /blank1.wav"、"/Chords_Am.wav"、"/Chords_F.wav"、"/Chords_C.wav"、"/Chords_G.wav"、"/Chords_Dm.wav” ，“ / blank2.wav”，“ / Lead_C.wav”，“ / Lead_D.wav”，“ / Lead_E.wav”，“ / Lead_G.wav”，“ / Lead_A.wav”，“ / blank0.wav”， “ /Bass_C3.wav”、“/Bass_D3.wav”、“/Bass_F3.wav”、“/Bass_G3.wav”、“/Bass_A3.wav”}}；