【智控万物】掌控监视器
【项目背景】受到了“yywudao”的“[入门教程]掌控板显示图片（三）-- 进阶版处理图片及显示动画”的启发，作者用掌控板播放了“Bad apple”。我也重现了此显示。
https://v.youku.com/v_show/id_XNTA3NTEyNjkyMA==.html
顺着作者的想法，既然能播放动画，那应该也有播放视频流，下面是演示视频。
https://v.youku.com/v_show/id_XNTA3NTA2MzAyMA==.html
【项目设计】
前期工作请参考：https://mc.dfrobot.com.cn/thread-302527-1-1.html
【准备工作】
电脑要安装：
1、python3(Python3 教程 | 菜鸟教程)
2、cv2(pip3 install --user opencv-python)
3、numpy(pip install --user numpy,我的之前安装过，出了问题，解决方法：先pip uninstall numpy，确保完全卸载numpy，再pip install --user numpy
【电脑端】
1、Python获取摄像头图像
注意Python采用代码缩进和冒号（ : ）来区分代码块之间的层次。
#pip3 install --user opencv-python
#先pip uninstall numpy，确保完全卸载numpy，再pip install --user numpy
def main():
import cv2
import numpy as np
import socket
import time
import binascii
cap = cv2.VideoCapture(0)
while(1): # get a frame and show
ret, frame = cap.read()
if(ret):
cv2.imshow('Capture', frame)
2、图像灰度处理：
<font face="微软雅黑"><blockquote>def main():</font>
3、图片黑白二值化处理
def main():
import cv2
import numpy as np
import socket
import time
import binascii
cap = cv2.VideoCapture(0)
while(1): # get a frame and show
ret, frame = cap.read()
if(ret):
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
BIN= cv2.adaptiveThreshold(gray,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,11,2)
cv2.imshow('Capture1', frame)
cv2.imshow('Capture2', BIN)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
if __name__=='__main__':
main()
void adaptiveThreshold(InputArray src, OutputArray dst, double maxValue,int adaptiveMethod, int thresholdType, int blockSize, double C)
这种办法就是自适应阈值法(adaptiveThreshold)，它的思想不是计算全局图像的阈值，而是根据图像不同区域亮度分布，计算其局部阈值，所以对于图像不同区域，能够自适应计算不同的阈值，因此被称为自适应阈值法。(其实就是局部阈值法)
说明下各参数：
InputArray src：源图像
OutputArray dst：输出图像，与源图像大小一致
int adaptiveMethod：在一个邻域内计算阈值所采用的算法，有两个取值，分别为 ADAPTIVE_THRESH_MEAN_C 和 ADAPTIVE_THRESH_GAUSSIAN_C 。
ADAPTIVE_THRESH_MEAN_C的计算方法是计算出领域的平均值再减去第七个参数double C的值。
ADAPTIVE_THRESH_GAUSSIAN_C的计算方法是计算出领域的高斯均值再减去第七个参数double C的值。
int thresholdType：这是阈值类型，只有两个取值，分别为 THRESH_BINARY 和THRESH_BINARY_INV具体的请看官方的说明，这里不多做解释。
int blockSize：adaptiveThreshold的计算单位是像素的邻域块，这是局部邻域大小，3、5、7等。
double C：这个参数实际上是一个偏移值调整量，用均值和高斯计算阈值后，再减或加这个值就是最终阈值。
可自行调整相应参数：
【数据处理】
1、图像压缩
压缩为128*64（掌控板oled屏幕分辨率）
<font face="微软雅黑">def main():
import cv2
import numpy as np
import socket
import time
import binascii
cap = cv2.VideoCapture(0)
W=128
H=64
size = (W,H)
while(1): # get a frame and show
ret, frame = cap.read()
if(ret):
frame = cv2.resize(frame, size)
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
BIN= cv2.adaptiveThreshold(gray,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,25,5)
cv2.imshow('Capture1', frame)
cv2.imshow('Capture2', BIN)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
if __name__=='__main__':
main()</font>
2、查看二值化后的数据：
def main():
import cv2
import numpy as np
import socket
import time
import binascii
cap = cv2.VideoCapture(0)
W=128
H=64
size = (W,H)
while(1): # get a frame and show
ret, frame = cap.read()
if(ret):
frame = cv2.resize(frame, size)
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
BIN= cv2.adaptiveThreshold(gray,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,25,5)
cv2.imshow('Capture1', frame)
cv2.imshow('Capture2', BIN)
for h in range(H):
for w in range(W):
print(BIN,end="")
print()
#if cv2.waitKey(1) & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
if __name__=='__main__':
main()
从上图看出，大于阈值的都显示为“255”，但“255”不是我想要的，我要的是“1”。
修改下面的代码，大于阈值的输出为“1”。
BIN= cv2.adaptiveThreshold(gray,1,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,25,5)
但这样，窗口就无法显示图像了。“1”相对“255”接近于“0”，窗口显示为全黑。所以将图像拷贝一份用来窗口显示，另一份用来进行数据处理。
<font face="微软雅黑">def main():
import cv2
import numpy as np
import socket
import time
import binascii
cap = cv2.VideoCapture(0)
W=128
H=64
size = (W,H)
while(1): # get a frame and show
ret, frame1 = cap.read()
if(ret):
frame2=frame1.copy()
frame1 = cv2.resize(frame1, size)
gray1 = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)
BIN1= cv2.adaptiveThreshold(gray1,1,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,7,3)
BIN2= cv2.adaptiveThreshold(gray2,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,7,3)
cv2.imshow('Capture1', frame2)
cv2.imshow('Capture2', BIN2)
for h in range(H):
for w in range(W):
print(BIN1,end="")
print()
#if cv2.waitKey(1) & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
if __name__=='__main__':
main()</font>"0"和“1”展示自我
【分析数据】
掌控板能显示“pbm”图像文件，看一下Bad Apple“123.pbm”文件数据内容：
发现它是以“十六进制”存储，每四位16进制数为一组。
需要把我的数据处理成它这种形式
def main():
import cv2
import numpy as np
import socket
import time
import binascii
cap = cv2.VideoCapture(0)
W=128
H=64
size = (W,H)
val=0
str1=''
while(1): # get a frame and show
ret, frame1 = cap.read()
if(ret):
frame2=frame1.copy()
frame1 = cv2.resize(frame1, size)
gray1 = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)
BIN1= cv2.adaptiveThreshold(gray1,1,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,7,3)
BIN2= cv2.adaptiveThreshold(gray2,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,7,3)
cv2.imshow('Capture1', frame2)
cv2.imshow('Capture2', BIN2)
str1=""
for h in range(H):
for w in range(0,W,16):
for i in range(4):
val=(int(BIN1)*8 + int(BIN1)*4 + int(BIN1)*2 + int(BIN1)*1)
if val>=10:
if val == 10:
str1=str1+'A'
if val==11:
str1=str1+'B'
if val==12:
str1=str1+'C'
if val==13:
str1=str1+'D'
if val==14:
str1=str1+'E'
if val==15:
str1=str1+'F'
else:
str1=str1+str(val)
str1=str1+" "
print(str1)
'''for h in range(H):
for w in range(W):
print(BIN1,end="")
print()'''
#if cv2.waitKey(1) & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
if __name__=='__main__':
main()
但这个字符串是不能发送给掌控板的，需要用bytearray.fromhex(str1)进行处理
【wifi传数据】
下面的是的传送“Bad Apple”pbm文件的电脑端程序，其中“192.168.31.93”，需要改成自己掌控板的IP，“pic\{}.pbm”，改成自己”pbm“文件所在的目录。
import socket
import time
def main():
for i in range(1,1098):
s=socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('<font color="#ff0000">192.168.31.93</font>',10000))
with open(r'<font color="#ff0000">pic\{}.pbm</font>'.format(i),'rb') as f:
#注意到需要用二次 f.readline() 把前二行的数据处理掉。
#数据内容如下：
#第一行：P4，即 PBM 二进制数据
#第三行：图像的像素为88*64
f.readline()
f.readline()
data=f.read()
s.send(data)
print(i)
time.sleep(0.19)
s.close()
if __name__=='__main__':
main()
【掌控板程序】
from mpython import *
import usocket
import network
my_wifi = wifi()
my_wifi.connectWiFi('###', '##########')
while not my_wifi.sta.isconnected():
pass
oled.fill(0)
oled.DispChar(my_wifi.sta.ifconfig(), 0, 0, 1)
oled.show()
#socket.socket() 创建了一个 socket 对象，并且支持 context manager type，你可以使用 with 语句，这样你就不用再手动调用 s.close() 来关闭 socket 了
s=usocket.socket(usocket.AF_INET,usocket.SOCK_STREAM)
#bind() 方法的入参取决于 socket 的地址族，在这个例子中我们使用了 socket.AF_INET (IPv4)，它接收一个二元组(host, port)入参
#端口号应该是 1-65535 之间的整数（0是保留的），这个整数就是用来接受客户端链接的 TCP 端口号，如果端口号小于 1024，有的操作系统会要求管理员权限
s.bind((my_wifi.sta.ifconfig(),10000))
#listen() 方法调用使服务器可以接受连接请求，这使它成为一个「监听中」的 socket
#listen() 方法有一个 backlog 参数。它指定在拒绝新的连接之前系统将允许使用的 未接受的连接 数量。从 Python 3.5 开始，这是可选参数。如果不指定，Python 将取一个默认值
s.listen(5)
while True:
#accept() 方法阻塞并等待传入连接。当一个客户端连接时，它将返回一个新的 socket 对象，对象中有表示当前连接的 conn 和一个由主机、端口号组成的 IPv4/v6 连接的元组
con=s.accept()
data=con.recv(1024)
#framebuf.FrameBuffer(buffer, width, height, format) 可以构建帧缓存对象， buffer 为缓存区数据，width 为图片宽度，height 为图片高度，format 为FrameBuffer的格式，即对应图片取模时数据输出的扫描模式：framebuf.MONO_HLSB 为水平方向；framebuf.MONO_VLSB 为垂直方向。
fbuf=framebuf.FrameBuffer(bytearray(data),88,64,framebuf.MONO_HLSB)
oled.fill(0)
#oled.blit(fbuf, x, y) 使用OLED显示图片帧，fbuf 为FrameBuffer对象，x 、y 为起始点的坐标x、y。
oled.blit(fbuf,19,0)
oled.show()
con.close()
“88”是“Bad Apple”的，接收实时视频流时要改成“128”，“19”改成“0”。
在Mind+中，扩展选择掌控板，右上角选择MicroPython，手动编辑。
也可使用mPython
【实时视频流显示完整代码】
电脑端
结合传送“Bad Apple”pbm文件的程序，完成实时视频流传送。
<font face="微软雅黑">def main():
import cv2
import numpy as np
import socket
import time
import binascii
import socket
import time
cap = cv2.VideoCapture(0)
W=128
H=64
size = (W,H)
val=0
str1=''
while(1): # get a frame and show
ret, frame1 = cap.read()
if(ret):
frame2=frame1.copy()
frame1 = cv2.resize(frame1, size)
gray1 = cv2.cvtColor(frame1, cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(frame2, cv2.COLOR_BGR2GRAY)
BIN1= cv2.adaptiveThreshold(gray1,1,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,7,3)
BIN2= cv2.adaptiveThreshold(gray2,255,cv2.ADAPTIVE_THRESH_MEAN_C,cv2.THRESH_BINARY,7,3)
cv2.imshow('Capture1', frame2)
cv2.imshow('Capture2', BIN2)
str1=""
for h in range(H):
for w in range(0,W,16):
for i in range(4):
val=(int(BIN1)*8 + int(BIN1)*4 + int(BIN1)*2 + int(BIN1)*1)
if val>=10:
if val == 10:
str1=str1+'A'
if val==11:
str1=str1+'B'
if val==12:
str1=str1+'C'
if val==13:
str1=str1+'D'
if val==14:
str1=str1+'E'
if val==15:
str1=str1+'F'
else:
str1=str1+str(val)
str1=str1+" "
#print(str1)
s=socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect(('192.168.31.93',10000))
s.send(bytearray.fromhex(str1))
time.sleep(0.19)
if cv2.waitKey(1) & 0xFF == ord('q'):
break
cv2.destroyAllWindows()
if __name__=='__main__':
main()</font>
【源文件】
这里使用代码格式，总是去掉我的缩进空格，Python采用代码缩进和冒号（ : ）来区分代码块之间的层次。所以附上源文件，我很厚道。
【直播协议】
一、RTMP、RTSP、HTTP协议
这三个协议都属于互联网 TCP/IP 五层体系结构中应用层的协议。理论上这三种都可以用来做视频直播或点播。但通常来说，直播一般用 RTMP、RTSP。而点播用 HTTP。下面分别介绍下三者的特点。
1，RTMP协议
（1）是流媒体协议。
（2）RTMP协议是 Adobe 的私有协议，未完全公开。
（3）RTMP协议一般传输的是 flv，f4v 格式流。
（4）RTMP一般在 TCP 1个通道上传输命令和数据。
2，RTSP协议
（1）是流媒体协议。
（2）RTSP协议是共有协议，并有专门机构做维护。.
（3）RTSP协议一般传输的是 ts、mp4 格式的流。
（4）RTSP传输一般需要 2-3 个通道，命令和数据通道分离。
3，HTTP协议
（1）不是是流媒体协议。
（2）HTTP协议是共有协议，并有专门机构做维护。 （3）HTTP协议没有特定的传输流。
（4）HTTP传输一般需要 2-3 个通道，命令和数据通道分离。
二、传送RTMP视频流
rtmp://58.200.131.2:1935/livetv/cctv1 cctv1综合 rtmp://58.200.131.2:1935/livetv/cctv2 cctv2财经 rtmp://58.200.131.2:1935/livetv/cctv3 cctv3综艺 rtmp://58.200.131.2:1935/livetv/cctv4 cctv4中文国际 rtmp://58.200.131.2:1935/livetv/cctv5 cctv5体育 （测试有效） rtmp://58.200.131.2:1935/livetv/cctv6 cctv6电影 ......后边到cctvn自己测-----
代码只需修改： cap = cv2.VideoCapture(0)为 cap = cv2.VideoCapture(‘rtmp://58.200.131.2:1935/livetv/cctv5’)，网速不好，会有些卡顿。同时我没有修改time.sleep(0.19)，大家可以改小一些，如time.sleep(0.04)，效果会更好。
https://v.youku.com/v_show/id_XNTA3NTUyODE4NA==.html【本地视频】代码修改： cap = cv2.VideoCapture(0)为 cap = cv2.VideoCapture(‘CCTV.mp4’)，‘CCTV.mp4’视频文件最好与代码文件放在一个目录下。同时我没有修改time.sleep(0.19)，大家可以改小一些，如time.sleep(0.04)，效果会更好。
【设想计划】把电脑换成树莓派，做为服务器，向掌控板传送图像。 8错 超赞
还是CV2好用，而且教程也经典
页:
[1]