设为首页收藏本站
首页 > 论坛 > 行空板

[M10项目]行空板——安防 精华

云天 | 初级技神 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2022-9-20 12:06:32 [显示全部楼层]
7043浏览
5回复
3收藏
查看: 7043|回复: 5

[M10项目] 行空板——安防

[复制链接]
本帖最后由 云天 于 2022-9-20 12:06 编辑

行空板——安防图1

【项目背景】
现在很多家庭都安装有监控，并可以利用手机进行查看。方便自己不在家时，查看家中情况，及时发现老人幼儿发生的危险情况。同时安装监控好处是可以全天候和多方位的进行监视，节省人力物力，实时监控录像，可以随时调出记录，方便对不法活动进行举报，起到震慑作用等等。
【项目设计】
行空板——安防图2

本项目使用“行空板”结合USB摄像头，利用Mind+Python模式下编程，使用Easy IOT物联网平台，向手机发送实时图像。手机端使用App Inventor2编程，连接物联网，实时查看图像，并发送指令控制摄像头旋转、点亮彩灯等。
行空板——安防图3


行空板——安防图4

【演示视频】

【硬件结构】
供电使用两个电池座，一个四节锂电池（输出5V 3A）给行空板供电，一个二节锂电池给扩展板供电，支持舵机（接S1引脚）和彩灯（接P16引脚）。
行空板——安防图5


行空板——安防图6


行空板——安防图7

【程序设计——App Inventor2】
使用了MQTT物联网控件，配置Easy IOT相应参数。
行空板——安防图8


行空板——安防图9

【程序设计——Mind+Python】
可在Mind+Python模式下加载以下扩展，协助完成以下代码编写。
行空板——安防图10

【传送图像】
实现行空板向物联网平台发送base64编码后的图像。（行空板要连接Wifi）
  1. 

  2. import base64

  3. 

  4. import siot

  5. import time

  6. import cv2

  7. siot.init(client_id="",server="iot.dfrobot.com.cn",port=1883,user="X8jykxFnR",password="u8jskbFngz")

  8. siot.connect()

  9. siot.loop()

  10. siot.getsubscribe(topic="jBarN574g")

  11. siot.set_callback(on_message_callback)

  12. 

  13. vd = cv2.VideoCapture()

  14. vd.open(0)

  15. while True:

  16.         ret, img = vd.read()

  17.         if ret:

  18.           img=cv2.resize(img,(400,300))

  19.           img=cv2.imencode('.jpg',img)[1]

  20.           image_code=str(base64.b64encode(img))[2:-1]

  21.           siot.publish(topic="tLm2XCm4R", data=image_code)

  22.           time.sleep(0.04)

复制代码
【查看方式】
实现“流畅查看”、“间隔查看”、“点击查看”三种查看方式，是为适应网络传输环境，Easy Iot物联网平台响应速度及信息量1万条的限制。但“间隔查看”、“点击查看”会因read()读出缓存问题，而可能看不到实时图像。解决方法见最后。
  1. 

  2. #  -*- coding: UTF-8 -*-

  3. 

  4. # MindPlus

  5. # Python

  6. import base64

  7. 

  8. import siot

  9. import time

  10. import cv2

  11. # 事件回调函数

  12. def on_message_callback(client, userdata, msg):

  13.     global bs

  14.     if (msg.payload.decode() == '1'):

  15.         

  16.         bs=1

  17.     elif  (msg.payload.decode() == '2'):

  18. 

  19.         bs=2

  20.     elif  (msg.payload.decode() == '3'):

  21. 

  22.         bs=3

  23. 

  24. siot.init(client_id="",server="iot.dfrobot.com.cn",port=1883,user="X8jykxFnR",password="u8jskbFngz")

  25. siot.connect()

  26. siot.loop()

  27. siot.getsubscribe(topic="jBarN574g")

  28. siot.set_callback(on_message_callback)

  29. 

  30. vd = cv2.VideoCapture()

  31. vd.open(0)

  32. time1=1

  33. bs=0

  34. currtime1=time.time()

  35. while not (vd.isOpened()):

  36.     pass

  37. def getimg():

  38.     ret, img = vd.read()

  39.     if ret:

  40.         img=cv2.resize(img,(400,300))

  41.         img=cv2.imencode('.jpg',img)[1]

  42.         image_code=str(base64.b64encode(img))[2:-1]

  43.         siot.publish(topic="tLm2XCm4R", data=image_code)

  44. 

  45. while True:

  46.     if bs==1:

  47.            time1=0.04

  48.            if time.time()-currtime1>time1:

  49.                currtime1=time.time()

  50.                getimg()

  51.     elif bs==2:

  52.            time1=1

  53.            if time.time()-currtime1>time1:

  54.                currtime1=time.time()

  55.                getimg()

  56.     elif bs==3:

  57.            bs=0

  58.            getimg()

  59.         

  60. 

复制代码
【传送信息】
修改程序，接收指令加信息，转成列表进行处理，以增加接收舵机角度信息。
  1. 

  2. #  -*- coding: UTF-8 -*-

  3. 

  4. # MindPlus

  5. # Python

  6. import base64

  7. 

  8. import siot

  9. import time

  10. import cv2

  11. # 事件回调函数

  12. def on_message_callback(client, userdata, msg):

  13.     global bs,angle

  14.     message=msg.payload.decode()

  15.     message=message.split(",")

  16.     if message[0] == '1':

  17.         

  18.         bs=1

  19.     elif  message[0] == '2':

  20.         print(message[0])

  21.         bs=2

  22.     elif  message[0] == '3':

  23. 

  24.         bs=3

  25.     elif  message[0] == '4':

  26.         bs=4

  27.         angle=int(message[1])

  28. siot.init(client_id="",server="iot.dfrobot.com.cn",port=1883,user="X8jykxFnR",password="u8jskbFngz")

  29. siot.connect()

  30. siot.loop()

  31. siot.getsubscribe(topic="jBarN574g")

  32. siot.set_callback(on_message_callback)

  33. 

  34. vd = cv2.VideoCapture()

  35. vd.open(0)

  36. time1=1

  37. bs=0

  38. angle=90

  39. currtime1=time.time()

  40. while not (vd.isOpened()):

  41.     pass

  42. def getimg():

  43.     ret, img = vd.read()

  44.     if ret:

  45.         img=cv2.resize(img,(400,300))

  46.         img=cv2.imencode('.jpg',img)[1]

  47.         image_code=str(base64.b64encode(img))[2:-1]

  48.         siot.publish(topic="tLm2XCm4R", data=image_code)

  49. 

  50. while True:

  51.  

  52.     if bs==1:

  53.            time1=0.04

  54.            if time.time()-currtime1>time1:

  55.                currtime1=time.time()

  56.                getimg()

  57.     elif bs==2:

  58. 

  59.            time1=1

  60.            if time.time()-currtime1>time1:

  61.                currtime1=time.time()

  62.                getimg()

  63.     elif bs==3:

  64.            bs=0

  65.            getimg()

  66.     elif bs==4:

  67.         print(angle)

  68.         

  69. 

复制代码
【摄像控制】
摄像头固定在舵机上，舵机连接在扩展板的S1引脚上，实现远程控制摄像头旋转。且增加行空板提示显示。
  1. 

  2. #  -*- coding: UTF-8 -*-

  3. 

  4. # MindPlus

  5. # Python

  6. import base64

  7. 

  8. import siot

  9. import time

  10. import cv2

  11. 

  12. from pinpong.board import Board

  13. from microbit_motor import DFServo

  14. from unihiker import GUI

  15. 

  16. 

  17. 

  18. # 事件回调函数

  19. def on_message_callback(client, userdata, msg):

  20.     global bs,angle

  21.     message=msg.payload.decode()

  22.     message=message.split(",")

  23.     if message[0] == '1':

  24.         

  25.         bs=1

  26.     elif  message[0] == '2':

  27.         

  28.         bs=2

  29.     elif  message[0] == '3':

  30. 

  31.         bs=3

  32.     elif  message[0] == '4':

  33.         bs=4

  34.         angle=int(message[1])

  35. 

  36.     elif  message[0] == '5':

  37.         bs=5

  38. siot.init(client_id="",server="iot.dfrobot.com.cn",port=1883,user="X8jykxFnR",password="u8jskbFngz")

  39. siot.connect()

  40. siot.loop()

  41. siot.getsubscribe(topic="jBarN574g")

  42. siot.set_callback(on_message_callback)

  43. 

  44. vd = cv2.VideoCapture()

  45. vd.open(0)

  46. time1=1

  47. bs=0

  48. bs1=0

  49. bs2=0

  50. bs3=0

  51. angle=6

  52. angle_old=0

  53. step=5

  54. currtime1=time.time()

  55. while not (vd.isOpened()):

  56.     pass

  57. def getimg():

  58.     ret, img = vd.read()

  59.     if ret:

  60.         img=cv2.resize(img,(400,300))

  61.         img=cv2.imencode('.jpg',img)[1]

  62.         image_code=str(base64.b64encode(img))[2:-1]

  63.         siot.publish(topic="tLm2XCm4R", data=image_code)

  64. Board().begin()

  65. S=DFServo(1)

  66. u_gui=GUI()

  67. 

  68. pm=u_gui.draw_text(text="行空板",x=20,y=120,font_size=50, color="#0000FF")

  69. 

  70. 

  71. while True:

  72.  

  73.     if bs==1:

  74.         if bs2==0:

  75.            pm.config(text="实时景")

  76.            bs2=1 

  77.            bs1=0

  78.            bs3=0

  79.            time1=0.04

  80.         if time.time()-currtime1>time1:

  81.                currtime1=time.time()

  82.                getimg()

  83.     elif bs==2:

  84.         if bs3==0:

  85.            pm.config(text="间隔景")

  86.            bs3=1

  87.            bs1=0

  88.            bs2=0

  89.            time1=1

  90.         if time.time()-currtime1>time1:

  91.                currtime1=time.time()

  92.                getimg()

  93.     elif bs==3:

  94.            pm.config(text="定格景")

  95.            bs=0

  96.            bs1=0

  97.            bs2=0

  98.            bs3=0

  99.            getimg()

  100.     elif bs==4:

  101.        if angle!=angle_old:

  102.          pm.config(text="转定角")

  103.          angle_old=angle

  104.          S.angle(angle)

  105.          time.sleep(1)

  106.          time1=0.04

  107.          bs1=0

  108.          bs2=0

  109.          bs3=0

  110.        if time.time()-currtime1>time1:

  111.                currtime1=time.time()

  112.                getimg()

  113.     elif bs==5:

  114.         if bs1==0:

  115.            pm.config(text="巡航转")

  116.            bs1=1

  117.            bs2=0

  118.            bs3=0

  119.         if angle>174:

  120.            step=-5    

  121.         elif angle<6:

  122.            step=5

  123.         angle=angle+step

  124.         S.angle(angle)

  125.         time.sleep(1)

  126.         getimg()

  127.         

  128. 

复制代码
【点亮彩灯】
使用四个RGB LED模块串联接在扩展板P16引脚上。

  1. 

  2. #  -*- coding: UTF-8 -*-

  3. 

  4. # MindPlus

  5. # Python

  6. import base64

  7. 

  8. import siot

  9. import time

  10. import cv2

  11. 

  12. from pinpong.board import Board,NeoPixel,Pin

  13. 

  14. from microbit_motor import DFServo

  15. from unihiker import GUI

  16. 

  17. 

  18. NEOPIXEL_PIN = Pin.P16

  19. PIXELS_NUM = 4 #灯数

  20. 

  21. # 事件回调函数

  22. def on_message_callback(client, userdata, msg):

  23.     global bs,angle

  24.     message=msg.payload.decode()

  25.     message=message.split(",")

  26.     np.clear()

  27.     if message[0] == '1':

  28.         

  29.         bs=1

  30.     elif  message[0] == '2':

  31.         

  32.         bs=2

  33.     elif  message[0] == '3':

  34. 

  35.         bs=3

  36.     elif  message[0] == '4':

  37.         bs=4

  38.         angle=int(message[1])

  39. 

  40.     elif  message[0] == '5':

  41.         bs=5

  42.     elif  message[0] == '6':

  43.         bs=6    

  44. siot.init(client_id="",server="iot.dfrobot.com.cn",port=1883,user="X8jykxFnR",password="u8jskbFngz")

  45. siot.connect()

  46. siot.loop()

  47. siot.getsubscribe(topic="jBarN574g")

  48. siot.set_callback(on_message_callback)

  49. 

  50. vd = cv2.VideoCapture()

  51. vd.open(0)

  52. time1=1

  53. bs=0

  54. bs1=0

  55. bs2=0

  56. bs3=0

  57. bs4=0

  58. angle=6

  59. angle_old=0

  60. step=5

  61. currtime1=time.time()

  62. while not (vd.isOpened()):

  63.     pass

  64. def getimg():

  65.     ret, img = vd.read()

  66.     if ret:

  67.         img=cv2.resize(img,(400,300))

  68.         img=cv2.imencode('.jpg',img)[1]

  69.         image_code=str(base64.b64encode(img))[2:-1]

  70.         siot.publish(topic="tLm2XCm4R", data=image_code)

  71. Board().begin()

  72. S=DFServo(1)

  73. u_gui=GUI()

  74. np = NeoPixel(Pin(NEOPIXEL_PIN), PIXELS_NUM)

  75. pm=u_gui.draw_text(text="行空板",x=20,y=120,font_size=50, color="#0000FF")

  76. 

  77. 

  78. while True:

  79.  

  80.     if bs==1:

  81.         if bs2==0:

  82.            pm.config(text="实时景")

  83.            bs2=1 

  84.            bs1=0

  85.            bs3=0

  86.            bs4=0

  87.            time1=0.04

  88.         if time.time()-currtime1>time1:

  89.                currtime1=time.time()

  90.                getimg()

  91.     elif bs==2:

  92.         if bs3==0:

  93.            pm.config(text="间隔景")

  94.            bs3=1

  95.            bs1=0

  96.            bs2=0

  97.            bs4=0

  98.            time1=1

  99.         if time.time()-currtime1>time1:

  100.                currtime1=time.time()

  101.                getimg()

  102.     elif bs==3:

  103.            pm.config(text="定格景")

  104.            bs=0

  105.            bs1=0

  106.            bs2=0

  107.            bs3=0

  108.            bs4=0

  109.            getimg()

  110.     elif bs==4:

  111.        if angle!=angle_old:

  112.          pm.config(text="转定角")

  113.          angle_old=angle

  114.          S.angle(angle)

  115.          time.sleep(1)

  116.          time1=0.04

  117.          bs1=0

  118.          bs2=0

  119.          bs3=0

  120.          bs4=0

  121.        if time.time()-currtime1>time1:

  122.                currtime1=time.time()

  123.                getimg()

  124.     elif bs==5:

  125.         if bs1==0:

  126.            pm.config(text="巡航转")

  127.            bs1=1

  128.            bs2=0

  129.            bs3=0

  130.            bs4=0

  131.         if angle>174:

  132.            step=-5    

  133.         elif angle<6:

  134.            step=5

  135.         angle=angle+step

  136.         S.angle(angle)

  137.         time.sleep(1)

  138.         getimg()

  139.     elif bs==6:

  140.         if bs4==0:

  141.            np.rainbow(0,3,0,0x0022FF)

  142.            pm.config(text="亮彩灯")

  143.            bs4=1

  144.            bs1=0

  145.            bs2=0

  146.            bs3=0

  147.         for i in range(3):

  148.            np.rotate(1)

  149.            time.sleep(0.2)

  150. 

复制代码

【解决问题】
使用Opencv读取实时视频流数据，做算法处理，因为算法本身处理速度有限，因此会产生每次读取到的帧不是当前帧的问题，体验很差。cv2.VideoCapture 的 read 函数并不能获取实时流的最新帧而是按照内部缓冲区中顺序逐帧的读取，opencv会每过一段时间清空一次缓冲区，但是清空的时机并不是我们能够控制的，因此如果对视频帧的处理速度如果跟不上接受速度，那么每过一段时间，在播放时(imshow)时会看到画面突然花屏，甚至程序直接崩溃，在网上查了很多资料，处理方式基本是一个思想
生产者消费者模式：
        使用一个临时缓存，可以是一个变量保存最新一帧，也可以是一个队列保存一些帧，然后开启一个线程读取最新帧保存到缓存里，用户读取的时候只返回最新的一帧


  1. 

  2. import cv2

  3. import queue

  4. import threading

  5. 

  6. # 无缓存读取视频流类

  7. class VideoCapture:

  8. 

  9.   def __init__(self, name):

  10.     self.cap = cv2.VideoCapture(name)

  11.     self.q = queue.Queue()

  12.     t = threading.Thread(target=self._reader)

  13.     t.daemon = True

  14.     t.start()

  15. 

  16.   # 帧可用时立即读取帧，只保留最新的帧

  17.   def _reader(self):

  18.     while True:

  19.       ret, frame = self.cap.read()

  20.       if not ret:

  21.         break

  22.       if not self.q.empty():

  23.         try:

  24.           self.q.get_nowait()   # 删除上一个（未处理的）帧

  25.         except queue.Empty:

  26.           pass

  27.       self.q.put(frame)

  28. 

  29.   def read(self):

  30.     return self.q.get()

  31. 

  32. cap = VideoCapture("rtsp://....")

  33. while True:

  34.   frame = cap.read()

  35.   cv2.imshow("frame", frame)

  36.   if chr(cv2.waitKey(1)&255) == 'q':

  37.     break

  38. 

复制代码







回复

使用道具 举报

精彩评论(5)

白凡  高级技师

发表于 2022-9-20 15:35:51

学习学习！
回复

使用道具 举报

JOVI  高级技师 来自手机

发表于 2023-11-29 04:20:28

学习
回复

使用道具 举报

许培享  中级技神

发表于 2023-12-7 08:36:47

好样的，学学习习
回复

使用道具 举报

xiaohe9527  高级技师

发表于 2024-4-29 16:34:01

这个转摄像头的功能，非常好
回复

使用道具 举报

党最需要的栋梁  学徒

发表于 2025-1-19 18:42:15

学习学习，大佬base64的插件可以分享吗？全网找不到
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主
勋章墙
活跃会员 宣传大使 创客造 编辑选择奖 志“童”道合 编辑选择奖 编辑选择奖

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2025 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail