RK3566如何实现图像画面和姿态对齐

2026-11-202

把一块 Linux 开发板装进相机外壳之后,真正难的不是让镜头出图,而是让预览、录制和防抖使用同一套时间关系。

泰山派 RK3566 扩展板把 OV8858 摄像头、2.3 英寸 MIPI 屏和 ICM42688P 惯性传感器放到同一条数据链路上,画面与姿态数据随后还要在电脑端重新合并。

这个项目的公开资料同时给出了设备树、驱动和后处理脚本,因此可以沿着数据流检查每个接口的职责。下面只讨论资料中明确出现的连接和代码,不把演示画面当成未经说明的性能测试。

从镜头到屏幕的第一条路径

OV8858 通过 I²C 地址 0x36 完成控制,图像数据从四条 CSI-2 lane 进入 RK3566 的 dphy0。设备树把 dphy0 接到 ISP 虚拟输入,ISP 再把画面送往显示和编码分支。

摄像头、ISP 与预览屏之间的信号路径

预览使用的是 2.3 英寸 MIPI 屏,设备树声明两条 DSI lane,并在时序块中给出有效显示区域。录制得到的是视频文件,防抖所需的姿态数据则由另一条 SPI 链路独立采集。

这意味着画面能显示并不代表防抖数据已经准备好。视频编码、IMU 采样和文件写入各有缓冲,后处理时必须用共同的文件名和时间字段重新建立对应关系。

设备树把两条 MIPI 链路接起来

摄像头配置的关键不在节点数量,而在 endpoint 的方向和 lane 数。项目文件启用了 dphy0 与 rkisp_vir0,dphy1、dphy2 以及另一条 mipi_csi2 路径保持关闭,避免把全模式与分路模式混在一起。

ov8858: ov8858@36 {
    status = "okay";
    compatible = "ovti,ov8858";
    reg = <0x36>;
    reset-gpios = <&gpio4 RK_PB5 GPIO_ACTIVE_HIGH>;
    pwdn-gpios = <&gpio4 RK_PB4 GPIO_ACTIVE_HIGH>;
    power-gpios = <&gpio0 RK_PB0 GPIO_ACTIVE_HIGH>;
    port {
        ov8858_out: endpoint {
            remote-endpoint = <&dphy0_in>;
            data-lanes = <1 2 3 4>;
        };
    };
};

屏幕节点使用 simple-panel-dsi,复位脚是 GPIO3_PC1,面板初始化序列之后才发送 Sleep Out 和 Display On。配置里的 init-delay-ms 不是装饰项,资料明确说明去掉这段延时可能出现闪屏。

dsi1_timing0: timing0 {
    clock-frequency = <18000000>;
    hactive = <368>;
    vactive = <552>;
    hfront-porch = <60>;
    hsync-len = <2>;
    hback-porch = <60>;
    vfront-porch = <20>;
    vsync-len = <2>;
    vback-porch = <20>;
};
链路资料中的关键配置作用
摄像头输入I²C 0x36,四条 CSI-2 lane把 OV8858 帧送入 ISP
图像输出dphy0 接 rkisp_vir0选择全模式图像路径
屏幕输出DSI 两条 lane,368×552显示预览和状态信息
背光控制PWM8 或可选 GP7101调节面板亮度

IMU 不是附加传感器

ICM42688P 挂在 SPI3 的片选 0,设备树给出 24 MHz 的上限频率,并用 GPIO3_PA6 接收下降沿中断。驱动在 probe 阶段设置 SPI 模式 0,随后读取加速度、陀螺仪和温度寄存器。

&spi3 {
    status = "okay";
    max-freq = <48000000>;
    pinctrl-0 = <&spi3m1_cs0 &spi3m1_pins>;
    icm42688p@0 {
        compatible = "rockchip,icm42688p";
        interrupt-gpios = <&gpio3 RK_PA6 GPIO_ACTIVE_LOW>;
        interrupts = <RK_PA6 IRQ_TYPE_EDGE_FALLING>;
        reg = <0>;
        spi-max-frequency = <24000000>;
        status = "okay";
    };
};

驱动的读函数一次取得 12 个加速度和陀螺仪字节,再单独读取两个温度字节,最后把七个有符号数复制给用户空间。

应用层选择 AFS_4G 和 GFS_1000DPS 两个配置宏,并用对应灵敏度把原始值换算成脚本可处理的数值。

static void icm42688p_readdata(struct icm42688p_dev *dev)
{
    uint8_t buffer[12] = {0};
    uint8_t buffer_tem[2] = {0};
    icm42688p_read_regs(dev, ICM42688_ACCEL_DATA_X1, buffer, 12);
    icm42688p_read_regs(dev, ICM42688_TEMP_DATA1, buffer_tem, 2);
    dev->temp_adc = (buffer_tem[0] << 8) | buffer_tem[1];
    dev->accel_x_adc = (buffer[0] << 8) | buffer[1];
    dev->gyro_x_adc = (buffer[6] << 8) | buffer[7];
}

姿态数据从 SPI 驱动进入 GyroFlow 文件

代码把设备注册成字符设备,并没有在这个仓库里提供一个完整的用户态录像程序。能否得到连续、等间隔的 IMU 文件,取决于运行镜像中的采集程序和文件写入节奏,不能只凭驱动已经加载就下结论。

文件怎样变成可以对齐的素材

项目把视频放在 video 目录,把 IMU 文本放在 imu 目录。批处理脚本先找出两个目录中同名的文件,再分别完成封装和表头转换,这样一段视频和一组姿态样本才有机会被 GyroFlow 识别为同一条记录。

cmd = [
    "ffmpeg", "-y", "-i", input_file,
    "-c", "copy", output_file
]
subprocess.run(cmd, check=True,
               stdout=subprocess.DEVNULL,
               stderr=subprocess.DEVNULL)

这里的 -c copy 只做容器封装,不重新编码 H.264 数据。脚本另一个分支写入 GYROFLOW IMU LOG、方向和比例字段,并把原始每一行样本继续写入 CSV。

代码中的 tscale_val 是 0.02,表示脚本按 20 ms 的时间步长解释样本,陀螺仪和加速度计的比例由 gscale_val 与 ascale_val 给出。

它们是当前脚本的默认值,换用不同量程或采样率时需要同步修改,不能把默认值当成所有固件版本的固定参数。

文件产生位置后续用途
H.264 二进制video通过 FFmpeg 封装成 MP4
IMU 文本imu加入 GyroFlow 表头并生成 CSV
MP4 与 CSV同名文件在 GyroFlow 中载入并同步

GyroFlow 同时载入视频和姿态文件

防抖效果取决于时间轴

GyroFlow 需要知道视频帧和 IMU 样本的相对时间。项目脚本写入 videofilename、orientation、frame_readout_time 等字段。

界面截图展示了先导入 MP4、再导入 CSV、最后执行自动同步的流程。

当前脚本里的时间戳、镜头配置和帧读出时间是示例值,适配另一颗镜头或另一版采集程序时必须重新核对。尤其是方向字段 YxZ,如果安装姿态改变而没有同步修改,画面可能会出现反向补偿或漂移。

录制端还要保证视频和 IMU 文件名一致。批处理函数用两个目录的 basename 求交集,任意一侧改名都会让这组素材被跳过,最后只看到“没有发现可转换的文件对”。

视频、IMU 和格式转换之间的关系

调试时先看哪一个边界

镜头没有画面时,先检查电源、复位和 I²C 地址,再看 dphy0 的四条 lane 是否与 endpoint 声明一致。只改显示屏节点并不能修复摄像头输入,采集链路和显示链路要分开验证。

屏幕点亮但预览异常时,重点检查 DSI 的 lane 数、面板复位脚和初始化延时。

背光节点可以选择 PWM8,也可以接入 GP7101,但设备树里 GP7101 节点默认是关闭状态,不能把可选驱动误认为已经参与运行。

IMU 没有数据时,先确认 SPI3 和 icm42688p@0 节点都处于启用状态,再看中断脚和驱动日志。

应用读取的是七个有符号数,若文件只有部分列,问题通常发生在驱动读取、用户态采集或写文件的边界,而不是 GyroFlow 的界面设置。

没有画面、没有姿态和防抖漂移是三种不同故障。按摄像头、屏幕、IMU、文件时间轴的顺序逐层确认,才能把设备树错误、驱动错误和后处理参数区分开。

当镜头、显示和姿态数据都沿着各自的接口稳定落地,泰山派才真正具备一台可调试的运动相机骨架。后续若要把它做成可靠产品,还需要在目标镜头、采样率和安装姿态下重新校准时间与比例,并补上持续运行和存储压力方面的验证。

创作许可协议

本项目采用 CC BY(署名) 进行许可。

评论(0)
- 没有更多了 -