基于RK3588J的6路MIPI CSI视频采集案例分享,多路视频系统必看!
案例说明
本文主要介绍基于创龙科技TL3588-EVM评估板(基于RK3588J)的6路高清视频采集案例,开发环境如下。
Windows开发环境:Windows 7 64bit、Windows 10 64bit
虚拟机:VMware15.5.5
开发环境:Ubuntu20.04.6 64bit
U-Boot:U-Boot-2017.09
Kernel:Linux-5.10.160
LinuxSDK:rk3588_linux_release_v1.2.1
摄像头模块型号:TL13850和Camera Module v2
视频分辨率:1920x1080@30fps
图 1 6路视频采集效果图
备注:由于案例通过等比例拼接形式采集画面,且摄像头帧率需统一,因此摄像头分辨率帧率均使用1920x1080@30fps。
RK3588J的MIPI CSI介绍
RK3588J的MIPI CSI接口介绍如下。
(1)支持多种视频格式:RAW8、RAW10、RAW12、RAW14、YUV422。
(2)包含4个MIPI CSI DPHY接口,支持MIPI DPHY V1.2标准,每个接口支持2Lane,每Lane最高支持2.5Gbps;支持将2个MIPI CSI DPHY接口组合成1个4Lane数据通道接口使用。
(3)包含2个MIPI CSI DCPHY接口(MIPI CSI DPHY/CPHY复用),支持MIPI CPHY V1.1标准,每个MIPI CSI DCPHY支持4Lane数据通道,每Lane最高2.5Gbps。
(4)支持的摄像头接口组合方案如下:
6个摄像头接口配置:2个MIPI CSI DCPHY(4Lane)接口 + 4个MIPI CSI DPHY(2Lane)接口;
5个摄像头接口配置:2个MIPI CSI DCPHY(4Lane)接口 + 1个MIPI CSI DPHY(4Lane)接口 + 2个MIPI CSI DPHY(2Lane)接口;
4个摄像头接口配置:2个MIPI CSI DCPHY(4Lane)接口 + 2个MIPI CSI DPHY(4Lane)接口。
表 1
(5)常见视频输入数据量理论带宽及MIPI CSI Lane数量要求,如下表所示:
备注:以下相关数据量估算不含数据传输协议相关开销,仅供参考。
表 2
案例功能说明
ISP图像处理说明
RK3588J的ISP30模块支持标准的Sensor图像数据处理,包括自动白平衡、自动曝光、Demosaic、坏点矫正及镜头阴影矫正等基本功能,也支持HDR、去雾、降噪等高级处理功能。
ISP30功能框图如下图所示。
图 2
RK3588J的图像处理基于ISP图像参数调试工具RKISP2.x Tuner对摄像头采集的图像进行标定,通过IQ参数文件将摄像头采集的图像优化处理后发送至显示设备。
RKISP2.x
Tuner提供了一套便于用户调试ISP参数的工具,用户可以在RKISP2.x
Tuner中对所有ISP模块开展标定(Calibration)、调试(Tuning)等工作。用户可以使用RKISP2.x
Tuner提供的抓图工具(Capture Tool)来拍摄RAW图,在标定工具(Calibration
Tool)中完成基础模块的标定工作,在RKISP2.x Tuner中连接设备,在线进行ISP参数调试。
Tuner流程图如下所示:
图 3
缩放拼接功能说明
案例基于Linux的V4L2采集1080P的摄像头画面,通过RGA进行图像缩放和拼接处理,最终利用DRM框架将处理后的整个画面进行显示。
(1)采集图像:V4L2(Video for Linux 2)是用于支持摄像头和视频设备的框架,其提供了一组API和驱动程序接口,用于在Linux系统中进行视频采集、视频流处理和视频播放等操作。
(2)缩放拼接:RGA(Raster Graphic Acceleration Unit)是⼀个独立的2D硬件加速器,可⽤于加速点/线的绘制,执行图像缩放、旋转、bitBlt、alpha混合等常⻅的2D图形操作。
(3)图像显示:DRM(Direct Rendering Manager)是Linux内核的一个子系统,负责与GPU进行交互。用户空间程序可以使用DRM的API向GPU发送命令和数据并执行诸如配置显示器模式设置之类的操作。
RK3588J典型应用领域
图5
6路视频采集案例演示
案例说明
本案例实现6路摄像头的图像采集,并对图像进行缩放和拼接处理,最终通过HDMI显示屏进行显示。其中配置所有摄像头以1920x1080@30fps分辨率采集画面,并通过硬件协处理器缩放拼接画面后以1920x1080@30fps分辨率输出到HDMI显示屏。
图 5
根据摄像头的数量,显示的画面布局如下:
图 6
案例测试
请使用FFC软排线将MIPI摄像头模块(TL13850)连接至评估板CAMERA1、CAMERA2接口;将MIPI摄像头模块(Camera
Module v2)连接至评估板CAMERA3~CAMERA6接口,然后将评估板HDMI OUT接口连接至HDMI显示屏。
表 3
图 7
请将案例bin目录下的multi_camera_display可执行程序拷贝至评估板文件系统任意目录下,进入可执行程序所在目录,执行如下命令采集视频,并输出至显示设备。命令参数"-o
208:71:1920x1080"表示将终端输出至HDMI显示器,打印信息"usec"表示耗时,单位为us,"fps"表示帧率。按"Ctrl +
C"可停止运行。
Target# ./multi_camera_display -M rockchip -i 84,66,75,93,102,111 -S 1920x1080 -f NV12 -F NV12 -b 4 -o 208:71:1920x1080
图 8
图 9
使用摄像头采集PC机显示屏的在线秒表图像,经过ARM处理后再将图像进行显示。PC机显示画面与评估板显示画面的时间差,即为时延。进行单路视频采集和6路视频采集时延测试,得到的时延结果如下表所示。
表 4
图 10 单路视频采集时延测试界面
图 11 6路视频采集时延测试界面
- 分享
- 举报
-
浏览量:228次2024-08-23 11:51:55
-
浏览量:1812次2022-10-09 10:49:04
-
浏览量:279次2024-09-11 16:50:57
-
浏览量:2212次2022-10-09 10:41:47
-
浏览量:2704次2024-02-26 14:13:38
-
浏览量:5907次2021-05-19 18:36:36
-
浏览量:3972次2021-04-02 09:47:41
-
浏览量:5324次2021-06-25 09:46:07
-
2024-10-30 11:41:00
-
浏览量:12021次2021-02-19 16:56:03
-
浏览量:16549次2021-02-19 17:01:32
-
浏览量:2506次2020-06-12 19:39:57
-
浏览量:264次2024-09-11 16:46:19
-
2024-08-23 11:25:32
-
浏览量:4961次2022-05-10 11:01:46
-
浏览量:1561次2020-08-04 20:27:54
-
浏览量:1819次2024-01-02 22:42:19
-
浏览量:3446次2022-05-17 09:00:46
-
浏览量:5978次2021-06-03 17:33:36
-
广告/SPAM
-
恶意灌水
-
违规内容
-
文不对题
-
重复发帖
Tronlong创龙科技
感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~
举报类型
- 内容涉黄/赌/毒
- 内容侵权/抄袭
- 政治相关
- 涉嫌广告
- 侮辱谩骂
- 其他
详细说明