|
案例說(shuō)明 本文主要介紹基于創(chuàng)龍科技TL3588-EVM評(píng)估板（基于RK3588J）的6路高清視頻采集案例，開(kāi)發(fā)環(huán)境如下。 Windows開(kāi)發(fā)環(huán)境：Windows 7 64bit、Windows 10 64bit 虛擬機(jī)：VMware15.5.5 開(kāi)發(fā)環(huán)境：Ubuntu20.04.6 64bit U-Boot：U-Boot-2017.09 Kernel：Linux-5.10.160 LinuxSDK：rk3588_linux_release_v1.2.1 攝像頭模塊型號(hào)：TL13850和Camera Module v2 視頻分辨率：1920x1080@30fps 圖 1 6路視頻采集效果圖 備注：由于案例通過(guò)等比例拼接形式采集畫(huà)面，且攝像頭幀率需統(tǒng)一，因此攝像頭分辨率幀率均使用1920x1080@30fps。 RK3588J的MIPI CSI介紹 RK3588J的MIPI CSI接口介紹如下。 （1）支持多種視頻格式：RAW8、RAW10、RAW12、RAW14、YUV422。 （2）包含4個(gè)MIPI CSI DPHY接口，支持MIPI DPHY V1.2標(biāo)準(zhǔn)，每個(gè)接口支持2Lane，每Lane最高支持2.5Gbps；支持將2個(gè)MIPI CSI DPHY接口組合成1個(gè)4Lane數(shù)據(jù)通道接口使用。 （3）包含2個(gè)MIPI CSI DCPHY接口（MIPI CSI DPHY/CPHY復(fù)用），支持MIPI CPHY V1.1標(biāo)準(zhǔn)，每個(gè)MIPI CSI DCPHY支持4Lane數(shù)據(jù)通道，每Lane最高2.5Gbps。 （4）支持的攝像頭接口組合方案如下： 6個(gè)攝像頭接口配置：2個(gè)MIPI CSI DCPHY(4Lane)接口 + 4個(gè)MIPI CSI DPHY(2Lane)接口； 5個(gè)攝像頭接口配置：2個(gè)MIPI CSI DCPHY(4Lane)接口 + 1個(gè)MIPI CSI DPHY(4Lane)接口 + 2個(gè)MIPI CSI DPHY(2Lane)接口； 4個(gè)攝像頭接口配置：2個(gè)MIPI CSI DCPHY(4Lane)接口 + 2個(gè)MIPI CSI DPHY(4Lane)接口。 表 1 （5）常見(jiàn)視頻輸入數(shù)據(jù)量理論帶寬及MIPI CSI Lane數(shù)量要求，如下表所示： 備注：以下相關(guān)數(shù)據(jù)量估算不含數(shù)據(jù)傳輸協(xié)議相關(guān)開(kāi)銷，僅供參考。 表 2 案例功能說(shuō)明 ISP圖像處理說(shuō)明 RK3588J的ISP30模塊支持標(biāo)準(zhǔn)的Sensor圖像數(shù)據(jù)處理，包括自動(dòng)白平衡、自動(dòng)曝光、Demosaic、壞點(diǎn)矯正及鏡頭陰影矯正等基本功能，也支持HDR、去霧、降噪等高級(jí)處理功能。 ISP30功能框圖如下圖所示。 圖 2 RK3588J的圖像處理基于ISP圖像參數(shù)調(diào)試工具RKISP2.x Tuner對(duì)攝像頭采集的圖像進(jìn)行標(biāo)定，通過(guò)IQ參數(shù)文件將攝像頭采集的圖像優(yōu)化處理后發(fā)送至顯示設(shè)備。 RKISP2.x Tuner提供了一套便于用戶調(diào)試ISP參數(shù)的工具，用戶可以在RKISP2.x Tuner中對(duì)所有ISP模塊開(kāi)展標(biāo)定(Calibration)、調(diào)試(Tuning)等工作。用戶可以使用RKISP2.x Tuner提供的抓圖工具(Capture Tool)來(lái)拍攝RAW圖，在標(biāo)定工具(Calibration Tool)中完成基礎(chǔ)模塊的標(biāo)定工作，在RKISP2.x Tuner中連接設(shè)備，在線進(jìn)行ISP參數(shù)調(diào)試。 Tuner流程圖如下所示： 圖 3 縮放拼接功能說(shuō)明 案例基于Linux的V4L2采集1080P的攝像頭畫(huà)面，通過(guò)RGA進(jìn)行圖像縮放和拼接處理，最終利用DRM框架將處理后的整個(gè)畫(huà)面進(jìn)行顯示。 （1）采集圖像：V4L2(Video for Linux 2)是用于支持?jǐn)z像頭和視頻設(shè)備的框架，其提供了一組API和驅(qū)動(dòng)程序接口，用于在Linux系統(tǒng)中進(jìn)行視頻采集、視頻流處理和視頻播放等操作。 （2）縮放拼接：RGA(Raster Graphic Acceleration Unit)是⼀個(gè)獨(dú)立的2D硬件加速器，可⽤于加速點(diǎn)/線的繪制，執(zhí)行圖像縮放、旋轉(zhuǎn)、bitBlt、alpha混合等常⻅的2D圖形操作。 （3）圖像顯示：DRM(Direct Rendering Manager)是Linux內(nèi)核的一個(gè)子系統(tǒng)，負(fù)責(zé)與GPU進(jìn)行交互。用戶空間程序可以使用DRM的API向GPU發(fā)送命令和數(shù)據(jù)并執(zhí)行諸如配置顯示器模式設(shè)置之類的操作。 RK3588J典型應(yīng)用領(lǐng)域 圖5 6路視頻采集案例演示 案例說(shuō)明 本案例實(shí)現(xiàn)6路攝像頭的圖像采集，并對(duì)圖像進(jìn)行縮放和拼接處理，最終通過(guò)HDMI顯示屏進(jìn)行顯示。其中配置所有攝像頭以1920x1080@30fps分辨率采集畫(huà)面，并通過(guò)硬件協(xié)處理器縮放拼接畫(huà)面后以1920x1080@30fps分辨率輸出到HDMI顯示屏。 圖 5 根據(jù)攝像頭的數(shù)量，顯示的畫(huà)面布局如下： 圖 6 案例測(cè)試 請(qǐng)使用FFC軟排線將MIPI攝像頭模塊（TL13850）連接至評(píng)估板CAMERA1、CAMERA2接口；將MIPI攝像頭模塊（Camera Module v2）連接至評(píng)估板CAMERA3~CAMERA6接口，然后將評(píng)估板HDMI OUT接口連接至HDMI顯示屏。 表 3 圖 7 請(qǐng)將案例bin目錄下的multi_camera_display可執(zhí)行程序拷貝至評(píng)估板文件系統(tǒng)任意目錄下，進(jìn)入可執(zhí)行程序所在目錄，執(zhí)行如下命令采集視頻，并輸出至顯示設(shè)備。命令參數(shù)"-o 208:71:1920x1080"表示將終端輸出至HDMI顯示器，打印信息"usec"表示耗時(shí)，單位為us，"fps"表示幀率。按"Ctrl + C"可停止運(yùn)行。 Target# ./multi_camera_display -M rockchip -i 84,66,75,93,102,111 -S 1920x1080 -f NV12 -F NV12 -b 4 -o 208:71:1920x1080 圖 8 圖 9 表 4 圖 10 單路視頻采集時(shí)延測(cè)試界面 圖 11 6路視頻采集時(shí)延測(cè)試界面 |
