nvidia xavier nx平台nvv4l2camerasrc支持GRAY8格式问题调试

1. 前言

nvidia相机插件“nvv4l2camerasrc”目前只支持UYVY格式
然而使用的相机是GRAY8格式，需要扩展nvv4l2camerasrc格式

2. 参考12_camera_v4l2_cuda

尝试运行样例来捕获帧，并将其移植到nvv4l2camerasrc插件
sample如下：
/usr/src/jetson_multimedia_api/samples/12_camera_v4l2_cuda

3. 丢帧问题

目前能够使用' v4l2src ' gstreamer插件捕获帧。
但是性能有些问题，导致帧丢失。
已经确定帧丢失发生在我的管道的开始，所以基本上是在源。

希望通过使用' nvv4l2camerasrc '插件，可以利用NVMM缓冲区有一些性能提高，也能够增加v4l2设备在插件中使用的队列缓冲区大小。

（1）在运行中检查是否能达到目标帧数：

gst-launch-1.0 v4l2src ! video/x-raw,format=GRAY8,width=_W_,height=_H_,framerate=_FR_ ! nvvidconv ! video/x-raw(memory:NVMM),format=I420 ! fpsdisplaysink text-overlay=0 video-sink=fakesink sync=0 -v

如果能在管道中获得足够的性能，可能不需要定制nvv4l2camerasrc。
自定义消除了一个从CPU缓冲区到NVMM缓冲区的内存副本。
如果想减少CPU负载，可以试一试。

（2）采集异常log

Setting pipeline to PAUSED …
Pipeline is live and does not need PREROLL …
/GstPipeline:pipeline0/GstFPSDisplaySink:fpsdisplaysink0/GstFakeSink:fakesink0: sync = false
Setting pipeline to PLAYING …
New clock: GstSystemClock
/GstPipeline:pipeline0/GstV4l2Src:v4l2src0.GstPad:src: caps = video/x-raw, format=(string)GRAY8, width=(int)4208, height=(int)3120, framerate=(fraction)26/1, colorimetry=(string)2:4:7:1, interlace-mode=(string)progressive
/GstPipeline:pipeline0/GstCapsFilter:capsfilter0.GstPad:src: caps = video/x-raw, format=(string)GRAY8, width=(int)4208, height=(int)3120, framerate=(fraction)26/1, colorimetry=(string)2:4:7:1, interlace-mode=(string)progressive
/GstPipeline:pipeline0/Gstnvvconv:nvvconv0.GstPad:src: caps = video/x-raw(memory:NVMM), width=(int)4208, height=(int)3120, framerate=(fraction)26/1, interlace-mode=(string)progressive, format=(string)NV12
/GstPipeline:pipeline0/GstCapsFilter:capsfilter1.GstPad:src: caps = video/x-raw(memory:NVMM), width=(int)4208, height=(int)3120, framerate=(fraction)26/1, interlace-mode=(string)progressive, format=(string)NV12
/GstPipeline:pipeline0/GstFPSDisplaySink:fpsdisplaysink0.GstGhostPad:sink.GstProxyPad:proxypad0: caps = video/x-raw(memory:NVMM), width=(int)4208, height=(int)3120, framerate=(fraction)26/1, interlace-mode=(string)progressive, format=(string)NV12
/GstPipeline:pipeline0/GstFPSDisplaySink:fpsdisplaysink0/GstFakeSink:fakesink0.GstPad:sink: caps = video/x-raw(memory:NVMM), width=(int)4208, height=(int)3120, framerate=(fraction)26/1, interlace-mode=(string)progressive, format=(string)NV12
/GstPipeline:pipeline0/GstFPSDisplaySink:fpsdisplaysink0.GstGhostPad:sink: caps = video/x-raw(memory:NVMM), width=(int)4208, height=(int)3120, framerate=(fraction)26/1, interlace-mode=(string)progressive, format=(string)NV12
/GstPipeline:pipeline0/GstCapsFilter:capsfilter1.GstPad:sink: caps = video/x-raw(memory:NVMM), width=(int)4208, height=(int)3120, framerate=(fraction)26/1, interlace-mode=(string)progressive, format=(string)NV12
/GstPipeline:pipeline0/Gstnvvconv:nvvconv0.GstPad:sink: caps = video/x-raw, format=(string)GRAY8, width=(int)4208, height=(int)3120, framerate=(fraction)26/1, colorimetry=(string)2:4:7:1, interlace-mode=(string)progressive
/GstPipeline:pipeline0/GstCapsFilter:capsfilter0.GstPad:sink: caps = video/x-raw, format=(string)GRAY8, width=(int)4208, height=(int)3120, framerate=(fraction)26/1, colorimetry=(string)2:4:7:1, interlace-mode=(string)progressive
gst_nvvconv_transform: NvBufferTransform not supported
ERROR: from element /GstPipeline:pipeline0/GstV4l2Src:v4l2src0: Internal data stream error.
Additional debug info:
gstbasesrc.c(3055): gst_base_src_loop (): /GstPipeline:pipeline0/GstV4l2Src:v4l2src0:
streaming stopped, reason error (-5)
Execution ended after 0:00:00.141547135
Setting pipeline to PAUSED …
Setting pipeline to READY …
Setting pipeline to NULL …
Freeing pipeline …

（3）更换视频格式
I420替换NV12。

用I420可以采集视频，但不是预期的26帧，而是21帧。
可能是从GRAY8到I420发生了格式转换导致的。

源代码是4208x312026fps。
由于分辨率高于4K，建议定制nvv4l2camerasrc插件。

4. 运行定制nvv4l2camerasrc

修改了插件以支持GRAY8格式。
然而，我遇到了一些奇怪的性能问题

gst-launch-1.0 v4l2src ! "video/x-raw, format=(string)GRAY8, width=(int)4208, height=(int)3120, framerate=(fraction)26/1" ! fpsdisplaysink video-sink=fakesink text-overlay=false -e -v

帧率是正常的26fps。

gst-launch-1.0 nvv4l2camerasrc bufapi-version=true ! "video/x-raw(memory:NVMM), format=(string)GRAY8, width=(int)4208, height=(int)3120, framerate=(fraction)26/1" ! fpsdisplaysink video-sink=fakesink text-overlay=false -e -v

只有2fps。

5. 运行12_camera_v4l2_cuda sample

试试12_camera_v4l2_cuda
看看运行示例时能否达到目标帧率

得到了下面的图像，帧率只有10fps。

6. 格式转换问题

根据文档nvvidconv插件应该支持从GRAY8(NVMM)到I420(NVMM)的转换。
然而，当我使用管道做这个转换，总是报以下问题

st_nvvconv_transform: NvBufferTransform not supported

12_camera_v4l2_cudaby GRAY8到I420的转换默认如下：

               if (-1 == NvBufferTransform(ctx->g_buff[v4l2_buf.index].dmabuff_fd, ctx->render_dmabuf_fd,
                            &transParams))
                    ERROR_RETURN("Failed to convert the buffer");

                if (ctx->cam_pixfmt == V4L2_PIX_FMT_GREY) {
                    if(!nvbuff_do_clearchroma(ctx->render_dmabuf_fd))
                        ERROR_RETURN("Failed to clear chroma");
                }

调用NvBufferGetParams()来获取pitch,width,height。
看起来分辨率4208x3120，硬件缓冲区没有相同的间距和宽度，
所以帧没有捕获和放入缓冲区正确。

这是否意味着DMA不能用于此分辨率的v4l2相机?

if (ctx->cam_pixfmt == V4L2_PIX_FMT_GREY &&
            params.pitch[0] != params.width[0])
                ctx->capture_dmabuf = false;

对于我使用的分辨率，我得到
witdh = 4208
height = 3120
pitch = 4352
所以在我的例子中，它不使用DMA。为什么会这样呢?
通过手动修改宽度为4224在Raw2NvBuffer调用。所以显然宽度是64的倍数?为什么会这样呢?
无论如何，这是没有使用DMA，，因为这会导致过低的帧率。为什么会这样呢?

原因如下：

这是硬件DMA缓冲区的约束。
对于4208x3120，它的缓冲区在4352x3120中，有效数据在4208x3120中。

应该使用pitch=width分配DMA缓冲区。如果源程序只支持4208x3120，那么您将需要捕获到CPU缓冲区并调用Raw2NvBuffer。

7. 间距值设置

间距值对齐到256，所以320→512,640→768,4208→4352。