ffmpeg 之 AVFrame解析

这把我C 2021-07-01 16:47:45 5892

ffmpeg(十二)AVFrame解析

前言

AVFrame 位于libavutil/frame.h中,AVpacket一样,是FFmpeg中很重要的结构体。它用于表示未压缩的音视频数据(编码前或者解码后),使用了引用计数机制来管理内存

首先看一下结构体的描述:

  • 该结构描述被解码的音频或视频数据(原始数据)
  • AVFrame必须用av_frame_alloc分配。注意,这仅分配AVFrame本身,对于数据缓冲器,必须通过其他手段管理。AVFrame必须使用av_frame_free释放。AVFrame通常分配一次,然后多次重复使用(比如一个AVFrame持有多个从解码器接收的frame)在这种情况下,av_frame_unref将释放所持的任何引用,并重置AVFrame到初始状态。
  • 由AVFrame描述的数据通常是通过调用AVBuffer API计数。底层缓冲引用存储在AVFrame.buf/AVFrame.extended_buf中。如果有至少一个参数被设置过,比如AVFrame.buf[0]!= NULL,AVFrame通常被认为应该使用引用计数。 在这种情况下,每一个数据平面必须包含被包含在AVFrame.buf或AVFrame.extended_buf中。
  • AVFrame的size并不在公开的ABI中,所以在附加模块的末尾可以新加变量。被av_opt_ptr标记为仅访问的类似字段可以重新排序。
#define AV_NUM_DATA_POINTERS 8

点击并拖拽以移动

变量:

指向图片/信道层的指针
与初始化时分配的大小可能不同
一些解码器取数据范围超出(0,0)-(width,height),具体请查看avcodec_align_dimensions2()方法。
一些过滤器和扫描器读数据时可能会超过16字节,所以当它们被使用的时候,必须额外分配16字节。

uint8_t *data[AV_NUM_DATA_POINTERS];

点击并拖拽以移动对于视频数据,为每个图像行的字节大小
对于音频数据,为每个平面的字节大小。
对于音频,只有LINESIZE[0]可以设置。
对于平面音频,每个信道平面必须是相同的大小。
对于视频的linesizes应为CPU的对准要求的倍数,现代桌面CPU为16或32。某些代码需要这样对准,其它代码可以偏慢没有正确对齐,但目前没有区别。
@注意 linesize可大于可用的数据的尺寸 - 有可能存在由于性能原因额外填充。

int linesize[AV_NUM_DATA_POINTERS];

点击并拖拽以移动指向图片/信道层的指针
对于视频,只是指向数据。
对于平面音频,每个通道都有一个单独的数据指针,LINESIZE[0]包含各信道的缓冲区的大小。
用于打包的音频,只有一个数据指针,和LINESIZE[0]包含缓冲所有通道的总大小。
注意:两个数据和扩展数据应该总是在一个有效的帧进行设置,但对于具有多个信道的平面的音频可以容纳在数据,扩展的数据必须被用来对所有频道存取。

uint8_t **extended_data;

点击并拖拽以移动视频帧的宽高

int width, height;

点击并拖拽以移动由该帧描述的音频样本的数目(每个通道

int nb_samples;

点击并拖拽以移动帧格式,-1为未设置或者未知格式

int format;

点击并拖拽以移动是否为关键帧,1为关键帧

int key_frame;

点击并拖拽以移动帧图片的类型

enum AVPictureType {
    AV_PICTURE_TYPE_NONE = 0, ///< Undefined
    AV_PICTURE_TYPE_I,     ///静止帧 压缩率最低
    AV_PICTURE_TYPE_P,     ///向前预测帧
    AV_PICTURE_TYPE_B,     ///双向预测帧
    AV_PICTURE_TYPE_S,     ///< S(GMC)-VOP MPEG4
    AV_PICTURE_TYPE_SI,    ///< Switching Intra
    AV_PICTURE_TYPE_SP,    ///< Switching Predicted
    AV_PICTURE_TYPE_BI,    ///< BI type
};
enum AVPictureType pict_type;

点击并拖拽以移动指向第一次分配的内存目前已废除

uint8_t *base[AV_NUM_DATA_POINTERS];

点击并拖拽以移动Sample aspect ratio for the video frame, 0/1 if unknown/unspecified.
帧的长宽比 0/1为未知/不确定

typedef struct AVRational{
    int num; ///< numerator分子
    int den; ///< denominator分母
} AVRational;
 AVRational sample_aspect_ratio;

点击并拖拽以移动基础时间戳(决定何时显示)(做帧同步)

int64_t pts;

点击并拖拽以移动解码产生本帧的AVPacket的pts拷贝

int64_t pkt_pts;

点击并拖拽以移动返回触发此帧的AVPacket的dts拷贝(帧线程未被使用)
不使用pts值只用AVPacket的dts计算出来的该帧的描述时间

int64_t pkt_dts;

点击并拖拽以移动比特流队列中图片序号

int coded_picture_number;

点击并拖拽以移动显示队列的图片序号

int display_picture_number;

点击并拖拽以移动品质(介于1(最好)和FF_LAMBDA_MAX(坏)之间)

int quality;

点击并拖拽以移动

QP表

QP表指向一块内存,里面存储的是每个宏块的QP值。宏块的标号是从左往右,一行一行的来的。每个宏块对应1个QP。
qscale_table[0]就是第1行第1列宏块的QP值;qscale_table[1]就是第1行第2列宏块的QP值;qscale_table[2]就是第1行第3列宏块的QP值。以此类推...
宏块的个数用下式计算:
注:宏块大小是16x16的。
每行宏块数:
int mb_stride = pCodecCtx->width/16+1
宏块的总数:
int mb_sum = ((pCodecCtx->height+15)>>4)*(pCodecCtx->width/16+1)

int8_t *qscale_table

点击并拖拽以移动

uint8_t *mbskip_table:跳过宏块表

点击并拖拽以移动

int16_t (*motion_val[2])[2]:运动矢量表
运动矢量表存储了一帧视频中的所有运动矢量。
该值的存储方式比较特别:
int16_t (*motion_val[2])[2];  
int mv_sample_log2= 4 - motion_subsample_log2;  
int mb_width= (width+15)>>4;  
int mv_stride= (mb_width << mv_sample_log2) + 1;  
motion_val[direction][x + y*mv_stride][0->mv_x, 1->mv_y];  
该数据的结构:
1.首先分为两个列表L0和L1
2.每个列表(L0或L1)存储了一系列的MV(每个MV对应一个画面,大小由motion_subsample_log2决定)
3.每个MV分为横坐标和纵坐标(x,y)
注意,在FFMPEG中MV和MB在存储的结构上是没有什么关联的,第1个MV是屏幕上左上角画面的MV(画面的大小取决于motion_subsample_log2),第2个MV是屏幕上第1行第2列的画面的MV,以此类推。因此在一个宏块(16x16)的运动矢量很有可能如下图所示(line代表一行运动矢量的个数):
//例如8x8划分的运动矢量与宏块的关系:  
                //-------------------------  
                //|          |            |  
                //|mv[x]     |mv[x+1]     |  
                //-------------------------  
                //|          |            |  
                //|mv[x+line]|mv[x+line+1]|  
                //-------------------------  

点击并拖拽以移动

uint32_t *mb_type:宏块类型表
宏块类型表存储了一帧视频中的所有宏块的类型。其存储方式和QP表差不多。只不过其是uint32类型的,而QP表是uint8类型的。每个宏块对应一个宏块类型变量。

点击并拖拽以移动

short *dct_coeff:DCT系数,这个没有提取过
int8_t *ref_index[2]:运动估计参考帧列表(貌似H.264这种比较新的标准才会涉及到多参考帧)
int interlaced_frame:是否是隔行扫描

点击并拖拽以移动

1个运动矢量所能代表的画面大小(用宽或者高表示,单位是像素),注意,这里取了log2。
代码注释中给出以下数据:
4->16x16, 3->8x8, 2-> 4x4, 1-> 2x2
即1个运动矢量代表16x16的画面的时候,该值取4;1个运动矢量代表8x8的画面的时候,该值取3...以此类推

uint8_t motion_subsample_log2:一个宏块中的运动矢量采样个数,取log的

点击并拖拽以移动

AVFrame结构体一般用于存储原始数据(即非压缩数据,例如对视频来说是YUV,RGB,对音频来说是PCM),此外还包含了一些相关的信息。比如说,解码的时候存储了宏块类型表,QP表,运动矢量表等数据。编码的时候也存储了相关的数据。因此在使用FFMPEG进行码流分析的时候,AVFrame是一个很重要的结构体。

源码

首先是源码部分(基于ffmpeg版本为4.2),已去掉注释部分

typedef struct AVFrame {
#define AV_NUM_DATA_POINTERS 8
    uint8_t *data[AV_NUM_DATA_POINTERS];
    int linesize[AV_NUM_DATA_POINTERS];
    uint8_t **extended_data;
    int width, height;
    int nb_samples;
    int format;
    int key_frame;
    enum AVPictureType pict_type;
    int64_t pts;

#if FF_API_PKT_PTS
    attribute_deprecated
    int64_t pkt_pts;
#endif
    int64_t pkt_dts;
    int coded_picture_number;
    int display_picture_number;
    int quality;
#if FF_API_ERROR_FRAME
    attribute_deprecated
    uint64_t error[AV_NUM_DATA_POINTERS];
#endif
    int repeat_pict;
    int interlaced_frame;
    int top_field_first;
    int palette_has_changed;
    int64_t reordered_opaque;
    int sample_rate;
    uint64_t channel_layout;
    AVBufferRef *buf[AV_NUM_DATA_POINTERS];
    AVBufferRef **extended_buf;
    int        nb_extended_buf;
    AVFrameSideData **side_data;
    int            nb_side_data;
#define AV_FRAME_FLAG_CORRUPT       (1 << 0)
#define AV_FRAME_FLAG_DISCARD   (1 << 2)
    int flags;
    enum AVColorRange color_range;
    enum AVColorPrimaries color_primaries;
    enum AVColorTransferCharacteristic color_trc;
    enum AVColorSpace colorspace;
    enum AVChromaLocation chroma_location;
    int64_t best_effort_timestamp;
    int64_t pkt_pos;
    int64_t pkt_duration;
    int decode_error_flags;
#define FF_DECODE_ERROR_INVALID_BITSTREAM   1
#define FF_DECODE_ERROR_MISSING_REFERENCE   2
#define FF_DECODE_ERROR_CONCEALMENT_ACTIVE  4
#define FF_DECODE_ERROR_DECODE_SLICES       8

    int channels;
    int pkt_size;

#if FF_API_FRAME_QP
    /**
     * QP table
     */
    attribute_deprecated
    int8_t *qscale_table;
    /**
     * QP store stride
     */
    attribute_deprecated
    int qstride;

    attribute_deprecated
    int qscale_type;

    attribute_deprecated
    AVBufferRef *qp_table_buf;
#endif
    AVBufferRef *hw_frames_ctx;
    AVBufferRef *opaque_ref;
    AVBufferRef *private_ref;
} AVFrame;

点击并拖拽以移动

  • uint8_t *data[AV_NUM_DATA_POINTERS];
    存储原始的音视频数据。有两种存储音视频的方式,planner方式和packet方式

planner方式:通道n的数据分别存储在data[n]中;拿YUV视频来说,就是data[0],data[1],data[2]分别存储Y,U,V的数据。拿双声道的音频来说,就是data[0],data[1]分别存储左声道,右声道数据;对于音频,声道数有可能大于AV_NUM_DATA_POINTERS,那么多出来的将存储在extended_data字段中
packet方式:所有数据都存储在data[0]中

  • int linesize[AV_NUM_DATA_POINTERS];
    表示每一行数据的大小;对于planner格式和packet格式,这里的取值也不一样
  • uint8_t **extended_data;
    存放data存放不下的数据
  • int width, height;
    视频宽高
  • int nb_samples;
    音频采样率
  • int format;
    音视频格式;视频对应于enum AVPixelFormat,音频对应于enum AVSampleFormat
  • int key_frame;
    是否关键帧;1代表关键帧,0代表非关键帧;对于音频,都是1
    enum AVPictureType pict_type;
    视频帧的类型,比如I帧,B帧,P帧
  • sample_rate
    音频采样率
  • uint64_t channel_layout;
    音频声道类型
  • int channels;
    音频声道数
  • AVBufferRef *buf[AV_NUM_DATA_POINTERS];
    对data内存进行引用计数管理的字段。如果buf[n]对应的不为NULL,那么表示data[n]对应的使用了引用计数管理内存,否则由用户手动管理内存
  • AVBufferRef **extended_buf;
    对应于extended_data,用于引用计数管理内存

常用相关函数

  • AVFrame av_frame_alloc(void);
    用于在堆内存中创建一个AVFrame对象,但是uint8_t
    data[AV_NUM_DATA_POINTERS];等默认分配为NULL
  • void av_frame_free(AVFrame **frame);
    释放由av_frame_alloc()分配的对象;内部会调用一次av_frame_unref()函数
  • int av_frame_ref(AVFrame dst, const AVFrame src);
    如果src的buf[n]不为NULL,则dst的buf会指向src的buf,相当于把src的值赋值给dst,没有数据拷贝。如果src的buf为NULL,则dst会创建一个新的buf,并将src的buf中data拷贝过去
  • void av_frame_unref(AVFrame frame);
    将引用计数-1;如果AVFrame引用计数为0,则释放AVFrame分配的uint8_t
    data[AV_NUM_DATA_POINTERS]等等内存
  • int av_frame_get_buffer(AVFrame *frame, int align);
    如果AVFrame已经分配了内存,再次调用会造成内存泄漏和不可预知错误;参数二传0即可,表示根据目前cpu类型自动选择对齐的字节数
    为AVFrame分配内存,调用此函数前必须先设置format;width/height(video);nb_samples/channel_layout(audio)
  • int av_frame_make_writable(AVFrame *frame);

AVFrame是否可写:buf不为空,并且对应的flags非AV_BUFFER_FLAG_READONLY

首先判断是否可写,不可写则重新创建buf,并将data指向内存拷贝到buf中,将引用计数设置为1

tips:AVFrame对象如果由av_frame_free()等函数释放了,则不能调用此函数了,会奔溃

使用示例

1、创建AVFrame并分配内存的方式 一

AVFrame     *p1Frame;
p1Frame = av_frame_alloc();
p1Frame->format=AV_PIX_FMT_YUV420P;
p1Frame->width = 1280;
p1Frame->height = 720;
// 为AVFrame分配内存,调用此函数前必须先设置format;width/height(video);nb_samples/channel_layout(audio)
// 如果AVFrame已经分配了内存,再次调用会造成内存泄漏和不可预知错误;参数二传0即可,表示根据目前cpu类型自动选择对齐的字节数
av_frame_get_buffer(p1Frame, 0);
// 让Frame可写
av_frame_make_writable(p1Frame);

。。。。。这里是用于编码的伪代码。。。。。。
装入数据
uint8_t *srcVideodata = NULL;
memcpy(p1Frame->data, srcVideodata,100);
// 前面准备好了未压缩的AVFrame数据送入编码器;
// 因为原始数据大小一般都固定,所以可以循环使用p1Frame的data字段
avcodec_send_frame(codecCtx,p1Frame);
。。。。。这里是伪代码。。。。。。

// 解码结束
av_frame_free(&p1Frame);

点击并拖拽以移动

2、创建AVFrame并分配内存的方式 二

AVFrame     *p2Frame;
p2Frame = av_frame_alloc();
// 先设置值
p1Frame->format=AV_PIX_FMT_YUV420P;
p1Frame->width = 1280;
p1Frame->height = 720;
// 根据给定的参数分配一块内存空间;注意此时p2Frame的用于引用计数管理的AVBufferRef *buf[AV_NUM_DATA_POINTERS];是NULL,
// 所以必须通过
av_image_alloc(p2Frame->data, p2Frame->linesize, p2Frame->width, p2Frame->height, AV_PIX_FMT_YUV420P, 0);
// 这里的内存要手动释放
av_freep(p2Frame->data);
av_frame_free(&p2Frame);

点击并拖拽以移动

3、创建AVFrame并分配内存的方式 三

AVFrame     *p1Frame;
p1Frame = av_frame_alloc();

。。。。。这里是解码的伪代码。。。。。
解码器内部会自动为AVFrame分配内存,并采用引用计数方式管理此内存
avcodec_receive_frame(codecCtx,p1Frame);
// av_frame_unref(p1Frame);不推荐,因为AVFrame内存大小一般固定,可重复使用,这里如果释放,那么解码器又会重新分配内存
。。。。。这里是解码的伪代码。。。。

// 解码结束
av_frame_free(&p1Frame);

点击并拖拽以移动

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包 95 5 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
这把我C
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区