音视频处理基础框架介绍:FFmpeg、GStreamer、OpenCV、OpenGL

音视频处理基础框架介绍:FFmpeg、GStreamer、OpenCV、OpenGL 一休摸鱼 2024-01-17 10:41:07 1000

本期我们介绍音视频处理的基础框架。
包括FFmpeg、GStreamer、OpenCV、OpenGL 。

我们按这样的分类介绍 :

1、编解码处理:FFmpeg、GStreamer
2、图像分析:OpenCV
3、复杂图像生成:OpenGL

编解码处理:FFmpeg、GStreamer

首先是编解码处理的基础框架,这类基础框架的应用场景是最为广泛的。

因为在绝大数情况下,如视频高清/标清转换、视频文件轮播、视频流多合一处理、导播信号源切换、视频播放等等,实际上都可以归类为编解码处理。

对于这两个框架的选择,我们更推荐FFmpeg,虽然GStreamer是一种模块化的框架,理论上只要加入模块就可以扩展更多的场景,如AI处理等。但是这种方式也会加大代码理解的难度,各种异步通信、线程交互会让人头昏脑胀。

而FFmpeg的设计更专注于编解码处理,代码结构根据封装、编解码、filter处理等步骤而设计 代码理解上相对更加容易。

这里我们的关注点放在代码理解上,你可能会奇怪,基础框架不就是使用API调用就可以了吗 ,再不行就翻翻文档、或网上搜索一下不就好了吗?

但是,由于从事音视频处理的工程师实际并不多,而且由于视频编解码处理的过程本身就很复杂,所以难免会出现很多特殊问题,网上很难找到相似问题的答案。

很多时候你只能看框架源码,甚至一些时候还需要在框架源码上追加log以追查问题,所以我们更推荐源码更容易理解的FFmpeg ,FFmpeg的编译安装、API使用我们在后续内容会详细介绍。

FFmpeg的源码是c编写的 ,如果自身程序不是c/c++ 如Java、Python等也有调用方案。

这里需要特别说明的是FFmpeg是提供命令行方式调用的 ,官网有很详细的说明 ,如果是简单的处理 ,确实是可以通过程序生成命令行就可以实现功能。

但是以命令行的方式使用FFmpeg实际上并不好,很多复杂的功能就很难实现,而且一旦发生错误的话,通过捕捉报错log也很难定位问题。

所以要是想开发一个稳定可靠的音视频处理软件的话,还是调用库函数的方式比较好。

图像分析:OpenCV

接下来是图像分析的基础框架,一些高级功能,如对视频流中的人物头像分析提取、轨迹跟踪等,都是需要用到这类基础框架的。

OpenCV是这类框架中比较流行且可靠的,OpenCV一般也称作机器视觉框架,总的来说 ,OpenCV主要的应用场景是图像分析, 更直接的说,就是从图像中提取数据,如人脸识别、轨迹跟踪等。

至于要实现一些AI处理、AI训练的话,需要结合其他AI框架,或者OpenCV的AI特别版本。

但我们还是推荐结合其他AI框架,这样虽然意味着软件结构更加复杂,但是长远来看,对于后续持续升级、功能扩展,专业的框架做专业的事更为合理。

需要特别说明的是:OpenCV的一些API是依赖FFmpeg的,因为图像处理一般是基于视频文件、视频流的,OpenCV需要FFmpeg帮忙解码视频。

另外,OpenCV也可以生成一些较为简单的二维图像,我们就曾经使用OpenCV生成二维实时地图,然后使用FFmpeg将实时地图合成到视频流中。

复杂图像生成:OpenGL

最后是复杂图像生成的基础框架,OpenGL是这类基础框架中较为可靠的,OpenGL比OpenCV能生成更为复杂的图像,OpenGL甚至可以生成3维模型。

总结

虽然我们对FFmpeg、OpenCV、OpenGL是分类介绍的,但是在实际项目当中,并不是非此即彼的选择,很多时候 根据具体场景,是需要同时结合多个框架的。

这里我们想啰嗦一下,也是我们一直坚持的观点:技术或工具都是为了解决某个具体问题而生的,在实际工作中,并不存在一招鲜吃遍天的情况,除非是十年如一日的职位。

但也不需要恐惧一些没使用过的技术,毕竟很多时候,其实并不需要花过多的时间完全掌握某个技术或工具,只需要按我们的需要合理的使用它们的一部分功能就可以了。

声明:本文内容由易百纳平台入驻作者撰写,文章观点仅代表作者本人,不代表易百纳立场。如有内容侵权或者其他问题,请联系本站进行删除。
红包 点赞 收藏 评论 打赏
评论
0个
内容存在敏感词
手气红包
    易百纳技术社区暂无数据
相关专栏
置顶时间设置
结束时间
删除原因
  • 广告/SPAM
  • 恶意灌水
  • 违规内容
  • 文不对题
  • 重复发帖
打赏作者
易百纳技术社区
一休摸鱼
您的支持将鼓励我继续创作!
打赏金额:
¥1易百纳技术社区
¥5易百纳技术社区
¥10易百纳技术社区
¥50易百纳技术社区
¥100易百纳技术社区
支付方式:
微信支付
支付宝支付
易百纳技术社区微信支付
易百纳技术社区
打赏成功!

感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~

举报反馈

举报类型

  • 内容涉黄/赌/毒
  • 内容侵权/抄袭
  • 政治相关
  • 涉嫌广告
  • 侮辱谩骂
  • 其他

详细说明

审核成功

发布时间设置
发布时间:
是否关联周任务-专栏模块

审核失败

失败原因
备注
拼手气红包 红包规则
祝福语
恭喜发财,大吉大利!
红包金额
红包最小金额不能低于5元
红包数量
红包数量范围10~50个
余额支付
当前余额:
可前往问答、专栏板块获取收益 去获取
取 消 确 定

小包子的红包

恭喜发财,大吉大利

已领取20/40,共1.6元 红包规则

    易百纳技术社区