音视频处理基础框架介绍:FFmpeg、GStreamer、OpenCV、OpenGL
本期我们介绍音视频处理的基础框架。
包括FFmpeg、GStreamer、OpenCV、OpenGL 。
我们按这样的分类介绍 :
1、编解码处理:FFmpeg、GStreamer
2、图像分析:OpenCV
3、复杂图像生成:OpenGL
编解码处理:FFmpeg、GStreamer
首先是编解码处理的基础框架,这类基础框架的应用场景是最为广泛的。
因为在绝大数情况下,如视频高清/标清转换、视频文件轮播、视频流多合一处理、导播信号源切换、视频播放等等,实际上都可以归类为编解码处理。
对于这两个框架的选择,我们更推荐FFmpeg,虽然GStreamer是一种模块化的框架,理论上只要加入模块就可以扩展更多的场景,如AI处理等。但是这种方式也会加大代码理解的难度,各种异步通信、线程交互会让人头昏脑胀。
而FFmpeg的设计更专注于编解码处理,代码结构根据封装、编解码、filter处理等步骤而设计 代码理解上相对更加容易。
这里我们的关注点放在代码理解上,你可能会奇怪,基础框架不就是使用API调用就可以了吗 ,再不行就翻翻文档、或网上搜索一下不就好了吗?
但是,由于从事音视频处理的工程师实际并不多,而且由于视频编解码处理的过程本身就很复杂,所以难免会出现很多特殊问题,网上很难找到相似问题的答案。
很多时候你只能看框架源码,甚至一些时候还需要在框架源码上追加log以追查问题,所以我们更推荐源码更容易理解的FFmpeg ,FFmpeg的编译安装、API使用我们在后续内容会详细介绍。
FFmpeg的源码是c编写的 ,如果自身程序不是c/c++ 如Java、Python等也有调用方案。
这里需要特别说明的是FFmpeg是提供命令行方式调用的 ,官网有很详细的说明 ,如果是简单的处理 ,确实是可以通过程序生成命令行就可以实现功能。
但是以命令行的方式使用FFmpeg实际上并不好,很多复杂的功能就很难实现,而且一旦发生错误的话,通过捕捉报错log也很难定位问题。
所以要是想开发一个稳定可靠的音视频处理软件的话,还是调用库函数的方式比较好。
图像分析:OpenCV
接下来是图像分析的基础框架,一些高级功能,如对视频流中的人物头像分析提取、轨迹跟踪等,都是需要用到这类基础框架的。
OpenCV是这类框架中比较流行且可靠的,OpenCV一般也称作机器视觉框架,总的来说 ,OpenCV主要的应用场景是图像分析, 更直接的说,就是从图像中提取数据,如人脸识别、轨迹跟踪等。
至于要实现一些AI处理、AI训练的话,需要结合其他AI框架,或者OpenCV的AI特别版本。
但我们还是推荐结合其他AI框架,这样虽然意味着软件结构更加复杂,但是长远来看,对于后续持续升级、功能扩展,专业的框架做专业的事更为合理。
需要特别说明的是:OpenCV的一些API是依赖FFmpeg的,因为图像处理一般是基于视频文件、视频流的,OpenCV需要FFmpeg帮忙解码视频。
另外,OpenCV也可以生成一些较为简单的二维图像,我们就曾经使用OpenCV生成二维实时地图,然后使用FFmpeg将实时地图合成到视频流中。
复杂图像生成:OpenGL
最后是复杂图像生成的基础框架,OpenGL是这类基础框架中较为可靠的,OpenGL比OpenCV能生成更为复杂的图像,OpenGL甚至可以生成3维模型。
总结
虽然我们对FFmpeg、OpenCV、OpenGL是分类介绍的,但是在实际项目当中,并不是非此即彼的选择,很多时候 根据具体场景,是需要同时结合多个框架的。
这里我们想啰嗦一下,也是我们一直坚持的观点:技术或工具都是为了解决某个具体问题而生的,在实际工作中,并不存在一招鲜吃遍天的情况,除非是十年如一日的职位。
但也不需要恐惧一些没使用过的技术,毕竟很多时候,其实并不需要花过多的时间完全掌握某个技术或工具,只需要按我们的需要合理的使用它们的一部分功能就可以了。
- 分享
- 举报
-
浏览量:1060次2023-12-21 17:20:27
-
浏览量:925次2024-01-17 11:25:11
-
浏览量:1952次2022-11-21 17:11:41
-
浏览量:4395次2021-04-25 16:35:51
-
浏览量:2045次2020-08-04 20:27:13
-
浏览量:4905次2021-04-26 17:29:53
-
浏览量:7420次2021-07-02 15:09:39
-
浏览量:1181次2024-02-22 15:52:02
-
浏览量:4645次2021-04-23 14:10:09
-
浏览量:5448次2021-04-27 16:31:59
-
浏览量:3471次2020-08-03 19:28:14
-
浏览量:5381次2021-04-23 14:10:42
-
浏览量:2859次2020-11-06 17:53:15
-
浏览量:4167次2020-11-06 17:11:49
-
浏览量:1087次2021-01-30 10:45:10
-
浏览量:1050次2023-12-26 16:33:04
-
浏览量:3495次2020-10-21 11:25:37
-
2020-10-21 11:35:55
-
浏览量:556次2023-10-24 17:47:15
-
广告/SPAM
-
恶意灌水
-
违规内容
-
文不对题
-
重复发帖
一休摸鱼
感谢您的打赏,如若您也想被打赏,可前往 发表专栏 哦~
举报类型
- 内容涉黄/赌/毒
- 内容侵权/抄袭
- 政治相关
- 涉嫌广告
- 侮辱谩骂
- 其他
详细说明