FFmpeg:音视频编解码开发套件

FFmpeg 是什么?

FFmpeg 既是一款音视频编解码工具,同时也是一组音视频编解码开发套件,作为编解码开发套件,它为开发者提供了丰富的音视频的调用接口

FFmpeg 中的 “FF” 指的是 “Fast Forward”FFmpeg 中的 “mpeg” 则是 “Moving Picture Experts Group”(动态图像专家组)

强大的功能

FFMpeg 提供了多种媒体格式的封装和解封装,包括多种音视频编码多种协议的流媒体、多种色彩格式转换、多种采样率转换、多种码率转换等;FFmpeg 框架提供了多种丰富的插件模块包含封装与解封装的插件、编码与解码的插件

FFmpeg 模块分类

打开 FFmpeg 源码,会发现有一系列 libavxxx 的模块,这些模块很好地划分了代码的结构和分工

  • libavformat,format,格式封装
  • libavcodec,codec,编码、解码
  • libavutil,util,通用音视频工具,像素、IO、时间等工具
  • libavfilter,filter,过滤器,可以用作音视频特效处理
  • libavdevice,device,设备(摄像头、拾音器)
  • libswscale,scale,视频图像缩放,像素格式互换
  • libavresample,resample,重采样
  • libswresample,也是重采样,类似图像缩放
  • libpostproc,后期处理

FFmpeg 数据结构简介

AVFormatContext

封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装格式相关信息

iformat:输入视频的AVInputFormat
nb_streams :输入视频的AVStream 个数
streams :输入视频的AVStream []数组
duration :输入视频的时长(以微秒为单位)
bit_rate :输入视频的码率

AVInputFormat

每种封装格式(例如FLV, MKV, MP4, AVI)对应一个该结构体

name:封装格式名称
long_name:封装格式的长名称
extensions:封装格式的扩展名
id:封装格式ID  
一些封装格式处理的接口函数

AVStream

视频文件中每个视频(音频)流对应一个该结构体

id:序号
codec:该流对应的AVCodecContext
time_base:该流的时基
r_frame_rate: 该流的帧率

AVCodecContext

扫描二维码关注公众号,回复: 14508705 查看本文章

编码器上下文结构体,保存了视频(音频)编解码相关信息

codec:编解码器的AVCodec
width, height:图像的宽高(只针对视频)
pix_fmt:像素格式(只针对视频)
sample_rate:采样率( 只针对音频)
channels:声道数(只针对音频)
sample_fmt:采样格式(只针对音频)

AVCodec

每种视频(音频)编解码器(例如H.264解码器)对应一个该结构体

name:编解码器名称
long_name:编解码器长名称
type:编解码器类型
id:编解码器ID
一些编解码的接口函数

AVPacket

存储一帧压缩编码数据

pts:显示时间戳
dts :解码时间戳
data :压缩编码数据
size :压缩编码数据大小
stream_index :所属的AVStream

AVFrame

存储一帧解码后像素(采样)数据

data:解码后的图像像素数据(音频采样数据)。
linesize:对视频来说是图像中一行像素的大小;对音频来说是整个音频帧的大小。
width, height:图像的宽高(只针对视频)。
key_frame:是否为关键帧(只针对视频) 。
pict_type:帧类型(只针对视频) 。例如IPB

FFmpeg的一些应用场景

下面介绍一下 FFmpeg 都用在了哪里(在这里仅列几个我所知的,其实远比这个多)。说白了就是为了说明:FFmpeg 是非常重要的。

使用 FFmpeg 作为内核视频播放器:

  • Mplayer,ffplay,射手播放器,暴风影音,KMPlayer,QQ影音…

使用 FFmpeg 作为内核的 Directshow Filter:

  • ffdshow,lav filters…

使用 FFmpeg 作为内核的转码工具:

  • ffmpeg,格式工厂…

事实上,FFmpeg 的音视频编解码功能确实太强大了,几乎囊括了现存所有的音视频编码标准,因此只要做音视频开发,几乎离不开它

为了是大家能够更好的学习 音视频开发, 在这里特别提供一份 高级音视频开发学习笔记;里面包含了这些年学习 音视频开发所遇到的难题及其解决方案; 有需要这份 高级音视频开发学习笔记 的朋友: 可以 私信 发送 “笔记” 即可 免费获取; 希望大家阅读过后,能够 查漏补缺;早日成为高级音视频开发者

内容展示如下:

高级音视频开发学习笔记目录

H264 编码基础 06 – 编码标准之战

  • 一个视频标准的普及其实是商业利益博弈的结果。
  • 一个视频标准能普及还在于他的对手
  • WMV
  • VP8
  • AV1

H264 编码基础 01 帧与场

  • 视频序列帧、场编码方式
  • H264 编码(帧内预测)
  • 视频流 H264 的组装
  • 三种帧的说明
  • 压缩算法的说明
  • 手写 H264 编码器

有需要完整版高级音视频开发学习笔记的朋友: 可以 私信 发送 “笔记” 即可 免费获取

对于程序员来说,要学习的知识内容、技术有太多太多,要想不被环境淘汰就只有不断提升自己,从来都是我们去适应环境,而不是环境来适应我们

技术是无止境的,你需要对自己提交的每一行代码、使用的每一个工具负责,不断挖掘其底层原理,才能使自己的技术升华到更高的层面

加油!让我们早日成为音视频高级开发者

猜你喜欢

转载自blog.csdn.net/m0_70748845/article/details/126666095