关于ffmpeg必须知道的

1、ffmpeg.exe只是一个外围程序,其核心逻辑在libavcodec.dll和libavformat.dll,libavdevice.dll等

之所以是外围,相当于一个GUI,也就是说基于这些dll,你可以写自己的外围程序,比如做成特别的功能齐全的录屏软件或windows GUI的转码软件

2、libavcodec超过30mb,要想变小必须自己编译ffmpeg,放弃大量对你无用的encoder和decoder,这样可以降到2MB以内

3、ffmpeg录屏

如果使用gdigrab只能支持录制20fps以内的,以上将导致cpu占比超过30%,而且如果同时录音的话,则会产生巨大的帧延迟

ffmpeg.exe -y -rtbufsize 100M -f gdigrab -framerate 15 -offset_x 0 -offset_y 0 -video_size 1920x1080 -draw_mouse 1 -i desktop -f dshow -i audio="麦克风 (Realtek High Definition Au" -c:v libx264 -r 15 -preset ultrafast -tune zerolatency -crf 25 -pix_fmt yuv420p -c:a libmp3lame -qscale:a 4 "output-grab15.mp4"

如果使用creen-capture-recorder虽然可以达到30fps,但是cpu占比高达50%以上

4、ffmpeg -h encoder=libx264可以查看支持什么pixformat

我尝试过通过c++程序直接把rgba数据格式AV_PIX_FMT_BGRA(ARGB)直接avcodec_encode_video2到x264格式的mp4文件,会提示[libx264 @ 004b1e60] Specified pixel format bgra is invalid or not supported,通过上述命令可以查到:

Encoder libx264 [libx264 H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10]:

    General capabilities: delay threads

    Threading capabilities: auto

    Supported pixel formats: yuv420p yuvj420p yuv422p yuvj422p yuv444p yuvj444p nv12 nv16 nv21

可以说mp4只支持yuv系列的数据格式,这些格式中以yuv420p为主,是ffmpeg的默认编码输入的格式。

5、关于yuv420p格式:

yuv420p格式,如果不经过准确处理,会导致严重的失真,原因是yuv格式并不是无损格式,只是损失比较小,但是其大小确实比rgb24格式节省了一半的存储空间。

如rgb经过变换yuv格式,再变换回rgb格式后,绝对值的和(absSum(r,g,b))要比原来有2-30的误差,导致颜色有一些细微变化。

在我的转换中,虽然清晰度很高,但是某些细微的地方总是出现颜色变化,特别是亮度明显比原来变暗。

但是swscale内部的变换代码却能比较好的处理这种格式,觉察不出有颜色变化,如果有人能从ffmpeg里面提取一个rgb2yuv420p的函数,请告知一下。

而yuv420p2rgb的函数在https://github.com/FFmpeg/FFmpeg/blob/master/libswscale/yuv2rgb.c或http://www.fourcc.org/fccyvrgb.php 找到,或者使用swscale内部的函数:

 SwsContext   *img_convert_ctx= sws_getContext(w,h,AV_PIX_FMT_BGRA, w,h,AV_PIX_FMT_YUV420P, SWS_BICUBIC, NULL, NULL, NULL);  

int op=sws_scale(img_convert_ctx, (const unsigned char* const*)srcFrame->data, (const int*)srcFrame->linesize, 0,h, dstFrame->data, dstFrame->linesize);  

记得linesize都是一个二维数组,必须对srcFrame进行初始化才能成功,或则会提示数据没有对齐的错误

对于rgba数据,必须这样初始化:

AVFrame *srcFrame = av_frame_alloc(); 

srcFrame ->data[0]=in_frame_data;//rgba的数据

srcFrame ->linesize[0]=in_linesize;//像素个数x4

这样转换的yuv420p数据就会转换到srcFrame->data里面

6、其他关于录屏的方案

1、先录制yuv420p的文件、pts时间文件和音频文件再后期通过ffmpeg转成mp4

这个方案可以支持的fps应该是最高的,25fps的录制,cpu占有率不会高于20%

风险:视频和音频对不上,而且所需的磁盘文件极为极大,1920x1080的25fps视频60分钟需要超过1T的存储空间。

正方意见:专业电影录制的时候也是音频和视频分开录制的

反方意见:录个屏幕,你有多少时间和精力做后期的处理?又有多少个高速硬盘可以用来录屏?

所以,该方案对于非专业级的需求,是很不经济的。

2、用ffmpeg.exe命令行录制音频和视频,对于一般要求,这个基本可以解决问题,但是可控度不高

比如不能暂停,出错不能及时得到通知,不能分文件保存。有点就是无需任何开发工作。这点优势也是高到天花板上去了。

3、就是利用libavxxx.dll这些共享dll,开发自己的程序,以实现暂停、及时反馈、分文件

这个就需要开发了,虽然开发工作不算多,但是为了稳定运行,对ffmpeg的api要有比较详细的认知。否则性能和稳定性还不如ffmpeg本身。

以上仅为备忘。

猜你喜欢

转载自blog.csdn.net/cuoban/article/details/87909451