音视频入门基础:RTP专题(15)——FFmpeg源码中,获取RTP的视频信息的实现

一、引言

通过FFmpeg命令可以获取到SDP文件描述的RTP流的视频压缩编码格式、色彩格式(像素格式)、分辨率、帧率信息:

ffmpeg -protocol_whitelist "file,rtp,udp" -i XXX.sdp

本文以H.264为例讲述FFmpeg到底是从哪个地方获取到这些视频信息的。 

二、视频压缩编码格式

FFmpeg获取SDP文件描述的RTP流的视频压缩编码格式,是从SDP的“a=rtpmap”这一行获取的。比如SDP文件中某一行的内容为:

a=rtpmap:96 H264/90000

FFmpeg识别到上述“a=rtpmap”这个<type>后,会把后面的字符串“H.264”提取出来,检测是否存在相应的音视频压缩编码格式。如果存在,FFmpeg就会判断该SDP描述的RTP流的视频压缩编码格式为H.264。

具体可以参考:《音视频入门基础:RTP专题(5)——FFmpeg源码中,解析SDP的实现》。

a=rtpmap时,SDP的该行格式为:

a=rtpmap:<payload type> <encoding name>/<clock rate> [/<encoding parameters>],sdp_parse_line函数中会执行下面代码块把SDP中描述的音视频压缩编码格式赋值给st->codecpar->codec_id(即AVCodecParameters的codec_id):

else if (av_strstart(p, "rtpmap:", &p) && s->nb_streams > 0) {
            /* NOTE: rtpmap is only supported AFTER the 'm=' tag */
            get_word(buf1, sizeof(buf1), &p);
            payload_type = atoi(buf1);
            rtsp_st = rt->rtsp_streams[rt->nb_rtsp_streams - 1];
            if (rtsp_st->stream_index >= 0) {
                st = s->streams[rtsp_st->stream_index];
                sdp_parse_rtpmap(s, st, rtsp_st, payload_type, p);
            }
            s1->seen_rtpmap = 1;
            if (s1->seen_fmtp) {
                parse_fmtp(s, rt, payload_type, s1->delayed_fmtp);
            }
        } 

然后在sdp_parse_line函数外部,通过avcodec_parameters_to_context函数将AVCodecParameters的codec_id赋值给AVCodecContext的codec_id:

int avcodec_parameters_to_context(AVCodecContext *codec,
                                  const AVCodecParameters *par)
{
//...
    codec->codec_id   = par->codec_id;
//...
}

然后在dump_stream_format函数中,通过avcodec_string函数中的语句:codec_name = avcodec_get_name(enc->codec_id) 拿到AVCodecContext的codec_id对应的视频压缩编码格式名称。最后再在dump_stream_format函数中将视频压缩编码格式打印出来:

void avcodec_string(char *buf, int buf_size, AVCodecContext *enc, int encode)
{
//...
    codec_name = avcodec_get_name(enc->codec_id);
//...
}

所以FFmpeg获取SDP描述的RTP流的视频压缩编码格式,是从SDP的“a=rtpmap”这一行获取的:

三、视频压缩编码格式的profile

FFmpeg获取SDP文件描述的RTP流的视频压缩编码格式的profile,是从SDP的“a=fmtp”这一行获取的。比如SDP文件中某一行的内容为:

a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z2QAH6zZgFAFuwFqAgICgAAAAwCAAAAZB4wYzQ==,aOl7LIs=; profile-level-id=64001F

sprop-parameter-sets属性的'='号之后携带以BASE64编码和逗号分隔的SPS和PPS。FFmpeg首先会把SDP中的SPS信息提取出来,进行BASE64解码(具体可以参考:《音视频入门基础:RTP专题(6)——FFmpeg源码中,解析SDP中的packetization-mode、profile-level-id和sprop-parameter-sets实现》),然后通过SPS的profile_idc属性获取视频压缩编码格式的profile(具体可以参考:《音视频入门基础:H.264专题(17)——FFmpeg源码中,获取H.264视频的profile的实现》):

四、视频的色彩格式

如果SDP文件描述的RTP流的视频压缩编码格式为H.264,FFmpeg获取其视频的色彩格式,是通过SPS中的属性chroma_format_idc获取到的,具体可以参考:《音视频入门基础:H.264专题(13)——FFmpeg源码中通过SPS属性获取视频色彩格式的实现》:

五、视频分辨率

如果SDP文件描述的RTP流的视频压缩编码格式为H.264,FFmpeg获取其视频分辨率,是通过SPS中的属性获取的,具体可以参考:《音视频入门基础:H.264专题(12)——FFmpeg源码中通过SPS属性计算视频分辨率的实现》:

 六、视频码率

由于SDP中不包含视频码率信息,所以无法通过FFmpeg直接获取到其视频码率。与之对应,由于FLV文件的Script Tag中包含视频码率信息,所以FFmpeg可以直接打印FLV文件的视频码率,具体可以参考:《音视频入门基础:FLV专题(24)——FFmpeg源码中,获取FLV文件视频信息的实现》。

七、视频帧率

如果SDP文件描述的RTP流的视频压缩编码格式为H.264,对其视频进行编解码时,FFmpeg源码内部使用的是通过SPS中的属性计算得到的视频帧率(具体可以参考:《音视频入门基础:H.264专题(15)——FFmpeg源码中通过SPS属性获取视频帧率的实现》):

八、可能遇到的问题

比如,获取RTP流信息时报错:“Could not find codec parameters for stream 0 (Video: h264, none): unspecified size Consider increasing the value for the 'analyzeduration' (0) and 'probesize' (5000000) options”。可以参考《FFmpeg获取RTP流信息时报错:Could not find codec parameters for stream 0 (Video: h264, none)》解决。

猜你喜欢

转载自blog.csdn.net/u014552102/article/details/146028466