音视频入门底子：RTP专题（15）——FFmpeg源码中，获取RTP的视频信息的实现 ...

一、引言

通过FFmpeg下令可以获取到SDP文件描述的RTP流的视频压缩编码格式、色彩格式（像素格式）、分辨率、帧率信息：

1. ffmpeg -protocol_whitelist "file,rtp,udp" -i XXX.sdp

复制代码

本文以H.264为例讲述FFmpeg到底是从哪个地方获取到这些视频信息的。 



二、视频压缩编码格式

FFmpeg获取SDP文件描述的RTP流的视频压缩编码格式，是从SDP的“a=rtpmap”这一行获取的。比如SDP文件中某一行的内容为：

1. a=rtpmap:96 H264/90000

复制代码

FFmpeg识别到上述“a=rtpmap”这个<type>后，会把背面的字符串“H.264”提取出来，检测是否存在相应的音视频压缩编码格式。如果存在，FFmpeg就会判定该SDP描述的RTP流的视频压缩编码格式为H.264。


具体可以参考：《音视频入门底子：RTP专题（5）——FFmpeg源码中，解析SDP的实现》。
a=rtpmap时，SDP的该行格式为：
a=rtpmap:<payload type> <encoding name>/<clock rate> [/<encoding parameters>]，sdp_parse_line函数中会执行下面代码块把SDP中描述的音视频压缩编码格式赋值给st->codecpar->codec_id（即AVCodecParameters的codec_id）：

1. else if (av_strstart(p, "rtpmap:", &p) && s->nb_streams > 0) {
2.             /* NOTE: rtpmap is only supported AFTER the 'm=' tag */
3.             get_word(buf1, sizeof(buf1), &p);
4.             payload_type = atoi(buf1);
5.             rtsp_st = rt->rtsp_streams[rt->nb_rtsp_streams - 1];
6.             if (rtsp_st->stream_index >= 0) {
7.                 st = s->streams[rtsp_st->stream_index];
8.                 sdp_parse_rtpmap(s, st, rtsp_st, payload_type, p);
9.             }
10.             s1->seen_rtpmap = 1;
11.             if (s1->seen_fmtp) {
12.                 parse_fmtp(s, rt, payload_type, s1->delayed_fmtp);
13.             }
14.         }

复制代码

然后在sdp_parse_line函数外部，通过avcodec_parameters_to_context函数将AVCodecParameters的codec_id赋值给AVCodecContext的codec_id：

1. int avcodec_parameters_to_context(AVCodecContext *codec,
2.                                   const AVCodecParameters *par)
3. {
4. //...
5.     codec->codec_id   = par->codec_id;
6. //...
7. }

复制代码

然后在dump_stream_format函数中，通过avcodec_string函数中的语句：codec_name = avcodec_get_name(enc->codec_id) 拿到AVCodecContext的codec_id对应的视频压缩编码格式名称。最后再在dump_stream_format函数中将视频压缩编码格式打印出来：

1. void avcodec_string(char *buf, int buf_size, AVCodecContext *enc, int encode)
2. {
3. //...
4.     codec_name = avcodec_get_name(enc->codec_id);
5. //...
6. }

复制代码

所以FFmpeg获取SDP描述的RTP流的视频压缩编码格式，是从SDP的“a=rtpmap”这一行获取的：

三、视频压缩编码格式的profile

FFmpeg获取SDP文件描述的RTP流的视频压缩编码格式的profile，是从SDP的“a=fmtp”这一行获取的。比如SDP文件中某一行的内容为：

1. a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z2QAH6zZgFAFuwFqAgICgAAAAwCAAAAZB4wYzQ==,aOl7LIs=; profile-level-id=64001F

复制代码

sprop-parameter-sets属性的'='号之后携带以BASE64编码和逗号分隔的SPS和PPS。FFmpeg首先会把SDP中的SPS信息提取出来，举行BASE64解码（具体可以参考：《音视频入门底子：RTP专题（6）——FFmpeg源码中，解析SDP中的packetization-mode、profile-level-id和sprop-parameter-sets实现》），然后通过SPS的profile_idc属性获取视频压缩编码格式的profile（具体可以参考：《音视频入门底子：H.264专题（17）——FFmpeg源码中，获取H.264视频的profile的实现》）：

四、视频的色彩格式

如果SDP文件描述的RTP流的视频压缩编码格式为H.264，FFmpeg获取其视频的色彩格式，是通过SPS中的属性chroma_format_idc获取到的，具体可以参考：《音视频入门底子：H.264专题（13）——FFmpeg源码中通过SPS属性获取视频色彩格式的实现》：

五、视频分辨率

如果SDP文件描述的RTP流的视频压缩编码格式为H.264，FFmpeg获取其视频分辨率，是通过SPS中的属性获取的，具体可以参考：《音视频入门底子：H.264专题（12）——FFmpeg源码中通过SPS属性计算视频分辨率的实现》：

 六、视频码率

由于SDP中不包罗视频码率信息，所以无法通过FFmpeg直接获取到其视频码率。与之对应，由于FLV文件的Script Tag中包罗视频码率信息，所以FFmpeg可以直接打印FLV文件的视频码率，具体可以参考：《音视频入门底子：FLV专题（24）——FFmpeg源码中，获取FLV文件视频信息的实现》。



七、视频帧率

如果SDP文件描述的RTP流的视频压缩编码格式为H.264，对其视频举行编解码时，FFmpeg源码内部使用的是通过SPS中的属性计算得到的视频帧率（具体可以参考：《音视频入门底子：H.264专题（15）——FFmpeg源码中通过SPS属性获取视频帧率的实现》）：

八、可能遇到的问题

比如，获取RTP流信息时报错：“Could not find codec parameters for stream 0 (Video: h264, none): unspecified size Consider increasing the value for the 'analyzeduration' (0) and 'probesize' (5000000) options”。可以参考《FFmpeg获取RTP流信息时报错：Could not find codec parameters for stream 0 (Video: h264, none)》解决。


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。