ffmpeg视频编码

道家人  金牌会员 | 2024-11-20 07:40:31 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 851|帖子 851|积分 2553

一、视频编码流程

使用ffmpeg解码视频帧主要可分为两大步骤：初始化编码器和编码视频帧，以下代码以h264为例
1. 初始化编码器

初始化编码器包含以下步骤：
（1）查找编码器
  1. videoCodec = avcodec_find_encoder_by_name(videoCodecName);
  2. if (!videoCodec) {
  3.     release();
  4.     return false;
  5. }
复制代码
（2）设置编码器上下文参数
  1. pCodecCtx = avcodec_alloc_context3(videoCodec);
  2. pCodecCtx->time_base = { 1, m_fps }; // 设置编码器上下文的时间基准
  3. pCodecCtx->framerate = { m_fps, 1 };
  4. pCodecCtx->bit_rate = videoBitrate;
  5. pCodecCtx->gop_size = 25;//影响视频的压缩效率、随机访问性能以及编码复杂度，对视频质量、文件大小和编码/解码性能也有影响
  6. pCodecCtx->width = in_w;
  7. pCodecCtx->height = in_h;
  8. pCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P;// AV_PIX_FMT_NV12，AV_PIX_FMT_YUV420P
  9. pCodecCtx->codec_type = AVMEDIA_TYPE_VIDEO;
  10. av_opt_set(pCodecCtx->priv_data, "preset", "superfast", 0); // 设置编码速度
  11. // 以下为根据对应的编码格式设置相关的参数
  12. if (pCodecCtx->codec_id == AV_CODEC_ID_H264)
  13. {
  14.     pCodecCtx->keyint_min = m_fps;
  15.     av_opt_set(pCodecCtx->priv_data, "profile", "main", 0);
  16.     av_opt_set(pCodecCtx->priv_data, "b-pyramid", "none", 0);
  17.     av_opt_set(pCodecCtx->priv_data, "tune", "zerolatency", 0);
  18. }
  19. else if (pCodecCtx->codec_id == AV_CODEC_ID_MPEG2VIDEO)
  20.     pCodecCtx->max_b_frames = 2;
  21. else if (pCodecCtx->codec_id == AV_CODEC_ID_MPEG1VIDEO)
  22.     pCodecCtx->mb_decision = 2;
复制代码
（3）打开编码器
  1. if (avcodec_open2(pCodecCtx, videoCodec, NULL) < 0) // 将编码器上下文和编码器进行关联
  2. {
  3.     release();
  4.     return false;
  5. }
复制代码
（4）设置图像帧参数
  1. // 初始化编码帧
  2. in_frame = av_frame_alloc();
  3. if (!in_frame) {
  5.     return false;
  6. }
  7. // 设置 AVFrame 的其他属性
  8. in_frame->width = pCodecCtx->width;
  9. in_frame->height = pCodecCtx->height;
  10. in_frame->format = pCodecCtx->pix_fmt;
  12. // 计算所需缓冲区大小
  13. int size = av_image_get_buffer_size(pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);
  14. in_frame_buf = (uint8_t*)av_malloc(size); // 分配图像帧内存空间
  15. // 填充 AVFrame
  16. av_image_fill_arrays(in_frame->data, in_frame->linesize, in_frame_buf, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);
复制代码
（5）创建格式转换上下文
ffmpeg的libx264编码器只支持输入格式为P，如果输入格式不是YUV420P，则需要转换
  1. // 创建缩放上下文,图像缩放和格式转换上下文
  2. if (videoSrcFormat != AV_PIX_FMT_YUV420P) {
  3.     sws_ctx = sws_getContext(in_w, in_h, videoSrcFormat,
  4.         in_w, in_h, AV_PIX_FMT_YUV420P,
  5.         SWS_BILINEAR, NULL, NULL, NULL);
  6.     if (!sws_ctx) {
  7.         release();
  8.         return false;
  9.     }
  10. }
复制代码
（6）封装设置和打开文件
如果要将编码后数据举行封装（如封装成mp4文件），则需要使用AVFormatContext，并设置视频流
  1. // 打开格式上下文
  2. if (avformat_alloc_output_context2(&pFormatCtx, NULL, NULL, mp4_file) < 0) {
  3.     release();
  4.     return false;
  5. }
  6.   // 初始化视频码流
  7. video_st = avformat_new_stream(pFormatCtx, pCodecCtx->codec);
  8. if (!video_st) {
  9.     std::cout << "avformat_new_stream error" << endl;
  10.     return false;
  11. }
  12. fmt = pFormatCtx->oformat;
  13. video_st->id = pFormatCtx->nb_streams - 1;
  14. avcodec_parameters_from_context(video_st->codecpar, pCodecCtx);
  15. pFormatCtx->video_codec_id = pFormatCtx->oformat->video_codec;
  17. // 打开文件
  18. if (avio_open(&pFormatCtx->pb, mp4_file, AVIO_FLAG_READ_WRITE) < 0) {
  19.     //std::cout << "output file open fail!" << endl;
  20.     swprintf(buf, 1024, L"avio_open error");
  21.     logger.logg(buf);
  22.     return false;
  23. }
  24. // 输出格式信息
  25. av_dump_format(pFormatCtx, 0, mp4_file, 1);
复制代码
2. 编码视频帧

（1）将编码数据送往解码器
  1.    
  2.     // data为需要编码的数据地址，为uint8_t类型的指针，size为输入帧的大小
  3.     // 如果输入数据格式不是YUV420P则需要转化
  4.     if (videoSrcFormat != AV_PIX_FMT_YUV420P) {
  5.         if (sws_scale(sws_ctx, (const uint8_t* const*)&data, mVideoSrcStride, 0, in_h, in_frame->data, in_frame->linesize) < 0) {
  6.             
  7.             return false;
  8.         }
  9.     }
  10.     else {
  11.         memcpy(in_frame->data[0],  data, size);
  12.     }
  14.     in_frame->pts = videoPktCount; // videoPktCount为输入帧的序号
  15.    
  16.     // 编码
  17.     int ret = avcodec_send_frame(pCodecCtx, in_frame);//avcodec_send_frame() 函数用于将解码器处理的视频帧发送给编码器
  18.     if (ret < 0) {
  19.         return false;
  20.     }
复制代码
（2）吸收编码数据
  1. AVPacket* vicdeo_pkt = av_packet_alloc();
  2. while (ret >= 0) {
  3.     ret = avcodec_receive_packet(pCodecCtx, &vicdeo_pkt);//用于从编码器接收编码后的数据包
  4.     if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
  5.         break;
  6.     else if (ret < 0) {
  7.         //cout << "Error during encoding" << endl;
  8.         return false;
  9.     }
  11.     // Prepare packet for muxing
  12.     pkt.stream_index = video_st->index;
  13.     av_packet_rescale_ts(&pkt, pCodecCtx->time_base, video_st->time_base);//用于将 AVPacket 中的时间戳（PTS和DTS）从一个时间基转换到另一个时间基
  14.     pkt.pos = -1;//在某些情况下，如果数据包的原始位置是未知的，或者该数据包不是从文件中读取的，而是由其他方式生成的，那么可能会将 pos 设置为 -1。
  16.     ret = av_interleaved_write_frame(pFormatCtx, &pkt); //用于将一个 AVPacket 写入到一个输出媒体文件中
  17.     if (ret < 0) {
  18.         
  19.         return false;
  20.     }
  21.    
  22.     // Free the packet
  23.     av_packet_unref(&pkt);
  24. }
  25. ++videoPktCount; // 每编码完成一帧，videoPktCount加一
  26. av_packet_free(&vicdeo_pkt);
  27. videoPkt = nullptr;
复制代码
二、使用ffmpeg实现对内存中的视频帧数据编码

以下代码实现了ffmpeg对视频流数据举行编码的主要过程，可分为初始化编码器（InitEncoder）和编码视频帧（DecodeVideoFrame）
  2. extern "C" {
  3. #include <libavformat/avformat.h>
  4. #include <libavcodec/avcodec.h>
  5. #include <libavutil/avutil.h>
  6. #include <libavutil/opt.h>
  7. #include <libavutil/mathematics.h>
  8. #include <libavutil/timestamp.h>
  9. #include <libswresample/swresample.h>
  10. #include <libswscale/swscale.h>
  11. #include <libavutil/imgutils.h>
  12. #include <libavutil/error.h>
  13. }
  15. bool mHasVideo = false;
  16. char* mp4_file = "test.mp4";
  17. int in_w = 1920;
  18. int in_h = 1080;
  19. int m_fps = 30;
  20. int64_t videoBitrate = 6000000;
  21. int      mVideoSrcChannel = 0;
  22. int      mVideoSrcStride[1] = { 0 };
  23. int64_t   videoPktCount = 0;
  25. AVPixelFormat videoSrcFormat = AV_PIX_FMT_YUV420P; // 输入的像素格式
  27. AVStream* video_st = nullptr;
  28. const AVCodec* videoCodec = nullptr; // 视频编码器
  29. AVCodecContext* pCodecCtx = nullptr; // 视频编码器上下文
  31. uint8_t* in_frame_buf = nullptr;
  32. AVFrame* in_frame = nullptr;
  33. SwsContext* sws_ctx = nullptr;
  35. // 初始化编码器
  36. bool InitEncoder() {
  37.      /****   编码器设置      ****/
  38.     // 查找编码器
  39.     videoCodec = avcodec_find_encoder_by_name(videoCodecName);
  40.     if (!videoCodec) {
  41.         release();
  42.         return false;
  43.     }
  44.     pCodecCtx = avcodec_alloc_context3(videoCodec);
  45.     pCodecCtx->time_base = { 1, m_fps }; // 设置编码器上下文的时间基准
  46.     pCodecCtx->framerate = { m_fps, 1 };
  47.     pCodecCtx->bit_rate = videoBitrate;
  48.     pCodecCtx->gop_size = 25;//影响视频的压缩效率、随机访问性能以及编码复杂度，对视频质量、文件大小和编码/解码性能也有影响
  49.     pCodecCtx->width = in_w;
  50.     pCodecCtx->height = in_h;
  51.     pCodecCtx->pix_fmt = AV_PIX_FMT_YUV420P;// AV_PIX_FMT_NV12，AV_PIX_FMT_YUV420P
  52.     pCodecCtx->codec_type = AVMEDIA_TYPE_VIDEO;
  53.     av_opt_set(pCodecCtx->priv_data, "preset", "superfast", 0);
  55.     // 以下为根据对应的编码格式设置相关的参数
  56.     if (pCodecCtx->codec_id == AV_CODEC_ID_H264)
  57.     {
  58.         pCodecCtx->keyint_min = m_fps;
  59.         av_opt_set(pCodecCtx->priv_data, "profile", "main", 0);
  60.         av_opt_set(pCodecCtx->priv_data, "b-pyramid", "none", 0);
  61.         av_opt_set(pCodecCtx->priv_data, "tune", "zerolatency", 0);
  62.     }
  63.     else if (pCodecCtx->codec_id == AV_CODEC_ID_MPEG2VIDEO)
  64.         pCodecCtx->max_b_frames = 2;
  65.     else if (pCodecCtx->codec_id == AV_CODEC_ID_MPEG1VIDEO)
  66.         pCodecCtx->mb_decision = 2;
  68.     if (avcodec_open2(pCodecCtx, videoCodec, NULL) < 0) // 将编码器上下文和编码器进行关联
  69.     {
  70.         release();
  71.         return false;
  72.     }
  74.     /****   封装设置      ****/
  75.     if (avformat_alloc_output_context2(&pFormatCtx, NULL, NULL, mp4_file) < 0) {
  76.         swprintf(buf, 1024, L"avformat_alloc_output_context2 error");
  77.         logger.logg(buf);
  78.         return false;
  79.     }
  80.    
  81.     // 初始化视频码流
  82.     video_st = avformat_new_stream(pFormatCtx, pCodecCtx->codec);
  83.     if (!video_st) {
  84.         std::cout << "avformat_new_stream error" << endl;
  85.         return false;
  86.     }
  87.     video_st->id = pFormatCtx->nb_streams - 1;
  88.     avcodec_parameters_from_context(video_st->codecpar, pCodecCtx);
  89.     pFormatCtx->video_codec_id = pFormatCtx->oformat->video_codec;
  90.    
  92.     // 打开文件
  93.     if (avio_open(&pFormatCtx->pb, mp4_file, AVIO_FLAG_READ_WRITE) < 0) {
  94.         release();
  95.         return false;
  96.     }
  97.     // 输出格式信息
  98.     av_dump_format(pFormatCtx, 0, mp4_file, 1);
  99.    
  100.     /****** 输入参数 *********/
  101.     // 初始化编码帧
  102.     in_frame = av_frame_alloc();
  103.     if (!in_frame) {
  105.         return false;
  106.     }
  107.     // 设置 AVFrame 的其他属性
  108.     in_frame->width = pCodecCtx->width;
  109.     in_frame->height = pCodecCtx->height;
  110.     in_frame->format = pCodecCtx->pix_fmt;
  112.     // 计算所需缓冲区大小
  113.     int size = av_image_get_buffer_size(pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);
  114.     in_frame_buf = (uint8_t*)av_malloc(size);
  115.     // 填充 AVFrame
  116.     av_image_fill_arrays(in_frame->data, in_frame->linesize, in_frame_buf, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);
  119.     // 创建缩放上下文,图像缩放和格式转换上下文
  120.     if (videoSrcFormat != AV_PIX_FMT_YUV420P) {
  121.         sws_ctx = sws_getContext(in_w, in_h, videoSrcFormat,
  122.             in_w, in_h, AV_PIX_FMT_YUV420P,
  123.             SWS_BILINEAR, NULL, NULL, NULL);
  124.         if (!sws_ctx) {
  125.             release();
  126.             return false;
  127.         }
  128.     }
  130.     av_image_fill_linesizes(mVideoSrcStride, videoSrcFormat, in_w); // 计算图像的行大小，格式转换时会用上
  131.    
  132.     videoPktCount = 0;
  133.    
  134.    
  136. }
  138. bool DecodeVideoFrame(uint8_t* data, int size) {
  140.     // data为需要编码的数据地址，为uint8_t类型的指针，size为输入帧大小
  141.     // 如果输入数据格式不是YUV420P则需要转化
  142.     if (videoSrcFormat != AV_PIX_FMT_YUV420P) {
  143.         if (sws_scale(sws_ctx, (const uint8_t* const*)&data, mVideoSrcStride, 0, in_h, in_frame->data, in_frame->linesize) < 0) {
  144.             
  145.             return false;
  146.         }
  147.     }
  148.     else {
  149.         memcpy(in_frame->data[0],  data, size);
  150.     }
  152.     in_frame->pts = videoPktCount; // videoPktCount为输入帧的序号
  153.    
  154.     // 编码
  155.     int ret = avcodec_send_frame(pCodecCtx, in_frame);//avcodec_send_frame() 函数用于将解码器处理的视频帧发送给编码器
  156.     if (ret < 0) {
  157.         return false;
  158.     }
  160.     AVPacket* vicdeo_pkt = av_packet_alloc();
  161.     while (ret >= 0) {
  162.         ret = avcodec_receive_packet(pCodecCtx, &vicdeo_pkt);//用于从编码器接收编码后的数据包
  163.         if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
  164.             break;
  165.         else if (ret < 0) {
  166.             
  167.             return false;
  168.         }
  170.         // Prepare packet for muxing
  171.         vicdeo_pkt.stream_index = video_st->index;
  172.         av_packet_rescale_ts(&pkt, pCodecCtx->time_base, video_st->time_base);//用于将 AVPacket 中的时间戳（PTS和DTS）从一个时间基转换到另一个时间基
  173.         vicdeo_pkt.pos = -1;//在某些情况下，如果数据包的原始位置是未知的，或者该数据包不是从文件中读取的，而是由其他方式生成的，那么可能会将 pos 设置为 -1。
  175.         ret = av_interleaved_write_frame(pFormatCtx, vicdeo_pkt); //用于将一个 AVPacket 写入到一个输出媒体文件中
  176.         if (ret < 0) {
  177.             
  178.             return false;
  179.         }
  180.         
  181.         // Free the packet
  182.         av_packet_unref(vicdeo_pkt);
  183.         
  184.     }
  185.     av_packet_free(&vicdeo_pkt);
  186.     videoPkt = nullptr;
  187.     ++videoPktCount; // 每编码完成一帧，videoPktCount加一
  188. }
  190. void release() {
  191.    
  192.     if (in_frame_buf) {
  193.         av_free(in_frame_buf);
  194.         in_frame_buf = nullptr;
  195.     }
  196.     if (in_frame) {
  197.         av_frame_free(&in_frame);
  198.         in_frame = nullptr;
  199.     }
  200.    
  201.     if (pCodecCtx) {
  202.         avcodec_close(pCodecCtx);
  203.         avcodec_free_context(&pCodecCtx);
  204.         pCodecCtx = nullptr;
  206.     }
  207.     if (sws_ctx) {
  208.         sws_freeContext(sws_ctx);
  209.         sws_ctx = nullptr;
  210.     }
  212.     if (pFormatCtx) {
  213.         avio_close(pFormatCtx->pb);
  214.         avformat_free_context(pFormatCtx);
  215.         pFormatCtx = nullptr;
  216.     }
  217. }
  218.    
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

道家人

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表