IT评测·应用市场-qidao123.com

标题: 鸿蒙开发进阶（HarmonyOS）视频编码规范 [打印本页]

---

作者: 大连全瓷种植牙齿制作中心    时间: 2025-1-25 17:24
标题: 鸿蒙开发进阶（HarmonyOS）视频编码规范
 鸿蒙NEXT开发实战往期必看文章：
一分钟相识”纯血版！鸿蒙HarmonyOS Next应用开发！
“非常详细的” 鸿蒙HarmonyOS Next应用开发学习路线！（从零底子入门到精通）
HarmonyOS NEXT应用开发案例实践总结合（持续更新......）
HarmonyOS NEXT应用开发性能优化实践总结（持续更新......）

---

调用者可以调用本模块的Native API接口，完成视频编码，即将未压缩的视频数据压缩成视频码流。
当前支持的编码本领如下：
容器规格视频编码范例mp4HEVC（H.265）、 AVC（H.264） 目前仅支持硬件编码，基于MimeType创建编码器时，支持设置为H264 (OH_AVCODEC_MIMETYPE_VIDEO_AVC) 和 H265 (OH_AVCODEC_MIMETYPE_VIDEO_HEVC)。
每一种编码的本领范围，可以通过本领查询获取。
视频编码支持以下本领：
支持的本领使用简述分层编码
设置LTR帧、参考帧具体可参考：时域可分层视频编码 限制约束

• Buffer模式不支持10bit的图像数据。
  
• 由于硬件编码器资源有限，每个编码器在使用完毕后都必须调用OH_VideoEncoder_Destroy接口来销毁实例并开释资源。
  
• 一旦调用Flush，Reset，Stop接口，会触发系统回收OH_AVBuffer，调用者不应对之前回调函数获取到的OH_AVBuffer继续进行操作。
  
• Buffer模式和Surface模式使用方式一致的接口，所以只提供了Surface模式的示例。
  
• 在Buffer模式下，调用者通过输入回调函数OH_AVCodecOnNeedInputBuffer获取到OH_AVBuffer的指针对象后，必须通过调用OH_VideoEncoder_PushInputBuffer接口 来通知系统该对象已被使用完毕。这样系统才可以或许将该对象里面的数据进行编码。如果调用者在调用OH_AVBuffer_GetNativeBuffer接口时获取到OH_NativeBuffer指针对象，并且该对象的生命周期超过了当前的OH_AVBuffer指针对象，那么需要进行一次数据的拷贝操作。在这种情况下，调用者需要自行管理新天生的OH_NativeBuffer对象的生命周期，确保其正确使用和开释。
  

surface输入与buffer输入

• 两者的数据泉源不同。
  
• 两者的适用场景不同：
  

• surface输入是指用OHNativeWindow来通报输入数据，可以与其他模块对接，比方相机模块。
  
• buffer输入是指有一块预先分配好的内存区域，调用者需要将原始数据拷贝进这块内存区域中。更适用于从文件中读取视频数据等场景。
  

• 在接口调用的过程中，两种方式的接口调用方式根本一致，但存在以下差别点：
  

• Buffer模式下，调用者通过OH_VideoEncoder_PushInputBuffer接口输入数据；Surface模式下，调用者应在编码器就绪前调用OH_VideoEncoder_GetSurface接口，获取OHNativeWindow用于通报视频数据。
  
• Buffer模式下，调用者通过OH_AVBuffer中的attr传入结束flag，编码器读取到尾帧后，制止编码；Surface模式下，需要调用OH_VideoEncoder_NotifyEndOfStream接口通知编码器输入流结束。
  

两种模式的开发步调详细说明请参考：Surface模式和Buffer模式。
状态机调用关系

如下为状态机调用关系图：

• 有两种方式可以使编码器进入Initialized状态：
  
  
  
  • 初始创建编码器实例时，编码器处于Initialized状态。
    
  • 任何状态下调用OH_VideoEncoder_Reset接口，编码器将会移回Initialized状态。
    
  
  
• Initialized状态下，调用OH_VideoEncoder_Configure接口设置编码器，设置成功后编码器进入Configured状态。
  
• Configured状态下调用OH_VideoEncoder_Prepare()进入Prepared状态。
  
• Prepared状态调用OH_VideoEncoder_Start接口使编码器进入Executing状态：
  
  
  
  • 处于Executing状态时，调用OH_VideoEncoder_Stop接口可以使编码器返回到Prepared状态。
    
  
  
• 在极少数情况下，编码器可能会遇到错误并进入Error状态。编码器的错误通报，可以通过队列操作返回无效值或者抛出异常：
  
  
  
  • Error状态下可以调用OH_VideoEncoder_Reset接口将编码器移到Initialized状态；或者调用OH_VideoEncoder_Destroy接口移动到最后的Released状态。
    
  
  
• Executing 状态具有三个子状态：Flushed、Running和End-of-Stream：
  
  
  
  • 在调用了OH_VideoEncoder_Start接口之后，编码器立刻进入Running子状态。
    
  • 对于处于Executing状态的编码器，可以调用OH_VideoEncoder_Flush接口返回到Flushed子状态。
    
  • 当待处理数据全部通报给编码器后，可以在input buffers队列中为最后一个入队的input buffer中添加AVCODEC_BUFFER_FLAGS_EOS标记，遇到这个标记时，编码器会转换为End-of-Stream子状态。在此状态下，编码器不再担当新的输入，但是仍然会继续天生输出，直到输出到达尾帧。
    
  
  
• 使用完编码器后，必须调用OH_VideoEncoder_Destroy接口销毁编码器实例。使编码器进入Released状态。
  

开发引导

详细的API说明请参考API文档。 如下为视频编码调用关系图：

• 虚线表示可选。
  
• 实线表示必选。
  

在 CMake 脚本中链接动态库

1. target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
2. target_link_libraries(sample PUBLIC libnative_media_core.so)
3. target_link_libraries(sample PUBLIC libnative_media_venc.so)
4. <strong>cmake</strong>

复制代码

  说明：
  上述’sample’字样仅为示例，此处由调用者根据现实工程目录自定义。
  Surface模式

参考以下示例代码，调用者可以完成Surface模式下视频编码的全流程。此处以surface数据输入，编码成H.264格式为例。 本模块目前仅支持异步模式的数据轮转。

• 添加头文件。
  
  1. #include <multimedia/player_framework/native_avcodec_videoencoder.h>
  2. #include <multimedia/player_framework/native_avcapability.h>
  3. #include <multimedia/player_framework/native_avcodec_base.h>
  4. #include <multimedia/player_framework/native_avformat.h>
  5. #include <multimedia/player_framework/native_avbuffer.h>
  6. #include <fstream>
  7. <strong>cpp</strong>

  复制代码
• 全局变量。
  
  1. // 配置视频帧宽度（必须）
  2. int32_t width = 320;
  3. // 配置视频帧高度（必须）
  4. int32_t height = 240;
  5. // 配置视频像素格式（必须）
  6. constexpr OH_AVPixelFormat DEFAULT_PIXELFORMAT = AV_PIXEL_FORMAT_NV12;
  7. int32_t widthStride = 0;
  8. int32_t heightStride = 0;
  9. <strong>c++</strong>

  复制代码
• 创建编码器实例对象。
  调用者可以通过名称或媒体范例创建编码器。示例中的变量说明如下：
  
  
  
  • videoEnc：视频编码器实例的指针；
    
  • capability：编解码器本领查询实例的指针；
    
  • OH_AVCODEC_MIMETYPE_VIDEO_AVC：AVC格式视频编解码器。
    
  创建方式示比方下：
  
  1. // 通过codec name创建编码器，应用有特殊需求，比如选择支持某种分辨率规格的编码器，可先查询capability，再根据codec name创建编码器。
  2. OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
  3. // 创建硬件编码器实例
  4. OH_AVCapability *capability= OH_AVCodec_GetCapabilityByCategory(OH_AVCODEC_MIMETYPE_VIDEO_AVC, false, HARDWARE);
  5. const char *codecName = OH_AVCapability_GetName(capability);
  6. OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByName(codecName);
  7. <strong>c++</strong>

  复制代码
  1. // 通过MIME TYPE创建编码器，只能创建系统推荐的特定编解码器
  2. // 只能创建硬件编码器
  3. OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
  4. <strong>c++</strong>

  复制代码
  
  
• 调用OH_VideoEncoder_RegisterCallback()设置回调函数。
  注册回调函数指针集合OH_AVCodecCallback，包括：
  
  
  
  • OH_AVCodecOnError 编码器运行错误，返回的错误码详情请参见OH_AVCodecOnError；
    
  • OH_AVCodecOnStreamChanged 码流信息变化，如格式变化等；
    
  • OH_AVCodecOnNeedInputBuffer 输入回调无作用，调用者通过获取的surface输入数据；
    
  • OH_AVCodecOnNewOutputBuffer 运行过程中产生了新的输出数据，即编码完成。
    
  示比方下所示：
  
  1. // 设置OH_AVCodecOnError 回调函数，编码异常
  2. static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData)
  3. {
  4.     // 回调的错误码由调用者判断处理
  5.     (void)codec;
  6.     (void)errorCode;
  7.     (void)userData;
  8. }
  9. <strong>c++</strong>

  复制代码
  1. // 设置OH_AVCodecOnStreamChanged 回调函数，编码数据流变化
  2. static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData)
  3. {
  4.     // 编码场景，该回调函数无作用
  5.     (void)codec;
  6.     (void)format;
  7.     (void)userData;
  8. }
  9. <strong>c++</strong>

  复制代码
  1. // 设置 OH_AVCodecOnNeedInputBuffer 回调函数，编码输入帧送入数据队列
  2. static void OnNeedInputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
  3. {
  4.     // Surface模式下，该回调函数无作用，调用者通过获取的surface输入数据
  5.     (void)userData;
  6.     (void)index;
  7.     (void)buffer;
  8. }
  9. <strong>c++</strong>

  复制代码
  1. // 设置 OH_AVCodecOnNewOutputBuffer 回调函数，编码完成帧送入输出队列
  2. static void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
  3. {
  4.     // 完成帧buffer对应的index，送入outIndexQueue队列
  5.     // 完成帧的数据buffer送入outBufferQueue队列
  6.     // 数据处理
  7.     // 释放编码帧
  8. }
  9. <strong>c++</strong>

  复制代码
  1. // 配置异步回调，调用 OH_VideoEncoder_RegisterCallback()接口
  2. OH_AVCodecCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputBuffer, &OnNewOutputBuffer};
  3. int32_t ret = OH_VideoEncoder_RegisterCallback(videoEnc, cb, NULL); // NULL:用户特定数据userData为空
  4. if (ret != AV_ERR_OK) {
  5.     // 异常处理
  6. }
  7. <strong>c++</strong>

  复制代码
        说明： 在回调函数中，对数据队列进行操作时，需要注意多线程同步的题目。
     
  
• （可选）调用OH_VideoEncoder_RegisterParameterCallback()在Configur接口之前注册随帧通路回调。
  详情请参考时域可分层视频编码。
  
  1. // 5.1 编码输入参数回调OH_VideoEncoder_OnNeedInputParameter实现
  2. static void OnNeedInputParameter(OH_AVCodec *codec, uint32_t index, OH_AVFormat *parameter, void *userData)
  3. {
  4.     // 输入帧parameter对应的index，送入InParameterIndexQueue队列
  5.     // 输入帧的数据parameter送入InParameterQueue队列
  6.     // 数据处理
  7.     // 随帧参数写入
  8. }
  10. // 5.2 注册随帧参数回调
  11. OH_VideoEncoder_OnNeedInputParameter inParaCb = OnNeedInputParameter;
  12. OH_VideoEncoder_RegisterParameterCallback(videoEnc, inParaCb, NULL); // NULL:用户特定数据userData为空
  13. <strong>c++</strong>

  复制代码
• 调用OH_VideoEncoder_Configure()设置编码器。
  详细可设置选项的说明请参考视频专有键值对。
  参数校验规则请参考OH_VideoEncoder_Configure()参考文档。
  参数取值范围可以通过本领查询接口获取，具体示例请参考获取支持的编解码本领文档。
  目前支持的全部格式都必须设置以下选项：视频帧宽度、视频帧高度、视频像素格式。示例中的变量如下：
  
  
  
  • DEFAULT_WIDTH：320像素宽度；
    
  • DEFAULT_HEIGHT：240像素高度；
    
  • DEFAULT_PIXELFORMAT： 像素格式，由于示例使用YUV的文件保存的像素格式是NV12，所以设置为 AV_PIXEL_FORMAT_NV12。
    
  1. // 配置视频帧速率
  2. double frameRate = 30.0;
  3. // 配置视频YUV值范围标志
  4. bool rangeFlag = false;
  5. // 配置视频原色
  6. int32_t primary = static_cast<int32_t>(OH_ColorPrimary::COLOR_PRIMARY_BT709);
  7. // 配置传输特性
  8. int32_t transfer = static_cast<int32_t>(OH_TransferCharacteristic::TRANSFER_CHARACTERISTIC_BT709);
  9. // 配置最大矩阵系数
  10. int32_t matrix = static_cast<int32_t>(OH_MatrixCoefficient::MATRIX_COEFFICIENT_IDENTITY);
  11. // 配置编码Profile
  12. int32_t profile = static_cast<int32_t>(OH_AVCProfile::AVC_PROFILE_BASELINE);
  13. // 配置编码比特率模式
  14. int32_t rateMode = static_cast<int32_t>(OH_VideoEncodeBitrateMode::CBR);
  15. // 配置关键帧的间隔，单位为毫秒
  16. int32_t iFrameInterval = 23000;
  17. // 配置比特率
  18. int64_t bitRate = 3000000;
  19. // 配置编码质量
  20. int64_t quality = 0;
  22. OH_AVFormat *format = OH_AVFormat_Create();
  23. OH_AVFormat_SetIntValue(format, OH_MD_KEY_WIDTH, width); // 必须配置
  24. OH_AVFormat_SetIntValue(format, OH_MD_KEY_HEIGHT, height); // 必须配置
  25. OH_AVFormat_SetIntValue(format, OH_MD_KEY_PIXEL_FORMAT, DEFAULT_PIXELFORMAT); // 必须配置
  27. OH_AVFormat_SetDoubleValue(format, OH_MD_KEY_FRAME_RATE, frameRate);
  28. OH_AVFormat_SetIntValue(format, OH_MD_KEY_RANGE_FLAG, rangeFlag);
  29. OH_AVFormat_SetIntValue(format, OH_MD_KEY_COLOR_PRIMARIES, primary);
  30. OH_AVFormat_SetIntValue(format, OH_MD_KEY_TRANSFER_CHARACTERISTICS, transfer);
  31. OH_AVFormat_SetIntValue(format, OH_MD_KEY_MATRIX_COEFFICIENTS, matrix);
  32. OH_AVFormat_SetIntValue(format, OH_MD_KEY_I_FRAME_INTERVAL, iFrameInterval);
  33. OH_AVFormat_SetIntValue(format, OH_MD_KEY_PROFILE, profile);
  34. //只有当OH_MD_KEY_BITRATE = CQ时，才需要配置OH_MD_KEY_QUALITY
  35. if (rateMode == static_cast<int32_t>(OH_VideoEncodeBitrateMode::CQ)) {
  36.     OH_AVFormat_SetIntValue(format, OH_MD_KEY_QUALITY, quality);
  37. } else if (rateMode == static_cast<int32_t>(OH_VideoEncodeBitrateMode::CBR) ||
  38.            rateMode == static_cast<int32_t>(OH_VideoEncodeBitrateMode::VBR)){
  39.     OH_AVFormat_SetLongValue(format, OH_MD_KEY_BITRATE, bitRate);
  40. }
  41. OH_AVFormat_SetIntValue(format, OH_MD_KEY_VIDEO_ENCODE_BITRATE_MODE, rateMode);
  42. int32_t ret = OH_VideoEncoder_Configure(videoEnc, format);
  43. if (ret != AV_ERR_OK) {
  44.     // 异常处理
  45. }
  46. OH_AVFormat_Destroy(format);
  47. <strong>c++</strong>

  复制代码
        注意： 设置非必须参数错误时，会返回AV_ERR_INVAILD_VAL错误码。但OH_VideoEncoder_Configure()不会失败，而是使用默认值继续实行。
     
  
• 获取Surface。
  获取编码器Surface模式的OHNativeWindow输入，获取surface需要在准备编码器之前完成。
  
  1. // 获取需要输入的surface，以进行编码
  2. OHNativeWindow *nativeWindow;
  3. int32_t ret = OH_VideoEncoder_GetSurface(videoEnc, &nativeWindow);
  4. if (ret != AV_ERR_OK) {
  5.     // 异常处理
  6. }
  7. // 通过OHNativeWindow*变量类型，可通过生产者接口获取待填充数据地址。
  8. <strong>c++</strong>

  复制代码
  OHNativeWindow*变量范例的使用方法请参考图形子系统 OHNativeWindow
  
• 调用OH_VideoEncoder_Prepare()编码器就绪。
  该接口将在编码器运行前进行一些数据的准备工作。
  
  1. int32_t ret = OH_VideoEncoder_Prepare(videoEnc);
  2. if (ret != AV_ERR_OK) {
  3.     // 异常处理
  4. }
  5. <strong>c++</strong>

  复制代码
• 调用OH_VideoEncoder_Start()启动编码器。
  
  1. // 配置待编码文件路径
  2. std::string_view outputFilePath = "/*yourpath*.h264";
  3. std::unique_ptr<std::ofstream> outputFile = std::make_unique<std::ofstream>();
  4. outputFile->open(outputFilePath.data(), std::ios::out | std::ios::binary | std::ios::ate);
  5. // 启动编码器，开始编码
  6. int32_t ret = OH_VideoEncoder_Start(videoEnc);
  7. if (ret != AV_ERR_OK) {
  8.     // 异常处理
  9. }
  10. <strong>c++</strong>

  复制代码
• （可选）OH_VideoEncoder_SetParameter()在运行过程中动态设置编码器参数。 详细可设置选项的说明请参考视频专有键值对。
  
  1. OH_AVFormat *format = OH_AVFormat_Create();
  2. // 支持动态请求IDR帧
  3. OH_AVFormat_SetIntValue(format, OH_MD_KEY_REQUEST_I_FRAME, true);
  4. int32_t ret = OH_VideoEncoder_SetParameter(videoEnc, format);
  5. if (ret != AV_ERR_OK) {
  6.     // 异常处理
  7. }
  8. OH_AVFormat_Destroy(format);
  9. <strong>c++</strong>

  复制代码
• 写入编码图像。 在之前的第7步中，开发者已经对OH_VideoEncoder_GetSurface接口返回的OHNativeWindow*范例变量进行设置。由于编码所需的数据，由设置的Surface进行持续地输入，所以开发者无需对OnNeedInputBuffer回调函数进行处理，也无需使用OH_VideoEncoder_PushInputBuffer接口输入数据。
  
• （可选）调用OH_VideoEncoder_PushInputParameter()通知编码器随帧参数设置输入完成。 在之前的第5步中，调用者已经注册随帧通路回调
  以下示例中：
  
  
  
  • index：回调函数OnNeedInputParameter传入的参数，与buffer唯一对应的标识。
    
  1. int32_t ret = OH_VideoEncoder_PushInputParameter(videoEnc, index);
  2. if (ret != AV_ERR_OK) {
  3.     // 异常处理
  4. }
  5. <strong>c++</strong>

  复制代码
  
  
• 调用OH_VideoEncoder_NotifyEndOfStream()通知编码器结束。
  
  1. // Surface模式：通知视频编码器输入流已结束，只能使用此接口进行通知
  2. // 不能像Buffer模式中将flag设为AVCODEC_BUFFER_FLAGS_EOS，再调用OH_VideoEncoder_PushInputBuffer接口通知编码器输入结束
  3. int32_t ret = OH_VideoEncoder_NotifyEndOfStream(videoEnc);
  4. if (ret != AV_ERR_OK) {
  5.     // 异常处理
  6. }
  7. <strong>c++</strong>

  复制代码
• 调用OH_VideoEncoder_FreeOutputBuffer()开释编码帧。
  以下示例中：
  
  
  
  • index：回调函数OnNewOutputBuffer传入的参数，与buffer唯一对应的标识。
    
  • buffer： 回调函数OnNewOutputBuffer传入的参数，Surface模式调用者无法通过OH_AVBuffer_GetAddr接口获取图像虚拟地址。
    
  1. // 获取编码后信息
  2. OH_AVCodecBufferAttr info;
  3. int32_t ret = OH_AVBuffer_GetBufferAttr(buffer, &info);
  4. if (ret != AV_ERR_OK) {
  5.     // 异常处理
  6. }
  7. // 将编码完成帧数据buffer写入到对应输出文件中
  8. outputFile->write(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(buffer)), info.size);
  9. // 释放已完成写入的数据，index为对应输出队列下标
  10. ret = OH_VideoEncoder_FreeOutputBuffer(videoEnc, index);
  11. if (ret != AV_ERR_OK) {
  12.     // 异常处理
  13. }
  14. <strong>c++</strong>

  复制代码
  
  
• （可选）调用OH_VideoEncoder_Flush()革新编码器。
  调用OH_VideoEncoder_Flush接口后，编码器仍处于运行态，但会扫除编码器中缓存的输入和输出数据及参数集如H264格式的PPS/SPS。
  此时需要调用OH_VideoEncoder_Start接口重新开始编码。
  
  1. // 刷新编码器videoEnc
  2. int32_t ret = OH_VideoEncoder_Flush(videoEnc);
  3. if (ret != AV_ERR_OK) {
  4.     // 异常处理
  5. }
  6. // 重新开始编码
  7. ret = OH_VideoEncoder_Start(videoEnc);
  8. if (ret != AV_ERR_OK) {
  9.     // 异常处理
  10. }
  11. <strong>c++</strong>

  复制代码
• （可选）调用OH_VideoEncoder_Reset()重置编码器。
  调用OH_VideoEncoder_Reset接口后，编码器将回到初始化的状态，需要调用OH_VideoEncoder_Configure接口和OH_VideoEncoder_Prepare接口重新设置。
  
  1. // 重置编码器videoEnc
  2. int32_t ret = OH_VideoEncoder_Reset(videoEnc);
  3. if (ret != AV_ERR_OK) {
  4.     // 异常处理
  5. }
  6. // 重新配置编码器参数
  7. ret = OH_VideoEncoder_Configure(videoEnc, format);
  8. if (ret != AV_ERR_OK) {
  9.     // 异常处理
  10. }
  11. // 编码器重新就绪
  12. ret = OH_VideoEncoder_Prepare(videoEnc);
  13. if (ret != AV_ERR_OK) {
  14.     // 异常处理
  15. }
  16. <strong>c++</strong>

  复制代码
• （可选）调用OH_VideoEncoder_Stop()制止编码器。
  调用OH_VideoEncoder_Stop接口后，编码器保存了编码实例，开释输入输出buffer。调用者可以直接调用OH_VideoEncoder_Start接口继续编码，
  输入的第一个buffer需要携带参数集，从IDR帧开始送入。
  
  1. // 终止编码器videoEnc
  2. int32_t ret = OH_VideoEncoder_Stop(videoEnc);
  3. if (ret != AV_ERR_OK) {
  4.     // 异常处理
  5. }
  6. <strong>c++</strong>

  复制代码
• 调用OH_VideoEncoder_Destroy()销毁编码器实例，开释资源。
         说明：
      不能在回调函数中调用； 实行该步调之后，需要调用者将videoEnc指向NULL，防止野指针导致程序错误。
     
  1. // 释放nativeWindow实例
  2. if(nativeWindow != NULL){
  3.     int32_t ret = OH_NativeWindow_DestroyNativeWindow(nativeWindow);
  4.     nativeWindow = NULL;
  5. }
  6. if (ret != AV_ERR_OK) {
  7.     // 异常处理
  8. }
  9. // 调用OH_VideoEncoder_Destroy，注销编码器
  10. if (videoEnc != NULL) {
  11.     ret = OH_VideoEncoder_Destroy(videoEnc);
  12.     videoEnc = NULL;
  13. }
  14. if (ret != AV_ERR_OK) {
  15.     // 异常处理
  16. }
  17. <strong>c++</strong>

  复制代码

Buffer模式

参考以下示例代码，调用者可以完成Buffer模式下视频编码的全流程。此处以YUV文件输入，编码成H.264格式为例。 本模块目前仅支持异步模式的数据轮转。

• 添加头文件。
  
  1. #include <multimedia/player_framework/native_avcodec_videoencoder.h>
  2. #include <multimedia/player_framework/native_avcapability.h>
  3. #include <multimedia/player_framework/native_avcodec_base.h>
  4. #include <multimedia/player_framework/native_avformat.h>
  5. #include <multimedia/player_framework/native_avbuffer.h>
  6. #include <fstream>
  7. <strong>cpp</strong>

  复制代码
• 创建编码器实例对象。
  与Surface模式雷同，此处不再赘述。
  
  1. // 通过codec name创建编码器，应用有特殊需求，比如选择支持某种分辨率规格的编码器，可先查询capability，再根据codec name创建编码器。
  2. OH_AVCapability *capability = OH_AVCodec_GetCapability(OH_AVCODEC_MIMETYPE_VIDEO_AVC, true);
  3. const char *codecName = OH_AVCapability_GetName(capability);
  4. OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByName(codecName);
  5. <strong>c++</strong>

  复制代码
  1. // 通过MIME TYPE创建编码器，只能创建系统推荐的特定编解码器
  2. // 涉及创建多路编解码器时，优先创建硬件编码器实例，硬件资源不够时再创建软件编码器实例
  3. OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_AVC);
  4. <strong>c++</strong>

  复制代码
• 调用OH_VideoEncoder_RegisterCallback()设置回调函数。
  注册回调函数指针集合OH_AVCodecCallback，包括：
  
  
  
  • OH_AVCodecOnError 编码器运行错误，返回的错误码详情请参见OH_AVCodecOnError；
    
  • OH_AVCodecOnStreamChanged 码流信息变化，如格式变化等；
    
  • OH_AVCodecOnNeedInputBuffer 运行过程中需要新的输入数据，即编码器已准备好，可以输入YUV/RGB数据；
    
  • OH_AVCodecOnNewOutputBuffer 运行过程中产生了新的输出数据，即编码完成。
    
  调用者可以通过处理该回调报告的信息，确保编码器正常运转。
  
  1. bool isFirstFrame = true;
  2. <strong>c++</strong>

  复制代码
  1. // 编码异常回调OH_AVCodecOnError实现
  2. static void OnError(OH_AVCodec *codec, int32_t errorCode, void *userData)
  3. {
  4.     // 回调的错误码由调用者判断处理
  5.     (void)codec;
  6.     (void)errorCode;
  7.     (void)userData;
  8. }
  9. <strong>c++</strong>

  复制代码
  1. // 编码数据流变化回调OH_AVCodecOnStreamChanged实现
  2. static void OnStreamChanged(OH_AVCodec *codec, OH_AVFormat *format, void *userData)
  3. {
  4.     // 编码场景，该回调函数无作用
  5.     (void)codec;
  6.     (void)format;
  7.     (void)userData;
  8. }
  9. <strong>c++</strong>

  复制代码
  1. // 编码输入回调OH_AVCodecOnNeedInputBuffer实现
  2. static void OnNeedInputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
  3. {
  4.     // 输入帧buffer对应的index，送入InIndexQueue队列
  5.     // 输入帧的数据buffer送入InBufferQueue队列
  6.     // 获取视频宽高跨距
  7.     if (isFirstFrame) {
  8.         OH_AVFormat *format = OH_VideoEncoder_GetInputDescription(codec);
  9.         OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_STRIDE, &widthStride);
  10.         OH_AVFormat_GetIntValue(format, OH_MD_KEY_VIDEO_SLICE_HEIGHT, &heightStride);
  11.         OH_AVFormat_Destroy(format);
  12.         isFirstFrame = false;
  13.     }
  14.     // 数据处理
  15.     // 写入编码图像
  16.     // 通知编码器码流结束
  17. }
  18. <strong>c++</strong>

  复制代码
  1. // 编码输出回调OH_AVCodecOnNewOutputBuffer实现
  2. static void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData)
  3. {
  4.     // 完成帧buffer对应的index，送入outIndexQueue队列
  5.     // 完成帧的数据buffer送入outBufferQueue队列
  6.     // 数据处理
  7.     // 释放编码帧
  8. }
  9. <strong>c++</strong>

  复制代码
  1. // 配置异步回调，调用 OH_VideoEncoder_RegisterCallback 接口
  2. OH_AVCodecCallback cb = {&OnError, &OnStreamChanged, &OnNeedInputBuffer, &OnNewOutputBuffer};
  3. int32_t ret = OH_VideoEncoder_RegisterCallback(videoEnc, cb, NULL);
  4. if (ret != AV_ERR_OK) {
  5.     // 异常处理
  6. }
  7. <strong>c++</strong>

  复制代码
        说明：
      在回调函数中，对数据队列进行操作时，需要注意多线程同步的题目。
     
  
• 调用OH_VideoEncoder_Configure()设置编码器。
  与Surface模式雷同，此处不再赘述。
  
  1. OH_AVFormat *format = OH_AVFormat_Create();
  2. // 写入format
  3. OH_AVFormat_SetIntValue(format, OH_MD_KEY_WIDTH, width);
  4. OH_AVFormat_SetIntValue(format, OH_MD_KEY_HEIGHT, height);
  5. OH_AVFormat_SetIntValue(format, OH_MD_KEY_PIXEL_FORMAT, DEFAULT_PIXELFORMAT);
  6. // 配置编码器
  7. int32_t ret = OH_VideoEncoder_Configure(videoEnc, format);
  8. if (ret != AV_ERR_OK) {
  9.     // 异常处理
  10. }
  11. OH_AVFormat_Destroy(format);
  12. <strong>c++</strong>

  复制代码
• 调用OH_VideoEncoder_Prepare()编码器就绪。
  该接口将在编码器运行前进行一些数据的准备工作。
  
  1. ret = OH_VideoEncoder_Prepare(videoEnc);
  2. if (ret != AV_ERR_OK) {
  3.     // 异常处理
  4. }
  5. <strong>c++</strong>

  复制代码
• 调用OH_VideoEncoder_Start()启动编码器，进入运行态。
  启动编码器后，回调函数将开始相应事故。所以，需要先设置输入文件、输出文件。
  
  1. // 配置待编码文件路径
  2. std::string_view inputFilePath = "/*yourpath*.yuv";
  3. std::string_view outputFilePath = "/*yourpath*.h264";
  4. std::unique_ptr<std::ifstream> inputFile = std::make_unique<std::ifstream>();
  5. std::unique_ptr<std::ofstream> outputFile = std::make_unique<std::ofstream>();
  6. inputFile->open(inputFilePath.data(), std::ios::in | std::ios::binary);
  7. outputFile->open(outputFilePath.data(), std::ios::out | std::ios::binary | std::ios::ate);
  8. // 启动编码器，开始编码
  9. int32_t ret = OH_VideoEncoder_Start(videoEnc);
  10. if (ret != AV_ERR_OK) {
  11.     // 异常处理
  12. }
  13. <strong>c++</strong>

  复制代码
• （可选）在运行过程中动态设置编码器参数。
  
  1. OH_AVFormat *format = OH_AVFormat_Create();
  2. // 支持动态请求IDR帧
  3. OH_AVFormat_SetIntValue(format, OH_MD_KEY_REQUEST_I_FRAME, true);
  4. int32_t ret = OH_VideoEncoder_SetParameter(videoEnc, format);
  5. if (ret != AV_ERR_OK) {
  6.     // 异常处理
  7. }
  8. OH_AVFormat_Destroy(format);
  9. <strong>c++</strong>

  复制代码
• 调用OH_VideoEncoder_PushInputBuffer()写入编码图像。
  送入输入队列进行编码，以下示例中：
  
  
  
  • buffer：回调函数OnNeedInputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针；
    
  • index：回调函数OnNeedInputBuffer传入的参数，与buffer唯一对应的标识；
    
  • flags：缓冲区标记的类别，请参考OH_AVCodecBufferFlags
    
  • stride: 获取到的buffer数据的跨距。
    
  1. if (stride == width) {
  2.     // 处理文件流得到帧的长度，再将需要编码的数据写入到对应index的buffer中
  3.     int32_t frameSize = width * height * 3 / 2; // NV12像素格式下，每帧数据大小的计算公式
  4.     inputFile->read(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(buffer)), frameSize);
  5. } else {
  6.     // 如果跨距不等于宽，需要调用者按照跨距进行偏移，具体可参考以下示例
  7. }
  8. // 配置buffer info信息
  9. OH_AVCodecBufferAttr info;
  10. info.size = frameSize;
  11. info.offset = 0;
  12. info.pts = 0;
  13. info.flags = flags;
  14. ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
  15. if (ret != AV_ERR_OK) {
  16.     // 异常处理
  17. }
  18. // 送入编码输入队列进行编码，index为对应输入队列的下标
  19. int32_t ret = OH_VideoEncoder_PushInputBuffer(videoEnc, index);
  20. if (ret != AV_ERR_OK) {
  21.     // 异常处理
  22. }
  23. <strong>c++</strong>

  复制代码
  对跨距进行偏移，以NV12图像为例，示比方下：
  以NV12图像为例，width、height、wStride、hStride图像排布参考下图：
     
  
  
  
  • OH_MD_KEY_VIDEO_PIC_WIDTH表示width；
    
  • OH_MD_KEY_VIDEO_PIC_HEIGHT表示height；
    
  • OH_MD_KEY_VIDEO_STRIDE表示wStride；
    
  • OH_MD_KEY_VIDEO_SLICE_HEIGHT表示hStride。
    
    
    
  添加头文件。
  
  1. #include <string.h>
  2. <strong>c++</strong>

  复制代码
  使用示例：
  
  1. struct Rect   // 源内存区域的宽、高，由调用者自行设置
  2. {
  3.     int32_t width;
  4.     int32_t height;
  5. };
  7. struct DstRect // 目标内存区域的宽、高跨距，通过回调函数OnNeedInputBuffer获取
  8. {
  9.     int32_t wStride;
  10.     int32_t hStride;
  11. };
  13. struct SrcRect // 源内存区域的宽、高跨距，由调用者自行设置
  14. {
  15.     int32_t wStride;
  16.     int32_t hStride;
  17. };
  19. Rect rect = {320, 240};
  20. DstRect dstRect = {320, 250};
  21. SrcRect srcRect = {320, 250};
  22. uint8_t* dst = new uint8_t[dstRect.hStride * dstRect.wStride]; // 目标内存区域的指针
  23. uint8_t* src = new uint8_t[srcRect.hStride * srcRect.wStride]; // 源内存区域的指针
  25. // Y 将Y区域的源数据复制到另一个区域的目标数据中
  26. for (int32_t i = 0; i < rect.height; ++i) {
  27.     //将源数据的一行数据复制到目标数据的一行中
  28.     memcpy_s(dst, src, rect.width);
  29.     // 更新源数据和目标数据的指针，进行下一行的复制。每更新一次源数据和目标数据的指针都向下移动一个wStride
  30.     dst += dstRect.wStride;
  31.     src += srcRect.wStride;
  32. }
  33. // padding
  34. // 更新源数据和目标数据的指针，指针都向下移动一个padding
  35. dst += (dstRect.hStride - rect.height) * dstRect.wStride;
  36. src += (srcRect.hStride - rect.height) * srcRect.wStride;
  37. rect.height >>= 1;
  38. // UV 将UV区域的源数据复制到另一个区域的目标数据中
  39. for (int32_t i = 0; i < rect.height; ++i) {
  40.     memcpy_s(dst, src, rect.width);
  41.     dst += dstRect.wStride;
  42.     src += srcRect.wStride;
  43. }
  45. delete[] dst;
  46. dst = nullptr;
  47. delete[] src;
  48. src = nullptr;
  49. <strong>c++</strong>

  复制代码
  硬件编码在处理buffer数据时（推送数据前），需要调用者拷贝宽高对齐后的图像数据到输入回调的AVbuffer中。 一般需要获取数据的宽高、跨距、像素格式来保证编码输入数据被正确的处理。
  具体实现请参考：Buffer模式的步调3-调用OH_VideoEncoder_RegisterCallback接口设置回调函数来获取数据的宽高、跨距、像素格式。
  
  
• 通知编码器结束。
  以下示例中：
  
  
  
  • index：回调函数OnNeedInputBuffer传入的参数，与buffer唯一对应的标识。
    
  • buffer：回调函数OnNeedInputBuffer传入的参数，可以通过OH_AVBuffer_GetAddr接口得到共享内存地址的指针；
    
  与“8. 写入编码图像”一样，使用同一个接口OH_VideoEncoder_PushInputBuffer，通知编码器输入结束，需要将flag标识成AVCODEC_BUFFER_FLAGS_EOS。
  
  1. OH_AVCodecBufferAttr info;
  2. info.size = 0;
  3. info.offset = 0;
  4. info.pts = 0;
  5. info.flags = AVCODEC_BUFFER_FLAGS_EOS;
  6. int32_t ret = OH_AVBuffer_SetBufferAttr(buffer, &info);
  7. if (ret != AV_ERR_OK) {
  8.     // 异常处理
  9. }
  10. ret = OH_VideoEncoder_PushInputBuffer(videoEnc, index);
  11. if (ret != AV_ERR_OK) {
  12.     // 异常处理
  13. }
  14. <strong>c++</strong>

  复制代码
  
  
• 调用OH_VideoEncoder_FreeOutputBuffer()开释编码帧。 与Surface模式雷同，此处不再赘述。
  
  1. // 获取编码后信息
  2. OH_AVCodecBufferAttr info;
  3. int32_t ret = OH_AVBuffer_GetBufferAttr(buffer, &info);
  4. if (ret != AV_ERR_OK) {
  5.     // 异常处理
  6. }
  7. // 将编码完成帧数据buffer写入到对应输出文件中
  8. outputFile->write(reinterpret_cast<char *>(OH_AVBuffer_GetAddr(buffer)), info.size);
  9. // 释放已完成写入的数据，index为对应输出队列的下标
  10. ret = OH_VideoEncoder_FreeOutputBuffer(videoEnc, index);
  11. if (ret != AV_ERR_OK) {
  12.     // 异常处理
  13. }
  14. <strong>c++</strong>

  复制代码

后续流程（包括革新编码器、重置编码器、制止编码器、销毁编码器）与Surface模式一致，请参考Surface模式的步调15-18。
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 IT评测·应用市场-qidao123.com (https://dis.qidao123.com/)

Powered by Discuz! X3.4