鸿蒙（API 12 Beta3版）【HDR Vivid视频录制】 音视频编码

开发者可以调用本模块的Native API接口，实如今视频录制中支持HDR Vivid标准。
视频录制的重要流程是“相机收罗 > 编码 > 封装成mp4文件”。
HDR Vivid视频编码

应用创建H265编码器，配置profile(main 10)相机底层包罗HDR Vivid的surfacebuffer内容，编码器斲丧surfacebuffer编码天生对应码流。
说明
仅在Surface模式下支持HDR Vivid视频编码。
在 CMake 脚本中链接动态库

1. target_link_libraries(sample PUBLIC libnative_media_codecbase.so)
2. target_link_libraries(sample PUBLIC libnative_media_avdemuxer.so)
3. target_link_libraries(sample PUBLIC libnative_media_avsource.so)
4. target_link_libraries(sample PUBLIC libnative_media_core.so)

复制代码

开发步骤

• 添加头文件。
  

1. #include <multimedia/player_framework/native_avcodec_videoencoder.h>
2. #include <multimedia/player_framework/native_avcapability.h>
3. #include <multimedia/player_framework/native_avcodec_base.h>
4. #include <multimedia/player_framework/native_avformat.h>
5. #include <multimedia/player_framework/native_avbuffer.h>
6. #include <fstream>

复制代码

• 创建编码器实例对象。
  应用可以通过名称或媒体类型创建编码器。示例中的变量说明如下：
  
  
  
  • videoEnc：视频编码器实例的指针；
    
  • OH_AVCODEC_MIMETYPE_VIDEO_HEVC：HEVC格式视频码流的名称。
    
  
  

1. // 通过mimetype创建H265编码器
2. OH_AVCodec *videoEnc = OH_VideoEncoder_CreateByMime(OH_AVCODEC_MIMETYPE_VIDEO_HEVC);

复制代码

• 配置异步回调函数。
  添加头文件：
  

1. #include <condition_variable>
2. #include <queue>
3. #include <mutex>

复制代码

1. struct CodecBufferInfo {
2.     uint32_t bufferIndex = 0;
3.     OH_AVBuffer *buffer = nullptr;
4.     uint8_t *bufferAddr = nullptr;
5.     OH_AVCodecBufferAttr attr = {0, 0, 0, AVCODEC_BUFFER_FLAGS_NONE};
6. };
7. std::mutex outputMutex_;
8. std::condition_variable outputCond_;
9. std::queue<CodecBufferInfo> outputBufferInfoQueue_;
11. // 设置OH_AVCodecOnNewOutputBuffer回调函数，编码完成帧送入输出队列
12. void OnNewOutputBuffer(OH_AVCodec *codec, uint32_t index, OH_AVBuffer *buffer, void *userData) {
13.     (void)codec;
14.     std::unique_lock<std::mutex> lock(outputMutex_);
15.     outputBufferInfoQueue_.emplace(index, buffer);
16.     outputCond_.notify_all();
17. }

复制代码

具体可参考：[视频编码Surface模式]中的“步骤3：调用OH_VideoEncoder_RegisterCallback()设置回调函数”。

• 配置编码器。
  可选配置视频帧宽度、频帧高度、视频颜色格式。
  

1. // 配置编码Profile为MAIN10(必须)
2. int32_t profile = static_cast<int32_t>(HEVC_PROFILE_MAIN_10);
3. // 配置视频原色
4. int32_t primary = static_cast<int32_t>(OH_ColorPrimary::COLOR_PRIMARY_BT2020);
5. // 配置传输特性
6. int32_t transfer = static_cast<int32_t>(OH_TransferCharacteristic::TRANSFER_CHARACTERISTIC_PQ);// PQ或者HLG
7. // 配置最大矩阵系数
8. int32_t matrix = static_cast<int32_t>(OH_MatrixCoefficient::MATRIX_COEFFICIENT_BT2020_CL);
9. // 配置关键帧的间隔，单位为毫秒
10. int32_t iFrameInterval = 100;
12. OH_AVFormat *format = OH_AVFormat_Create();
13. OH_AVFormat_SetIntValue(format, OH_MD_KEY_PROFILE, profile);
14. OH_AVFormat_SetIntValue(format, OH_MD_KEY_COLOR_PRIMARIES, primary);
15. OH_AVFormat_SetIntValue(format, OH_MD_KEY_TRANSFER_CHARACTERISTICS, transfer);
16. OH_AVFormat_SetIntValue(format, OH_MD_KEY_MATRIX_COEFFICIENTS, matrix);
17. OH_AVFormat_SetIntValue(format, OH_MD_KEY_I_FRAME_INTERVAL, iFrameInterval);
18. OH_AVFormat_SetIntValue(format, OH_MD_KEY_RANGE_FLAG, 1);
19. // 配置编码器
20. int32_t ret = OH_VideoEncoder_Configure(videoEnc, format);
21. if (ret != AV_ERR_OK) {
22.     // 异常处理
23. }
24. OH_AVFormat_Destroy(format);

复制代码

• 获取surface，并设置给相机。
  具体可参考：[视频编码Surface模式]中的“步骤6：获取Surface”。
  
• 调用OH_VideoEncoder_Start()启动编码器。
  具体可参考：[视频编码Surface模式]中的“步骤8：调用OH_VideoEncoder_Start()启动编码器”。
  

HDR Vivid视频封装

调用Muxer可以将HDRVivid码流封装成文件，码流格式需指定为hevc码流，并设置宽、高、isHDRVivid信息。Color信息通常必要从编码获取并设置给封装器。
在 CMake 脚本中链接动态库

1. target_link_libraries(sample PUBLIC libnative_media_avmuxer.so)
2. target_link_libraries(sample PUBLIC libnative_media_core.so)

复制代码

开发步骤

• 添加头文件。
  

1. #include <multimedia/player_framework/native_avmuxer.h>
2. #include <multimedia/player_framework/native_avcodec_base.h>
3. #include <multimedia/player_framework/native_avformat.h>
4. #include <multimedia/player_framework/native_avbuffer.h>
5. #include <fcntl.h>

复制代码

• 调用OH_AVMuxer_Create()创建封装器实例对象。
  

1. // 设置封装格式为mp4
2. OH_AVOutputFormat outputFormat = AV_OUTPUT_FORMAT_MPEG_4;
3. // 以读写方式创建fd
4. int32_t fd = open("test.mp4", O_CREAT | O_RDWR | O_TRUNC, S_IRUSR | S_IWUSR);
5. OH_AVMuxer *muxer = OH_AVMuxer_Create(fd, outputFormat);

复制代码

• 添加视频轨，并指定类型为HDRVivid类型。
  

1. int videoTrackId = -1;
2. uint8_t *buffer = ...; // 编码config data，如果没有可以不传
3. size_t size = ...;  // 编码config data的长度，根据实际情况配置
5. OH_AVFormat *formatVideo = OH_AVFormat_Create();
6. OH_AVFormat_SetStringValue(formatVideo, OH_MD_KEY_CODEC_MIME, OH_AVCODEC_MIMETYPE_VIDEO_HEVC); // 必填
7. OH_AVFormat_SetIntValue(formatVideo, OH_MD_KEY_WIDTH, 1280); // 必填
8. OH_AVFormat_SetIntValue(formatVideo, OH_MD_KEY_HEIGHT, 720); // 必填
9. // (可选)HDRVivid视频封装时必填，指定为HDRVivid视频
10. OH_AVFormat_SetIntValue(formatVideo, OH_MD_KEY_VIDEO_IS_HDR_VIVID, 1);
11. // (可不设置，封装器从编码码流xps自动解析) 设置Color信息，如下。
12. // 这些信息也可以通过调用OH_VideoEncoder_GetOutputDescription(OH_AVCodec *codec)接口从编码器中获取。
13. OH_AVFormat_SetIntValue(format, OH_MD_KEY_RANGE_FLAG, 1);
14. OH_AVFormat_SetIntValue(format, OH_MD_KEY_COLOR_PRIMARIES, OH_ColorPrimary::COLOR_PRIMARY_BT2020);
15. OH_AVFormat_SetIntValue(format, OH_MD_KEY_TRANSFER_CHARACTERISTICS, OH_TransferCharacteristic::TRANSFER_CHARACTERISTIC_PQ); // PQ或者HLG
16. OH_AVFormat_SetIntValue(format, OH_MD_KEY_MATRIX_COEFFICIENTS, OH_MatrixCoefficient::MATRIX_COEFFICIENT_BT2020_CL);
18. ret = OH_AVMuxer_AddTrack(muxer, &videoTrackId, formatVideo);
19. if (ret != AV_ERR_OK || videoTrackId < 0) {
20.     // 音频轨添加失败
21. }
22. OH_AVFormat_Destroy(formatVideo); // 销毁

复制代码

处理视频帧数据

• 写入封装数据。
  

1. // start后，才能开始写入数据
2. int trackId = videoTrackId; // 选择写的媒体轨
3. // 取出回调函数OnNewOutputBuffer送入输出队列的帧buffer
4. CodecBufferInfo bufferInfo = outputBufferInfoQueue_.front();
5. outputBufferInfoQueue_.pop();
6. ret = OH_AVMuxer_WriteSampleBuffer(muxer, trackId, bufferInfo.buffer);
7. if (ret != AV_ERR_OK) {
8.     // 异常处理
9. }

复制代码

• 调用OH_VideoEncoder_FreeOutputBuffer()释放编码帧。
  

1. // 释放已完成写入的数据，index为对应输出队列的下标
2. ret = OH_VideoEncoder_FreeOutputBuffer(videoEnc, bufferInfo.bufferIndex);
3. if (ret != AV_ERR_OK) {
4.     // 异常处理
5. }

复制代码

末了呢

许多开发朋侪不知道必要学习那些鸿蒙技能？鸿蒙开发岗位必要掌握那些核心技能点？为此鸿蒙的开发学习必须要系统性的进行。
而网上有关鸿蒙的开发资料非常的少，假如你想学好鸿蒙的应用开发与系统底层开发。你可以参考这份资料，少走许多弯路，节流没必要的麻烦。由两位前阿里高级研发工程师联合打造的《鸿蒙NEXT星河版OpenHarmony开发文档》里面内容包罗了（ArkTS、ArkUI开发组件、Stage模型、多端摆设、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技能、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等）鸿蒙（Harmony NEXT）技能知识点
如果你是一名Android、Java、前端等等开发人员，想要转入鸿蒙方向发展。可以直接领取这份资料辅助你的学习。下面是鸿蒙开发的学习门路图。

针对鸿蒙成长门路打造的鸿蒙学习文档。话不多说，我们直接看具体鸿蒙（OpenHarmony ）手册（共计1236页）与鸿蒙（OpenHarmony ）开发入门视频，资助各人在技能的道路上更进一步。

• 《鸿蒙 (OpenHarmony)开发学习视频》
  
• 《鸿蒙生态应用开发V2.0白皮书》
  
• 《鸿蒙 (OpenHarmony)开发基础到实战手册》
  
• OpenHarmony北向、南向开发环境搭建
  
• 《鸿蒙开发基础》
  
• 《鸿蒙开发进阶》
  
• 《鸿蒙开发实战》
  

总结

鸿蒙—作为国家主力推送的国产操纵系统。部分的高校已经取消了安卓课程，从而开设鸿蒙课程；企业纷纷跟进启动了鸿蒙研发。
而且鸿蒙是完全具备无与伦比的机会和潜力的；预计到年底将有 5,000 款的应用完成原生鸿蒙开发，未来将会支持 50 万款的应用。那么这么多的应用必要开发，也就意味着必要有更多的鸿蒙人才。鸿蒙开发工程师也将会迎来发作式的增长，学习鸿蒙势在必行！ 自↓↓↓拿

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。