通过多线程分别获取高分辨率和低分辨率的H264码流

目录
一.RV1126 VI收罗摄像头数据并同时获取高分辨率码流和低分辨率码流流程
​编辑
1.1初始化VI模块：
1.2初始化RGA模块：
1.3初始化高分辨率VENC编码器、 低分辨率VENC编码器：
1.4 VI绑定高分辨率VENC编码器，VI绑定RGA模块，伪代码如下：
1.5 创建多线程获取高分辨率编码数据：
1.6 创建多线程获取低分辨率数据并传输到编码器：
1.7.创建多线程获取低分辨率编码数据:
三.运行的结果：

---

一.RV1126 VI收罗摄像头数据并同时获取高分辨率码流和低分辨率码流流程

RV1126使用多线程同时获取高分辨率编码文件、低分辨率编码文件，一样平常要分为上图8个步骤：VI模块初始化、RGA图像模块初始化、高分辨率编码器的初始化、低分辨率编码器的初始化、VI绑定高分辨率VENC编码器、创建多线程获取高分辨率编码数据、创建多线程获取低分辨率数据并传输到编码器、创建多线程获取低分辨率编码数据。

1.1初始化VI模块：

VI模块的初始化现实上就是对VI_CHN_ATTR_S的参数进行设置、然后调用RK_MPI_VI_SetChnAttr设置VI模块并使能RK_MPI_VI_EnableChn，伪代码如下：
VI_CHN_ATTR_S  vi_chn_attr;
。。。。。。。。。。。。。。。(这里是设置VI的属性)
ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, 0, &vi_chn_attr);
ret |= RK_MPI_VI_EnableChn(CAMERA_ID, 0);

1.2初始化RGA模块：

RGA重要的作用是缩放VI模块的分辨率，比方说：VI模块的分辨率1920 * 1080，经过RGA缩放后分辨率为1280 * 720，并使用RK_MPI_RGA_CreateChn创建RGA模块，伪代码如下：
RGA_ATTR_S rga_attr;
rga_attr.stImgIn.u32Width = 1920;
rga_attr.stImgIn.u32Height = 1080;
。。。。。。。。。
rga_attr.stImgOut.u32Width = 1280;
rga_attr.stImgOut.u32Height = 720;
。。。。。。。。。。。
RK_MPI_RGA_CreateChn(RGA_CHN_ID, &rga_attr);
这段代码的焦点是输入图像(输入分辨率是原分辨率和VI模块同等)和输出分辨率(输出分辨率是自己设置的分辨率)的设置。比方说输入的分辨率是 : 1920*1080，那stImgIn.u32Width = 1920 、stImgIn.u32Height = 1080，输出图像成：1280 * 720，stImgOut.u32Width = 1280、stImgOut.u32Height = 720。

1.3初始化高分辨率VENC编码器、 低分辨率VENC编码器：

高分辨率编码器的初始化
VENC_CHN_ATTR_S high_venc_chn_attr;
high_venc_chn_attr.stVencAttr.u32PicWidth = 1920;
high_venc_chn_attr.stVencAttr.u32PicHeight = 1080;
high_venc_chn_attr.stVencAttr.u32VirWidth = 1920;
high_venc_chn_attr.stVencAttr.u32VirHeight = 1080;
................................
RK_MPI_VENC_CreateChn(HIGH_VENC_CHN, &high_venc_chn_attr);

低分辨率编码器的初始化
VENC_CHN_ATTR_S low_venc_chn_attr;
low_venc_chn_attr.stVencAttr.u32PicWidth = 1280;
low_venc_chn_attr.stVencAttr.u32PicHeight = 720;
low_venc_chn_attr.stVencAttr.u32VirWidth = 1280;
low_venc_chn_attr.stVencAttr.u32VirHeight = 720;
................................
RK_MPI_VENC_CreateChn(HIGH_VENC_CHN, &low_venc_chn_attr);
高分辨率和低分辨率最焦点的设置就是分辨率的设置，高分辨率u32PicWidth = 1920、u32PicHeight = 1920，低分辨率u32PicWidth = 1280、u32PicHeight = 720

1.4 VI绑定高分辨率VENC编码器，VI绑定RGA模块，伪代码如下：


//VI模块绑定RGA模块
MPP_CHN_S vi_chn_s;
vi_chn_s.enModId = RK_ID_VI;
vi_chn_s.s32ChnId = CAMERA_CHN;

MPP_CHN_S rga_chn_s;
rga_chn_s.enModId = RK_ID_RGA;
rga_chn_s.s32ChnId = RGA_CHN_ID;
RK_MPI_SYS_Bind(&vi_chn_s, &rga_chn_s);

//VI模块绑定高分辨率VENC模块
MPP_CHN_S high_venc_chn_s;
high_venc_chn_s_s.enModId = RK_ID_VENC;
high_venc_chn_s_s.s32ChnId = HIGH_VENC_ID;
RK_MPI_SYS_Bind(&vi_chn_s, &high_venc_chn_s);

1.5 创建多线程获取高分辨率编码数据：

开启一个线程去收罗每一帧高分辨率的VENC模块数据，使用的API是RK_MPI_SYS_GetMediaBuffer， 模块ID是RK_ID_VENC，通道号ID是高分辨率VENC创建的ID号：
while(1)
{
  .........................
  mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, HIGH_VENC_ID, -1);
  fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1,high_venc_id);
.......................
}

1.6 创建多线程获取低分辨率数据并传输到编码器：

开启一个线程去收罗每一帧RGA低分辨率的数据，使用的API是RK_MPI_SYS_GetMediaBuffer， 模块ID是RK_ID_RGA，通道号ID是RGA的通道ID，收罗完每一帧RGA数据则使用RK_MPI_SYS_SendMediaBuffer传输到低分辨率编码器。这个API伪代码如下：
while (1)
{
.........................................
mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_RGA, 0, -1);
    RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, LOW_VENC_ID, mb);
................................
}
下面我们来看看RK_MPI_SYS_SendMediaBuffer的具体实现：

RK_S32 RK_MPI_SYS_SendMediaBuffer(MOD_ID_E enModID, RK_S32 s32ChnID, MEDIA_BUFFER buffer);

enModID：开发者需要传输的目标模块的ID号，比方说VI模块的数据传输到VENC模块，那么目标模块就是VENC，ID号就是RK_ID_VENC；比方说VI模块的数据传输到RGA模块，那么目标模块就是RGA，ID号就是RK_ID_RGA。
s32ChnID：目标模块的通道号
buffer：缓冲区数据MediaBuffer

1.7.创建多线程获取低分辨率编码数据:

开启一个线程去收罗每一帧低分辨率的编码数据，使用的API是RK_MPI_SYS_GetMediaBuffer， 模块ID是RK_ID_VENC，通道号ID是低分辨率VENC创建的ID号。这个API伪代码如下：
while (1)
{
.........................................
mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, LOW_VENC_ID, -1);
fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, low_venc_file);
................................
}

二.代码实战

1. #include <assert.h>
2. #include <fcntl.h>
3. #include <getopt.h>
4. #include <pthread.h>
5. #include <signal.h>
6. #include <stdbool.h>
7. #include <stdio.h>
8. #include <stdlib.h>
9. #include <time.h>
10. #include <unistd.h>
12. // #include "common/sample_common.h"
13. #include "rkmedia_api.h"
15. #define PIPE_ID 0
16. #define VI_CHN_ID 0
18. #define RGA_CHN_ID 0
20. #define HIGH_VENC_CHN 0
21. #define LOW_VENC_CHN 1
23. //创建多线程获取高分辨率的编码码流
24. void *get_high_venc_thread(void *args)
25. {
26.     pthread_detach(pthread_self());
27.     FILE *high_venc_file = fopen("test_high_venc.h264", "w+");
28.     MEDIA_BUFFER mb;
30.     while (1)
31.     {
32.         //获取每一帧高分辨率编码码流数据
33.         mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, HIGH_VENC_CHN, -1);
34.         if (!mb)
35.         {
36.             printf("Get High Venc break.....\n");
37.         }
39.         printf("Get High Venc Success.....\n");
40.         fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, high_venc_file);
41.         RK_MPI_MB_ReleaseBuffer(mb);
42.     }
44.     return NULL;
45. }
47. //创建多线程获取RGA码流并发送到低分辨率编码器
48. void *rga_handle_thread(void *args)
49. {
50.     pthread_detach(pthread_self());
51.     MEDIA_BUFFER mb;
53.     while (1)
54.     {
55.          //获取每一帧RGA码流数据
56.         mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_RGA, RGA_CHN_ID, -1);
57.         if (!mb)
58.         {
59.             printf("Get RGA break.....\n");
60.         }
62.         printf("Get RGA Success.....\n");
63.         //发送每一帧RGA数据到低分辨率编码器
64.         RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, LOW_VENC_CHN, mb);
65.         RK_MPI_MB_ReleaseBuffer(mb);
66.     }
68.     return NULL;
69. }
71. //创建多线程获取低分辨率编码码流
72. void *get_low_venc_thread(void *args)
73. {
74.     pthread_detach(pthread_self());
75.     MEDIA_BUFFER mb;
76.     FILE * low_venc_file = fopen("test_low_venc.h264", "w+");
78.     while (1)
79.     {
80.         //获取每一帧低分辨率编码码流
81.         mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, LOW_VENC_CHN, -1);
82.         if (!mb)
83.         {
84.             printf("Get LOW VENC break.....\n");
85.         }
87.         printf("Get LOW VENC Success.....\n");
88.         fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, low_venc_file);
89.         RK_MPI_MB_ReleaseBuffer(mb);
90.     }
92.     return NULL;
93. }
95. int main(int argc, char *argv[])
96. {
98.     int ret;
99.     RK_MPI_SYS_Init();
101.     // VI Init......
102.     VI_CHN_ATTR_S vi_chn_attr;
103.     vi_chn_attr.pcVideoNode = "rkispp_scale0";//设置视频设备节点路径
104.     vi_chn_attr.u32Width = 1920;//设置分辨率的宽度
105.     vi_chn_attr.u32Height = 1080;//设置分辨率的高度
106.     vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;//设置图像类型
107.     vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP;//设置VI获取类型
108.     vi_chn_attr.u32BufCnt = 3;//设置缓冲数量
109.     vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL;//设置VI工作类型
110.     ret = RK_MPI_VI_SetChnAttr(PIPE_ID, VI_CHN_ID, &vi_chn_attr);
111.     if (ret)
112.     {
113.         printf("VI_CHN_ATTR Set Failed.....\n");
114.         return -1;
115.     }
116.     else
117.     {
118.         printf("VI_CHN_ATTR Set Success.....\n");
119.     }
121.     ret = RK_MPI_VI_EnableChn(PIPE_ID, VI_CHN_ID);
122.     if (ret)
123.     {
124.         printf("VI_CHN_ATTR Enable Failed.....\n");
125.         return -1;
126.     }
127.     else
128.     {
129.         printf("VI_CHN_ATTR Enable Success.....\n");
130.     }
132.     // RGA
133.     RGA_ATTR_S rga_info;
134.     /**Image Input ..............*/
135.     rga_info.stImgIn.u32Width = 1920;//设置RGA输入分辨率宽度
136.     rga_info.stImgIn.u32Height = 1080;//设置RGA输入分辨率高度
137.     rga_info.stImgIn.u32HorStride = 1920;//设置RGA输入分辨率虚宽
138.     rga_info.stImgIn.u32VirStride = 1080;//设置RGA输入分辨率虚高
139.     rga_info.stImgIn.imgType = IMAGE_TYPE_NV12;//设置ImageType图像类型
140.     rga_info.stImgIn.u32X = 0;//设置X坐标
141.     rga_info.stImgIn.u32Y = 0;//设置Y坐标
143.     /**Image Output......................*/
144.     rga_info.stImgOut.u32Width = 1280;//设置RGA输出分辨率宽度
145.     rga_info.stImgOut.u32Height = 720;//设置RGA输出分辨率高度
146.     rga_info.stImgOut.u32HorStride = 1280;//设置RGA输出分辨率虚宽
147.     rga_info.stImgOut.u32VirStride = 720;//设置RGA输出分辨率虚高
148.     rga_info.stImgOut.imgType = IMAGE_TYPE_NV12;//设置输出ImageType图像类型
149.     rga_info.stImgOut.u32X = 0;//设置X坐标
150.     rga_info.stImgOut.u32Y = 0;//设置Y坐标
152.     // RGA Public Parameter
153.     rga_info.u16BufPoolCnt = 3;//缓冲池计数
154.     rga_info.u16Rotaion = 0;//
155.     rga_info.enFlip = RGA_FLIP_H;//水平翻转
156.     rga_info.bEnBufPool = RK_TRUE;
157.     ret = RK_MPI_RGA_CreateChn(RGA_CHN_ID, &rga_info);
158.     if (ret)
159.     {
160.         printf("RGA Set Failed.....\n");
161.     }
162.     else
163.     {
164.         printf("RGA Set Success.....\n");
165.     }
167.     // High Venc Parameter
168.     VENC_CHN_ATTR_S high_venc_attr;
169.     high_venc_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;//设置编码器类型
170.     high_venc_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;//设置编码图像类型
171.     high_venc_attr.stVencAttr.u32PicWidth = 1920;//设置编码分辨率宽度
172.     high_venc_attr.stVencAttr.u32PicHeight = 1080;//设置编码分辨率高度
173.     high_venc_attr.stVencAttr.u32VirWidth = 1920;//设置编码分辨率虚宽
174.     high_venc_attr.stVencAttr.u32VirHeight = 1080;//设置编码分辨率虚高
175.     high_venc_attr.stVencAttr.u32Profile = 66;//设置编码等级
176.     high_venc_attr.stVencAttr.enRotation = VENC_ROTATION_0;//设置编码的旋转角度
178.     //********* 设置码率控制属性  *******************//
179.     high_venc_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;//设置H264的CBR码率控制模式
180.     high_venc_attr.stRcAttr.stH264Cbr.u32Gop = 25;//设置GOP关键帧间隔
181.     high_venc_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;//设置源帧率分子
182.     high_venc_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;//设置源帧率分母
183.     high_venc_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;//设置目标帧率分子
184.     high_venc_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;//设置目标帧率分母
185.     high_venc_attr.stRcAttr.stH264Cbr.u32BitRate = 8388608;//设置码率大小
186.     ret = RK_MPI_VENC_CreateChn(HIGH_VENC_CHN, &high_venc_attr);
187.     if (ret)
188.     {
189.         printf("Set High Venc Attr Failed.....\n");
190.     }
191.     else
192.     {
193.         printf("Set High Venc Attr Success.....\n");
194.     }
196.     // Low Venc Parameter
197.     VENC_CHN_ATTR_S low_venc_attr;
198.     low_venc_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;//设置编码器类型
199.     low_venc_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;//设置编码图像类型
200.     low_venc_attr.stVencAttr.u32PicWidth = 1280;//设置编码分辨率宽度
201.     low_venc_attr.stVencAttr.u32PicHeight = 720;//设置编码分辨率高度
202.     low_venc_attr.stVencAttr.u32VirWidth = 1280;//设置编码分辨率虚宽
203.     low_venc_attr.stVencAttr.u32VirHeight = 720;//设置编码分辨率虚高
204.     low_venc_attr.stVencAttr.u32Profile = 66;//设置编码等级
205.     low_venc_attr.stVencAttr.enRotation = VENC_ROTATION_0;//设置编码的旋转角度
207.      //********* 设置码率控制属性  *******************//
208.     low_venc_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;//设置H264的CBR码率控制模式
209.     low_venc_attr.stRcAttr.stH264Cbr.u32Gop = 25;//设置GOP关键帧间隔
210.     low_venc_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;//设置源帧率分子
211.     low_venc_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;//设置源帧率分母
212.     low_venc_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;//设置目标帧率分子
213.     low_venc_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;//设置目标帧率分母
214.     low_venc_attr.stRcAttr.stH264Cbr.u32BitRate = 8388608;//设置码率大小
215.     ret = RK_MPI_VENC_CreateChn(LOW_VENC_CHN, &low_venc_attr);
216.     if (ret)
217.     {
218.         printf("Set Low Venc Attr Failed.....\n");
219.     }
220.     else
221.     {
222.         printf("Set Low Venc Attr Success.....\n");
223.     }
225.     MPP_CHN_S vi_chn_s;
226.     vi_chn_s.enModId = RK_ID_VI;
227.     vi_chn_s.s32ChnId = VI_CHN_ID;
229.     MPP_CHN_S high_chn_s;
230.     high_chn_s.enModId = RK_ID_VENC;
231.     high_chn_s.s32ChnId = HIGH_VENC_CHN;
233.     //VI绑定高分辨率VENC模块
234.     ret = RK_MPI_SYS_Bind(&vi_chn_s, &high_chn_s);
235.     if (ret)
236.     {
237.         printf("VI Bind High Venc Failed.....\n");
238.         return -1;
239.     }
240.     else
241.     {
242.         printf("VI Bind High Venc Success.....\n");
243.     }
245.     MPP_CHN_S rga_chn_s;
246.     rga_chn_s.enModId = RK_ID_RGA;
247.     rga_chn_s.s32ChnId = RGA_CHN_ID;
249.     //VI绑定RGA模块
250.     ret = RK_MPI_SYS_Bind(&vi_chn_s, &rga_chn_s);
251.     if (ret)
252.     {
253.         printf("VI Bind RGA Failed.....\n");
254.         return -1;
255.     }
256.     else
257.     {
258.         printf("VI Bind RGA Success.....\n");
259.     }
261.     pthread_t high_venc_pid;
262.     pthread_t rga_pid;
263.     pthread_t low_venc_pid;
265.     pthread_create(&high_venc_pid, NULL, get_high_venc_thread, NULL); //创建多线程获取高分辨率的编码码流 
266.     pthread_create(&rga_pid, NULL, rga_handle_thread, NULL);//创建多线程获取RGA码流并发送到低分辨率编码器
267.     pthread_create(&low_venc_pid, NULL, get_low_venc_thread, NULL);//创建多线程获取低分辨率编码码流
269.     while (1)
270.     {
271.         sleep(1);
272.     }
274.     RK_MPI_SYS_UnBind(&vi_chn_s, &high_chn_s);
275.     RK_MPI_SYS_UnBind(&vi_chn_s, &rga_chn_s);
276.     RK_MPI_RGA_DestroyChn(RGA_CHN_ID);
277.     RK_MPI_VENC_DestroyChn(HIGH_VENC_CHN);
278.     RK_MPI_VENC_DestroyChn(LOW_VENC_CHN);
279.     RK_MPI_VI_DisableChn(PIPE_ID, VI_CHN_ID);
281.     return 0;
282. }

复制代码

三.运行的结果：

分别用ffplay播放器分别播出高分辨率H264文件(test_high_venc.h264)，低分辨率(test_rga_venc.h264)
ffplay test_high_venc.h264
ffplay test_rga_venc.h264

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。