OpenGL Texture C++ 预览Camera视频

小秦哥  金牌会员 | 2024-9-7 12:53:35 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 984|帖子 984|积分 2952

OpenGL是一个图形API，并不是一个独立的平台。包含了一系列可以操作图形、图像的函数。基于Texture纹理强盛的功能，本篇文章实现Android OpenGL Texture C++ 预览Camera视频流的功能。
       项目github地址：https://github.com/wangyongyao1989/WyFFmpeg
        
一、代码实现步骤及图示预览：


二、Camera数据获取：

        Android Camera可以获取图片数据的视频流信息。
       1、 打开Camera后，获取ImageReader读取视频对应的相片数据。

  1.     /**
  2.      * Opens the camera.
  3.      */
  4.     @SuppressLint({"WrongConstant", "MissingPermission"})
  5.     public void openCamera() {
  6.         if (checkSelfPermission(mContext, Manifest.permission.CAMERA)
  7.                 != PackageManager.PERMISSION_GRANTED) {
  8.             return;
  9.         }
  11.         mImageReader = ImageReader.newInstance(mPreviewSize.getWidth()
  12.                 , mPreviewSize.getHeight()
  13.                 , ImageFormat.YUV_420_888, IMAGE_BUFFER_SIZE);
  14.         mImageReader.setOnImageAvailableListener(mVideoCapture
  15.                 , mBackgroundHandler);
  17.         Log.i(TAG, "openCamera");
  19.         CameraManager manager = (CameraManager)
  20.                 mContext.getSystemService(Context.CAMERA_SERVICE);
  21.         try {
  22.             if (!mCameraOpenCloseLock.tryAcquire(2500
  23.                     , TimeUnit.MILLISECONDS)) {
  24.                 throw new RuntimeException("Time out waiting " +
  25.                         "to lock camera opening.");
  26.             }
  27.             manager.openCamera(mCameraId, mStateCallback
  28.                     , mBackgroundHandler);
  29.         } catch (CameraAccessException e) {
  30.             Log.e(TAG, "Cannot " +
  31.                     "access the camera " + e);
  32.         } catch (InterruptedException e) {
  33.             throw new RuntimeException("Interrupted while " +
  34.                     "trying to lock camera opening.", e);
  35.         }
  36.     }
复制代码
        2、在监听ImageReader.OnImageAvailableListener中读取ImageReader并转换成YUV_420_888的数据。

  1.   @Override
  2.     public void onImageAvailable(ImageReader imageReader) {
  4.         Image image = imageReader.acquireLatestImage();
  5.         if (image != null) {
  6.             if (mPreviewFrameHandler != null) {
  7.                 mPreviewFrameHandler.onPreviewFrame(YUV_420_888_data(image), image.getWidth(), image.getHeight());
  8.             }
  10.             image.close();
  11.         }
  12.     }
  14.     private static byte[] YUV_420_888_data(Image image) {
  15.         final int imageWidth = image.getWidth();
  16.         final int imageHeight = image.getHeight();
  17.         final Image.Plane[] planes = image.getPlanes();
  18.         byte[] data = new byte[imageWidth * imageHeight *
  19.                 ImageFormat.getBitsPerPixel(ImageFormat.YUV_420_888) / 8];
  20.         int offset = 0;
  22.         for (int plane = 0; plane < planes.length; ++plane) {
  23.             final ByteBuffer buffer = planes[plane].getBuffer();
  24.             final int rowStride = planes[plane].getRowStride();
  25.             // Experimentally, U and V planes have |pixelStride| = 2, which
  26.             // essentially means they are packed.
  27.             final int pixelStride = planes[plane].getPixelStride();
  28.             final int planeWidth = (plane == 0) ? imageWidth : imageWidth / 2;
  29.             final int planeHeight = (plane == 0) ? imageHeight : imageHeight / 2;
  30.             if (pixelStride == 1 && rowStride == planeWidth) {
  31.                 // Copy whole plane from buffer into |data| at once.
  32.                 buffer.get(data, offset, planeWidth * planeHeight);
  33.                 offset += planeWidth * planeHeight;
  34.             } else {
  35.                 // Copy pixels one by one respecting pixelStride and rowStride.
  36.                 byte[] rowData = new byte[rowStride];
  37.                 for (int row = 0; row < planeHeight - 1; ++row) {
  38.                     buffer.get(rowData, 0, rowStride);
  39.                     for (int col = 0; col < planeWidth; ++col) {
  40.                         data[offset++] = rowData[col * pixelStride];
  41.                     }
  42.                 }
  43.                 // Last row is special in some devices and may not contain the full
  44.                 // |rowStride| bytes of data.
  45.                 // See http://developer.android.com/reference/android/media/Image.Plane.html#getBuffer()
  46.                 buffer.get(rowData, 0, Math.min(rowStride, buffer.remaining()));
  47.                 for (int col = 0; col < planeWidth; ++col) {
  48.                     data[offset++] = rowData[col * pixelStride];
  49.                 }
  50.             }
  51.         }
  53.         return data;
  54.     }
复制代码

三、设置OpenGL的使用场景：

        GLTextureCPlusVideoPlayerView继承GLSurfcaeView，实现GLSurfcaeView.Renderer接口：
  1. package com.wangyongyao.glplay.view;
  3. import android.content.Context;
  4. import android.opengl.GLSurfaceView;
  5. import android.util.AttributeSet;
  6. import android.util.Log;
  9. import com.wangyongyao.glplay.OpenGLPlayCallJni;
  10. import com.wangyongyao.glplay.camerahelper.camerahelper.CameraDataHelper;
  11. import com.wangyongyao.glplay.camerahelper.camerahelper.CameraDataListener;
  12. import com.wangyongyao.glplay.utils.OpenGLPlayFileUtils;
  14. import javax.microedition.khronos.egl.EGLConfig;
  15. import javax.microedition.khronos.opengles.GL10;
  17. /**
  18. * author : wangyongyao https://github.com/wangyongyao1989
  19. * Create Time : 2024/9/3 23:57
  20. * Descibe : MyyFFmpeg com.example.myyffmpeg.utils
  21. */
  22. public class GLTextureCPlusVideoPlayerView extends GLSurfaceView
  23.         implements GLSurfaceView.Renderer, CameraDataListener {
  26.     private static String TAG = GLTextureCPlusVideoPlayerView.class.getSimpleName();
  27.     private OpenGLPlayCallJni mJniCall;
  28.     private Context mContext;
  31.     private int mWidth;
  32.     private int mHeight;
  33.     private CameraDataHelper mCameraHelper;
  36.     public GLTextureCPlusVideoPlayerView(Context context, OpenGLPlayCallJni jniCall) {
  37.         super(context);
  38.         mContext = context;
  39.         mJniCall = jniCall;
  40.         init();
  41.     }
  43.     public GLTextureCPlusVideoPlayerView(Context context, AttributeSet attrs) {
  44.         super(context, attrs);
  45.         mContext = context;
  46.         init();
  47.     }
  49.     private void init() {
  50.         getHolder().addCallback(this);
  51.         setEGLContextClientVersion(3);
  52.         setEGLConfigChooser(8, 8, 8, 8, 16, 0);
  53.         String fragPath = OpenGLPlayFileUtils.getModelFilePath(mContext
  54.                 , "texture_video_play_frament.glsl");
  55.         String vertexPath = OpenGLPlayFileUtils.getModelFilePath(mContext
  56.                 , "texture_video_play_vert.glsl");
  57.         String picSrc1 = OpenGLPlayFileUtils.getModelFilePath(mContext
  58.                 , "wall.jpg");
  59.         mCameraHelper = new CameraDataHelper(getContext(), this);
  60.         mCameraHelper.startCamera();
  61.         mJniCall.glTextureVideoPlayCreate(0, vertexPath, fragPath);
  63.         setRenderer(this);
  64.         setRenderMode(GLSurfaceView.RENDERMODE_WHEN_DIRTY);
  66.     }
  69.     private void stopCameraPreview() {
  70.         mCameraHelper.destroy();
  71.     }
  74.     public void onDrawFrame(GL10 gl) {
  75.         if (mJniCall != null) {
  76.             mJniCall.glTextureVideoPlayRender();
  77.         }
  79.     }
  81.     public void onSurfaceChanged(GL10 gl, int width, int height) {
  82.         Log.e(TAG, "onSurfaceChanged width:" + width + ",height" + height);
  83.         if (mJniCall != null) {
  84.             mJniCall.glTextureVideoPlayInit(null, null, width, height);
  85.         }
  86.         mWidth = width;
  87.         mHeight = height;
  88.         mCameraHelper.initialize(width, height);
  89.     }
  92.     @Override
  93.     public void onSurfaceCreated(GL10 gl10, EGLConfig eglConfig) {
  94.         Log.e(TAG, "onSurfaceCreated:");
  96.     }
  99.     @Override
  100.     public void onPreviewFrame(byte[] yuvData, int width, int height) {
  101.         mJniCall.glTextureVideoPlayDraw(yuvData, width, height, 90);
  102.         requestRender();
  103.     }
  106.     public void destroyRender() {
  107.         mJniCall.glTextureVideoPlayDestroy();
  108.         stopCameraPreview();
  109.     }
  111. }
复制代码
   这里需要留意的是要设置setRenderMode(GLSurfaceView.RENDERMODE_WHEN_DIRTY)，等待onPreviewFrame回调数据之后在进行Texture的帧渲染。
  1.     /**
  2.      * The renderer only renders
  3.      * when the surface is created, or when {@link #requestRender} is called.
  4.      *
  5.      * @see #getRenderMode()
  6.      * @see #setRenderMode(int)
  7.      * @see #requestRender()
  8.      */
  9.     public final static int RENDERMODE_WHEN_DIRTY = 0;
复制代码

 四、JNI层把Java的数据传入C++层：

        1、Java层实现：

        定义的实行流程的序次方法：glTextureVideoPlayeCreate -> glTextureVideoPlayeInit -> glTextureVideoPlayeCreate -> glTextureVideoPlayeDraw -> glTextureVideoPlayeRender 。
  1. /*********************** OpenGL Texture显示视频********************/
  2.     public void glTextureVideoPlayCreate(int type, String vertexPath, String fragPath) {
  3.         native_texture_video_play_create(type, vertexPath, fragPath);
  4.     }
  6.     public void glTextureVideoPlayDestroy() {
  7.         native_texture_video_play_destroy();
  8.     }
  10.     public void glTextureVideoPlayInit(Surface surface, AssetManager assetManager
  11.             , int width, int height) {
  12.         native_texture_video_play_init(surface, assetManager, width, height);
  13.     }
  15.     public void glTextureVideoPlayRender() {
  16.         native_texture_video_play_render();
  17.     }
  19.     public void glTextureVideoPlayDraw(byte[] data, int width, int height, int rotation) {
  20.         native_texture_video_play_draw(data, width, height, rotation);
  21.     }
  23.     public void glTextureVideoPlaySetParameters(int params) {
  24.         native_texture_video_play_set_parameters(params);
  25.     }
  27.     public int glTextureVideoPlayGetParameters() {
  28.         return native_texture_video_play_get_parameters();
  29.     }
  31.     private native void native_texture_video_play_create(int type, String vertexPath
  32.             , String fragPath);
  34.     private native void native_texture_video_play_destroy();
  36.     private native void native_texture_video_play_init(Surface surface
  37.             , AssetManager assetManager
  38.             , int width, int height);
  40.     private native void native_texture_video_play_render();
  42.     private native void native_texture_video_play_draw(byte[] data, int width
  43.             , int height, int rotation);
  45.     private native void native_texture_video_play_set_parameters(int params);
  47.     private native int native_texture_video_play_get_parameters();
复制代码
        2、JNI层实现：

  1. /*********************** OpenGL Texture预览Camera视频********************/
  2. extern "C"
  3. JNIEXPORT void JNICALL
  4. cpp_texture_video_play_creat(JNIEnv *env, jobject thiz, jint type,
  5.                              jstring vertex,
  6.                              jstring frag) {
  7.     const char *vertexPath = env->GetStringUTFChars(vertex, nullptr);
  8.     const char *fragPath = env->GetStringUTFChars(frag, nullptr);
  9.     if (textureVideoRender == nullptr)
  10.         textureVideoRender = new OpenglesTexureVideoRender();
  12.     textureVideoRender->setSharderPath(vertexPath, fragPath);
  14.     env->ReleaseStringUTFChars(vertex, vertexPath);
  15.     env->ReleaseStringUTFChars(frag, fragPath);
  16. }
  18. extern "C"
  19. JNIEXPORT void JNICALL
  20. cpp_texture_video_play_destroy(JNIEnv *env, jobject thiz) {
  22. }
  24. extern "C"
  25. JNIEXPORT void JNICALL
  26. cpp_texture_video_play_init(JNIEnv *env, jobject thiz,
  27.                             jobject surface,
  28.                             jobject assetManager,
  29.                             jint width,
  30.                             jint height) {
  31.     if (textureVideoRender != nullptr) {
  32.         ANativeWindow *window = surface ? ANativeWindow_fromSurface(env, surface) : nullptr;
  33.         auto *aAssetManager = assetManager ? AAssetManager_fromJava(env, assetManager) : nullptr;
  34.         textureVideoRender->init(window, aAssetManager, (size_t) width, (size_t) height);
  35.     }
  36. }
  38. extern "C"
  39. JNIEXPORT void JNICALL
  40. cpp_texture_video_play_render(JNIEnv *env, jobject thiz) {
  41.     if (textureVideoRender != nullptr) {
  42.         textureVideoRender->render();
  43.     }
  44. }
  46. extern "C"
  47. JNIEXPORT void JNICALL
  48. cpp_texture_video_play_draw(JNIEnv *env, jobject obj, jbyteArray data, jint width, jint height,
  49.                             jint rotation) {
  50.     jbyte *bufferPtr = env->GetByteArrayElements(data, nullptr);
  51.     jsize arrayLength = env->GetArrayLength(data);
  53.     if (textureVideoRender != nullptr) {
  55.         textureVideoRender->draw((uint8_t *) bufferPtr, (size_t) arrayLength, (size_t) width,
  56.                                  (size_t) height,
  57.                                  rotation);
  58.     }
  60.     env->ReleaseByteArrayElements(data, bufferPtr, 0);
  61. }
  63. extern "C"
  64. JNIEXPORT void JNICALL
  65. cpp_texture_video_play_setParameters(JNIEnv *env, jobject thiz, jint p) {
  67.     if (textureVideoRender != nullptr) {
  68.         textureVideoRender->setParameters((uint32_t) p);
  69.     }
  71. }
  73. extern "C"
  74. JNIEXPORT jint JNICALL
  75. cpp_texture_video_play_getParameters(JNIEnv *env, jobject thiz) {
  76.     if (textureVideoRender != nullptr) {
  77.         textureVideoRender->getParameters();
  78.     }
  79.     return 0;
  81. }
  83. static const JNINativeMethod methods[] = {
  84.         
  86.         /*********************** OpenGL Texture显示视频********************/
  87.         {"native_texture_video_play_create",         "(I"
  88.                                                      "Ljava/lang/String;"
  89.                                                      "Ljava/lang/String;)V",  (void *) cpp_texture_video_play_creat},
  90.         {"native_texture_video_play_destroy",        "()V",                   (void *) cpp_texture_video_play_destroy},
  91.         {"native_texture_video_play_init",           "(Landroid/view/Surface;"
  92.                                                      "Landroid/content/res"
  93.                                                      "/AssetManager;II)V",    (void *) cpp_texture_video_play_init},
  94.         {"native_texture_video_play_render",         "()V",                   (void *) cpp_texture_video_play_render},
  95.         {"native_texture_video_play_draw",           "([BIII)V",              (void *) cpp_texture_video_play_draw},
  96.         {"native_texture_video_play_set_parameters", "(I)V",                  (void *) cpp_texture_video_play_setParameters},
  97.         {"native_texture_video_play_get_parameters", "()I",                   (void *) cpp_texture_video_play_getParameters},
  100. };
  102. // 定义注册方法
  103. JNIEXPORT jint JNICALL JNI_OnLoad(JavaVM *vm, void *reserved) {
  104.     LOGD("动态注册");
  105.     JNIEnv *env;
  106.     if ((vm)->GetEnv((void **) &env, JNI_VERSION_1_6) != JNI_OK) {
  107.         LOGD("动态注册GetEnv  fail");
  108.         return JNI_ERR;
  109.     }
  111.     // 获取类引用
  112.     jclass clazz = env->FindClass(rtmp_class_name);
  114.     // 注册native方法
  115.     jint regist_result = env->RegisterNatives(clazz, methods,
  116.                                               sizeof(methods) / sizeof(methods[0]));
  117.     if (regist_result) { // 非零true 进if
  118.         LOGE("动态注册 fail regist_result = %d", regist_result);
  119.     } else {
  120.         LOGI("动态注册 success result = %d", regist_result);
  121.     }
  122.     return JNI_VERSION_1_6;
  123. }
复制代码
       
五、C++层的OpenGL Texture渲染实现：

       这里OpenGL相干的代码基于我的github项目：GitHub - wangyongyao1989/AndroidLearnOpenGL: OpenGL底子及运用
抽取过来进行实现的。
感爱好的可以去阅读我的关于OpenGL的相干的博客：https://blog.csdn.net/wangyongyao1989/category_6943979.html?spm=1001.2014.3001.5482
  1、着色器步伐:

        着色器步伐是GLSL的文件，把存放文件夹地址传入C++层的OpenGLShader.cpp中。


  •   texture_video_play_vert.glsl极点着色器：
  1. #version 320 es
  3. out vec2 v_texcoord;
  5. in vec4 position;
  6. in vec2 texcoord;
  8. void main() {
  9.     v_texcoord = texcoord;
  10.     gl_Position =  position;
  11. }
复制代码


  •  texture_video_play_fragment.glsl片断着色器：       
  1. #version 320 es
  3. precision mediump float;
  5. in vec2 v_texcoord;
  7. uniform lowp sampler2D s_textureY;
  8. uniform lowp sampler2D s_textureU;
  9. uniform lowp sampler2D s_textureV;
  11. out vec4 gl_FragColor;
  13. void main() {
  14.      float y, u, v, r, g, b;
  15.      y = texture(s_textureY, v_texcoord).r;
  16.      u = texture(s_textureU, v_texcoord).r;
  17.      v = texture(s_textureV, v_texcoord).r;
  18.      u = u - 0.5;
  19.      v = v - 0.5;
  20.      r = y + 1.403 * v;
  21.      g = y - 0.344 * u - 0.714 * v;
  22.      b = y + 1.770 * u;
  23.      gl_FragColor = vec4(r, g, b, 1.0);
  25. }
复制代码

2、OpenGLShader.cpp中着色器步伐编译、毗连、使用。

  1. //
  2. // Created by MMM on 2024/8/8.
  3. //
  5. #include "OpenGLShader.h"
  7. GLuint
  8. OpenGLShader::createProgram() {
  9.     vertexShader = loadShader(GL_VERTEX_SHADER, gVertexShaderCode);
  10.     LOGI("=====gVertexShaderCode :%s", gVertexShaderCode);
  11.     LOGI("======gFragmentShaderCode :%s", gFragmentShaderCode);
  12.     if (!vertexShader) {
  13.         checkGlError("loadShader GL_VERTEX_SHADER");
  14.         return 0;
  15.     }
  17.     fraShader = loadShader(GL_FRAGMENT_SHADER, gFragmentShaderCode);
  19.     if (!fraShader) {
  20.         checkGlError("loadShader GL_FRAGMENT_SHADER");
  21.         return 0;
  22.     }
  24.     shaderId = glCreateProgram();      //创建一个着色程序对象
  25.     if (shaderId) {
  26.         glAttachShader(shaderId, vertexShader);        //把着色器附加到了程序对象上
  27.         checkGlError("glAttachShader");
  28.         glAttachShader(shaderId, fraShader);
  29.         checkGlError("glAttachShader");
  30.         glLinkProgram(shaderId);   //链接程序对象
  31.         GLint linkStatus = GL_FALSE;
  32.         glGetProgramiv(shaderId, GL_LINK_STATUS, &linkStatus);  //检测链接着色器程序是否失败
  33.         if (linkStatus != GL_TRUE) {
  34.             GLint bufLength = 0;
  35.             glGetProgramiv(shaderId, GL_INFO_LOG_LENGTH, &bufLength);
  36.             if (bufLength) {
  37.                 char *buf = (char *) malloc(bufLength);
  38.                 if (buf) {
  39.                     glGetProgramInfoLog(shaderId, bufLength, NULL, buf);
  40.                     LOGE("Could not link shaderId:\n%s\n", buf);
  41.                     free(buf);
  42.                 }
  43.             }
  44.             glDeleteProgram(shaderId);     //
  45.             shaderId = 0;
  46.         }
  47.     }
  48.     return shaderId;
  49. }
  51. /**
  52. * 加载着色器
  53. * @param shaderType
  54. * @param pSource
  55. * @return
  56. */
  57. GLuint OpenGLShader::loadShader(GLenum shaderType, const char *pSource) {
  58.     GLuint shader = glCreateShader(shaderType);     //创建着色器
  59.     if (shader) {
  60.         glShaderSource(shader, 1, &pSource, NULL);  //着色器源码附加到着色器对象上
  61.         glCompileShader(shader);                    //编译着着色器
  62.         GLint compiled = 0;
  63.         glGetShaderiv(shader, GL_COMPILE_STATUS, &compiled);
  64.         if (!compiled) {
  65.             GLint infoLen = 0;
  66.             glGetShaderiv(shader, GL_INFO_LOG_LENGTH, &infoLen);
  67.             if (infoLen) {
  68.                 char *buf = (char *) malloc(infoLen);
  69.                 if (buf) {
  70.                     glGetShaderInfoLog(shader, infoLen, NULL, buf);
  71.                     LOGE("Could not compile shader %d:\n%s\n",
  72.                          shaderType, buf);
  73.                     free(buf);
  74.                 }
  75.                 glDeleteShader(shader);     //删除着色器对象
  76.                 shader = 0;
  77.             }
  78.         }
  79.     }
  80.     return shader;
  81. }
  83. bool OpenGLShader::getSharderPath(const char *vertexPath, const char *fragmentPath) {
  84.     ifstream vShaderFile;
  85.     ifstream fShaderFile;
  87.     // ensure ifstream objects can throw exceptions:
  88.     vShaderFile.exceptions(ifstream::failbit | ifstream::badbit);
  89.     fShaderFile.exceptions(ifstream::failbit | ifstream::badbit);
  90.     try {
  91.         // open files
  92.         vShaderFile.open(vertexPath);
  93.         fShaderFile.open(fragmentPath);
  94.         stringstream vShaderStream, fShaderStream;
  95.         // read file's buffer contents into streams
  96.         vShaderStream << vShaderFile.rdbuf();
  97.         fShaderStream << fShaderFile.rdbuf();
  98.         // close file handlers
  99.         vShaderFile.close();
  100.         fShaderFile.close();
  101.         // convert stream into string
  102.         vertexCode = vShaderStream.str();
  103.         fragmentCode = fShaderStream.str();
  104.     }
  105.     catch (ifstream::failure &e) {
  106.         LOGE("Could not getSharderPath error :%s", e.what());
  107.         return false;
  108.     }
  109.     gVertexShaderCode = vertexCode.c_str();
  110.     gFragmentShaderCode = fragmentCode.c_str();
  112.     return true;
  113. }
  115. void OpenGLShader::printGLString(const char *name, GLenum s) {
  116.     const char *v = (const char *) glGetString(s);
  117.     LOGI("OpenGL %s = %s\n", name, v);
  118. }
  120. void OpenGLShader::checkGlError(const char *op) {
  121.     for (GLint error = glGetError(); error; error = glGetError()) {
  122.         LOGI("after %s() glError (0x%x)\n", op, error);
  123.     }
  124. }
  126. OpenGLShader::~OpenGLShader() {
  127.     if (vertexShader) {
  128.         glDeleteShader(vertexShader);
  129.     }
  130.     if (fraShader) {
  131.         glDeleteShader(fraShader);
  132.     }
  133.     vertexCode.clear();
  134.     fragmentCode.clear();
  136.     gVertexShaderCode = nullptr;
  137.     gFragmentShaderCode = nullptr;
  138. }
  140. OpenGLShader::OpenGLShader() {
  142. }
复制代码
  
3、OpenGLTextureVideoRender.cpp进行YUV的Texture渲染：

        大抵流程为：createProgram() -> createTextures() -> draw() -> render()。


  • createProgram()创建步伐，获取着色器中的输入极点坐标、输入纹理极点坐标及uniform的参数：
  1. int
  2. OpenglesTexureVideoRender::createProgram() {
  4.     m_program = lightColorShader->createProgram();
  5.     m_vertexShader = lightColorShader->vertexShader;
  6.     m_pixelShader = lightColorShader->fraShader;
  7.     LOGI("OpenglesTexureVideoRender createProgram m_program:%d", m_program);
  9.     if (!m_program) {
  10.         LOGE("Could not create program.");
  11.         return 0;
  12.     }
  14.     //Get Uniform Variables Location
  15.     m_vertexPos = (GLuint) glGetAttribLocation(m_program, "position");
  16.     m_textureYLoc = glGetUniformLocation(m_program, "s_textureY");
  17.     m_textureULoc = glGetUniformLocation(m_program, "s_textureU");
  18.     m_textureVLoc = glGetUniformLocation(m_program, "s_textureV");
  19.     m_textureLoc = (GLuint) glGetAttribLocation(m_program, "texcoord");
  21.     return m_program;
  22. }
复制代码


  • createTextures()分别创建YUV三个通道的纹理：
  1. bool OpenglesTexureVideoRender::createTextures() {
  2.     auto widthY = (GLsizei) m_width;
  3.     auto heightY = (GLsizei) m_height;
  5.     glActiveTexture(GL_TEXTURE0);
  6.     glGenTextures(1, &m_textureIdY);
  7.     glBindTexture(GL_TEXTURE_2D, m_textureIdY);
  8.     glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
  9.     glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
  10.     glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
  11.     glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
  12.     glTexImage2D(GL_TEXTURE_2D, 0, GL_LUMINANCE, widthY, heightY, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE,
  13.                  nullptr);
  15.     if (!m_textureIdY) {
  16. //        check_gl_error("Create Y texture");
  17.         return false;
  18.     }
  20.     GLsizei widthU = (GLsizei) m_width / 2;
  21.     GLsizei heightU = (GLsizei) m_height / 2;
  23.     glActiveTexture(GL_TEXTURE1);
  24.     glGenTextures(1, &m_textureIdU);
  25.     glBindTexture(GL_TEXTURE_2D, m_textureIdU);
  26.     glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
  27.     glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
  28.     glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
  29.     glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
  30.     glTexImage2D(GL_TEXTURE_2D, 0, GL_LUMINANCE, widthU, heightU, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE,
  31.                  nullptr);
  33.     if (!m_textureIdU) {
  34. //        check_gl_error("Create U texture");
  35.         return false;
  36.     }
  38.     GLsizei widthV = (GLsizei) m_width / 2;
  39.     GLsizei heightV = (GLsizei) m_height / 2;
  41.     glActiveTexture(GL_TEXTURE2);
  42.     glGenTextures(1, &m_textureIdV);
  43.     glBindTexture(GL_TEXTURE_2D, m_textureIdV);
  44.     glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
  45.     glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
  46.     glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
  47.     glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
  48.     glTexImage2D(GL_TEXTURE_2D, 0, GL_LUMINANCE, widthV, heightV, 0, GL_LUMINANCE, GL_UNSIGNED_BYTE,
  49.                  nullptr);
  51.     if (!m_textureIdV) {
  52. //        check_gl_error("Create V texture");
  53.         return false;
  54.     }
  56.     return true;
  57. }
复制代码


  • draw()分离出YUV的每个通道的数据集：
  1. void OpenglesTexureVideoRender::draw(uint8_t *buffer, size_t length
  2.                                     , size_t width, size_t height,
  3.                                      float rotation) {
  4.     m_length = length;
  5.     m_rotation = rotation;
  7.     video_frame frame{};
  8.     frame.width = width;
  9.     frame.height = height;
  10.     frame.stride_y = width;
  11.     frame.stride_uv = width / 2;
  12.     frame.y = buffer;
  13.     frame.u = buffer + width * height;
  14.     frame.v = buffer + width * height * 5 / 4;
  16.     updateFrame(frame);
  17. }
  20. void OpenglesTexureVideoRender::updateFrame(const video_frame &frame) {
  21.     m_sizeY = frame.width * frame.height;
  22.     m_sizeU = frame.width * frame.height / 4;
  23.     m_sizeV = frame.width * frame.height / 4;
  25.     if (m_pDataY == nullptr || m_width != frame.width || m_height != frame.height) {
  26.         m_pDataY = std::make_unique<uint8_t[]>(m_sizeY + m_sizeU + m_sizeV);
  27.         m_pDataU = m_pDataY.get() + m_sizeY;
  28.         m_pDataV = m_pDataU + m_sizeU;
  29.         isProgramChanged = true;
  30.     }
  32.     m_width = frame.width;
  33.     m_height = frame.height;
  35.     if (m_width == frame.stride_y) {
  36.         memcpy(m_pDataY.get(), frame.y, m_sizeY);
  37.     } else {
  38.         uint8_t *pSrcY = frame.y;
  39.         uint8_t *pDstY = m_pDataY.get();
  41.         for (int h = 0; h < m_height; h++) {
  42.             memcpy(pDstY, pSrcY, m_width);
  44.             pSrcY += frame.stride_y;
  45.             pDstY += m_width;
  46.         }
  47.     }
  49.     if (m_width / 2 == frame.stride_uv) {
  50.         memcpy(m_pDataU, frame.u, m_sizeU);
  51.         memcpy(m_pDataV, frame.v, m_sizeV);
  52.     } else {
  53.         uint8_t *pSrcU = frame.u;
  54.         uint8_t *pSrcV = frame.v;
  55.         uint8_t *pDstU = m_pDataU;
  56.         uint8_t *pDstV = m_pDataV;
  58.         for (int h = 0; h < m_height / 2; h++) {
  59.             memcpy(pDstU, pSrcU, m_width / 2);
  60.             memcpy(pDstV, pSrcV, m_width / 2);
  62.             pDstU += m_width / 2;
  63.             pDstV += m_width / 2;
  65.             pSrcU += frame.stride_uv;
  66.             pSrcV += frame.stride_uv;
  67.         }
  68.     }
  70.     isDirty = true;
  71. }
复制代码


  • render()每个渲染时更新YUV三个纹理：
  1. void OpenglesTexureVideoRender::render() {
  2. //    LOGI("OpenglesTexureVideoRender render");
  4.     glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
  5.     glClearColor(0.0f, 0.0f, 0.0f, 1.0f);
  7.     if (!updateTextures() || !useProgram()) return;
  9.     glDrawArrays(GL_TRIANGLE_STRIP, 0, 4);
  10. }
  13. bool OpenglesTexureVideoRender::updateTextures() {
  14.     if (!m_textureIdY
  15.             && !m_textureIdU
  16.             && !m_textureIdV
  17.             && !createTextures()) return false;
  18.                         
  19. //    LOGI("OpenglesTexureVideoRender updateTextures");
  21.     if (isDirty) {
  22.         glActiveTexture(GL_TEXTURE0);
  23.         glBindTexture(GL_TEXTURE_2D, m_textureIdY);
  24.         glTexImage2D(GL_TEXTURE_2D, 0, GL_LUMINANCE, (GLsizei) m_width, (GLsizei) m_height, 0,
  25.                      GL_LUMINANCE, GL_UNSIGNED_BYTE, m_pDataY.get());
  27.         glActiveTexture(GL_TEXTURE1);
  28.         glBindTexture(GL_TEXTURE_2D, m_textureIdU);
  29.         glTexImage2D(GL_TEXTURE_2D, 0, GL_LUMINANCE, (GLsizei) m_width / 2, (GLsizei) m_height / 2,
  30.                      0,
  31.                      GL_LUMINANCE, GL_UNSIGNED_BYTE, m_pDataU);
  33.         glActiveTexture(GL_TEXTURE2);
  34.         glBindTexture(GL_TEXTURE_2D, m_textureIdV);
  35.         glTexImage2D(GL_TEXTURE_2D, 0, GL_LUMINANCE, (GLsizei) m_width / 2, (GLsizei) m_height / 2,
  36.                      0,
  37.                      GL_LUMINANCE, GL_UNSIGNED_BYTE, m_pDataV);
  39.         isDirty = false;
  41.         return true;
  42.     }
  44.     return false;
  45. }
复制代码


免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

小秦哥

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表