Android视频编解码 MediaCodec使用(2)

吴旭华  金牌会员 | 2024-10-25 02:59:54 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 894|帖子 894|积分 2682

Android视频编解码 MediaCodec使用

简述

Android体系提供给上层应用来编解码的接口是MediaCodec相干的接口，MediaCodec.java是提供给java层的接口，它通过jni调用到C++层，通过一个JMediaCodec来控制真正的C++层MediaCodec，Android其实还在NDK层也提供了C++的MedianCodec接口，是AMediaCodec，终极的实现也是通过一个C++层的MediaCodec，只不太过别为了袒露接口给java层使用和C++层使用做了一下封装而已，本节我们会写一个简朴demo来演示MediaCodec的用法。
接口简述

无论是编码还是解码，MediaCodec提供接口的思绪都是App层通过接口去哀求一个inputBuffer，然后添补数据，然后提交InputBuffer，编解码器内部处理编解码，然后app再去哀求outputBuffer，获取处理完后的数据，使用完成后releaseOutputBuffer。
但是编码的Input数据和解码的output数据都可以使用Surface来输入/接收，这里这个Surface固然在java层和窗口那一章节说到的Surface一样，但是在C++层是有所区别的，这里的Surface并不是通过BLASTBufferQueue产生的，而是通过编解码器hal层天生的，但是本质来说这个Surface也就是一个BufferQueue的生产者/消费者。
使用到的接口



  • MediaCodec.createDecoderByType(@NonNull String type)
    用于构造一个解码的MediaCodec实例，type表示编解码类型，"video/avc"就是H264
  • MediaCodec.createEncoderByType(@NonNull String type)
    同上，区别就是这里构造的事编码器
  • MediaFormat.createVideoFormat(@NonNull String mime, int width, int height)
    构造一个MediaFormat，MediaFormat用于存储编解码器参数，通过键值对的方式存储参数。
  • configure(@Nullable MediaFormat format,@Nullable Surface surface, @Nullable MediaCrypto crypto, @ConfigureFlag int flags)
    设置编解码器，可以设置format，surface等。
  • MediaCodec.start/stop/release
    状态控制,开始/停止/释放
  • MediaCodec.dequeueInputBuffer(long timeoutUs)
    获取一个inputBuffer的索引，参数是等待时间，假如传入-1则不停等待
  • MediaCodec.getInputBuffer(int index)
    根据索引获取InputBuffer
  • queueInputBuffer(int index, int offset, int size, long presentationTimeUs, int flags)
    提交InputBuffer
  • dequeueOutputBuffer(@NonNull BufferInfo info, long timeoutUs)
    获取OutputBuffer的索引，BufferInfo里会有一些当前帧的信息，例如是否是关键帧之类的
  • getOutputBuffer(int index)
    同getInputBuffer，只是这里是获取输出的数据
  • releaseOutputBuffer(int index, boolean render)
    释放OutputBuffer，render表示假如Surface不为空，是否需要将buffer渲染到Surface上。
从这个接口的计划我们大概可以猜出来，无论是编码还是解码，应该都有一个Buffer数组在循环利用，建议各人可以去看一下这里jni的实现，代码不复杂，但是还是挺有参考意义的，我们雷同的场景写jni的时候可以参照这种方式减少数据的拷贝以及jni reference的构建。
demo

我们要做的demo是将通过Camera来的数据编码再解码，终极表现到我们的SurfaceView上去。
PS：Camera的数据完全可以直接表现到SurfaceView上，我们这么做只是为了演示MediaCodec到使用，正常业务场景编码之后应该通过网络或者其他信道传输到另一个设备再解码，我们这节的重心是编解码，就省了传输了。
我们一共就4个类：


  • MainActivity.java UI和业务逻辑（演示demo就把逻辑全放Acitivity了）
  • CodecDecodeController.java 管理解码
  • CodecEncodeController.java 管理编码
  • CameraController.java 管理相机
CameraController.java

由于Camera的接口不是我们的重点，这里我们就随便写一下可以用就行了，很多地方写的并不标准。
就是提供了一个openCamera接口来打开相机，而相机数据会输出到入参Surface上，所以后面我们需要将编码器的InputSurface传进来。
  1. package com.example.myapplication
  3. import android.Manifest
  4. import android.content.Context
  5. import android.content.pm.PackageManager
  6. import android.graphics.ImageFormat
  7. import android.hardware.camera2.CameraCaptureSession
  8. import android.hardware.camera2.CameraCharacteristics
  9. import android.hardware.camera2.CameraDevice
  10. import android.hardware.camera2.CameraDevice.StateCallback
  11. import android.hardware.camera2.CameraManager
  12. import android.hardware.camera2.params.StreamConfigurationMap
  13. import android.os.Handler
  14. import android.os.HandlerThread
  15. import android.util.Size
  16. import android.view.Surface
  17. import androidx.core.app.ActivityCompat
  20. class CameraController {
  21.     private val handlerThread: HandlerThread = HandlerThread("cameraThread")
  22.     private var mCameraHandler: Handler? = null
  23.     var size: Array<Size>? = null
  25.     // 这里只是通过接口去拿了相机的尺寸，我们默认选了一个相机Id
  26.     fun initCamera(context: Context) {
  27.         val cameraManager = context.getSystemService(Context.CAMERA_SERVICE) as CameraManager
  28.         var cameraIdList = cameraManager.cameraIdList
  29.         val character: CameraCharacteristics =
  30.             cameraManager.getCameraCharacteristics(cameraIdList[0])
  32.         val streamConfigurationMap: StreamConfigurationMap? =
  33.             character.get(CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP)
  34.         size = streamConfigurationMap?.getOutputSizes(ImageFormat.JPEG)
  35.     }
  37.     // 打开相机，
  38.     fun openCamera(context: Context, surface: Surface) {
  39.         val cameraManager = context.getSystemService(Context.CAMERA_SERVICE) as CameraManager
  40.         var cameraIdList = cameraManager.cameraIdList
  41.         handlerThread.start()
  42.         mCameraHandler = Handler(handlerThread.looper)
  43.         if (ActivityCompat.checkSelfPermission(
  44.                 context,
  45.                 Manifest.permission.CAMERA
  46.             ) != PackageManager.PERMISSION_GRANTED
  47.         ) {
  48.             // 本来应该加动态权限请求，这里不是我们的重点就不写了
  49.             return
  50.         }
  51.         cameraManager.openCamera(cameraIdList[0], object : StateCallback() {
  52.             override fun onOpened(camera: CameraDevice) {
  53.                 startPreview(camera, surface)
  54.             }
  56.             override fun onDisconnected(camera: CameraDevice) {
  58.             }
  60.             override fun onError(camera: CameraDevice, error: Int) {
  62.             }
  64.         }, mCameraHandler)
  66.     }
  68.     // 开始浏览，这里surface就是最终相机数据会输出的Surface
  69.     fun startPreview(camera: CameraDevice, surface: Surface) {
  70.         camera.createCaptureSession(mutableListOf(surface),
  71.             object : CameraCaptureSession.StateCallback() {
  72.                 override fun onConfigured(session: CameraCaptureSession) {
  73.                     val captureRequest = camera.createCaptureRequest(
  74.                         CameraDevice.TEMPLATE_PREVIEW
  75.                     ).apply { addTarget(surface) }
  77.                     captureRequest?.let { session.setRepeatingRequest(it.build(), null, mCameraHandler) }
  78.                 }
  80.                 override fun onConfigureFailed(session: CameraCaptureSession) {
  82.                 }
  84.             }, mCameraHandler)
  85.     }
  86. }
复制代码
CodecEncodeController.java

initMediaCodec构造MediaCodec编码器，里面会设置一些基础的参数，processEncodeOutput会启动一个线程循环获取输出数据，获取到的输出数据通过mEncodeDataCallback回调给业务层。
  1. package com.example.myapplication
  3. import android.media.MediaCodec
  4. import android.media.MediaCodecInfo
  5. import android.media.MediaFormat
  6. import android.view.Surface
  7. import java.nio.ByteBuffer
  9. class CodecEncodeController {
  10.     var mMediaCodec: MediaCodec? = null
  11.     var mEncodeDataCallback: EncodeDataCallback? = null
  12.     var mState = 0 // 0为初始状态，1为start状态，2为stop状态
  13.     fun initMediaCodec(width: Int, height: Int) {
  14.         // 构造编码器
  15.         mMediaCodec = MediaCodec.createEncoderByType("video/avc");
  16.         // 配置MediaFormat
  17.         val format = MediaFormat.createVideoFormat("video/avc", width, height)
  18.         // 颜色空间，COLOR_FormatSurface表示数据来自Surface，这里还可以是YUV420，RGBA之类的
  19.         format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface)
  20.         // 码率
  21.         format.setInteger(MediaFormat.KEY_BIT_RATE, 96000)
  22.         // 帧率
  23.         format.setInteger(MediaFormat.KEY_FRAME_RATE, 60)
  24.         // 关键帧间隔，1s一个
  25.         format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1)
  26.         // 调用configure配置MediaCodec
  27.         mMediaCodec?.configure(format, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE)
  28.     }
  30.     fun getInputSurface(): Surface? {
  31.         return mMediaCodec?.createInputSurface()
  32.     }
  34.     // 启动编码器
  35.     fun startEncode() {
  36.         mMediaCodec?.start()
  37.         mState = 1
  38.         processEncodeOutput()
  39.     }
  41.     // 循环获取输出数据OutputBuffer，输出数据通过mEncodeDataCallback回调给业务层，然后释放OutputBuffer
  42.     fun processEncodeOutput() {
  43.         Thread {
  44.             while (mState == 1) {
  45.                 val bufferInfo = MediaCodec.BufferInfo()
  46.                 val bufferIndex = mMediaCodec?.dequeueOutputBuffer(bufferInfo, -1)
  47.                 if (bufferIndex!! >= 0) {
  48.                     val byteData = mMediaCodec?.getOutputBuffer(bufferIndex)
  49.                     byteData?.let { mEncodeDataCallback?.onDataReady(it) }
  50.                     mMediaCodec?.releaseOutputBuffer(bufferIndex, true)
  51.                 } else {
  52.                     mEncodeDataCallback?.onError()
  53.                 }
  54.             }
  55.         }.start()
  56.     }
  58.     fun stop() {
  59.         mState = 2
  60.         mMediaCodec?.stop()
  61.         mMediaCodec?.release()
  62.         mMediaCodec = null
  63.     }
  65.     fun setCallback(callback: EncodeDataCallback) {
  66.         mEncodeDataCallback = callback
  67.     }
  69.     interface EncodeDataCallback {
  70.         fun onDataReady(byteData: ByteBuffer)
  71.         fun onError()
  72.     }
  73. }
复制代码
CodecDecodeController.java

和CodecEncodeController非常雷同，initMediaCodec构造解码器，这里提供一个inputData方法，业务层通过该方法将编码后的数据传入。然后也会启动一个线程不断的dequeueOutputBuffer，这里dequeueOutputBuffer之后直接releaseOutputBuffer了，releaseOutputBuffer的后一个render参数为true，则会把数据渲染到Surface上。
  1. package com.example.myapplication
  3. import android.media.MediaCodec
  4. import android.media.MediaCodec.BufferInfo
  5. import android.media.MediaCodecInfo
  6. import android.media.MediaFormat
  7. import android.view.Surface
  8. import java.nio.ByteBuffer
  10. class CodecDecodeController {
  11.     var mMediaCodec: MediaCodec? = null
  12.     var mState = 0 // 0为初始状态，1为start状态，2为stop状态
  13.     fun initMediaCodec(width: Int, height: Int, outputSurface: Surface) {
  14.         mMediaCodec = MediaCodec.createDecoderByType("video/avc");
  15.         // 配置MediaFormat
  16.         val format = MediaFormat.createVideoFormat("video/avc", width, height)
  17.         format.setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatYUV420Flexible)
  18.         format.setInteger(MediaFormat.KEY_BIT_RATE, 96000)
  19.         format.setInteger(MediaFormat.KEY_FRAME_RATE, 60)
  20.         format.setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 1)
  21.         // 配置解码器
  22.         mMediaCodec?.configure(format, outputSurface, null, 0);
  23.         // 启动解码器
  24.         mMediaCodec?.start()
  25.         mState = 1
  26.         processOutputData()
  27.     }
  29.     fun stop() {
  30.         mState = 2
  31.         mMediaCodec?.stop()
  32.         mMediaCodec?.release()
  33.         mMediaCodec = null
  34.     }
  36.     // 业务层通过该方法数据编码后的数据
  37.     fun inputData(inputData: ByteBuffer) {
  38.         val bufferIndex = mMediaCodec?.dequeueInputBuffer(-1)
  39.         if (bufferIndex!! >= 0) {
  40.             val byteData = mMediaCodec?.getInputBuffer(bufferIndex)
  41.             byteData?.put(inputData)
  42.             mMediaCodec?.queueInputBuffer(bufferIndex, 0, inputData.limit(), System.currentTimeMillis(),0)
  43.         }
  44.     }
  46.     // 处理outputBuffer
  47.     fun processOutputData() {
  48.         Thread {
  49.             while (mState == 1) {
  50.                 val bufferInfo = BufferInfo()
  51.                 val bufferIndex = mMediaCodec?.dequeueOutputBuffer(bufferInfo, -1)
  52.                 if (bufferIndex!! >= 0) {
  53.                     // 释放OutputBuffer并且将数据直接渲染到outputSurface上。
  54.                     mMediaCodec?.releaseOutputBuffer(bufferIndex, true)
  55.                 }
  56.             }
  57.         }.start()
  58.     }
  59. }
复制代码
MainActivity.java

布局文件里就一个SurfaceView我们就不看了，在surfaceCreated的时候来初始化编解码器以及相机控制器。
  1. package com.example.myapplication
  3. import android.os.Bundle
  4. import android.view.SurfaceHolder
  5. import android.view.SurfaceView
  6. import androidx.activity.enableEdgeToEdge
  7. import androidx.appcompat.app.AppCompatActivity
  8. import androidx.core.view.ViewCompat
  9. import androidx.core.view.WindowInsetsCompat
  10. import java.nio.ByteBuffer
  12. class MainActivity : AppCompatActivity() {
  13.     override fun onCreate(savedInstanceState: Bundle?) {
  14.         super.onCreate(savedInstanceState)
  15.         setContentView(R.layout.activity_main)
  16.         val surfaceView = findViewById<SurfaceView>(R.id.sf_view)
  17.         surfaceView.holder.addCallback(object : SurfaceHolder.Callback {
  18.             override fun surfaceCreated(holder: SurfaceHolder) {
  19.                 CameraController().let {
  20.                     // 先获取相机尺寸
  21.                     it.initCamera(baseContext)
  22.                     it.size?.get(0)?.let{ size ->
  23.                         // 有了尺寸以后构造编码器
  24.                         CodecEncodeController().let {  encodeController->
  25.                             // 初始化编码器
  26.                             encodeController.initMediaCodec(
  27.                                 size.width, size.height
  28.                             )
  29.                             // 构造解码器
  30.                             CodecDecodeController().let { decodeController->
  31.                                 // 初始化解码器，解码器的outputSurface就是当前SurfaceView
  32.                                 decodeController.initMediaCodec(size.width, size.height, holder.surface)
  33.                                 encodeController.setCallback(object :
  34.                                     CodecEncodeController.EncodeDataCallback {
  35.                                     override fun onDataReady(byteData: ByteBuffer) {
  36.                                         // 编码器数据ready后传给解码器
  37.                                         // 正常业务使用这里中间可能还有网络传输
  38.                                         decodeController.inputData(byteData)
  39.                                     }
  41.                                     override fun onError() {
  42.                                     }
  43.                                 })
  44.                             }
  45.                             // 使用编码器的InputSurface作为相机的outputSurface来打开相机
  46.                             encodeController.getInputSurface()
  47.                                 ?.let { surface -> it.openCamera(baseContext, surface) }
  48.                             encodeController.startEncode()
  49.                         }
  50.                     }
  51.                 }
  54.             }
  56.             override fun surfaceChanged(
  57.                 holder: SurfaceHolder,
  58.                 format: Int,
  59.                 width: Int,
  60.                 height: Int
  61.             ) {
  63.             }
  65.             override fun surfaceDestroyed(holder: SurfaceHolder) {
  67.             }
  69.         })
  70.     }
  71. }
复制代码
由于没有写动态权限申请，需要手动到设置里打开相机权限才能用。
小结

本节主要是演示一下MediaCodec提供的java接口使用，demo主要是演示接口用法，所以写的比较随意，后续我们会进一步介绍MediaCodec的框架流程。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

吴旭华

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

存储 挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表