Android 音视频之MediaCodec

简介
Android中可以使用MediaCodec来访问底层的媒体编解码器，可以对媒体进行编/解码。
MediaCodec可以处理的数据有以下三种类型：压缩数据、原始音频数据、原始视频数据。这三种类型的数据均可以利用ByteBuffers进行处理，但是对于原始视频数据应提供一个Surface以提高编解码器的性能。Surface直接使用native视频数据缓存，而没有映射或复制它们到ByteBuffers，因此，这种方式会更加高效。
工作流程
MediaCodec采用异步方式处理数据，并且使用了一组输入输出缓存（ByteBuffer）。通过请求一个空的输入缓存（ByteBuffer），向其中填充满数据并将它传递给编解码器处理。编解码器处理完这些数据并将处理结果输出至一个空的输出缓存（ByteBuffer）中。使用完输出缓存的数据之后，将其释放回编解码器：
生命周期

MediaCodec的生命周期有三种状态：
停止态-Stopped
未初始化（Uninitialized）
配置（Configured）
错误（Error）
执行态-Executing
刷新（Flushed）
运行（Running）
流结束（End-of-Stream）
释放态-Released
- 详解
  当创建了一个MediaCodec对象，此时MediaCodec处于Uninitialized状态。首先，需要使用configure(…)方法对MediaCodec进行配置，这时MediaCodec转为Configured状态。然后调用start()方法使其转入Executing状态。在Executing状态可以通过上述的缓存队列操作处理数据。
  Executing状态包含三个子状态： Flushed、 Running 以及End-of-Stream在调用start()方法后MediaCodec立即进入Flushed子状态，此时MediaCodec会拥有所有的缓存。一旦第一个输入缓存（input buffer）被移出队列，MediaCodec就转入Running子状态，这种状态占据了MediaCodec的大部分生命周期。当你将一个带有end-of-stream marker标记的输入缓存入队列时，MediaCodec将转入End-of-Stream子状态。在这种状态下，MediaCodec不再接收之后的输入缓存，但它仍然产生输出缓存直到end-of- stream标记输出。你可以在Executing状态的任何时候通过调用flush()方法返回到Flushed子状态。
  通过调用stop()方法使MediaCodec返回到Uninitialized状态，因此这个MediaCodec可以再次重新配置。当使用完MediaCodec后，必须调用release()方法释放其资源。
  在极少情况下MediaCodec会遇到错误并进入Error状态。这个错误可能是在队列操作时返回一个错误的值或者有时候产生了一个异常导致的。通过调用 reset()方法使MediaCodec再次可用。你可以在任何状态调用reset()方法使MediaCodec返回到Uninitialized状态。否则，调用 release()方法进入最终的Released状态。
应用
MediaCodec可以处理具体的视频流，主要有这几个方法：

getInputBuffers：获取需要编码数据的输入流队列，返回的是一个ByteBuffer数组
queueInputBuffer：输入流入队列
dequeueInputBuffer：从输入流队列中取数据进行编码操作
getOutputBuffers：获取编解码之后的数据输出流队列，返回的是一个ByteBuffer数组
dequeueOutputBuffer：从输出队列中取出编码操作之后的数据
releaseOutputBuffer：处理完成，释放ByteBuffer数据
应用流程

构造MediaCodec对象
通过createDecoderByType和createEncoderBytype，分别对应解码器和编码器。此时MediaCodec处于Uninitialized状态。
```
String AUDIO_MIME = "audio/mp4a-latm";
MediaCodec mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME);
```

调用configure(…)方法对MediaCodec进行配置，此时MediaCodec处于Configured状态。

MediaCodec mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME);
MediaFormat mAudioMediaFormat = new MediaFormat();
mAudioMediaFormat.setString(MediaFormat.KEY_MIME, AUDIO_MIME);
mAudioMediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 32000);
mAudioMediaFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 2);
mAudioMediaFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, 48000);
mAudioMediaFormat.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, BUFFER_SIZE_IN_BYTES);
mAudioMediaFormat.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC);
mAudioEncoder.configure(mAudioMediaFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

调用MediaCodec的**start()**方法，此时MediaCodec处于Executing状态，可以通过getInputBuffers()方法和getOutputBuffers()方法获取缓存队列
```
mAudioEncoder.start();
mAudioInputBuffers = mAudioEncoder.getInputBuffers();
mAudioOutputBuffers = mAudioEncoder.getOutputBuffers();
```
当MediaCodec处于Executing状态之后就可以对数据进行处理了。首先通过dequeueInputBuffer(long timeoutUs)请求一个输入缓存，timeoutUs代表等待时间，设置为-1代表无限等待：’
```
int inputBufIndex = mAudioEncoder.dequeueInputBuffer(1000);
```
返回的整型变量为请求到的输入缓存的index，通过getInputBuffers()得到的是输入缓存数组，通过index和输入缓存数组可以得到当前请求的输入缓存，在使用之前要clear一下，避免之前的缓存数据影响当前数据：
```
mInputBuffer = mAudioInputBuffers[inputBufIndex];
mInputBuffer.clear();
```

接着就是把数据添加到输入缓存中，并调用queueInputBuffer(…)把缓存数据入队：

mInputBuffer.put(bytes, 0, BUFFER_SIZE_IN_BYTES);
mAudioEncoder.queueInputBuffer(inputBufIndex, 0, BUFFER_SIZE_IN_BYTES, (1000000 * mEncodedSize / AUDIO_BYTE_PER_SAMPLE), 0);

获取输出缓存和获取输入缓存类似，首先通过dequeueOutputBuffer(BufferInfo info, long timeoutUs)来请求一个输出缓存，这里需要传入一个BufferInfo对象，用于存储ByteBuffer的信息：
```
int outputBufIndex = mAudioEncoder.dequeueOutputBuffer(mOutBufferInfo, 1000);
```

然后通过返回的index得到输出缓存，并通过BufferInfo获取ByteBuffer的信息，通过BufferInfo我们可以得到当前数据是否Codec-specific Data：注意一定要调用releaseOutputBuffer方法。

mOutBuffer = mAudioOutputBuffers[outputBufIndex];
if ((mOutBufferInfo.flags & MediaCodec.BUFFER_FLAG_CODEC_CONFIG) != 0) {
// Codec-specific Data, 这里可以从ByteBuffer中获取csd参数 //
audioFormat.setByteBuffer("csd-0", mOutBuffer);
} else { // 处理数据 }
mAudioEncoder.releaseOutputBuffer(outputBufIndex, false);
}

使用完MediaCodec后释放资源：

mAudioEncoder.stop(); mAudioEncoder.release();

Arvin_FM

原创文章 11 获赞 10 访问量 544

关注私信

Android 音视频之MediaCodec

猜你喜欢