Android MediaExtractor JNI 实现详解
1. 概述
在 Android 多媒体框架中，MediaExtractor 是一个关键的组件，用于从多媒体文件中提取音视频数据。它能够解析多种格式的媒体文件，并从中提取出音频、视频等轨道数据，供后续的 MediaCodec 进行解码和播放。本文将深入探讨 MediaExtractor 的 JNI 实现，涵盖其功能、设计架构、通信原理以及如何进行定制扩展。
2. 功能介绍
MediaExtractor 的主要功能是从媒体文件中提取音视频数据，并将其提供给 MediaCodec 进行解码。具体功能包括：
- 数据源设置：支持从文件路径、文件描述符、
MediaDataSource等多种数据源中提取数据。 - 轨道管理：能够获取媒体文件中的轨道数量，并选择或取消选择特定的轨道。
- 数据读取：从选定的轨道中读取样本数据，并获取样本的时间戳、标志等信息。
- 格式信息：获取媒体文件的全局格式信息以及每个轨道的格式信息。
- 加密支持：支持从加密的媒体文件中提取数据，并提供加密信息。
- 缓存管理：提供缓存数据的时长和是否到达流末尾的信息。
3. 设计架构
MediaExtractor 的 JNI 实现主要分为以下几个部分：
3.1 JNI 接口层
JNI 接口层是 Java 层与 C++ 层之间的桥梁，负责将 Java 层的调用转换为 C++ 层的实现。在 MediaExtractor 中，JNI 接口层通过 android_media_MediaExtractor.cpp 文件实现，定义了与 Java 层 MediaExtractor 类对应的方法。
3.2 C++ 实现层
C++ 实现层是 MediaExtractor 的核心部分，负责实际的媒体数据提取工作。它通过 NuMediaExtractor 类来实现媒体数据的解析和提取。NuMediaExtractor 是 Android 多媒体框架中的一个重要组件，支持多种媒体格式的解析。
3.3 数据源层
数据源层负责提供媒体数据，支持从文件、网络、MediaDataSource 等多种数据源中读取数据。在 MediaExtractor 中，数据源层通过 DataSource 类及其子类来实现。
3.4 加密支持层
加密支持层负责处理加密的媒体文件，提供解密所需的信息。在 MediaExtractor 中，加密支持层通过 ICas 接口及其实现类来实现。
4. 通信原理
MediaExtractor 的 JNI 实现通过 JNI 接口层将 Java 层的调用传递给 C++ 层，C++ 层通过 NuMediaExtractor 类进行媒体数据的解析和提取。具体通信流程如下：
- Java 层调用：Java 层的
MediaExtractor类通过 JNI 接口调用 C++ 层的实现。 - JNI 接口层：JNI 接口层将 Java 层的调用转换为 C++ 层的函数调用，并传递必要的参数。
- C++ 实现层：C++ 实现层通过
NuMediaExtractor类进行媒体数据的解析和提取，并将结果返回给 JNI 接口层。 - JNI 接口层返回：JNI 接口层将 C++ 层的返回结果转换为 Java 层的对象或值，并返回给 Java 层。
5. 定制扩展
MediaExtractor 的 JNI 实现提供了良好的扩展性，开发者可以根据需要进行定制和扩展。以下是一些常见的扩展场景：
5.1 支持新的媒体格式
如果需要支持新的媒体格式，可以通过扩展 NuMediaExtractor 类来实现。具体步骤如下：
- 实现新的解析器：实现一个新的解析器类，继承自
NuMediaExtractor，并重写其解析方法。 - 注册解析器：在
MediaExtractor的初始化过程中，注册新的解析器类。 - 测试验证：通过测试验证新的解析器是否能够正确解析新的媒体格式。
5.2 支持新的数据源
如果需要支持新的数据源，可以通过扩展 DataSource 类来实现。具体步骤如下：
- 实现新的数据源类：实现一个新的数据源类，继承自
DataSource，并重写其读取方法。 - 注册数据源：在
MediaExtractor的初始化过程中，注册新的数据源类。 - 测试验证：通过测试验证新的数据源是否能够正确提供媒体数据。
5.3 支持新的加密方案
如果需要支持新的加密方案，可以通过扩展 ICas 接口来实现。具体步骤如下：
- 实现新的加密类：实现一个新的加密类，继承自
ICas，并重写其解密方法。 - 注册加密类：在
MediaExtractor的初始化过程中，注册新的加密类。 - 测试验证：通过测试验证新的加密类是否能够正确解密媒体数据。
6. 代码分析
以下是对 MediaExtractor JNI 实现的关键代码分析：
6.1 JNI 接口层
static const JNINativeMethod gMethods[] = {{ "release", "()V", (void *)android_media_MediaExtractor_release },{ "getTrackCount", "()I", (void *)android_media_MediaExtractor_getTrackCount },{ "getFileFormatNative", "()Ljava/util/Map;", (void *)android_media_MediaExtractor_getFileFormatNative },{ "getTrackFormatNative", "(I)Ljava/util/Map;", (void *)android_media_MediaExtractor_getTrackFormatNative },{ "selectTrack", "(I)V", (void *)android_media_MediaExtractor_selectTrack },{ "unselectTrack", "(I)V", (void *)android_media_MediaExtractor_unselectTrack },{ "seekTo", "(JI)V", (void *)android_media_MediaExtractor_seekTo },{ "advance", "()Z", (void *)android_media_MediaExtractor_advance },{ "readSampleData", "(Ljava/nio/ByteBuffer;I)I", (void *)android_media_MediaExtractor_readSampleData },{ "getSampleTrackIndex", "()I", (void *)android_media_MediaExtractor_getSampleTrackIndex },{ "getSampleTime", "()J", (void *)android_media_MediaExtractor_getSampleTime },{ "getSampleFlags", "()I", (void