目录
音视频播放的原理
音视频数据格式YUV
YUV数据存储比
编辑 YUV空间格式
RGB与YUV转换
音视频播放的原理
主要分为：解协议->解封装->解码->音视频同步->播放。当然，如果是本地播放，没有解协议这一步骤。
采集数据其实就可以反过来
音视频数据格式YUV
RGB 是色彩空间的格式：分别是红、绿、蓝色，数值是0-255，比如我们屏幕像素可能就是RGB的混合显示。
YUV数据存储比
YUV数据由Y、U、V三个分量组成，现在通常说的YUV指的是YCbCr。
- Y：表示亮度（Luminance、Luma），占8bit（1字节）
- Cb、Cr：表示色度（Chrominance、Chroma）
- Cb（U）：蓝色色度分量，占8bit（1字节）
- Cr（V）：红色色度分量，占8bit（1字节）
那比如我们常说的YUV（4:4:4）是指空间上的占比：4*4矩阵，Y、U、V比例为4:4:4，相当于一个像素点是由yuv组成的 ，每一个 Y 分量对于一对 UV 分量
每两个 Y 分量共用一对 UV 分量，每像素占用 （Y + 0.5U + 0.5V = 8 + 4 + 4 = 16bits）2 字节；水平方向Y分量与UV分量2:1采样，垂直方向不降低采样率
每四个 Y 分量共用一对 UV 分量，每像素占用 （Y + 0.25U + 0.25V = 8 + 2 + 2 = 12bits）1.5 字节。水平和垂直方向上Y分量和UV分量对的采样比都是2:1
YUV空间格式
主要分为packet、planar、semi-planar三种：
◆ packet：打包格式，即先存储一个yuv，再存储下一个yuv；
◆ planar：平面格式，即先存储y平面，再存储u平面，再存储v平面；
◆ semi-planar：先存储y平面，再存储uv平面；
YUV422各种存储格式如下：
YUV420各种存储格式如下：
◆NV：NV系列都属于semi-plane系列，“12”、“16”代表先U后V，“21”、“61”代表先V后U
◆ 12、16：代表一个像素占的位数
RGB与YUV转换
转换公式1
- RGB的取值范围是[0,255]
- Y的取值范围是[16,235]
- UV的取值范围是[16,239]
Y = 0.257R + 0.504G + 0.098B + 16
U = -0.148R - 0.291G + 0.439B + 128
V = 0.439R - 0.368G - 0.071B + 128R = 1.164(Y - 16) + 2.018(U - 128)
G = 1.164(Y - 16) - 0.813(V - 128) - 0.391(U - 128)
B = 1.164(Y - 16) + 1.596(V - 128)公式2
- RGB的取值范围是[0, 1]
- Y的取值范围是[0, 1]
- UV的取值范围是[-0.5, 0.5]
Y = 0.299R + 0.587G + 0.114B
U = 0.564(B - Y) = -0.169R - 0.331G + 0.500B
V = 0.713(R - Y) = 0.500R - 0.419G - 0.081BR = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U公式3
- RGB的取值范围是[0, 255]
- YUV的取值范围是[0, 255]
Y = 0.299R + 0.587G + 0.114B
U = -0.169R - 0.331G + 0.500B + 128
V = 0.500R - 0.419G - 0.081B + 128R = Y + 1.403(V - 128)
G = Y - 0.343(U - 128) - 0.714(V - 128)
B = Y + 1.770(U - 128)