一.抽取aac数据
1.代码抽取aac没有声音，使用ffmpeg命令行也无法转换为wav
问题解决：ADTS头的采样率没有设置正确，av_dump_format 获取视频信息的时候可以看到aac的详细信息。
void Widget::adts_header(char *szAdtsHeader, int dataLen)
{int audio_object_type = 2; //音频对象类型 2 aac_lcint sampling_frequency_index = 4;//采样率int channel_config = 2;//声道数int adtsLen = dataLen + 7;szAdtsHeader[0] = 0xff; //syncword:0xfff 高8bitsszAdtsHeader[1] = 0xf0; //syncword:0xfff 低4bitsszAdtsHeader[1] |= (0 << 3); //MPEG Version:0 for MPEG-4,1 for MPEG-2 1bitszAdtsHeader[1] |= (0 << 1); //Layer:0 2bitsszAdtsHeader[1] |= 1; //protection absent:1 1bitszAdtsHeader[2] = (audio_object_type - 1)<<6; //profile:audio_object_type - 1 2bitsszAdtsHeader[2] |= (sampling_frequency_index & 0x0f)<<2; //sampling frequency index:sampling_frequency_index 4bitsszAdtsHeader[2] |= (0 << 1); //private bit:0 1bitszAdtsHeader[2] |= (channel_config & 0x04)>>2; //channel configuration:channel_config 高1bitszAdtsHeader[3] = (channel_config & 0x03)<<6; //channel configuration:channel_config 低2bitsszAdtsHeader[3] |= (0 << 5); //original：0 1bitszAdtsHeader[3] |= (0 << 4); //home：0 1bitszAdtsHeader[3] |= (0 << 3); //copyright id bit：0 1bitszAdtsHeader[3] |= (0 << 2); //copyright id start：0 1bitszAdtsHeader[3] |= ((adtsLen & 0x1800) >> 11); //frame length：value 高2bitsszAdtsHeader[4] = (uint8_t)((adtsLen & 0x7f8) >> 3); //frame length:value 中间8bitsszAdtsHeader[5] = (uint8_t)((adtsLen & 0x7) << 5); //frame length:value 低3bitsszAdtsHeader[5] |= 0x1f; //buffer fullness:0x7ff 高5bitsszAdtsHeader[6] = 0xfc;
}
void Widget::loadMp4Info()
{AVFormatContext *fmt_ctx=NULL;AVPacket avpkt;av_log_set_level(AV_LOG_INFO);aac_file=fopen("./2159.aac","wb");if(!aac_file){qDebug()<<"failed open aac file";}int ret=0;ret=avformat_open_input(&fmt_ctx,"./1.mp4",NULL,NULL);if(ret!=0){qDebug()<<"failed open avformat";return;}av_dump_format(fmt_ctx,0,"/2.mp4",0);//get aac dataint audio_index=av_find_best_stream(fmt_ctx,AVMEDIA_TYPE_AUDIO,-1,-1,NULL,0);if(audio_index<0){av_log(NULL,AV_LOG_ERROR,"can't find the best stream\n");return;}//write data to fileav_init_packet(&avpkt);int wirteLen=0;while(av_read_frame(fmt_ctx,&avpkt)>=0){if(avpkt.stream_index==audio_index){ //add aac headerchar adts_header_buff[7];adts_header(adts_header_buff,avpkt.size);fwrite(adts_header_buff,1,7,aac_file);wirteLen=fwrite(avpkt.data,1,avpkt.size,aac_file);if(wirteLen!=avpkt.size){av_log(NULL,AV_LOG_WARNING,"warning wirteLen != pkt.size %d , %d",wirteLen,avpkt.size);}}av_packet_unref(&avpkt);}avformat_close_input(&fmt_ctx);}二.抽取h264数据
1.判断是否是关键帧，关键帧需要添加sps pps数据 和 start_code
2.非关键帧也需要添加特征码 start_code
3.在MP4/MOV 封装格式和自定义协议中通常不需要添加start_code
SPS：序列参数集
通常用于定义整个视频序列编码的全局参数，比如分辨率、帧数、编码顺序、像素格式、切片的相关属性。
每个H.264视频流至少需要一个SPS，才能让编码器知道如何处理流中的视频帧。
PPS：图像参数集
通常包含与特殊图像（或图像帧）有关的参数，定义包括熵编码方法、参考帧列表、图像的特定设置等。
和SPS类似，至少需要一个有效的PPS来确保编码器能够正常工作，而一个视频流可以包含多个PPS来适应不同的编码环境。