解密H264、AAC硬件解码的关键扩展数据处理

通过上一篇文章，我们用ffmpeg分离出一个多媒体容器中的音视频数据，但是很可能这些数据是不能被正确解码的。为什么呢？因为在解码这些数据之前，需要对解码器做一些配置，典型的就是目前流行的高清编码“黄金搭档”组合H264 + AAC的搭配。本文将讲述H264和AAC的关键解码配置参数的解析，如果没有这些配置信息，数据帧往往不完整，导致了解码器不能解码。

H264的配置信息解析

前面我们知道，ffmpeg的avformat_find_stream_info函数可以取得音视频媒体多种，比如播放持续时间、音视频压缩格式、音轨信息、字幕信息、帧率、采样率等。在信息结果中有一项扩展数据描述（avcodec.h文件中）：

AVCodecContext定义如下：

如果视频流是H264，这个extradate里面就包含了H264的配置信息，这个扩展数据有如下定义：

详细解释可以参考“ISO-14496-15 AVC file format”文档。里面最重要的就是NAL长度和SPS，PPS数据和对应的长度信息。对该数据的解析在ffmpeg里面有现成的函数：ff_h264_decode_extradata，在我的项目里面是自己写的扩展数据解析。

AAC的配置信息解析及设置

如果音频数据是AAC流，在解码时需要ADTS(Audio Data Transport Stream)头部，不管是容器封装还是流媒体，没有这个，一般都是不能播放的。很多朋友在做AAC流播放时遇到播不出声音，很可能就是这个原因导致。

ADTS所需的数据仍然是放在上面的扩展数据extradata中，我们需要先解码这个扩展数据，然后再从解码后的数据信息里面重新封装成ADTS头信息，加到每一帧AAC数据之前再送解码器，这样就可以正常解码了。

extradate数据定义如下：

详细信息及说明请参考“ISO-IEC-14496-3 (Audio)”的AudioSpecificConfig部分。里面最重要的部分有采样频率、通道配置和音频对象类型，这几个一般都是AAC解码器需要的配置参数。

这个数据在ffmpeg中也有相应的解码函数：avpriv_aac_parse_header。在我的项目中，我没有使用这个函数，而是自己实现的：

typedef struct

{

   int write_adts;

   int objecttype;

   int sample_rate_index;

   int channel_conf;

}ADTSContext;

int aac_decode_extradata(ADTSContext *adts, unsigned char *pbuf, int bufsize)

{

      int aot, aotext, samfreindex;

      int i, channelconfig;

      unsigned char *p = pbuf;

 

      if (!adts || !pbuf || bufsize<2)

      {

            return -1;

      }

      aot = (p[0]>>3)&0x1f;

      if (aot == 31)

      {

            aotext = (p[0]<<3 | (p[1]>>5)) & 0x3f;

            aot = 32 + aotext;

            samfreindex = (p[1]>>1) & 0x0f;

           

            if (samfreindex == 0x0f)

            {

                  channelconfig = ((p[4]<<3) | (p[5]>>5)) & 0x0f;

            }

            else

            {

                  channelconfig = ((p[1]<<3)|(p[2]>>5)) & 0x0f;

            }

      }

      else

      {

            samfreindex = ((p[0]<<1)|p[1]>>7) & 0x0f;

            if (samfreindex == 0x0f)

            {

                  channelconfig = (p[4]>>3) & 0x0f;

            }

            else

            {

                  channelconfig = (p[1]>>3) & 0x0f;

            }

      }

 

#ifdef AOT_PROFILE_CTRL

      if (aot < 2) aot = 2;

#endif

      adts->objecttype = aot-1;

      adts->sample_rate_index = samfreindex;

      adts->channel_conf = channelconfig;

      adts->write_adts = 1;

 

      return 0;

}

上面的pbuf就是extradata。

接下来，再用ADTSContext数据编码为ADTS头信息插入每一个AAC帧前面：

int aac_set_adts_head(ADTSContext *acfg, unsigned char *buf, int size)

{       

      unsigned char byte;

 

      if (size < ADTS_HEADER_SIZE)

      {

            return -1;

      }

     

      buf[0] = 0xff;

      buf[1] = 0xf1;

      byte = 0;

      byte |= (acfg->objecttype & 0x03) << 6;

      byte |= (acfg->sample_rate_index & 0x0f) << 2;

      byte |= (acfg->channel_conf & 0x07) >> 2;

      buf[2] = byte;

      byte = 0;

      byte |= (acfg->channel_conf & 0x07) << 6;

      byte |= (ADTS_HEADER_SIZE + size) >> 11;

      buf[3] = byte;

      byte = 0;

      byte |= (ADTS_HEADER_SIZE + size) >> 3;

      buf[4] = byte;

      byte = 0;

      byte |= ((ADTS_HEADER_SIZE + size) & 0x7) << 5;

      byte |= (0x7ff >> 6) & 0x1f;

      buf[5] = byte;

      byte = 0;

      byte |= (0x7ff & 0x3f) << 2;

      buf[6] = byte;

 

      return 0;

}

这个头部是固定的7字节长度，所以可提前空出这7个字节供ADTS占用。

通过以上对H264和AAC的扩展数据处理，播放各种“黄金搭档”的多媒体文件、流媒体、视频点播等都应该没有问题了。

想第一时间获得更多原创文章，请关注个人微信公众平台：程序员互动联盟(coder_online)，扫一扫下方二维码或者搜索微信号coder_online即可关注，里面有大量Android，Chromium，Linux等相关文章等着您，我们还可以在线交流。

如需转载本文，请注明出处：谢谢合作！

解密H264、AAC硬件解码的关键扩展数据处理的更多相关文章

(转) 解密H264、AAC硬件解码的关键扩展数据处理
出自:http://blog.itpub.net/30168498/viewspace-1576794/ 通过上一篇文章,我们用ffmpeg分离出一个多媒体容器中的音视频数据,但是很可能这 ...
Android平台对H264视频硬解码
本文讲述如何使用Android标准的API (MediaCodec)实现H264的硬件解码. 原本我们是用JNI调用平台提供的硬件解码接口得到YUV帧,再放入opengl脚本里处理渲染的.可是换了新平 ...
使用C#+FFmpeg+DirectX+dxva2硬件解码播放h264流
本文门槛较高,因此行文看起来会乱一些,如果你看到某处能会心一笑请马上联系我开始摆龙门阵如果你跟随这篇文章实现了播放器,那你会得到一个高效率,低cpu占用(单路720p视频解码播放占用1%左右cpu) ...
iOS8系统H264视频硬件编解码说明
公司项目原因,接触了一下视频流H264的编解码知识,之前项目使用的是FFMpeg多媒体库,利用CPU做视频的编码和解码,俗称为软编软解.该方法比较通用,但是占用CPU资源,编解码效率不高.一般系统都会 ...
android Mediaplayer硬件解码浅探
在讨论stagefright如何调用硬件解码之前,我们要先清楚几个问题. 我不展开这几个结论是如何得来的,因为这部分属于进程间通信binder的理解,和多媒体本身无关. 一．问题空间这个有点像方法学 ...
Android中使用MediaCodec硬件解码,高效率得到YUV格式帧,快速保存JPEG图片(不使用OpenGL)(附Demo)
MediaCodec的使用demo: https://github.com/vecio/MediaCodecDemo https://github.com/taehwandev/MediaCodecE ...
Android的音频解码原来是直接调用的本地C方法直接通过硬件解码
Android就是披着JAVA外衣的C啊~音频解码原来是直接调用的本地C方法直接通过硬件解码的,JAVA和C的字节数组存放模式不同(java是大端,C根据不同平台不同),不同格式需要转化以后才能用. ...
send/receive h264/aac file/data by rtp/rtsp over udp/tcp
一.安装一些必要的调试工具 1.vlc安装sudo apt-get install vlcsudo apt-get install vlc-nox 2.ffmpeg安装,带ffplay,ffplay依 ...
转载：AAC编解码概述
转自:http://www.cnblogs.com/gaozehua/archive/2012/05/03/2479960.html 编码概述其整体AAC 编解码系统,如图所示,其编码流程概述如下: ...

随机推荐

jquery easyui 1.4.1 验证时tooltip 的位置调整
现象是在表单中如果显示两列控件,右边的控件是combo,combobox 等右边有按钮的,宽度为100%时,验证不通过的tooltip 显示位置不准确如下图所示打开 jquery.easyui-1. ...
投入Html5的怀抱，最近在研究的Egret
html5没有办法不关注,实在太火热了,几年前还不行,如今确是环境较好,typescript语言很好学习,可能基于之前的基础,不到一个星期就基本上差不多了,虽然还有一些小问题,但那都是经验积累下来可以 ...
web.xml完整配置
<?xml version="1.0" encoding="UTF-8"?> <web-app xmlns="http://java ...
Linux C 程序 Linux网络编程(21)
Linux网络编程网络编程必备的理论基础网络模型,地址,端口,TCP/IP协议 TCP/IP协议是目前世界上使用最广泛的网络通信协议日常中的大部分应用使用该系列协议(浏览网页,收发电子邮件,QQ聊天等 ...
Bzoj 1674: [Usaco2005]Part Acquisition dijkstra,堆
1674: [Usaco2005]Part Acquisition Time Limit: 5 Sec Memory Limit: 64 MBSubmit: 337 Solved: 162[Sub ...
Jenkins在windows上的安装配置
今天是2月14号,所谓西方情人节,下班回来发现,2月14过的比七夕还火热.于是上网百度百科查询了"情人节". 毕竟是中国的百度啊.是这么解释的.我感到很欣慰.过得每一个节日都应该 ...
PCI9054 学习小结
PCI的基本协议这里就不介绍了,因为一般的芯片协议都是集成好的,我只需要大体了解就行,不需要做芯片,我感觉就不需要太了解协议. 这里讲解是基于PLX 的9054(9052)芯片为基础的,本人只是入门, ...
Java虚拟机的相关笔记
1.垃圾GC回收事件Minor GC(只清除新生代),Full GC(清除新生代和老年代),Major GC(清除新生.老年代和持久代). 2.堆分为新生代.老年代和持久代,持久代一般存放静态文件. ...
玩转ptrace(转)
下面是转帖的内容,写的很详细.但是不同的linux发行版中头文件的路径和名称并不相同.如在某些发行版中<linux/user.h>就不存在,其中定义的变量出现在<asm/ptrace ...

解密H264、AAC硬件解码的关键扩展数据处理

解密H264、AAC硬件解码的关键扩展数据处理的更多相关文章

随机推荐

热门专题