FLV封装格式介绍及解析
发布日期:2021-08-31 13:48:53 浏览次数:1 分类:技术文章

本文共 11125 字,大约阅读时间需要 37 分钟。

FLV封装格式

FLV(Flash Video)是Adobe公司推出的一种流媒体格式,由于其封装后的音视频文件体积小、封装简单等特点,非常适合于互联网上使用。目前主流的视频网站基本都支持FLV。采用FLV格式封装的文件后缀为.flv。

FLV封装格式是由一个文件头(flie header)和 文件体(file Body)组成。其中,FLV body由一对对的(Previous Tag Size字段 + tag)组成。Previous Tag Size字段 排列在Tag之前,占用4个字节。Previous Tag Size记录了前面一个Tag的大小,用于逆向读取处理。FLV header后的第一个Pervious Tag Size的值为0。Tag一般可以分为3种类型:脚本(帧)数据类型、音频数据类型、视频数据。FLV数据以大端序进行存储,在解析时需要注意。一个标准FLV文件结构如下图:

FLV文件的详细内容结构如下图:

FLV header

注:在下面的数据type中,UI表示无符号整形,后面跟的数字表示其长度是多少位。比如UI8,表示无法整形,长度一个字节。UI24是三个字节,UI[8*n]表示多个字节。UB表示位域,UB5表示一个字节的5位。可以参考c中的位域结构体。

FLV头占9个字节,用来标识文件为FLV类型,以及后续存储的音视频流。一个FLV文件,每种类型的tag都属于一个流,也就是一个flv文件最多只有一个音频流,一个视频流,不存在多个独立的音视频流在一个文件的情况。FLV头的结构如下:

Field Type Comment
签名 UI8 'F'(0x46)
签名 UI8 'L'(0x4C)
签名 UI8 'V'(0x56)
版本 UI8 FLV的版本。0x01表示FLV版本为1
保留字段 UB5 前五位都为0
音频流标识 UB1 是否存在音频流
保留字段 UB1 为0
视频流标识 UB1 是否存在视频流
文件头大小 UI32 FLV版本1时填写9,表明的是FLV头的大小,为后期的FLV版本扩展使用。包括这四个字节。数据的起始位置就是从文件开头偏移这么多的大小。

FLV Body

FLV Header之后,就是FLV File Body.FLV File Body是由一连串的back-pointers + tags构成。Back-pointer表示Previous Tag Size(前一个tag的字节数据长度),占4个字节。

FLV Tag

每一个Tag也是由两部分组成:tag header 和 tag data。Tag Header里存放的是当前tag的类型、数据区(tag data)的长度等信息。tag header一般占11个字节的内存空间。FLV tag结构如下:

Field Type Comment
Tag类型 UI8 8:audeo
9:video
18:Script data(脚本数据)
all Others:reserved 其他所有值未使用
数据区大小 UI24 当前tag的数据区的大小,不包含包头
时戳 UI24 当前帧时戳,单位是毫秒。相对值,第一个tag的时戳总是为0
时戳扩展字段 UI8 如果时戳大于0xFFFFFF,将会使用这个字节。这个字节是时戳的高8位,上面的三个字节是低24位。
StreamID UI24 总是为0
数据区 UI[8*n] 数据区数据

FLV Tag的类型可以是视频、音频和Script(脚本类型),下面分别介绍这三种Tag类型

Script Tag Data结构(脚本类型、帧类型)

该类型Tag又被称为MetaData Tag,存放一些关于FLV视频和音频的元信息,比如:duration、width、height等。通常该类型Tag会作为FLV文件的第一个tag,并且只有一个,跟在File Header后。该类型Tag DaTa的结构如下所示:

第一个AMF包:
第1个字节表示AMF包类型,一般总是0x02,表示字符串。第2-3个字节为UI16类型值,标识字符串的长度,一般总是0x000A(“onMetaData”长度)。后面字节为具体的字符串,一般总为“onMetaData”(6F,6E,4D,65,74,61,44,61,74,61)。

第二个AMF包:

第1个字节表示AMF包类型,一般总是0x08,表示数组。第2-5个字节为UI32类型值,表示数组元素的个数。后面即为各数组元素的封装,数组元素为元素名称和值组成的对。常见的数组元素如下表所示。

Comment
duration 时长
width 视频宽度
heiht 视频高度
video data rate 视频码率
frame rate 视频帧率
video codec id 视频编码方式
audio sample rate 音频采样率
audio sample size 音频采样精度
stereo 是否为立体声
audio codec id 音频编码方式
filesize 文件大小
... ...
Audio Tag Data结构(音频类型)

音频Tag Data区域开始的第一个字节包含了音频数据的参数信息,从第二个字节开始为音频流数据。结构如下:

第一个字节为音频的信息,格式如下:

Field Type Comment
音频格式 UB4 0 = Linear PCM, platform endian
1 =ADPCM
2 = MP3
3 = Linear PCM, little endian
4 = Nellymoser 16-kHz mono
5 = Nellymoser 8-kHz mono
6 = Nellymoser
7 = G.711 A-law logarithmic PCM
8 = G.711 mu-law logarithmic PCM
9 = reserved
10 = AAC
11 = Speex
14 = MP3 8-Khz
15 = Device-specific sound
flv是不支持g711a的,如果要用,可能要用线性音频。
采样率 UB2 0 = 5.5-kHz
1 = 11-kHz
2 = 22-kHz
3 = 44-kHz
对于AAC总是3。由此可以看出FLV封装格式并不支持48KHz的采样率
采样精度 UB1 0 = snd8Bit
1 = snd16Bit
压缩过的音频都是16bit
音频声道 UB1 0 = sndMono 单声道
1 = sndStereo 立体声,双声道
对于AAC总是1

第二个字节开始为音频数据。

Field Type Comment
音频数据 UI[8*n] 如果是PCM线性数据,存储的时候每个16bit小端存储,有符号。
如果音频格式是AAC,则存储的数据是AAC AUDIO DATA,否则为线性数组。
video Tag Data结构(视频类型)

视频Tag Data开始的第一个字节包含视频数据的参数信息,从第二个字节开始为视频流数据。结构如下:

第一个字节包含视频信息,格式如下:

Field Type Comment
帧类型 UB4 1: keyframe (for AVC, a seekable frame)——h264的IDR,关键帧,可重入帧。
2: inter frame (for AVC, a non- seekable frame)——h264的普通帧
3: disposable inter frame (H.263 only)
4: generated keyframe (reserved for server use only)
5: video info/command frame
编码ID UB4 使用哪种编码类型:
1: JPEG (currently unused)
2: Sorenson H.263
3: Screen video
4: On2 VP6
5: On2 VP6 with alpha channel
6: Screen video version 2
7: AVC

第二个字节开始为视频数据

Field Type Comment
视频数据 UI[8*n] 如果是avc,则参考下面的介绍:AVC VIDEO PACKET
AVC VIDEO PACKET

关于下面这块内容有兴趣的话可以结合h264结构来看,不感兴趣的话可以直接跳过。

AVC VIDEO PACKET的结构:

Field Type Comment
AVC packet类型 UI8 0:AVC序列头
1:AVC NALU单元
2:AVC序列结束。低级别avc不需要。
CTS UI24 如果AVC packet类型是1,则为cts偏移(见下面的解释)。
如果AVC packet类型是0,则为0
数据 UI[8*n] 如果AVC packet类型是0,则是解码器配置,sps,pps。
如果是1,则是nalu单元,可以是多个。

关于CTS:这是一个比较难以理解的概念,需要和pts,dts配合一起理解。

首先,pts(presentation time stamps),dts(decoder timestamps),cts(CompositionTime)的概念:

pts:显示时间,也就是接收方在显示器显示这帧的时间。单位为1/90000 秒。

dts:解码时间,也就是rtp包中传输的时间戳,表明解码的顺序。单位单位为1/90000 秒。——根据后面的理解,pts就是标准中的CompositionTime

cts偏移:cts = (pts - dts) / 90 。cts的单位是毫秒。

pts和dts的时间不一样,应该只出现在含有B帧的情况下,也就是profile main以上。baseline是没有这个问题的,baseline的pts和dts一直相同,所以cts一直为0。

AVC VIDEO PACKET中Data的结构:

Field Type Comment
长度 UI32 nalu单元的长度,不包括长度字段。
nalu数据 UI[8*n] NALU数据,没有四个字节的nalu单元头,直接从h264头开始,比如:65 ** ** **,41 ** ** **
长度 UI32 nalu单元的长度,不包括长度字段。
nalu数据 UI[8*n] NALU数据,没有四个字节的nalu单元头,直接从h264头开始,比如:65 ** ** **,41 ** ** **
... ... ...

解析FLV

在理解了FLV结构的基础上,就可以尝试去解析一个FLV文件了。在阅读代码的过程中,遇到不懂的地方可以返回去看FLV结构,加深理解。

代码实现

下面是一段解析FLV文件的实例代码。 实现函数:

////  simplest_mediadata_flv.c//  Codec_simple_demo////  Created by guoqingping on 2018/4/25.//  Copyright © 2018年 guoqingping. All rights reserved.//#include 
#include
#include
//Important!#pragma pack(1)#define TAG_TYPE_SCRIPT 18 //帧tag#define TAG_TYPE_AUDIO 8 //audio tag#define TAG_TYPE_VIDEO 9 //video tagtypedef unsigned char byte;typedef unsigned int uint;typedef struct { byte Signature[3]; //文件标识,总是为FLV byte Version; //版本号,总是为1 byte Flags; // 音视频流存在标识 uint DataOffset;} FLV_HEADER; // FLV 文件头typedef struct { byte TagType; //tag类型 byte DataSize[3]; //tag data字节数 byte Timestamp[3]; //时戳 uint Reserved; //时间戳扩展字节+streamID } TAG_HEADER; //tag头//翻转字节,大段序转成小段序uint reverse_bytes(byte *p, char c) { int r = 0; int i; for (i=0; i
>4; //判断音频格式 switch (x) { case 0:strcat(audiotag_str,"Linear PCM, platform endian");break; case 1:strcat(audiotag_str,"ADPCM");break; case 2:strcat(audiotag_str,"MP3");break; case 3:strcat(audiotag_str,"Linear PCM, little endian");break; case 4:strcat(audiotag_str,"Nellymoser 16-kHz mono");break; case 5:strcat(audiotag_str,"Nellymoser 8-kHz mono");break; case 6:strcat(audiotag_str,"Nellymoser");break; case 7:strcat(audiotag_str,"G.711 A-law logarithmic PCM");break; case 8:strcat(audiotag_str,"G.711 mu-law logarithmic PCM");break; case 9:strcat(audiotag_str,"reserved");break; case 10:strcat(audiotag_str,"AAC");break; case 11:strcat(audiotag_str,"Speex");break; case 14:strcat(audiotag_str,"MP3 8-Khz");break; case 15:strcat(audiotag_str,"Device-specific sound");break; default:strcat(audiotag_str,"UNKNOWN");break; } strcat(audiotag_str,"| "); //获取5~6位,采样率 x=tagdata_first_byte&0x0C; //右移2位 x=x>>2; //判断采样率 switch (x) { case 0:strcat(audiotag_str,"5.5-kHz");break; case 1:strcat(audiotag_str,"1-kHz");break; case 2:strcat(audiotag_str,"22-kHz");break; case 3:strcat(audiotag_str,"44-kHz");break; default:strcat(audiotag_str,"UNKNOWN");break; } strcat(audiotag_str,"| "); //获取第7位,采样精度 x=tagdata_first_byte&0x02; x=x>>1; switch (x) { case 0:strcat(audiotag_str,"8Bit");break; case 1:strcat(audiotag_str,"16Bit");break; default:strcat(audiotag_str,"UNKNOWN");break; } strcat(audiotag_str,"| "); //获取第8位,音频声道数 x=tagdata_first_byte&0x01; switch (x) { case 0:strcat(audiotag_str,"Mono");break; case 1:strcat(audiotag_str,"Stereo");break; default:strcat(audiotag_str,"UNKNOWN");break; } fprintf(myout,"%s",audiotag_str); //if the output file hasn't been opened, open it. if(output_a!=0&&afh == NULL){ afh = fopen("output.mp3", "wb"); } //TagData - First Byte Data //获取tag Data字节数,需要减去Tag Data区域的第一个字节 int data_size=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize))-1; //循环获取字节写入文件 if(output_a!=0){ //TagData+1 for (int i=0; i
>4; switch (x) { case 1:strcat(videotag_str,"key frame ");break; case 2:strcat(videotag_str,"inter frame");break; case 3:strcat(videotag_str,"disposable inter frame");break; case 4:strcat(videotag_str,"generated keyframe");break; case 5:strcat(videotag_str,"video info/command frame");break; default:strcat(videotag_str,"UNKNOWN");break; } strcat(videotag_str,"| "); //读取TagData区域第一个字节,取出后4位。包含视频编码类型 x=tagdata_first_byte&0x0F; switch (x) { case 1:strcat(videotag_str,"JPEG (currently unused)");break; case 2:strcat(videotag_str,"Sorenson H.263");break; case 3:strcat(videotag_str,"Screen video");break; case 4:strcat(videotag_str,"On2 VP6");break; case 5:strcat(videotag_str,"On2 VP6 with alpha channel");break; case 6:strcat(videotag_str,"Screen video version 2");break; case 7:strcat(videotag_str,"AVC");break; default:strcat(videotag_str,"UNKNOWN");break; } fprintf(myout,"%s",videotag_str); fseek(ifh, -1, SEEK_CUR); //if the output file hasn't been opened, open it. if (vfh == NULL&&output_v!=0) { //write the flv header (reuse the original file's hdr) and first previoustagsize vfh = fopen("output.flv", "wb"); fwrite((char *)&flv,1, sizeof(flv),vfh); fwrite((char *)&previoustagsize_z,1,sizeof(previoustagsize_z),vfh); }#if 0 //Change Timestamp //Get Timestamp ts = reverse_bytes((byte *)&tagheader.Timestamp, sizeof(tagheader.Timestamp)); ts=ts*2; //Writeback Timestamp ts_new = reverse_bytes((byte *)&ts, sizeof(ts)); memcpy(&tagheader.Timestamp, ((char *)&ts_new) + 1, sizeof(tagheader.Timestamp));#endif //TagData + Previous Tag Size int data_size=reverse_bytes((byte *)&tagheader.DataSize, sizeof(tagheader.DataSize))+4; if(output_v!=0){ //TagHeader fwrite((char *)&tagheader,1, sizeof(tagheader),vfh); //TagData for (int i=0; i

函数调用方法如下:

//解析FLV simplest_flv_parser("cuc_ieschool.flv");复制代码

执行结果如下:

转载地址:https://blog.csdn.net/weixin_34077371/article/details/91365295 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:【JSConf EU 2018】JavaScript引擎: 精粹部分
下一篇:windows系统下Android Studio3.3 中文输入法异常以及布局文件不能看到中文的解决方法...

发表评论

最新留言

能坚持,总会有不一样的收获!
[***.219.124.196]2024年03月25日 04时34分32秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

全年营业额怎么计算_门店盈亏平衡计算及案例分析 | 商品管理 2019-04-21
卡尔曼_卡尔曼估计两步法 2019-04-21
区域转换为二值图像_Matlab图像处理系列教程(一) 2019-04-21
字符串是单一字符的无序组合吗_Python学习笔记(八)组合数据类型 2019-04-21
从当前元素继续寻找_云漫圈 | 寻找无序数组的第k大元素 2019-04-21
控制是否展示_现场展示板管理不在于看,而在于管! 2019-04-21
pe下找不到ssd硬盘_【进入pe系统后认不到硬盘解决方法】进入pe系统看不到硬盘_pe系统不认硬盘... 2019-04-21
windows 禁用ipv6服务_在 Windows 7 中禁用IPv6协议/IPv6隧道 2019-04-21
pip 设置超时时间_Python pip使用超时问题解决方案 2019-04-21
python定义一个_Python,包括定义一个类 2019-04-21
moore 数据集_警报数据集(alarm dataset)_机器学习_科研数据集 2019-04-21
go语言io reader_go语言之IO操作(待补充) 2019-04-21
mysql 固定符号分列显示_MySql中指定符号分割并分行展示 2019-04-21
mysql 5.5 免安装_mysql 5.5.56免安装版配置方法 2019-04-21
连接不上mysql 1045_技术分享 | MySQL 客户端连不上(1045 错误)原因全解析 2019-04-21
mysql innodb log_教你如何理解mysql中的innoDB log 2019-04-21
mysql qps如何查看_一款查看mysql QPS的脚本 2019-04-21
MySQL分布式ID_分布式唯一ID系列(3)——数据库自增ID机制适合做分布式ID吗 2019-04-21
mysql改表字段类型导致数据丢失_故障分析 | 记一次 MySQL 主从双写导致的数据丢失问题【转】... 2019-04-21
jsp解决mysql乱码_jsp+mysql时乱码的解决 2019-04-21