分块传输编码是 超文本传输协议(HTTP/1.1)中的一种消息定界机制,允许发送方将消息体作为一系列各自标明大小的分块发送,而不必在传输前声明消息体的总长度。每个分块先给出一个十六进制表示的大小,随后是相应数量的数据字节。大小为零的分块标志着数据结束,其后可跟随尾部字段,再以最后一个空行结束整条消息。分块传输既支持逐步生成的内容,又能在可复用的连接上保持清晰的消息边界。
用途与适用范围
HTTP 接收方需要确定每条消息在哪里结束。当多个请求和响应共用一条持久的传输控制协议(TCP)连接时,这一点尤为重要。
对于带有消息体的普通消息,HTTP/1.1 通常提供三种定界方式:
- **已知长度:**由
Content-Length字段给出消息体的字节长度。 - **分块编码:**将消息体划分为明确标明大小的分块,并以一个特殊的最终分块结束。
- **关闭连接:**在响应允许采用这种方式的情况下,通过关闭连接来标志消息体结束。
这些方式并非在所有情况下都能互换。根据 HTTP 的消息定界规则,某些响应没有消息体,例如对 HEAD 请求的响应,以及状态码为 204 的响应。
当发送方不便在发送首部前确定最终长度时,分块传输就很有用。例如,服务器可能一边从数据库中检索记录,一边生成超文本标记语言(HTML)文档;应用程序编程接口(API)也可能在结果就绪时立即输出。分块传输使发送方不必仅仅为了计算大小而缓冲整个消息体。
线上传输格式
分块消息通常由以下首部字段标识:
Transfer-Encoding: chunked
每个非最终分块都由以下部分组成:
- 分块大小,以一个或多个十六进制数字表示。
- 可选的分块扩展。
- 一个回车符,后接一个换行符,通常记为
CRLF。 - 与声明大小完全一致的数据字节。
- 另一个
CRLF。
最终分块的大小为零。其后是一个可以为空的尾部字段区段,再以一个空行结束该区段。
以下示例使用可见的转义序列展示一个完整的分块消息体。每个 \r\n 都代表实际的回车符与换行符组合,而不是四个字面字符:
4\r\n
Wiki\r\n
5\r\n
pedia\r\n
0\r\n
\r\n
经过分块解码后,消息体为:
Wikipedia
分块大小只计算该分块的数据字节,不包括大小行及其前后的分隔符。它计算的是字节数,而不是显示的字符数:使用 UTF-8编码的一个字符可能占用多个字节。
分块数据可以包含任意字节值,包括回车符和换行符。因此,接收方根据声明的长度来定位每段数据的末尾,而不是搜索换行符。
简化的结构描述如下:
chunk-size [chunk-extensions] CRLF
chunk-data CRLF
...
0 [chunk-extensions] CRLF
trailer-fields
CRLF
十六进制大小不区分大小写。最终分块的大小可以包含多个零,但通常只写一个 0。大小为零的分块是结束标记,而不是其后还可以跟随其他分块的空数据分块。
传输编码与内容编码
HTTP 区分传输编码和内容编码:前者涉及特定消息的传输与定界,后者描述对其表示形式所应用的编码。
例如:
Content-Encoding: gzip
Transfer-Encoding: chunked
这里,表示形式先经过 gzip 压缩,产生的压缩字节再以分块方式定界并传输。接收方去除分块定界结构,得到压缩后的内容;解压缩则是另一项独立操作。
HTTP/1.1 也允许使用传输编码序列。如果对消息应用分块编码,就只能应用一次,而且必须作为最后一道传输编码。这样,接收方才能先确定消息边界,再依次撤销此前应用的传输编码。
分块编码作用于单条 HTTP 连接,并非资源的永久属性。代理服务器可以解码分块消息,再使用不同的分块边界或其他有效的定界方式转发。因此,分块边界没有稳定的端到端含义,不应被视为应用记录的边界。
分块扩展与尾部字段
分块扩展
大小行可以包含以分号开头的扩展:
a;example=value\r\n
十六进制大小 a 表示十个数据字节。扩展可用于存放与特定分块相关的信息,但普通的分块解码并不依赖于对这些扩展的理解。接收方必须忽略无法识别的分块扩展。
如果应用信息需要经过任意中间节点传递,扩展通常不是可靠的承载方式:代理服务器在对消息解码并重新编码时,可能会移除或替换原有的分块结构。
尾部字段
尾部字段位于大小为零的分块之后、最后一个空行之前。它们可以携带只有在消息体生成完毕后才能得到的元数据,例如内容摘要。
发送方可以在初始首部区段中使用 Trailer 声明预计发送的尾部字段名称。在请求中,独立的 TE 字段可用来表明愿意接收尾部字段:
TE: trailers
TE 和 Transfer-Encoding 是不同的字段。HTTP/1.1 要求接收方理解分块编码,因此客户端无须声明 TE: chunked。
尾部字段的使用受到限制。消息定界、路由、身份验证所需的字段,以及处理消息体之前必须作出的其他决策所依赖的字段,都不适合放在尾部。不同服务器、中间节点和应用接口对尾部字段的支持程度也各不相同。接收方不得不加区分地将尾部字段并入初始首部区段;只有字段定义允许时,才适合这样做。
流式传输行为与局限
分块编码支持增量传输,但并不保证数据会立即交付给应用程序或用户。
服务器可能先积累数据,再输出一个分块。网络库、代理服务器、压缩层和网页浏览器都可能引入额外的缓冲。一个分块可以跨越多个 TCP 报文段,而一次读取操作也可能收到多个分块。无论是 TCP 读取操作,还是传输层安全协议(TLS)记录,都不一定与分块边界对齐。
实际使用时需要注意:
- **应用记录需要自己的定界方式。**一个 JSON 对象或事件可以跨越多个分块,而一个分块也可以包含多条应用记录。
- **分块大小会影响开销和缓冲。**分块越小,大小行和分隔符所占的开销比例就越高;分块越大,发送前可能需要的缓冲空间就越多。
- **流式传输并非分块编码独有的能力。**已知
Content-Length的消息体也可以逐步发送和处理。 - **正常完成有明确的标记。**如果连接在终止结构到达之前关闭,该分块消息就是不完整的。
相比之下,仅靠关闭连接来定界的响应,无法以同样明确的方式区分消息体正常结束和传输中断。
安全与解析
分块编码具有重要的网络安全影响,因为不同组件必须对消息边界达成一致。当前端代理服务器与后端服务器对定界方式的解释不同时,攻击者可能借此实施 HTTP 请求走私。
一种尤其危险的情况是,消息同时包含 Transfer-Encoding 和 Content-Length。发送方不得生成这种组合。根据 HTTP/1.1 的定界规则,Transfer-Encoding 优先,但同时收到这两个字段可能意味着存在针对消息定界的攻击企图。中间节点若要转发这样的消息,必须先移除收到的 Content-Length。
其他解析风险包括格式错误的十六进制大小、缺失的分隔符、过长的扩展,以及转换分块大小时发生的数值溢出。整数溢出可能导致解析器错误计算边界或不当处理内存。HTTP 规范要求实现预先考虑很大的大小值,并在解析过程中防止溢出或精度损失。
分块编码本身不提供机密性、身份验证或密码学完整性保障。这些特性需要单独的机制,例如 TLS,以及在适用情况下使用的内容完整性字段。
标准化与后续 HTTP 版本
分块传输编码于 1997 年作为 HTTP/1.1 的一部分在 RFC 2068 中标准化,并在 1999 年的 RFC 2616 中得到保留。后续修订将 HTTP 的语义与各版本特有的消息语法分离。2014 年,RFC 7230 规定了 HTTP/1.1 的消息定界方式;2022 年,RFC 9112 取代它,成为 HTTP/1.1 的消息传递规范。这些标准通过互联网工程任务组发布。
HTTP/2 和 HTTP/3 不使用 HTTP/1.1 的分块传输编码。它们通过协议定义的 DATA 帧传输消息体,并通过各自的流机制指示传输完成。它们仍然支持尾部字段,但这些字段放在尾部首部区段中传送,而不是放在文本形式的零大小分块之后。
因此,在不同 HTTP 版本之间进行转换的网关,可能会将 HTTP/2 或 HTTP/3 的消息体转换为分块的 HTTP/1.1 消息体,也可能在通过较新版本转发时去除 HTTP/1.1 的分块编码。即使传输定界方式发生变化,应用内容仍可保持不变。