用户代理是代表用户与网络服务交互的软件。在万维网上,这个术语最常指网页浏览器,但也包括命令行客户端、自动爬虫,以及其他获取或处理网页资源的程序。在超文本传输协议(HTTP)中,用户代理是发起请求的客户端程序。这个术语也用于其他系统,包括电子邮件系统。用户代理不同于 User-Agent 请求头,后者是软件向服务器标识自身的一种机制。
在网络通信中的作用
在客户端—服务器模型中,用户代理通过发起交互,为用户完成某项任务,例如打开文档、提交表单、下载文件或自动获取信息。并非每个请求都需要由用户直接发起。例如,用户打开一个页面后,浏览器可能会为获取图片、脚本和样式表而发出许多额外请求。
访问网页时,用户代理通常会:
- 通过统一资源定位符(URL)标识资源。
- 发送请求并解释响应。
- 按照其支持的格式处理接收到的内容。
- 维护相关状态,例如 HTTP Cookie 和缓存资源。
- 执行安全与隐私策略。
- 将结果呈现给用户,或传递给另一个程序。
图形界面浏览器可以渲染超文本标记语言(HTML)、应用层叠样式表(CSS),并执行 JavaScript。较简单的 HTTP 客户端可能只下载响应数据。两者都可以是用户代理;提供图形界面并不是必要条件。
HTTP 区分发起请求的用户代理与中间节点。正向代理为客户端转发请求,而网关或反向代理通常代表其他服务器提供服务器端接口。虽然中间节点可以在某个连接中充当 HTTP 客户端,但这并不意味着它就是整个请求的原始发起用户代理。
用户代理的类型
交互式网页浏览器
桌面浏览器和移动浏览器是人们最熟悉的用户代理。它们集网络通信、文档渲染、脚本执行、存储和用户界面等功能于一体。
浏览器的行为也会影响网页无障碍。浏览器可以向屏幕阅读器等辅助技术提供文档结构和控件信息。在无障碍相关讨论中,“用户代理”的范围可能比 HTTP 客户端更广,涵盖获取、渲染网页内容或帮助用户与网页内容交互的软件。
自动化客户端
自动化用户代理包括:
- 网络爬虫:为搜索引擎或其他索引系统发现并获取页面。
- 命令行客户端:根据命令或脚本传输资源。
- 监控工具:检查可用性、响应时间或内容是否符合预期。
- 应用程序客户端:与应用程序编程接口(API)通信。
- 浏览器自动化工具:控制浏览器,以执行测试或其他自动化任务。
是否具备自动化能力,本身并不能将用户代理与其他软件区分开来。用户代理的决定性特征在于,它承担着代表用户或操作人员访问服务的角色。
邮件用户代理
邮件用户代理是用于阅读、撰写、发送和管理电子邮件的应用程序。它不同于在邮件系统之间传输邮件的邮件传输代理,也不同于负责将邮件最终投递到邮箱的邮件投递代理。这些区别是按功能划分的:同一个软件包可以承担多种角色。
HTTP User-Agent 请求头
User-Agent 请求头携带发起 HTTP 请求的软件的相关信息。服务器可以将其用于故障诊断、兼容性处理和汇总使用情况分析。
以下是一个示例值:
User-Agent: ExampleClient/2.4 (ExampleOS)
HTTP 将其基本结构定义为一个或多个产品标识符,并可附带注释。产品标识符由产品名称和可选的版本号组成。实际浏览器使用的值往往包含多个标识符和兼容性标记,而不是一个明确无歧义的应用程序名称。
这个字段并不是设备及其能力的标准化清单。根据具体实现,它可能包含或暗示以下信息:
- 浏览器或客户端所属系列。
- 软件版本。
- 操作系统系列。
- 设备类别,例如移动设备或桌面设备。
- 渲染引擎标识符。
- 历史遗留的兼容性标记。
这些信息既不一定全部存在,也不一定准确。HTTP 语义规定,除非经过明确配置而不发送该字段,否则用户代理应当发送它;但服务器必须能够处理不含该字段的请求。
通过脚本访问
在网页浏览器中,JavaScript 通常可以通过 navigator.userAgent 读取用户代理字符串。浏览器施加的限制会阻止普通页面脚本通过标准网页请求 API 随意设置某些请求头,其中包括 User-Agent。
向脚本提供的值以及通过网络发送的标识信息,都由具体实现控制。两者都不能可靠地反映设备完整的硬件或软件配置。
历史发展与兼容性
在万维网发展早期,不同浏览器支持的功能存在显著差异,用户代理标识符因此变得重要。网站有时会检查标识字符串中的浏览器名称,据此选择内容或启用功能。
这种做法促使其他浏览器加入那些被广泛接受的客户端所使用的标识符。因此,最初与早期 Netscape 浏览器系列相关的 Mozilla 标记,在并非 Netscape 产品的浏览器中也变得十分常见。围绕渲染引擎和浏览器系列,类似的兼容性惯例也逐渐积累起来。
因此,许多现代用户代理字符串包含多个看似相互矛盾的身份标识。Mozilla/5.0、AppleWebKit、Safari 和 like Gecko 等标记,并不总能按字面理解为对实际使用的应用程序或引擎的声明。它们的含义取决于整个字符串以及特定浏览器所遵循的惯例。
这段历史说明了一个互操作性问题:一旦网站依赖某个标识符的确切形式,即使客户端支持所需功能,改变标识符也可能导致无法正常访问。
用户代理检测与特性检测
用户代理检测,也称为用户代理嗅探,是指通过检查客户端的标识字符串来选择相应行为。它可以用于针对特定兼容性问题实施变通方案、选择下载内容,或分析流量模式。
不过,这种方法有若干局限:
- 不同浏览器可能使用许多相同的标记。
- 新的浏览器版本可能使解析规则失效。
- 嵌入式浏览器的标识可能与独立浏览器相似。
- 用户和自动化工具可以修改标识字符串。
- 浏览器所属系列或版本并不能完全决定其已启用的功能。
相比之下,特性检测会检查所需能力是否可用。例如,脚本可以在调用某个 API 之前检测它是否存在,而不是根据浏览器名称推断是否支持。一般而言,这种方式更直接地对应实际需要检验的条件,不过,API 存在并不保证它没有缺陷,也不保证其行为完全一致。
浏览器身份也不能可靠地确定屏幕尺寸、输入方式、无障碍需求,或请求是否由人类发起。
User-Agent 客户端提示与标识信息缩减
User-Agent 客户端提示提供了另一种机制,用于披露选定的浏览器和平台信息。支持这一机制的浏览器可以发送 Sec-CH-UA、Sec-CH-UA-Mobile 和 Sec-CH-UA-Platform 等结构化请求字段。服务器可以通过 Accept-CH 响应头请求额外的提示信息,但能否获得这些信息取决于浏览器支持情况、安全要求、权限策略和隐私控制。
部分支持这一机制的浏览器还通过 navigator.userAgentData 接口提供相关信息。这种支持并不普遍,而且请求某项提示信息,并不保证浏览器一定会提供。
客户端提示将信息划分为不同类别,而不是把所有信息都放在一个传统字符串中。它与减少传统用户代理标识默认披露细节的工作密切相关。这类缩减措施可能会冻结某些版本号组成部分,或用更笼统的值替代精确的平台信息。
客户端提示本身并不保证匿名性。更详细的信息仍可能有助于识别某个浏览器,其对隐私的影响取决于披露了哪些信息,以及在什么条件下披露。
隐私、安全与实际使用的局限
用户代理信息与其他可观察属性结合时,可用于浏览器指纹识别。详细的版本或平台字符串可能有助于将某个浏览器实例与其他实例区分开来,从而引发数据隐私方面的担忧。
这个请求头也很容易伪造。爬虫可以声称自己是浏览器,一个浏览器也可以将自己标识为另一个浏览器。因此,用户代理值不是凭据,也不能提供身份认证。仅凭这一信息,不足以实施访问控制,也不足以验证流量是否来自某个特定组织。
在实际运维中,用户代理字符串仍可用于诊断兼容性故障、估算各类客户端的使用规模,以及调查异常流量。但解释这些信息时必须谨慎:格式错误的值、伪装、标识信息缩减和自动化请求,都可能使结论失真。
根据用户代理信息发送不同资源表示的服务器,还必须考虑缓存问题。HTTP Vary 响应头可以指出哪些请求字段影响了资源表示的选择。不过,由于 User-Agent 字段的可能取值非常多,按整个字段区分缓存可能产生大量缓存变体,降低缓存效率。