搜索引擎

搜索引擎是一种软件系统，它从大型文档集合（最常见的是公开的万维网）中检索文档，并按排序后的结果呈现出来，以回应用户的查询。其基本工作分为几个阶段：发现文档、存储文档的可检索表示、针对查询为文档打分，以及展示结果。现代搜索引擎要处理数十亿网页和极大的查询量，因此它们依赖信息检索理论、分布式计算，并且越来越多地依赖机器学习。它们的影响远超技术领域，因为它们塑造了人们获取新闻、商品、科学文献和健康信息的方式，而且少数公司控制着该市场的大部分份额。

本词条沿着该领域的发展脉络展开，从网络出现之前的图书馆编目和学术检索的根源，讲到20世纪90年代网络爬虫和基于链接的排序方法的兴起，再到当前经典排序、学习排序模型、神经检索和生成式答案引擎并存的局面。内容涵盖核心技术流程（爬取、索引、查询处理和排序）、相关性的衡量方式，以及随着行业发展而日益突出的商业、法律和社会议题，包括广告、搜索引擎优化、隐私、反垄断，以及对偏见和人工智能生成答案可靠性的担忧。

定义与核心组成部分

搜索引擎是一种软件系统，它接收用户的查询，将其与一组文档进行匹配，并按照估计的相关程度对匹配结果排序后返回。这种对文档集合执行"查询并返回排序结果"的过程，是搜索引擎的基本功能。研究这一领域的学科是信息检索。被搜索的集合可以是公开的互联网、某个网站、某家公司的内部文件，也可以是单台计算机上的文件。

将搜索引擎与三类相邻系统相比较，有助于理解这一概念。网络目录（例如雅虎早期的分类目录）是由编辑人工编制、供人浏览的类别层级，通常并不将自由文本查询与网页的全部内容进行匹配。数据库查询接口，例如基于关系数据库、用SQL编写的查询，会返回满足某个针对已知模式（schema）所写条件的记录。用户必须理解该模式，而且结果通常是无序的集合，而不是对自然语言文本相关性的估计。推荐系统无需明确的查询，它根据用户过去的行为或个人资料预测其可能感兴趣的条目；搜索引擎则始于用户明确表达的信息需求。许多商业产品同时整合了这些功能，因此二者的区别在于功能，而非严格的界限。

多数搜索引擎由三个主要子系统组成。第一是爬取器或采集器，负责发现并抓取文档；就网络而言，它从一组起始地址出发，沿着超链接逐步抓取（参见网络爬虫）。第二是搜索索引，即将词项映射到包含这些词项的文档的数据结构，通常为倒排索引，并与标题、URL等元数据一同存储。第三是查询处理与排序组件，它负责解析并规范化查询，从索引中检索候选文档，为其打分并排序。第四层是结果页面，以标题、链接和摘要的形式呈现排序结果，并可能添加其他元素。采集器和索引是离线分批构建并定期更新的，而查询处理必须在极短时间内为每位用户作出响应。

按覆盖范围划分，搜索引擎也各有不同。通用网络搜索引擎力求广泛覆盖公开网络，并运行自己的爬虫和索引。元搜索引擎本身没有索引，它将用户的查询发送给多个其他搜索引擎，收集它们的结果列表，合并为一个列表，去除重复项并协调各自的评分。垂直或专业搜索引擎只限于某个领域或内容类型，例如学术文献、源代码、专利、图片、商品或地图，并采用适合该领域的排序标准。

这一术语也涵盖规模较小的系统。站内搜索为单个网站的页面和目录建立索引。企业搜索为内部文档、电子邮件、维基和数据库建立索引，并且必须遵守员工之间各不相同的访问权限。桌面搜索则为个人计算机上的文件和邮件建立索引。这些系统与网络搜索引擎采用相同的架构，但在规模、时效性要求和访问控制方面有所不同。它们通常也缺乏网络搜索引擎所利用的超链接图，因此其排序更多依赖内容和元数据。

早期历史：从目录到全文检索

网络出现之前的检索研究

搜索技术比网络早了几十年。在联网文档出现之前，信息检索领域主要处理图书馆目录和基于布尔代数的查询系统：一条记录要么匹配索引词上的某个逻辑表达式，要么不匹配。该领域现代的评测方法源自Cranfield实验。1960年代，Cyril W. Cleverdon在如今的克兰菲尔德大学（当时称航空学院）主持了这些研究，以衡量不同索引系统的效果。其持久的贡献在于测试集（test collection）。测试集由三部分组成：一组文档、一组称为主题（topic）的信息需求陈述，以及相关性判断，即标明对于每个主题应检索哪些文档。因此，检索质量的判断标准是相关文档是否排在不相关文档之前。Cleverdon的第一个测试集包含约1,400篇文档和225个请求。Cranfield方法被其他团队采用，最著名的是康奈尔大学Gerard Salton领导的SMART小组。到1981年，该方法已经相当成熟，足以成为Karen Spärck Jones主编的一整本书的内容。之后，1992年开始的文本检索会议（Text REtrieval Conference）把同样的方法带入了大规模的共享评测。

最早的互联网工具

在网络出现之前，已有联网查找服务，例如可追溯到1982年的WHOIS，以及1989年首次实现的Knowbot Information Service。这些服务早于1990年12月Web的推出。第一个用于搜索内容而非人员的工具是Archie。它由当时蒙特利尔麦吉尔大学的计算机科学学生Alan Emtage创建，于1990年9月10日上线。其设计分为两部分：一个基于脚本的采集器抓取匿名FTP站点的目录列表，一个正则表达式匹配器则检索符合用户查询的文件名。其范围相当有限，只索引文件名，不索引文件内容。因此用户需要相当准确地猜到文件的名称。该引擎的开发在1990年代末停止。

Gopher是1991年从明尼苏达大学诞生的基于菜单的信息协议，也有自己的工具。它的流行催生了两个搜索程序Veronica和Jughead，它们和Archie一样，搜索Gopher索引系统中存储的文件名和标题。这些工具仍然局限于菜单条目和文件名，而非页面正文。

1990年代的转型

早期的网络导航很大程度上依靠人工。Yahoo!于1994年推出，最初是一个网络目录而非搜索引擎。随着收录网站数量增长，人们增加了分类和子分类，以便用户能在链接中找到方向。

基于爬虫的引擎随后改变了这一方式。Brian Pinkerton于1994年1月在华盛顿大学将WebCrawler作为桌面应用开始开发。它于1994年4月上线，数据库中有超过4,000个网站。WebCrawler是第一个提供全文搜索的网络搜索引擎。它不只匹配标题或描述，而是索引所抓取页面的正文，因此用户即使只记得半句短语，也能找到包含该短语的页面。

AltaVista于1995年末推出。它于1995年12月15日成立，由Digital Equipment Corporation开发。它是第一个可进行全文布尔搜索的万维网索引。一些流行的历史叙述把AltaVista的时间定为1994年，但这与有文献记载的1995年12月上线相矛盾。它的优势在于速度和覆盖范围，但对结果进行有效排序仍是弱项。AltaVista在速度和索引规模上领先，却缺乏强有力的结果排序方法。之后，谷歌基于链接的排名在相关性上拉开了差距。

从数千到数十亿页

全文索引使规模成为核心工程问题。1994年时，几千个站点的索引可以放在一台机器上。到2000年，据报道谷歌已索引十亿个网页，此后网络继续增长。抓取、索引和查询服务必须跨多台机器运行。引擎将索引拆分为分片、进行复制，并在服务器之间均衡分配查询。索引构建转向并行处理数据的批处理系统。这正是后文将更详细描述的向分布式计算的转变，它使大规模抓取和全文索引变得切实可行。

网络爬取与内容发现

种子与抓取边界

爬虫（有时也称为蜘蛛或机器人）是搜索引擎用来发现后续将被索引的文档的组件。它从一组已知地址的种子集合开始，取出一个地址，下载该页面，并解析出两部分内容：文本，交给索引阶段；以及页面中的外链。提取出的链接会被加入 URL 待抓取队列（URL frontier），该队列保存尚未抓取页面的地址。最初，队列中只有种子；每个条目在其页面被抓取后出队。从抽象角度看，爬取过程是在由页面及页面之间的超链接构成的有向图上游走，因此队列的出队顺序决定了万维网的哪些部分会被优先访问，以及爬取能深入到什么程度。

礼貌性与 robots.txt

爬取受到网站运营者意愿的约束。机器人排除协议（Robots Exclusion Protocol）允许主机发布 robots.txt 文件，规定爬虫可以下载哪些页面，也可以说明爬虫可以多频繁地抓取该网站。遵守规则的爬虫会在抓取某主机之前检查此文件，并通常缓存结果，而不是对每个链接都重新下载。一个微妙的问题是时机：某个 URL 可能在队列中等待很久，因此在它出队之前 robots 文件可能已经发生变化。这就是为什么检查通常在抓取时进行，而不是在入队时进行。

礼貌性也涉及请求频率。一种常见设计为每个主机分配独立的队列，并在对该主机的两次下载之间强制最小间隔。一个已发表的设计采用两层队列：前端队列负责优先级，后端队列负责礼貌性，每个后端队列恰好只包含一个主机的 URL。频率限制通常是自我施加的，一种常被提及的做法是对每个域名大约每秒发送一次请求。

优先级、新鲜度与重复内容

抓取队列很少是简单的先进先出队列。其排序会综合考虑重要性（通常使用基于链接的评分）以及预期的变化频率。新闻网站可能每隔几分钟就被重新抓取一次，而静态页面可能每月才访问一次。这些目标可能相互冲突：经常变化的页面即使在主机希望减少请求的情况下，也可能需要频繁访问。由于页面变化速度各不相同，搜索引擎必须依据观察到的变化情况调整重访计划，从而让索引保持新鲜，同时避免在稳定页面上浪费带宽。

重复内容的处理分为两个层面。完全重复的内容，例如以多个 URL 提供的镜像站点，可以通过对页面内容进行哈希来识别；一个学生设计方案使用内容的 SHA-256 摘要，若某页面已被见过，则直接跳过。近似重复的内容，即页面仅在样板文字或细微编辑上有所不同，则需要 SimHash 等指纹方法，这类方法能够识别仅有细微差异的页面。重复 URL 检测则是另一个独立的问题，因为同一资源可以通过多个地址访问到。

健壮性是另一项要求。网络上存在无限深的目录结构，例如 http://foo.com/bar/foo/bar/foo/bar/，而动态生成的网站可能产生实际上无穷多的 URL。因此，爬虫会设置深度限制和 URL 过滤规则，否则爬虫陷阱会让简单的爬虫失效。生成指向其他垃圾页面链接的垃圾页面同样是一个问题，这也是为什么发现（抓取）与基于链接的排序密切相关。

局限：动态内容与深网

爬取只能覆盖通过普通链接可以到达的内容。许多现代页面由脚本组装，或仅在提交表单后才返回结果。目前没有现成的技术能让爬虫越过 HTML 表单，因为这类表单主要是为真实用户设计的。因此，基础爬虫只能抓取静态内容，而遗漏了通常所说的深网或隐形网。一篇关于爬虫研究的综述将其描述为：此类内容必须通过 HTML 表单而非超链接才能访问。

深网因此与其说是一个固定的区域，不如说是一类发现机制难以触及的内容。它包括登录墙之后的页面、订阅服务中的页面，以及按查询动态生成的页面。一个经典例子是零售商的商品数据库：Amazon.com 的数据库中有数百万条商品描述，但并没有一组列出所有这些描述的页面，因此抓取它可能需要用大量词条反复查询数据库。出于同样的原因，没有入站链接的页面对于遵循链接的爬虫也是不可见的。针对特定领域的垂直爬虫（如招聘网站）有时会增加自动填写表单和处理脚本的机制，以获取此类内容。

索引：倒排索引与文本处理

倒排索引是大多数文本搜索引擎的核心数据结构。其名称反映了文档与词语之间自然关系的颠倒。普通的列表会给出每篇文档中包含的词语；倒排索引则对每个词项给出包含它的文档。该结构分为两部分。词典（或词表）保存所有不同的词项，并指向该词项的倒排列表。每个倒排列表是一个有序的条目序列，每篇包含该词项的文档对应一个条目。条目通常存储文档标识符以及该词项在该文档中的词频。如果引擎支持短语查询，它还会存储词项出现的位置，这意味着条目是按每次出现计，而非按每篇文档计，因此索引明显更大。合取查询可以归结为对有序列表求交集。短语查询则检查连续词项的位置在同一文档中是否相邻。

文本规范化

词项进入词典之前，文本要经过一条处理流水线。分词与词元化将字符流切分为候选词项。对英语而言，这主要依据空白字符和标点规则，但连字符、撇号、数字、URL和电子邮件地址难以简单切分，需要特殊处理。大小写折叠将词元统一为同一种大小写，使 "Search" 和 "search" 共享同一个倒排列表。引擎可能会单独保留人名和缩略词的大小写信息。

停用词是非常高频的功能词，如 "the" 或 "of"。早期系统为节省空间而丢弃它们。许多现代引擎则保留它们，因为短语查询和某些标题依赖这些词，而且它们很长的倒排列表压缩效果良好。接下来是词干提取或词形还原。词干提取依据规则去除后缀，使 "connect"、"connected" 和 "connection" 合并为同一词项，Porter算法是其中的经典例子。词形还原则借助词表和形态学（语言学）分析返回词典形式，使 "better" 映射为 "good"。它更准确，但代价也更高。两者都是以精确率换取召回率。对于形态丰富的语言（如芬兰语、土耳其语或阿拉伯语）来说，两者都更为重要，因为同一个词元可能有许多表层形式。

对于词与词之间没有空格的文字，如汉语、日语和泰语，根本无法通过空白字符进行分词。引擎会应用中文分词，通常以词典为基础，并辅以统计消歧。一些系统则改为索引重叠的字符二元组。这样可以避免分词错误，但索引更大，且会产生更多虚假匹配。日语混用多种文字，通常需要完整的形态分析器。

大规模索引构建

网络规模的索引无法完全在内存中构建。通常采用基于排序的方法。文档被解析为由词项、文档标识符和位置组成的三元组。这些三元组先累积在缓冲区中，按词项再按文档排序，然后作为部分索引写入磁盘。随后通过多路归并过程合并这些部分索引。该过程以流式方式读取已排序的文件，并拼接每个词项的倒排列表。同样的模式也可以很自然地映射到MapReduce编程模型这样的分布式批处理框架上：map任务输出词项–文档对，reduce任务再将其组装成列表。新抓取的文档通常先通过小型内存索引加入，并定期合并；而删除操作则被记录下来，在查询时过滤掉。

倒排列表按文档标识符排序，因此引擎存储的是相邻标识符之间的间隔，而非绝对值。这些间隔较小，而小整数压缩效果很好。常见的编码方式包括变长字节码以及Golomb码和Rice码，它们都是数据压缩的具体应用。基于块的方案将列表分割为固定大小的块，这些块可以快速解码，并借助存储的跳跃指针跳过。词项的偏斜分布在这里起到了帮助作用：大多数词项很稀有，列表很短；而少数常见词项的列表则非常长。

为了扩展规模，索引被分布到许多机器上。在文档分区中，每个分片保存文档的一个子集，以及这些文档完整的倒排列表。查询被广播到所有分片，各分片的本地前几名结果再被合并。在词项分区中，每台机器保存一部分词项的完整列表，因此多词项查询需要机器之间进行通信。文档分区是更常见的选择，因为它能均衡负载，并使合并过程保持简单。每个分片通常会有副本，以应对查询吞吐量和故障问题。这部分工作属于分布式计算的范畴，将在基础设施相关章节中进一步讨论。

倒排列表之外的元数据

倒排列表只是引擎所存储内容的一部分。每篇文档还在一个独立的文档存储中拥有一条记录。该记录通常包括URL、标题、检测到的语言、抓取时间和最后修改时间戳，以及用于近似重复检测的内容指纹。渲染后页面的特征，如标题结构、与模板内容分离的可见正文以及结构化数据，也可能被存储。

锚文本，即指向某网页的链接中的词语，通常作为目标文档的一个字段被索引。这使得即使网页本身不包含某些词语，也能通过其他作者用来描述该网页的词语检索到它。标题、正文和URL等字段可以分别索引，因此查询可以限定在某个字段内，或对不同字段赋予不同权重。语言标签用于选择合适的词干提取器，并允许按语言过滤结果。时间戳则支持新鲜度信号。这些存储的属性为后续的排序阶段提供依据，相关内容将在信息检索模型和链接分析的章节中讨论。

检索模型与相关性评分

早期的检索系统采用布尔检索。查询是由 AND、OR 和 NOT 将词项组合而成的逻辑表达式，引擎返回所有匹配的文档，但不做排序。这种方式在倒排索引上实现起来很简单，因为可以对倒排列表做求交和合并，但它没有“程度”的概念。一篇包含十个查询词中九个的文档，与一个都不包含的文档得分相同，而用户必须猜准确的用词，才能得到数量可控的结果集。排序检索（ranked retrieval）则用对每个候选文档的打分取代这种“是或否”的判断，使最佳匹配排在最前。几乎所有现代搜索引擎都采用这种方式，本节其余部分介绍主要的评分方法。

向量空间模型由杰勒德·萨尔顿（Gerard Salton）的 SMART 系统推广而广为人知。该模型将每个文档和查询表示为一个向量，每个词项对应一维。每个分量是一个权重，最常用的是词频—逆文档频率（TF-IDF）权重，它将词项在文档中的频率与该词项在整个集合中的稀有程度相乘，通常写作 $w_{t,d} = tf_{t,d} \cdot \log(N/df_t)$ 。相关性通过查询向量与文档向量之间的余弦相似度来估计。余弦相似度衡量两个向量之间的夹角，从而抵消文档长度带来的差异。这些向量极其稀疏，因此实际实现通常通过倒排列表计算分数，而不是进行稠密的数值运算。

概率排序的出发点是：文档应当按照其相关概率排序。Okapi 系统于 20 世纪 80 年代在伦敦开发，并在 TREC 评测中得到检验，它提出了 BM25 函数，至今仍是标准基线：

\mathrm{BM25}(q,d)=\sum_{t\in q}\log\frac{N-df_t+0.5}{df_t+0.5}\cdot\frac{(k_1+1)\,tf_{t,d}}{k_1\left((1-b)+b\,\frac{L_d}{L_{avg}}\right)+tf_{t,d}}

第一个因子是逆文档频率权重。第二个因子对词频进行饱和处理，使一个词项额外出现所带来的增益越来越小，并且用文档长度 $L_d$ 相对于平均长度 $L_{avg}$ 进行归一化。参数 $k_1$ 控制饱和程度， $b$ 控制长度归一化；常用的默认值是 $k_1$ 取 1.2 到 2 之间， $b$ 取 0.75。BM25 是词袋函数，忽略词项之间的邻近关系，因此通常与其他信号结合使用。作为许多开源搜索引擎底层库的 Lucene 把它采用为默认的相似度函数。

语言模型方法由 Ponte 和 Croft 于 1998 年提出，它按照文档自身的词分布生成该查询的概率对文档进行排序，即 $P(q \mid d) = \prod_{t \in q} P(t \mid M_d)$ 。未见过的查询词会使这一乘积为零，因此必须将文档模型向整个集合的模型做平滑，常用方法包括 Jelinek–Mercer 平滑和 Dirichlet 平滑。该方法有理论依据且灵活，并与通用的语言模型框架有紧密联系。

潜在语义索引由 Deerwester 等人于 1990 年提出，旨在解决词汇失配问题，即人们用不同的词描述同一概念的现象。它对词项—文档矩阵进行截断的奇异值分解，保留数百个维度，使得文档和查询即使不共享任何词项，也可能相似。但其代价相当大：大矩阵的分解计算量很大；降维后的表示是稠密的，失去了使倒排索引高效的稀疏性；随着集合变化，模型必须重建或近似；维度数只能依靠经验调优。这些困难解释了为什么潜在方法大多停留在研究和小众应用中，这一主题在关于神经检索的讨论中还会再次出现。

搜索引擎可能需要在毫秒内为一个查询处理数百万条倒排记录，因此查询处理经过了大量优化。MaxScore（Turtle 和 Flood，1995）和 WAND（Broder 等人，2003）等动态剪枝方法预先计算每个词项贡献的上界，使引擎能够跳过无法进入当前 top-k 列表的文档。提前终止则是在找到足够多的高分候选后停止扫描。许多系统采用两阶段设计：先由低成本的打分器筛选候选，再由昂贵的模型只对靠前的少数结果重新排序。缓存利用了查询流量的偏态分布：少量热门查询占据了大部分请求，因此对高频查询缓存结果页、对常见词项缓存倒排列表，可以获得很高的命中率。每当索引发生变化，缓存都必须失效或刷新，这使缓存策略与抓取和索引紧密耦合。

链接分析与 PageRank

链接分析把网页和超链接构成的有向图视为重要性的证据。其核心直觉是，链接相当于一种背书：作者链接到另一个页面，大体上就是在为它作保。统计入链数量是这一思想最简单的形式，但它对每一条背书一视同仁。来自冷门页面的链接，分量应当低于来自广受引用来源的链接，因此更有价值的问题是：重要性如何在图中流动。

PageRank 由 Larry Page 和 Sergey Brin 于 20 世纪 90 年代末在斯坦福大学提出，它用随机冲浪者模型将这一思想形式化。模拟用户从一个随机页面出发，每一步要么沿当前页面的一个链接前进，要么跳转到整个集合中随机选择的一个页面。某个页面的 PageRank，就是这位冲浪者在长期中停留在该页面上的时间占比。从数学上看，这就是页面上马尔可夫链的平稳分布，也是转移矩阵的主特征向量（参见特征值与特征向量）。标准的更新公式如下：

PR(A) = \frac{1-d}{N} + d \sum_{T_i \to A} \frac{PR(T_i)}{C(T_i)}

其中 $N$ 为页面总数， $C(T_i)$ 为页面 $T_i$ 的出链数， $d$ 为阻尼因子。每个页面都会把自己的一部分分数传递给它所链接的页面，因此当许多高分页面指向某个页面时，该页面的分数就会很高。

阻尼因子通常设为 0.85。这一取值意味着，发明者假定冲浪者平均每点击约五次链接后，就会跳转到一个随机页面。冲浪者厌倦了沿着链接前行，于是在浏览器的地址栏中输入一个新的目的地，这是理解“随机传送”这一概念的一个直观方式。如果没有这一项，马尔可夫链可能陷入循环，或者滑入只相互链接的页面群中，分数也就无法良好定义。阻尼保证了平稳分布的唯一性，并使每个页面都获得一个最低分数。阻尼因子的取值也会影响收敛速度：有一项分析发现，与 0.85 相比，取 0.95 会使所需迭代次数增加 190%。对人类浏览行为的实证研究则提示，有效阻尼值可能更低，其中一项对整个网络的估计介于 0.6 到 0.72 之间，而维基百科的数值还要更低。作者认为，这部分是因为许多用户是通过搜索引擎抵达维基百科的。

在实践中，PageRank 通过幂迭代而非直接求解方程组来计算。算法从均匀分布的分数向量出发，反复应用转移矩阵（由于每个页面的出链很少，该矩阵是稀疏的），直到相邻两次迭代之间的变化小于某个阈值，或达到固定的迭代次数为止。有两种特殊情形需要处理。悬挂节点是指没有出链的页面，如果不加处理，它的分数会从系统中流失；通常的做法是把这部分分数均匀分配给所有页面。随机传送步骤也可以使用个性化向量代替均匀向量，使随机跳转偏向特定主题或用户选定的页面。个性化向量可以被利用，使计算结果偏向某些主题。在网络规模下，这种稀疏计算会分布到大量机器上进行。

HITS（超链接诱导主题搜索，Hyperlink-Induced Topic Search）由 Jon Kleinberg 提出，采取了另一条路线。它为每个页面分配两个分数：枢纽分数，适用于指向许多优质权威页面的页面；权威分数，适用于被许多优质枢纽页面所指向的页面。优质枢纽是指指向许多优质权威页面的页面；优质权威是指被许多优质枢纽页面指向的页面。与在整个图上只计算一次的 PageRank 不同，HITS 运行在由文本搜索的前若干结果及其邻居构成的、针对特定查询的聚焦子图上，因此查询时的计算成本更高。它对角色的区分在概念上很有用，但不易扩展，也更容易受到局部操纵，因此主要的搜索引擎依赖的是 PageRank 式的全局分数。

商业搜索引擎并不只依赖链接结构。锚文本，即链接中用来描述其目标的文字，被用作对目标页面的额外描述；由链接得出的信号与页面内容特征相结合，后来又与许多其他信号相结合。正因为如此，链接分析成为众多排序输入之一，而不是完整的排序方法。

基于链接的排序存在众所周知的弱点。由于创建链接的成本很低，链接是可以人为制造的。链接农场是主要为相互链接或为某些目标而创建的站点网络，它们大约在 1999 年出现，并利用了那些大幅看重链接数量的搜索引擎（例如 Inktomi）。Google 随后逐步作出回应：2005 年的 Jagger 更新针对互惠链接、链接农场和付费链接；2007 年，它降低了一些出售链接的网站的 PageRank。之后的算法，如 Penguin（2012 年），则针对操纵性的链接模式。关于 Google 后来的 SpamBrain 系统，各方来源对其日期和细节的说法并不一致，该系统被描述为一种机器学习的垃圾信息检测器，因此具体细节应以官方公告为准。Google 的立场是，意图操纵排名的链接违反其指导原则。纯粹的流行度指标还会奖励已有名气的站点，而忽视新出现的高质量站点，而且很难用来判断内容的好坏。因此，如今链接信号已成为排序系统的一个组成部分，而排序系统主要由内容、用户行为和学习模型主导；链接信号的重要性主要体现为对可信度与权威性的证据。

学习排序与神经检索

学习排序框架

现代网页搜索排序器很少是人工调校的公式。取而代之的是，它们通过学习排序（LTR）构建：由监督模型从带标注的查询–文档对中学习打分函数。每个候选文档都由一个特征向量描述，其中可包含数百种信号：经典的文本匹配分数（如BM25检索模型）、标题和锚文本中的字段匹配、基于链接的分数、新鲜度、语言与地区匹配、文档长度，以及其他模型的输出。模型的任务是把相关文档排在不相关文档之前，而不是预测绝对的相关性数值；这一区别决定了训练目标的选择。

通常区分三类目标函数。逐点（pointwise）方法独立看待每个查询–文档对，对其相关性等级进行回归或分类。逐对（pairwise）方法，如RankNet、RankSVM、RankBoost和LambdaRank，从有序文档对中学习，目标是最小化逆序对的数量。逐列表（listwise）方法，如ListNet和ListMLE，一次对整个候选列表打分，并优化一个近似列表级指标（如NDCG）的损失函数。实践中，逐对和逐列表方法通常优于逐点方法，因为排序依赖的是相对次序，而非校准后的分数。LambdaMART将LambdaRank的梯度与梯度提升回归树相结合，成为广泛使用的基线方法；它的梯度会按照交换某一文档对会如何改变评估指标来为该文档对加权。它的混合特性（形式上是逐对的，实际效果上却感知整个列表）是实践者常将其视为逐列表方法的原因。

点击日志、隐式反馈与偏差

人工相关性判断成本高昂，因此搜索引擎会用用户行为产生的隐式反馈加以补充：点击、停留时间、查询改写和放弃浏览。点击日志数量充足但噪声大，而且存在偏差。最著名的偏差是位置偏差：无论结果质量如何，用户都更常查看排名靠前的结果，因此文档的点击率在一定程度上反映的是它所处的位置。若直接用原始点击数据训练排序器，就会强化既有的排序。补救方法包括逆倾向加权（用估计的检视概率对点击重新加权），以及将"是否被检视"与"吸引力"区分开来的点击模型。例如，无偏LambdaMART将逆倾向加权扩展到逐对损失，并与排序器联合估计位置偏差。其他有文献记载的失真还包括信任偏差（用户对排名靠前的结果给予超出其实际价值的信任）和选择偏差（只有展示过的文档才会获得反馈）。随机交错（randomized interleaving）和受控实验常被用来检验基于日志训练的模型是否真的改善了结果。

神经检索与稠密向量

学习排序只能对候选集进行重新排序，无法找回词法第一阶段检索器从未返回的文档。神经检索通过将查询和文档表示为共享空间中的稠密向量来解决这一问题，使相似度捕捉的是语义，而非精确的词项重叠。主流架构是双塔模型，即双编码器：一个编码器映射查询，另一个映射文档，相关性由两者输出之间的点积或余弦相似度决定。由于文档向量可以离线计算并存入索引，查询时只需对查询进行编码。2020年提出的密集段落检索（DPR）表明，用对比目标在问题–段落对上训练的双编码器，在开放域问答中可以匹敌甚至超过稀疏检索器。训练通常依赖困难负样本，因为随机负样本太容易，无法教会模型区分细微差别。

对数百万乃至数十亿个向量进行穷举搜索太慢，因此搜索引擎依赖近似最近邻（ANN）搜索。FAISS和ScaNN等库，以及HNSW等基于图的索引，以少量召回率损失换取次线性的查询时间。双塔模型有一个已知局限：查询与文档之间只通过单一向量比较发生交互，这可能丢失细粒度的词项匹配。因此，生产系统通常采用混合检索，合并稀疏（BM25式）和稠密的候选列表，或融合两者的分数，从而既能匹配精确的标识符、罕见人名和数字，也能召回语义上的改写结果。

Transformer 重排序器

预训练Transformer（尤其是BERT）的采用改变了重排序阶段。交叉编码器将查询与候选段落拼接在一起，共同输入网络，使自注意力机制能够建模查询与文档词元之间的交互。Nogueira和Cho在2019年的工作描述了monoBERT（一种逐点重排序器）和duoBERT（一种逐对重排序器，用于多阶段流程）。在MS MARCO段落数据集上（该数据集包含约一百万条来自必应日志的真实查询，并带有人工标注的相关段落），他们的系统将报告的MRR@10相对于此前最优结果提升了27%。由于交叉编码器必须处理每一个查询–候选对，它只被应用于较便宜的第一阶段检索器给出的前数百或数千个候选结果。

这些模型改变了搜索引擎处理查询语义的方式。它们更擅长识别改写、否定，以及较长自然语言问题背后的意图，而这些是早期基于词项的特征常常遗漏的。对话式和问句式查询变得更易处理，答案所在页面内段落的排序也有所改善。其代价在于成本与不透明性：推理开销大，训练数据往往是间接的（例如，相关性标签来自问答数据集而非完整的人工判断），而且基准测试上的收益并不总能干净地迁移到线上真实查询流量中。

结果页与垂直搜索

结果页

现代搜索结果页并非简单的列表，而是由多种元素组合而成的页面。其核心是自然结果（organic result），因为它们代表的是从网络中自然产生的网站。这些结果与付费结果以及由搜索引擎作为特色功能呈现的内容（例如知识面板、广告）有所区别。以谷歌的页面为例，它可以同时呈现搜索结果（即所谓的摘要片段）、AI 概览、知识图谱、精选摘要、答案框、图片、购物结果等内容。

每条自然结果都带有一段摘要片段，即位于标题和网址下方的一小段页面文字节选。精选摘要是这种形式的强化版本：它们是网站内容的节选，用于概括对某个查询的答案。精选摘要以卡片形式呈现，可以是一段文字、一个列表、一张表格或一段视频。它们通常位于排名链接的上方，这一位置常被称为"零号位置"（position zero）。到 2014 年，各大搜索引擎已广泛采用精选摘要，直接从排名靠前的网页中摘取原文，以立即回答描述性查询。

知识面板依据的是结构化数据，而非页面摘录。谷歌推出了知识图谱，通过映射实体之间的关系，在搜索结果旁的专门面板中直接呈现事实性数据。在桌面端，该面板通常出现在屏幕右侧；在移动端，则通常出现在顶部。典型内容包括简短描述、图片、关键事实，有时还包括官方网站链接。直接答案（例如货币换算或天气数据）遵循同样的逻辑，即无需点击即可获得答案。其他功能还包括领先结果下方的站内链接、图片、视频和本地地图包，以及提出后续问题的"大家还搜"框。2024 年，谷歌开始在许多页面顶部放置生成式摘要，这一内容将在关于生成式人工智能的部分中讨论。

融合搜索与通用搜索

早期的搜索引擎只展示单一类型的结果。直到 2007 年 4 月底，搜索引擎结果页（SERP）完全由十个蓝色链接构成。谷歌的回应是"通用搜索"（Universal Search），该功能于 2007 年 5 月在名为 Searchology 的谷歌发布会上宣布，将视频、新闻、图书、图片和本地结果整合进网页搜索结果中。在此之前，图片、新闻和视频结果都位于单独的标签页中。这一概念指搜索引擎通过融合来自不同索引（图片、视频、地图、新闻等）的结果来扩展搜索结果的能力，其他搜索引擎很快采用了类似的设计，称之为融合搜索（blended search）。

融合并非简单地插入结果。每个垂直类别都有其自身的信号：不同类型的搜索依据不同的信号进行排序，例如新闻结果看重时效性，网页结果则通常看重链接。因此，搜索引擎必须先对来自不同资源库的结果进行比较，再决定每条结果的位置。某种结果类型甚至可能挤掉自然链接：如果搜索引擎认为某种其他类型的内容（例如一张照片）比排名前十的网页搜索结果更相关，它就会用这张图片替换其中一条网页搜索结果。

垂直搜索引擎

垂直搜索引擎有别于通用网络搜索引擎，因为它专注于网络内容的某一特定领域。它们也被称为专业搜索引擎或主题搜索引擎。该领域可以根据主题、媒体类型或内容体裁来界定。常见的垂直领域包括购物、汽车行业、法律信息、医疗信息、学术文献、求职和旅游。

垂直搜索引擎在收集和排序资料的方式上与通用搜索引擎不同。通用搜索引擎试图用广泛的爬虫索引网络上的大部分内容，而垂直搜索引擎通常使用聚焦爬虫（focused crawler），只尝试索引与预先设定的一个或多个主题相关的网页。有些垂直搜索引擎较少依赖爬取。通常，垂直搜索引擎会维护一个数据库，其中包含与该垂直领域特定主题相关的信息。此外，这些信息通常由多个信息源提供给搜索引擎。购物搜索引擎是典型的例子，因为商家会直接提供商品数据。

其所宣称的优势在于精确性。相较于通用搜索引擎，垂直搜索具有若干潜在优势：因范围有限而更加精确；能够利用包括分类体系和本体在内的领域知识；支持特定的独特用户任务。因此，排序标准也因领域而异。商品搜索可以权衡价格、库存和商家数据；学术搜索依赖引文和书目元数据；代码搜索取决于编程语言、代码仓库和符号结构；专利搜索依靠分类号和权利要求；图片搜索取决于视觉特征及周围文本；地图搜索则依赖位置、距离和商家属性。这些都是一般性的模式，而非任何特定搜索引擎公开的计算公式，各家专有搜索引擎的具体权重也并不公开。

有些垂直搜索引擎本身是其他垂直搜索引擎的聚合器。例如，谷歌地图聚合了 Booking.com、TripAdvisor 和 Yelp 的内容。用户往往会结合使用这两个层面：当同时使用垂直搜索引擎和通用搜索引擎时，用户能更有效地找到与其查询相关的结果。

查询辅助与筛选

呈现方式同样影响用户如何构造查询。自动补全功能在用户输入时提供候选词，通常基于常见或热门查询以及用户自身的情境。拼写纠正会检测可能的拼写错误，并自动更正查询，或以"您是不是要找"的形式给出替代建议。相关查询建议通常显示在页面底部附近，从不同角度重新表述主题，供用户探索。筛选功能允许用户按日期、内容类型、语言、地区或来源缩小结果范围，在结果集庞大的垂直领域中尤为重要。这些功能会改变实际执行的查询，因此既影响界面设计，也影响检索本身；这些控件的无障碍性（如键盘导航和屏幕阅读器支持）仍是持续关注的设计课题。

搜索引擎优化与操纵

定义与白帽/黑帽之分

搜索引擎优化（SEO）是指调整网站的内容、结构和链接，使其页面在相关查询中获得更好排名的工作。可接受与不可接受之间的界线，通常取决于某项技术是符合还是违背搜索引擎的指导原则。白帽做法是搜索引擎希望网站所有者采用的做法：提供有用的内容、打好技术基础，以及通过实际价值赢得链接。相比之下，黑帽SEO试图破坏规则，利用算法的弱点来获取虚高的结果。两者之间还有一个灰色地带，即采用风险较高的方法，这些方法也许没有被明令禁止，但仍可能招致处罚。

因此，区分二者的依据不仅仅是意图。搜索引擎会公布自己的规则，这些规则界定了什么算作操纵。提升页面实用性的做法，例如加快加载速度、优化清晰的站点架构以及保证元数据准确，通常被视为正当做法。而主要用于误导排名系统的做法则不被接受。

常见的操纵手段

政策文献中反复出现几类技术。关键词堆砌是在页面上过度填塞目标短语。隐藏文本是专门为搜索引擎而非人类访客放置的内容，例如使用与背景色相同的文字颜色。**cloaking（伪装）**则向爬虫和用户提供不同的内容。其变体包括：通过检测爬虫标识进行的用户代理伪装，利用已知爬虫IP段进行的基于IP的伪装，以及通过搜索引擎无法执行的脚本显示内容的JavaScript伪装。隐秘重定向则把用户引向与爬虫所索引页面不同的地方。

链接计划是研究最多的一类。为操纵排名而购买链接或参与链接计划，是明文规定的违规行为。相关手段包括互换链接和链接农场，后者通过低质量网站制造人为的反向链接以提升权威性。这类网络在链接农场词条及更广泛的网络垃圾信息专题中有进一步讨论。（注：此处已使用上述链接，见下）

内容农场与批量生成页面构成第三类。这类页面的目的是捕获查询流量，而非回答问题，包括自动生成的内容（规模化内容滥用）、伪装、抓取其他网站的内容等，被谷歌称为纯粹垃圾信息。2011年的熊猫（Panda）算法更新正是针对这一现象：它打击内容单薄、质量低下的页面，即那些堆砌关键词、仅为排名而非为用户提供帮助的内容农场页面。

应对措施

搜索引擎结合了自动化执法与人工执法。包括垃圾信息分类器在内的自动化系统会在不作通知的情况下降低页面排名。谷歌的文档还描述了第二种途径：当人工审核员认定某网站的页面不符合垃圾信息政策时，就会实施人工处置。此类处置大多会导致页面或网站排名下降，或被移出搜索结果，而用户看不到任何明显提示。受影响的运营者会通过站长工具后台收到通知；对于违反垃圾信息政策的网站，还可能依据垃圾信息举报对其采取人工处置。

大规模的算法变更是第三种应对措施。据谷歌自己的估计，2012年4月推出的企鹅（Penguin）算法影响了超过3%的搜索结果。此后它被并入核心算法，成为实时信号。搜索引擎还会发布垃圾信息政策、站长指南等指导文件，使网站运营者无需逆向破解排名系统即可合规。这些指导文件的实际效果存在争议，因为它们更精确地描述了意图，却没有说明检测的阈值。

对抗性动态与伦理问题

搜索操纵是一场持续的博弈。每一种检测方法都会改变操纵者的收益，促使其采用新的手段，搜索引擎随之调整系统。从业者常把这一过程描述为一个循环：一次链接垃圾信息的更新，就可能在一天之内抵消多年积累的捷径。这一结构类似于带有反馈回路的重复博弈，也解释了为何黑帽手段带来的短期收益通常被认为是脆弱的。

由此产生了若干伦理问题。第一，奖励合规的排名系统会青睐那些有资源研究并满足其要求的机构，小型出版商则可能因无法诊断的错误而受到惩罚。第二，批量生产的内容带来了边界难题。一份从业者指南中引述的一位评论者认为，若在没有人工监督或编辑判断的情况下使用自动生成的内容，它就是一种新型黑帽手段，尤其是在大规模发布时；另一些人则认为，只要内容有价值，它就是可以接受的。第三，执法过程不透明，网站可能在不知原因的情况下失去可见度，这关系到问责问题。最后，SEO本身是一项有争议的经济活动：它能提升真正有用页面的可发现性，但也会把本应用于告知用户的精力，转移到迎合排名算法上。这一矛盾至今仍未解决。

个性化、位置与多语言搜索

个性化与位置

搜索引擎会利用多种信号调整结果，包括查询历史、设备、语言和地理位置。谷歌在2011年表示，其搜索会使用语言、地理定位、搜索历史和社交关系，但没有说明每种信号的权重如何分配，外部研究者只能通过审计来推断其影响。谷歌官方博客于2011年发布的一篇文章称，谷歌搜索会根据用户的语言、地理定位、搜索查询历史以及其Google+社交关系进行个性化，但搜索历史数据的具体用途并不清楚。

在移除登录账户的审计中，地理位置通常被认为是剩余的最主要驱动因素。Hannak及其同事报告称，除登录个人账户外，地理位置是个性化的主要来源。一项2015年的研究在30天内，从美国59个地点向谷歌搜索发送了3600个不同的查询。研究发现，结果的差异随物理距离增大而增加。这种影响取决于查询类型：政治人物基本不受地理位置影响；争议性词语会因新闻结果而出现小幅变化；本地性词语则因地图和普通结果的变化而出现很大差异。同一研究还报告称，本地查询的结果存在噪声，也就是说，相同的输入并不总是返回相同的输出。

个性化的影响程度也因用户而异。一项2019年针对谷歌的研究发现，搜索人物时，平均而言个性化的空间不到十个结果中的两个；将结果限定在某一地区会进一步缩小个性化的空间（当搜索结果被限制在越来越小的本地区域时，个性化空间随之减少）。更早针对登录用户的研究报告称，11.7%的结果因个性化而有所不同，且这一比例随搜索查询和结果排名位置而差异很大。对这些数字的解读，以及它们是否构成“过滤气泡”，存在争议，本词条其他部分会进一步讨论。

本地搜索

本地搜索依赖地理数据对地图、商家和附近服务进行排序。上文提到的2015年位置研究表明，地理差异在本地结果中最为明显。搜索引擎基于商家登记信息、地址数据和地图数据构建这一层，因此本地结果的质量取决于底层地理信息系统的质量，以及一个地点的名称和地址能否在各个数据源之间被准确匹配。业界已有关于本地搜索可见性的报告，但许多报告依赖于供应商进行的单次抓取，因此其数据应视为参考性的，而非定论。

多语言挑战

服务多种语言不仅仅是翻译界面。第一步是语言识别，对于只包含几个词的短查询而言，这一步更为困难。随后，搜索引擎还必须处理音译问题，因为用户常常用拉丁字母输入印地语、阿拉伯语或俄语等语言，同一个词可能出现多种拼写形式。

形态丰富的语言带来了另一类问题。在芬兰语、土耳其语或俄语中，同一个词元可以变化出许多屈折形式；在德语中，复合词可以组合成很长的词。因此，搜索引擎依赖形态分析、词干提取或词形还原，有时还需要复合词拆分，以便查询能够匹配使用同一词不同形式的文档。没有空格分隔的文字，尤其是中文和日文，在词语能够被索引或匹配之前需要进行分词。分词错误可能会错误地切分人名或短语，从而降低查询的召回率。

国家和地区性搜索引擎

全球数据掩盖了各国市场的显著差异。综合来看，Naver、Seznam、搜狗和Ecosia等国家性搜索引擎在全球的占比不到1%，但在其本国市场中经常超过40%。针对各个国家的测量结果并不一致，因此下列数字应当被理解为范围。

在中国，百度居于领先地位。一份2026年的快照显示，百度占44.62%，必应占22.55%，好搜（360搜索）占18.27%，Yandex占10.35%，搜狗占2.08%，谷歌占1.88%。而StatCounter在2026年8月的一份表格则显示百度为59.26%。这种差距表明，这些数字对样本设计非常敏感。

在俄罗斯，Yandex占据主导地位。其创始人于1997年创立了该公司，如今它经营着一个庞大的生态系统，包括浏览器、地图、翻译和支付服务（它同时提供俄语和英语版本，并运营着包括Yandex Browser、Yandex Maps、Yandex Translate、Yandex Pay和Yandex Taxi在内的综合生态系统）。一项2026年的估算显示，Yandex占俄罗斯搜索市场的72.69%。

在韩国，Naver的地位取决于所采用的测量方法。StatCounter显示，2026年8月Naver占韩国搜索市场的43.71%，落后于谷歌的46.6%。相比之下，韩国国内的测量标准InternetTrend在2026年3月的月均数据中显示，Naver占63.8%，谷歌占28.7%。Naver的优势在一定程度上源于其设计：它率先采用了综合搜索设计，将多种内容类型（网站、博客、新闻、图片、购物）整合到同一个搜索结果页面中。

这些搜索引擎之所以能够持续存在，有几方面原因。针对特定语言的抓取、分词以及根据本地用语习惯调整的排序，使它们具有优势。与地图、购物和即时通讯等本地服务的整合，形成了一个通用搜索引擎难以匹敌的服务组合。此外，对境外服务的限制也塑造了一些市场。例如在中国，谷歌的服务被封锁，这使得国内搜索引擎占据了大部分市场。

广告与商业模式

大多数大型网络搜索引擎依靠竞价搜索（sponsored search）盈利，广告主付费使其链接出现在自然搜索结果的上方或旁侧。主流的计价方式是按点击付费（PPC），即广告主只在用户点击时付费，而非广告展示时付费。这一模式的规模可以从 Alphabet 的财务报告中看出。其 2025 年年报显示，谷歌搜索及其他业务收入为 2245 亿美元，高于 2024 年的 1981 亿美元；同期谷歌广告总收入为 2947 亿美元。在季度报告中，该公司将搜索业务的增长归因于移动端查询量增加、广告主预算扩大，以及广告形式和投放方式的调整。

这些拍卖中的排名同时考虑价格与预期相关性。在谷歌的方案中，搜索引擎会进行如下计算：最高单次点击成本 × 质量得分 = 广告排名。质量得分是谷歌的内部估计值，用于判断广告对用户的相关性和有用性，其考虑的因素众多，包括关键词相关性和落地页质量等。早期的系统较为简单：质量得分等同于预估点击率，因此机制比后来不透明的版本更加透明。

中标者支付的价格被设定为只需超过下一位出价者即可。以 $b$ 表示出价、 $q$ 表示质量，第 $k$ 个展示位的简化规则如下：

p_k = \frac{b_{k+1}\, q_{k+1}}{q_k}

根据这一规则，较高的质量得分通常会降低广告主的价格，从而激励广告主为用户制作更相关的广告。该公式只是一种简化，实际系统还会加入随机化及其他调整。

机制设计与拍卖形式

竞价搜索拍卖是拍卖理论与机制设计的实际应用。其采用的形式是广义第二价格拍卖（GSP），它是单件物品、多名竞买人的第二价格拍卖的自然推广，也是竞价搜索中最常用的拍卖机制。设计者的目标是在使出价保持诚实的同时最大化收入，但 GSP 在第一个目标上存在不足：它不是一种诚实拍卖，其出价也不是最优策略。

在标准模型中，广告主的收益是其每次点击价值与价格之差，再乘以所获展示位的点击率：(v_(k) - b^{k+1}) r^k。由于点击率是关键乘数，搜索引擎必须按广告和按位置估计点击率，这使拍卖设计与概率和统计学紧密相连。搜索引擎每次查询的预期收入大致为 $\sum_k \text{CTR}_k \, p_k$ ，其中实际点击率由机器学习模型预测。

拍卖理论研究者常将 GSP 与维克里–克拉克–格罗夫斯（VCG）机制进行对比，后者是诚实的。一种实践者的解释指出，在 VCG 中，最优出价只取决于竞买人的真实价值；而在 GSP 中，最优出价还取决于质量得分，以及其他广告的出价和质量得分。因此，GSP 中的竞买人在这些因素发生变化时都需要重新优化出价。效率方面同样存在不确定性：由于质量会随搜索而变化，将质量视为随机变量更为恰当，而在这样的模型中，GSP 不一定存在有效率的均衡。搜索引擎还会加入保留价等其他机制以获取额外收入，这也是实际拍卖比教科书版本更复杂的原因之一。

付费结果与自然结果，以及标注

原则上，广告与自然排名是分开的，但两者的界限是搜索引擎不断调整的设计选择。付费展示通常会在界面中标注为广告。随着生成式功能的出现，这一界限也在移动：谷歌正在 AI 模式中的 AI 回答下方测试广告，并为准备购物的用户试行直接优惠（Direct Offers）。一些搜索引擎允许用户完全过滤掉结果中的广告。广告还影响着搜索引擎优化（SEO）从业者能观察到的内容：一篇关于 Kagi 的评论指出，没有广告意味着失去了 SEO 人员习惯分析的某些信号，例如哪些商业关键词正在带动付费投放。

广告之外的选择

订阅制和注重隐私的搜索引擎是主要的替代方案。Kagi 是当前最知名的例子。它不投放广告，也不提供竞价搜索结果，而是通过基于账户的订阅服务获得收入，并允许用户免费搜索最多 100 次，之后必须订阅。其付费档位曾包括每月设有搜索次数上限的 5 美元方案，以及不限次数搜索的 10 美元方案。关于其订阅用户数量的报道各不相同：一个来源称其有五万名付费订阅者，另一个来源则称其在 2026 年服务的付费用户达数十万。评论者也对其覆盖范围提出质疑，有人认为它似乎缺乏谷歌那样的深度与索引规模。

这种模式的市场成效有限。早期尝试的无广告付费模式都未能持久，有一项分析将原因指向采用相同模式的 Neeva 的失败。依靠广告收入的搜索仍占主导地位：据 2026 年的一项估计，谷歌约占全球搜索市场的 90%，必应以约 5% 的份额远居第二。DuckDuckGo 和 Brave Search 等注重隐私的搜索引擎大多仍以广告为主要收入来源，通常采用基于上下文而非用户画像的定向投放，因此订阅模式至今仍只是小众选择。

隐私、数据收集与安全

搜索引擎收集什么

搜索引擎记录的内容不仅限于用户输入的词语。其服务器日志通常包括查询文本、时间戳、IP 地址，以及 Cookie 或其他设备标识符。用户在谷歌搜索时，该公司会收集与搜索相关的信息，例如查询本身、IP 地址和 Cookie 信息。点击数据则增加了用户所选择的结果及其在页面中的位置，这是机器学习排序中用户反馈的主要训练信号。同样的数据还用于广告定向和竞价质量评估、查询建议与拼写纠正、产品分析，以及检测机器人和滥用行为。由于日志也被用于衡量搜索质量，搜索引擎在运营上有充分理由保留这些数据，这也与隐私保护形成了张力。

匿名化及其局限

最常被提及的失败案例是 2006 年美国在线（AOL）的数据泄露事件。2006 年 8 月 4 日，AOL 研究部门公开发布了一个压缩文本文件，其中包含约 65 万多名用户在三个月内的两千万条搜索查询，原本用于研究目的。该公司将账户名替换为数字，但由于这些查询仍归属于带有数字编号的账户，个人仍可被对应到其账户和搜索历史。《纽约时报》通过将这些记录与电话黄页相互比对，找到了其中一名用户。该文件在数日内被撤回，但此时已被大量复制。

这一事件反映出一个普遍问题：当记录本身包含准标识符时，假名化标识符无法阻止数据被关联识别。2000 年，斯威尼（Sweeney）发现，美国人口中有 87% 可以仅凭出生日期、性别和邮政编码三项属性被唯一识别。之后，有研究表明 Netflix 2006 年发布的数据集可以被重新识别：通过将所谓匿名化的电影评分与 IMDb 上公开的非匿名评论进行关联，用户可以被重新识别出来。

此后，搜索引擎采用了数据保留与脱敏方案。谷歌在 2007 年宣布的做法是在 18 至 24 个月后对服务器日志进行匿名化处理；其后续常见问题解答还表示，公司会更改日志中 IP 地址的部分位数，并更改 Cookie 信息。托比亚纳（Toubiana）与尼森鲍姆（Nissenbaum）在 2011 年的分析认为，这些措施的效果比表面上看起来更弱：谷歌通过删除 IP 地址的最后一个八位字节，将查询归并为若干组，但由于这些分组仍包含可识别信息，部分搜索日志仍可能被去匿名化。学术界还提出了更进一步的方案。阿达尔（Adar）在 2007 年的研究指出，简单删除出现频率低的查询也会删除具有识别性的查询，并且密码学中的秘密共享技术可以让服务商实现“设置之后便无需再管”。差分隐私和 k-匿名是该领域的主要形式化工具，但两者都会牺牲一部分分析效用。

监管与同意

在欧盟，关于追踪的规则主要规定在《电子隐私指令》中，而非《通用数据保护条例》（GDPR）。《电子隐私指令》制定于 2002 年，2009 年修订，要求在放置 Cookie 或追踪器之前取得用户同意，但对网站功能严格必需的除外。GDPR 则界定了有效同意的含义：根据 GDPR，同意必须是明确的肯定行为，并且是自愿给予、具体、知情且无歧义的。由于《电子隐私指令》通过各国国内法实施，成员国会依据其各自关于数据隐私和电子通信的国内规则予以适用。

对搜索引擎而言，实际影响主要集中在数据类别上。严格必需的 Cookie，例如用于登录状态或会话管理的 Cookie，通常无需同意；而分析类 Cookie，以及营销或广告类 Cookie（如行为定向和再营销），在两套框架下都需要同意。因此，跨网站画像是受限制最多的用途。2025 年底，欧盟委员会提出了“数字综合法案”（Digital Omnibus）一揽子方案，拟将 Cookie 规则以新条款的形式纳入 GDPR；其立法结果仍有待确定。其他司法管辖区采取了不同的做法，而美国并没有统一的综合性联邦隐私法。

用户与搜索引擎的安全

安全风险是双向的。对用户而言，最直接的威胁是网络钓鱼：攻击者制作外观相似的登录或支付页面，并设法让其在品牌或银行相关查询中获得排名，或利用广告和赞助性展示位置接触受害者。恶意软件传播使用的是一种相关手法，通常称为搜索引擎投毒：被入侵的网站或批量生成的页面针对热门话题或软件下载类查询进行优化，使受感染的下载链接混在普通结果中出现。搜索引擎则通过 URL 黑名单（如谷歌安全浏览）予以应对，这类名单会在浏览器和搜索结果中标记危险页面；同时在排序中使用 HTTPS 和安全信号。

对搜索引擎本身而言，风险包括针对排序系统本身的攻击：链接农场、伪造评价、为利用排序信号而设计的cloaking（隐藏真实内容）和注入内容，以及试图操纵自动补全或精选答案的行为。搜索引擎还面临自身存储的日志被泄露、被传唤提交，或被员工未经授权访问的风险，而这些日志高度敏感。保护这些数据依赖于加密、访问控制、保留期限限制和审计；其中的权衡在于，使排序更好的同一批日志，也使一旦泄露的危害更大。

市场结构、默认设置与反垄断

集中度、网络效应与规模

通用网络搜索是数字经济中集中度最高的消费者市场之一。法院还认定，到2020年，谷歌在通用搜索查询中的份额已达到89.2%，在移动设备上更升至94.9%。若干结构性力量维系着这一地位。每次查询和点击都会产生可用于改进排序的交互数据，因此用户基数越大，结果越好，进而又吸引更多用户。这种网络效应会随着大数据的积累而不断叠加。建立和更新网络规模的索引需要在抓取、存储和分布式计算基础设施上进行大规模的固定投入，而多回答一次查询的边际成本却很小。这些规模经济提高了新进入者的进入壁垒。

终端用户更换搜索引擎的转换成本很低，只需点击几次。因此，竞争往往转移到上游，即决定第一次点击落在何处的默认设置上。这也是为什么分销而非用户忠诚度本身，成为针对搜索服务提供商的最重大反垄断诉讼中的核心问题。

默认设置与分销付费

浏览器、手机、操作系统和运营商定制版本中的默认设置控制着相当大比例的查询流量，而且大多数用户从不更改默认设置。梅塔法官裁决的核心在于，谷歌为了在浏览器和手机上成为默认搜索引擎，支付了大额收入分成。根据梅塔法官2024年8月的意见书，谷歌在2021年为这些默认位置支付了超过260亿美元。有一种说法认为，其中约180亿美元仅支付给了苹果。2021年，谷歌仅为了在苹果和安卓平台上成为默认搜索引擎就花费了260亿美元，其中约180亿美元流向苹果。

政府的起诉书不止于付费本身，还指控这些合同中有许多还阻止了分销商与竞争对手搜索引擎合作。梅塔认为，这些安排排除了通用搜索市场的相当大一部分，并将由此导致的竞争压力缺失与文本广告价格的持续上涨联系起来。

美国案件：从责任认定到救济措施

美国司法部于2020年10月提起诉讼。2024年8月5日，法院作出责任认定裁决，认定谷歌在通用搜索服务和搜索文本广告领域维持垄断地位，违反了《谢尔曼法》第2条（谢尔曼反托拉斯法）。该责任裁决未设定处罚，救济问题留待后续阶段处理。

2025年9月2日的救济意见书驳回了政府最激进的请求。法院拒绝下令出售Chrome浏览器，也未下令剥离安卓系统。取而代之的是，法院禁止谷歌订立或维持涵盖搜索、Chrome、谷歌助手和Gemini的独家分销协议。法院还要求谷歌向符合条件的竞争者开放部分搜索索引和汇总的用户交互数据，并以标准费率向竞争对手提供搜索及搜索广告的分发服务。将设立一个技术委员会，协助执行最终判决，判决有效期为六年。默认设置付费并未被禁止：谷歌仍可继续向苹果或三星等分销商付费，使谷歌成为默认搜索引擎。据报道，这些救济措施已于2026年6月生效，双方均已提起上诉，其中政府及38个州再次要求采取结构性救济。

欧盟《数字市场法》

欧盟的做法是事前监管，而非针对过往行为的诉讼。2023年9月6日，欧盟委员会根据《数字市场法》（DMA）首次指定了六家守门人：Alphabet、亚马逊、苹果、字节跳动、Meta和微软。谷歌搜索属于这些守门人提供的22项核心平台服务之一。该指定依据的是前三年每年在欧盟的收入均超过75亿欧元，由此产生可被反驳的守门人身份推定。合规截止日期为2024年3月7日。主要义务包括：禁止守门人给予自有服务或产品更有利的排名，以及有义务向竞争性搜索引擎提供特定数据。特别程序于2026年1月启动，并于2026年7月作出最终决定。这些决定旨在明确义务应如何履行，并不旨在评估守门人是否遵守《数字市场法》，因此也不涉及施加罚款。《数字市场法》下的违规处罚最高可达全球年营业额的10%，对于屡次违规者则可达20%。

关于救济措施的争论

有几项争议塑造了这场辩论。第一项涉及竞争与分销竞争对手所受损害之间的权衡。批评者认为，持续的默认设置付费使优势得以延续，而有限的索引和数据访问可能无法让竞争对手追赶上来。辩护者则反驳称，禁止付费可能适得其反：有一项分析警告，此类禁令可能使Mozilla等规模较小的浏览器开发者陷入困境，并导致手机价格上涨、手机功能创新减少。

第二项涉及消费者选择。政府要求采取强制选择界面，即除非用户明确同意将谷歌设为默认，否则浏览器必须向用户呈现选择。此类措施能否真正恢复有意义的选择，取决于默认设置是否仍可购买，这也是批评者认为若付费持续存在，这些措施并不完整的原因。

第三项涉及互操作性与数据共享。美国法院将数据访问限制在符合条件的竞争者范围内。有评论指出，救济措施要求与竞争对手进行额外的数据共享，但法院驳回了政府最初提出的更广泛的数据共享要求，因为那些要求还可能引发隐私和安全方面的其他担忧。相比之下，《数字市场法》以法律形式为被指定企业规定了数据共享义务，使欧盟模式更具规定性。

第四个问题是生成式人工智能本身是否会约束市场。救济意见书承认，生成式人工智能的出现改变了本案的走向。批评者指出，法官的做法很大程度上寄望于人工智能竞争能够制约谷歌在通用搜索领域的主导地位。

生成式人工智能与答案引擎

从排序链接到合成答案

在网络时代的大部分时期，搜索结果页是一份排好序的链接列表，搜索引擎的工作止于用户点击的那一刻。生成式模型改变了这一边界。2024年5月，谷歌的“AI概览”（AI Overviews）——一段由模型生成、置于自然搜索结果上方的文字——向美国的全体用户推出。Perplexity等独立产品走得更远：它们从网络各处抓取页面，并将其浓缩为附有来源引用的简短回答。对话式界面则把这一模式扩展到多轮对话中，后续问题会在先前答案的基础上进行细化，而不是另起一个新查询。这一转变改变了搜索结果页的用途：它不再只是通往文档的地图，也成为生成答案的场所。

检索增强生成

大多数答案引擎依赖的是检索增强生成（RAG），而不是仅依靠大语言模型根据训练数据作答。这一流程分为三个阶段。第一，系统在索引中搜索与问题相关的段落，所用的是前文介绍的稀疏检索、稠密检索与重排序方法。第二，系统把问题和检索到的段落一并放入提示词中。第三，模型以这些证据为依据起草答案，并附上指向来源的引用。由于文本以检索到的材料为锚点，这种方法可以使答案比模型的训练截止时间更新，也使人们能够查看某一论断的出处。然而，检索阶段仍然决定了模型能看到什么，因此无论生成器多么强大，排序不佳都会导致答案质量低下。

技术局限

依据来源生成可以减少错误，但无法彻底消除错误。关于带归因生成的研究指出，检索到的文档并不能保证模型真正加以利用：模型可能转而依赖记忆中的知识，把某个论断附在一份并不支持它的文档上，或者给出的答案只有部分得到来源支撑。当检索到的证据不完整时，幻觉依然会出现，因此流畅的答案仍可能建立在薄弱的支撑之上。这些失效模式带来三个实际问题。事实性错误会出现在读起来颇具权威感的文字中。引用不匹配，即一个真实存在的链接并不支持其旁边的句子，使核查比想象中更加困难。此外，由于一个答案会融合多个来源，读者很难把某一具体陈述追溯到其原始出处。引用之所以重要，是因为它使核查成为可能，但这一好处取决于引用是否准确。

对出版商的经济影响

出版商最强烈的担忧，是自家网站访问量的下降。皮尤研究中心的一项研究发现，出现AI摘要时，用户点击传统搜索结果的比例为8%，没有AI摘要时为15%；而且出现AI摘要后，浏览会话更常以结束告终（26%对16%）。Ahrefs报告称，2025年4月，AI概览使排名靠前页面的自然点击量下降了34.5%；2026年2月的后续分析则将降幅定为58%。随后，一项随机现场实验估计，出版商对外点击量减少了39.8%，作者称这是首个因果性数据；而谷歌则指出，此前的相关性研究在方法上存在缺陷，并对其提出异议。行业调查也显示出类似趋势：Digital Content Next对其成员出版商的调查记录到，来自谷歌搜索的引荐流量同比中位数下降了10%。这些影响的大小仍有争议，下降中有多少归因于摘要而非其他因素，目前仍在讨论之中。

争议已经延伸到法庭和监管机构。《纽约时报》和《芝加哥论坛报》于2025年12月对Perplexity提起诉讼；日本的日经新闻和朝日新闻也在日本起诉了Perplexity。多家美国地方报纸起诉了OpenAI和微软；2025年11月，一家联邦法院允许新闻出版商对Cohere提出的著作权主张在驳回动议后继续审理。Penske Media就AI概览提起了反垄断诉讼，欧洲出版商理事会则向欧盟委员会提出了投诉。与此同时，AI公司与内容所有者之间的授权协议也随着这些案件日益增多。核心的未决问题在于：复用出版商报道的答案引擎，是否应当为此支付费用、注明出处或回馈流量。这一问题与围绕著作权和知识产权的更广泛讨论密切相关。

争议与未解决的问题

排序、建议与图片搜索中的偏见

关于偏见的大部分证据来自算法审计。研究人员在受控条件下运行查询，常借助模仿用户的软件代理，并记录搜索引擎返回的结果。一项针对谷歌图片搜索政治主题查询的审计发现，女性出现在约29%的结果中，仅略高于她们在全球的平均描述性代表比例（约27%）。结果显示，女性在这三项指标上都存在持续的算法性代表不足，而其代表不足的程度仅比她们的全球平均描述性代表比例（26.7%）高出几个百分点。一项使用性别中立词“person”、涵盖数十个国家的研究发现了相关模式：国家层面的性别不平等程度越高，谷歌图片搜索结果就越以男性为主。来自高不平等国家的图片集几乎全是男性，而低不平等国家的结果则接近性别均衡。在比较六个搜索引擎对人工智能图片的结果时，研究人员发现，把AI刻画为白人的拟人化图像被优先展示，而非白人图像只出现在非西方的搜索引擎中。

职业类图片查询也以类似方式被研究过。将结果与劳动统计数据进行比较的审计发现，搜索输出往往会放大与男性或女性主导职业相关的性别偏见。之后一项与早期数据的对比发现，随着时间推移，这种情况几乎没有改善。偏见并不局限于图片。在文本搜索结果和搜索自动补全中，同样发现了种族与性别偏见。Safiya Noble早前对带有种族和性别色彩的查询（例如“black girls”）所做的定性研究记录了这样的案例：搜索结果中出现了贬损女性和少数族裔的描述。审计通常依赖于查询集的选择和图片的分类，而这两者都会引入各自的假设，并且该领域至今仍缺乏统一的偏见衡量标准。

过滤气泡与个性化

由Eli Pariser推广的“过滤气泡”假说认为，个性化的结果会把用户困在证实其既有信念的信息环境中。这一假说的经验证据仍有争议。早期的测量发现个性化程度有限：一项针对200名谷歌用户的研究发现，用户收到的搜索结果中有11.7%存在因个性化而产生的差异。另一项研究则未发现可测量的、由浏览历史驱动的个性化效应。DuckDuckGo委托进行的一项2018年研究报告了更大的差异，大多数参与者看到的结果是专属于自己的，但谷歌对此提出异议，称搜索个性化基本上是一种误解。一项针对谷歌搜索中社会政治类查询结果的小组研究同样没有发现个体层面存在差异的迹象。

近期的研究已将问题转向用户行为。眼动研究发现，自由派和保守派都倾向于选择本阵营的链接。一项关于查询选择的研究表明，参与者倾向于选择本阵营的搜索查询，而使用这些查询往往会得到本阵营的搜索结果。这指向一种由用户自己造成的气泡：用户自主选择看什么，而不完全是由搜索引擎构建的。地理位置个性化是另一个变量：一项2026年的研究考察了在有争议的新闻话题上，搜索结果中过滤气泡的形成模式如何随地区和时间而变化。学界共识是，平均效应似乎较为有限，而对特定话题、地点和用户群体的影响仍是有待解决的问题。

错误信息、内容审核与言论自由

排序决定了哪些内容可见，因此搜索引擎不可避免地要面对是否降级或标注误导性内容的选择，而这些选择在不同司法管辖区的评判标准并不相同。欧盟《数字服务法》对大型服务施加了更严格的义务：它对月活跃欧盟用户超过4500万的“超大型在线平台”（VLOP）和“超大型在线搜索引擎”（VLOSE）施加了重大义务。谷歌搜索和必应已被列入这一类别。用户应获得关于推荐系统的清晰信息，并可能有权选择退出基于用户画像的推荐系统。严重或重复违规可处以最高相当于公司全球年营业额6%的罚款。

批评者则从相反的方向审视同一套制度。2026年美国众议院一个委员会多数派工作人员发布的报告认为，欧盟监管机构经常施压，要求平台修改关于错误信息和虚假信息审核的规则。欧洲的评论则担心合法但令人反感的内容：一项分析指出，删除规则可能针对并非违法、但违反平台发布标准的内容，而这些平台标准通常比法律更为严格。在美国，关于一项要求在2026年前废除《通信规范法》第230条的众议院法案中责任豁免条款的辩论，也反映出对平台问责的类似担忧。核心矛盾在于：更严格的审核可能减少错误信息，却也可能压缩合法表达的空间；而结果在很大程度上取决于由谁来界定“错误信息”。

尚未解决的问题

几个问题仍未解决。第一是透明度：商业搜索引擎的排序函数、训练数据和个性化规则大多不公开，因此外部研究者只能依赖审计、自愿提供的数据访问以及监管披露，这使得独立验证十分困难。第二是在没有点击数据的情况下衡量相关性。点击日志会受到位置和呈现方式的影响，而人工判断成本高昂，因此搜索引擎越来越多地考虑使用自动化的相关性标注，但这些标签会继承生成它们的模型的偏见。第三是低资源语言的检索。神经模型及其评测基准主要建立在网络文本量大的语言之上，使得许多语言社区的排序、自动补全和安全过滤效果都较弱。第四是成本与能耗。经典的倒排索引检索相对廉价，但稠密检索、神经重排序和生成式答案都会在每次查询时增加计算量。大多数运营方尚未透明地披露，在全球范围内为网络建立索引并提供生成式回答所产生的环境与经济成本。

参考来源

Cranfield experimentsen.wikipedia.org
TRECcacm.acm.org
Search engineen.wikipedia.org
Timeline of web search enginesen.wikipedia.org
From Archie to Google: Canada’s Role in Search Engine Historypineconediaries.substack.com
Archie search engine - HandWikihandwiki.org
The History of Search Enginesanswersocrates.com
The History of Search Engines - Liberty Marketinglibertymarketing.co.uk
WebCrawleren.wikipedia.org
AltaVistaen.wikipedia.org
The History of Search Enginessearchengines.net
Archie (search engine)en.wikipedia.org
TREC: Continuing Information Retrieval’s Tradition of Experimentationtsapps.nist.gov
20 Web crawling and indexesnlp.stanford.edu
Design A Web Crawlerbytebytego.com
Design a Web Crawlerhellointerview.com
Design a Web Crawler · Learn System Designcodesparring.dev
How to Design a Web Crawler from Scratchdesigngurus.io
Design a Web Crawler — Architecture, Politeness, and Scalecodelit.io
GitHub - HamidKhan1001/system-design-web-crawler: Scalable web crawler: stateful priority URL frontier, per-domain politeness delays, cryptographic SHA-256 content dedup — 25 testsgithub.com
Crawling Slides adapted from Information Retrieval and Webslidetodoc.com
Techniques for crawling dynamic web contentimage-ppubs.uspto.gov
Foundations and Trends R ⃝in Information Retrieval Vol. 4, No. 3 (2010) 175–246i.stanford.edu
System and method for distributed real-time searchimage-ppubs.uspto.gov
What is the Deep Web: the hidden Internetgroup-ib.com
Introducing Inverted Indices in ClickHouseclickhouse.com
(PDF) Inverted index compression and query processing with optimized document orderingresearchgate.net
Search with Inverted Index UCSB 293S, Tao Yang 2022 1sites.cs.ucsb.edu
On the Impact of Random Index-Partitioning on Index Compressionarxiv.org
CS6200: Information Retrieval Slides by: Jesse Anderton Indexingkhoury.northeastern.edu
What Is Inverted Index? Full-Text Search in Databases for AI & Log Analyticsvelodb.io
Okapi BM25en.wikipedia.org
What Makes a Top-Performing Precision Medicine Search Engine? Tracing Main System Features in a Systematic Wayarxiv.org
PageRank: Standing on the shoulders of giantsarxiv.org
Adjusting PageRank parameters and Comparing resultsarxiv.org
Authoritative Sources in a Hyperlinked Environment∗ Jon M. Kleinberg † Abstractcs.cornell.edu
Random Surfers on a Web Encyclopediaarxiv.org
PageRank - CSCI S-80cs50.harvard.edu
Ranking hubs and authorities using matrix functionsarxiv.org
HITS algorithmen.wikipedia.org
LINK ANALYSIS: HUBS AND AUTHORITIES ON THE WORLD WIDE WEBranger.uta.edu
Google algorithm updates: The complete historysearchengineland.com
Link Farms: A Complete Guide in 2023 - LinkDoctorlinkdoctor.io
Link Farming Explained: Risks, Detection, and Ethical SEO Alternativeslinks-stream.com
Two-tower Retrieval Overviewemergentmind.com
Two-Tower Retrieval Architectureemergentmind.com
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrievalarxiv.org
Dense Passage Retrievalemergentmind.com
PASSAGE RE-RANKING WITH BERT Rodrigo Nogueira New York Universityarxiv.org
Passage Re-ranking with BERTaxi.lims.ac.uk
Investigating the Successes and Failures of BERT for Passage Re-Rankingarxiv.org
Unbiased LambdaMART: An Unbiased Pairwise Learning-to-Rank Algorithmdl.acm.org
Unbiased LambdaMART: An Unbiased Pairwise Learning-to-Rank Algorithm Ziniu Hu∗arxiv.org
Pointwise vs. Pairwise vs. Listwise Learning to Ranklinkedin.com
Learning to Rank with Gradient Boostingapxml.com
A Survey on E-Commerce Learning to Rankarxiv.org
The Anatomy of a Search-Results Page - NN/Gnngroup.com
Features of the Google Search Engine Results Page (SERP) • Yoastyoast.com
Three Key SERP Features: Featured Snippets, People Also Ask, and Knowledge Panels - NN/Gnngroup.com
Instant answeren.wikipedia.org
What Is a Google Search Results Page? (And How to Read It) - SDM Foundationsdmfoundation.org
What Is Universal Search?loganix.com
10 Most Important SEO Patents: Part 9 - From Ten Blue Links to Blended and Universal Searchseobythesea.com
Universal Searchahrefs.com
Universal Search Updated at Google - SEO by the Sea ⚓seobythesea.com
Chapter 5. Understanding Blended Searchoreilly.com
Vertical searchen.wikipedia.org
Consumer-focused results orderingimage-ppubs.uspto.gov
The rise of vertical search enginessearchenginewatch.com
Automatic recommendation of vertical search enginesimage-ppubs.uspto.gov
Blended Rank: Your True Rank for All Types of Search Resultsamp.brightedge.com
Federated searches implemented across multiple search enginesimage-ppubs.uspto.gov
Online edition (c) 2009 Cambridge UPnlp.stanford.edu
Retrieval Evaluation with Incomplete Information Chris Buckleytsapps.nist.gov
From Cranfield through TREC and beyondcourses.cs.umbc.edu
Neural Methods for Effective, Efficient, and Exposure-Aware Information Retrievalarxiv.org
Absolute Evaluation Measures for Machine Learning: A Surveyarxiv.org
Extended Missing Data Imputation via GANs for Ranking Applicationsarxiv.org
Interleaved Online Testing in Large-Scale Systemsdl.acm.org
Harnessing the Power of Interleaving and Counterfactual Evaluation for Airbnb Search Rankingarxiv.org
Predicting Search Satisfaction Metrics with Interleaved Comparisons - Microsoft Researchmicrosoft.com
Multileaved Comparisons for Fast Online Evaluationcs.ox.ac.uk
Don't Use LLMs to Make Relevance Judgmentsarxiv.org
Variations in Relevance Judgments and the Shelf Life of Test Collections — Lacunalacuna.tiptreesystems.com
ACM: Digital Library: Communications of the ACMdl.acm.org
Pretrained Transformers for Text Ranking: BERT and Beyondarxiv.org
Introduction to Information Retrieval Introduction to Information Retrievalweb.stanford.edu
Large-scale validation and analysis of interleaved search evaluationresearchgate.net
Decomposition and Interleaving for Variance Reduction of Post-click Metricsarxiv.org
The Evolution of Cranfieldresearchgate.net
White Hat vs Black Hat SEOeastsideco.com
Black Hat SEO: What You Can Do to Avoid Search Penaltiestelerik.com
White Hat Vs. Black Hat SEO in 2026: Don't Game Googlevazoola.com
Google Spam Policies Explained: What SEOs Must Avoid in 2026coozmoo.com
Google Pure Spam Manual Action: Everything You Need to Knowstanventures.com
Manual actions report - Search Console Helpsupport.google.com
Received a 'Pure Spam' Manual Action Notice? See What It Means for Your Site and How to Address It - Google Search Central Communitysupport.google.com
Google Algorithm Updates: History, Timeline, & Impactsvdigitalservices.com
Google Can Now Use Spam Reports for Manual Actions: What Changed, What Site Owners Need to Knowalmcorp.com
A Complete Guide To the Google Penguin Algorithm Updatesearchenginejournal.com
White Hat vs. Black Hat SEO Explainedhawksem.com
Google Spam Policies (2026): 9 Rules That Can Get You Penalizedfreelancebees.com
What Types of Issues Typically Trigger a Manual Action in Google Search Console?library.linkbot.com
Look Out for These 5 Signs of Black Hat SEO - Entrepreneurentrepreneur.com
How Can I Find Cloaked Links? Complete Detection Guidepostaffiliatepro.com
Measuring Personalization of Web Searcharxiv.org
Measuring the Importance of User-Generated Content to Search Enginesarxiv.org
The Impact of Geolocation on Web Search Personalizationconferences2.sigcomm.org
What did you see? A study to measure personalization in Google’s search engineepjdatascience.springeropen.com
Google Personalized Searchen.wikipedia.org
Search Engine Statistics by Country [2026 report] 🌍serpsculpt.com
Search Engine Market Share (August 2026 Figures)searchengines.net
Local & Specialized Search Engines 2026: Baidu, Yandex, Naver & Nichealignify.co
Top 10 Search Engines 2026: Market Share & AI Search Trendssirmarketer.com
How the PPC ad auction workssearchengineland.com
Second Price Auction with Google AdWords : Networks Course blog for INFO 2040/CS 2850/Econ 2040/SOC 2090blogs.cornell.edu
Internet Advertising and the Generalized Second-Price Auction:benedelman.org
Sponsored search auctionen.wikipedia.org
Regression Discontinuity Design under Self-selectionarxiv.org
Who came up with the Generalized Second Price (GSP) auction used in sponsored search? - Quoraquora.com
Google Search Hits $63B, AI Mode Ad Tests Detailedsearchenginejournal.com
Kagi Search: A Closer Look at the Subscription-Based Search Alternativesearchengineworld.com
Kagien.wikipedia.org
Kagi, paid search and the marketer's dilemmaprimointeractive.com
Is Kagi Worth It in 2026? Honest Paid Search Engine Reviewprivacyon.com
Google Statistics & Facts (2026)resources.review42.com
Alphabet Inc. - Form 10-K - FY2025sec.gov
Alphabet Inc. - Form 10-Q - FY2025sec.gov
Google Log Retention Policy FAQpublicintelligence.net
AOL search log releaseen.wikipedia.org
Improving Privacy Protection in the area of Behavioural Targetingarxiv.org
A Face is exposed for AOL searcher no. 4417749researchgate.net
Search Engines: Balancing Data Retention with Privacy - Society for Computers & Lawscl.org
Analysis of Google Logs Retention Policiesnissenbaum.tech.cornell.edu
User 4XXXXX9: Anonymizing Query Logs Eytan Adar University of Washington,archives.iw3c2.org
Cookie consent requirements: Are you doing enough?osano.com
Guidance on Cookies and Other Tracking Technologiesdataprotection.ie
ePrivacy Directive & Cookie Consent Compliancecookiehub.com
ePrivacy Directive vs. GDPR: EU Cookie Rules Explained 2026biscotti-cmp.com
The Curse of Dimensionality: De-identification Challenges in the Sharing of Highly Dimensional Datasetsfpf.org
Update: Google to make search logs anonymousinfoworld.com
An Analysis of Google Logs Retention Policiesjournalprivacyconfidentiality.org
Google Illegal Monopoly: What the Ruling Meansghondalegacy.com
Google avoids court-ordered breakup as AI revitalizes competitionreason.org
Google Found Guilty in Federal Antitrust Lawsuit Filed by US Department of Justicekbssidhu.substack.com
Google avoids breakup, but has to give up exclusive search deals in antitrust trialtechcrunch.com
Google Antitrust Ruling: Key Takeaways from the District Court's Decision - Publications - National Taxpayers Unionntu.org
DMA designated Gatekeepersdigital-markets-act.ec.europa.eu
Google for AI interoperability and sharing of Google Search data under the Digital Markets Actga-alliance.eu
Compliance principles for the Digital Markets Actbruegel.org
Defaulting To the Status Quo: the Google Search Remedies Decision - California Lawyers Associationcalawyers.org
What the Google Antitrust Remedies Ruling Means for Antitrust, Consumers, and Innovationcato.org
BLOG Antitrust Remedies in United States v. Google: AI and thewinston.com
Google's Search Antitrust Remedies Are Now in Effectsigmalawgroup.com
US Court's Remedies Not Enough Given Google Can Continue to Pay for Search Defaultstechpolicy.press
Google Illegally Maintains Search Monopoly, Judge Rules in Siding With DOJvariety.com
Google Loses US Antitrust Suit On Search Deals for Defaults (3)news.bloomberglaw.com
Breakdown, Not Breakup: Taking Stock of the Google Remedies Decisionitif.org
Retrieval‑Augmented Generation: Building Grounded AI for Enterprise Knowledgemedium.com
What is Retrieval Augmented Generation (RAG)?databricks.com
Google AI Overviews Impact On Publishers & How To Adapt Into 2026searchenginejournal.com
1% click-through rate: How Google AI Overviews is killing publisherscampaignlive.com
AI Overviews cut publisher clicks 39.8% in first randomized studyppc.land
Publishers 'lose 50% of clickthrough rate due to AI Overviews' - Press Gazettepressgazette.co.uk
Google updates AI Overviews with Further Exploration links, subscription labels as 58% publisher click decline triggers antitrust suitsthenextweb.com
2025 Organic Traffic Crisis: Zero-Click & AI Impact Reportthedigitalbloom.com
Retrieval augmented generation (RAG) and indexes in Microsoft Foundry - Microsoft Foundrylearn.microsoft.com
Explicit Evidence Grounding via Structured Inline Citation Generationarxiv.org
Who's suing AI and who's signing latest: OpenAI signs first India dealspressgazette.co.uk
Court Rules AI News Summaries May Infringe Copyrightcopyrightlately.com
Case Tracker: Artificial Intelligence, Copyrights and Class Actionsbakerlaw.com
perplexity lawsuits publishers ai search nikkei news corpfortune.com
Finding the white male: The prevalence and consequences of algorithmic gender and race bias in political Google searchesarxiv.org
Study uncovers search engine gender bias and its potential real-world implicationsthehill.com
(PDF) Detecting race and gender bias in visual representation of AI on web search enginesresearchgate.net
Detecting race and gender bias in visual representation of AI on web search enginesarxiv.org
Mitigating Bias in Algorithmic Systems -- A Fish-Eye Viewarxiv.org
Characterizing Abhorrent, Misinformative, and Mistargeted Content on YouTubearxiv.org
Self-imposed filter bubbles: Selective attention and exposure in online search - ScienceDirectsciencedirect.com
DuckDuckGo study says Google search personalization perpetuating 'filter bubble'searchengineland.com
Challenging Google Search filter bubbles in social and political information: Disconforming evidence from a digital methods case study - ScienceDirectsciencedirect.com
Full article: The search query filter bubble: effect of user ideology on political leaning of search results through query selectiondoi.org
Geo-Personalization Bias in News Search: Analyzing Filter Bubbles in Search Engine Results with Multi-Perspective LLM Annotationdl.acm.org
The EU’s Content Moderation Regulationitif.org
Digital Services Act (DSA)eu-digital-services-act.com
AI Content Moderation Trends for 2026conectys.com
the foreign censorship threat, part ii: europe's decade-long ...judiciary.house.gov
Introduction to the special issue on content moderation on digital platformspolicyreview.info
Tech Regulation Digest: Sunsetting Section 230—The Future of Content Moderation, Ads, and AImilkeninstitute.org