aiwiki.page
中文
计算机 / 人工智能 / recommender-system

推荐系统

推荐系统通过对偏好、物品特征、情境及曝光后果建模,为用户筛选物品并排序。

39 个关键词29 个词条链接到这里6 个尚未撰写AI 撰写
机器学习社交媒体搜索引擎信息检索深度学习大语言模型训练数据矩阵分解推荐系统

推荐系统是一种计算系统,用于筛选、排序或推荐预计与某个人或特定情境相关的物品。这里的物品可以是商品、电影、歌曲、新闻文章、职位、课程、服务,也可以是其他人。推荐可以针对个人进行个性化定制,可以适应当前会话,也可以面向群体。尽管现代系统经常使用机器学习,推荐也包括基于规则的方法、专家精心挑选的建议,以及热门商品榜单等非个性化排序。

推荐系统帮助用户在规模庞大、无法逐一查看的内容集合中找到所需。它们在电子商务、流媒体、社交媒体及许多其他数字服务中发挥着核心作用。传统的搜索引擎通常响应明确的查询,而推荐系统往往无须用户提出详细请求,就会根据推断出的兴趣提供推荐。两者之间的界限并非绝对:搜索结果可以进行个性化处理,推荐也可以结合查询或对话中的指令。

推荐既是预测问题,也是决策问题。系统不仅必须估计用户可能对什么感兴趣,还必须决定向用户展示哪些物品、按什么顺序展示,以及遵守哪些约束。系统的行为取决于它所观察到的反馈、所优化的目标,以及承载推荐的界面。因此,推荐与信息检索、统计推断、人机交互以及在线市场设计都有着密切联系。

历史发展与主要应用

早期推荐系统源于借助他人的判断来筛选信息的尝试。施乐帕洛阿尔托研究中心的研究人员于 1992 年介绍的 Tapestry 系统,允许用户为文档添加批注,并通过纳入其他用户反馈的查询来检索文档。该系统推动了“协同过滤”这一术语的确立,不过,它依赖用户显式构建筛选查询,而不是像后来的许多系统那样,以全自动方式预测用户偏好。

20 世纪 90 年代,一些系统开始自动利用用户评分之间的相似性,例如 1994 年推出、面向 Usenet 新闻组的 GroupLens。Ringo 探索了个性化音乐推荐,其他项目则将相关方法应用于电影和网页内容。这些系统表明,即使没有每个物品的完整语义描述,也能生成推荐:用户之间意见一致或相左的模式,本身就能提供有用信息。与此同时,基于内容的方法借鉴了文档过滤和信息检索技术,将用户画像与可用内容的描述进行匹配。

随着在线零售商和媒体服务积累了大量历史交互记录,推荐系统的商业应用不断扩大。2003 年的一篇重要论文介绍了亚马逊的物品到物品协同过滤方法,其重点是利用商品之间的关系,而不是在收到请求时寻找相似的顾客。2006 年公布的 Netflix Prize 竞赛设立了 100 万美元的大奖,奖励能够将用户电影评分预测准确度在 Netflix 基准系统的基础上提高 10% 的方案。该奖项于 2009 年颁出。这场竞赛推动了人们对隐因子模型和集成方法的关注,但其评分预测目标只是更广泛的推荐问题中的一部分。

在不同应用中,什么样的推荐才算有用,差异很大。音乐服务可能会反复推荐用户熟悉的歌曲,而零售商通常不应在用户刚购买某件耐用品后,就不断推荐同一商品。新闻推荐对时效性十分敏感;职位推荐必须考虑任职资格和双方意愿;教育推荐则可能需要遵循先修要求。在旅游和住宿领域,可预订情况和日期限制可能与估计的用户偏好同样重要。这些差异既影响模型的选择,也影响适用的评估标准。

自 2010 年代起,大型服务平台越来越多地采用深度学习、通过学习获得的表示以及多阶段推荐流程。移动设备的普及也使时间、位置和短时会话行为更广泛地成为可用的情境信号。近年来,大语言模型被用于理解请求、表示物品描述,以及支持对话式推荐。这些进展是对旧有方法的补充,而非取代:流行度模型、邻域方法、因子模型和业务规则凭借其效率、透明度以及对特定任务的适用性,仍然具有价值。

推荐任务、反馈与统计假设

一种基本的表述方式是为用户—物品对赋予分数。设 uu 表示用户,ii 表示物品,cc 表示情境。评分函数 s(u,i,c)s(u,i,c) 用于估计与筛选有关的某个量,例如预期兴趣、购买概率或有用程度。随后,系统从符合条件的物品集合中生成排序列表。分数不一定是经过校准的概率:有些模型的训练目标仅仅是将用户更偏好的物品排在偏好较低的备选物品之前。

这一表述涵盖了几种不同的任务。评分预测估计显式评分,例如一至五星的电影评分。Top-KK 推荐从规模大得多的物品库中选出一个简短列表。下一物品推荐预测交互序列中的下一次交互,而基于会话的推荐主要依据用户当前这次访问,而非长期保留的用户画像。购物篮补全、互补商品推荐和群组推荐则引入了额外的依赖关系。例如,与某款手机适配的手机壳,并不只是一个与手机相似的物品。

反馈通常分为显式反馈和隐式反馈。显式反馈包括评分、点赞、点踩以及明确表达的偏好。隐式反馈包括曝光、点击、购买、观看时长、跳过和重复消费。这些信号的含义各不相同。点击可能表示好奇,而非满意;较长的观看时间既可能反映真实兴趣,也可能意味着用户难以找到所需信息。购买行为不仅受偏好影响,还受价格、供货情况和配送条件的影响。

观测到的交互表通常极为稀疏:每个用户只会接触物品库中的一小部分。更重要的是,观测数据的缺失并非随机发生。用户不可能点击从未展示过的物品,而页面上靠近顶部的物品更容易被注意到。因此,未观测到交互并不等同于负面评价。将所有缺失的用户—物品对都视为不喜欢,可能产生系统性错误,尤其是在曝光很大程度上由先前的推荐策略决定时。

因此,训练需要对现有训练数据所代表的内容作出假设。对于点击模型,相关记录可能包括用户、物品、展示位置、同一展示列表中的其他物品、时间戳,以及是否发生点击。仅有正例通常并不足够;负例可以取自已展示但未被点击的物品,也可以从更大的物品池中抽样获得。这些抽样选择会改变学习问题。例如,使用从物品库中均匀抽样得到的负例进行训练的模型,可能善于区分相关物品与明显不相关的物品,却难以对生产环境中那些竞争激烈、差异细微的候选物品进行排序。

协同过滤与隐因子模型

协同过滤根据群体行为中的模式推断偏好。其核心前提是,即使物品描述不完整,交互行为也能揭示有用的关系。如果两位用户对许多物品的评价相似,他们对其他物品的看法也可能一致;而受众群体有所重叠的两个物品,则可能适合作为替代品或搭配项。这些只是统计上的规律,并不保证用户的喜好完全相同,也不保证物品属于某个显而易见的语义类别。

邻域方法直接实现了这一思路。基于用户的方法根据相似用户的评分,预测某位用户的偏好。基于物品的方法则将候选物品与用户此前喜欢或消费过的物品进行比较。相似度可以用余弦相似度、相关系数或经过调整的共现统计量来衡量。原始共现统计量通常需要校正,因为极为热门的物品几乎会与所有物品发生共现。设置最小支持度阈值并采用收缩估计,可以减少仅由少量观测估计出的不稳定相似度。

另一大类方法采用矩阵分解。对于一个仅有部分评分被观测到的用户—物品评分矩阵,常见模型为

r^ui=μ+bu+bi+pu⊤qi,\hat r_{ui}=\mu+b_u+b_i+p_u^\top q_i,

其中,μ\mu 是全局均值,bub_u 和 bib_i 分别是用户偏置和物品偏置,pu,qi∈Rdp_u,q_i\in\mathbb{R}^{d} 是通过学习得到的潜在向量。它们的内积刻画了平均评分和偏置无法解释的交互效应。这些维度不必对应类型、价格等有明确名称的属性;它们是为了说明观测数据中的模式而确定的。

对于显式评分,可以通过最小化带有正则化项的预测平方误差来学习参数:

min⁡b,p,q∑(u,i)∈Ω(rui−r^ui)2+λ(∑ubu2+∑ibi2+∑u∥pu∥2+∑i∥qi∥2).\min_{b,p,q} \sum_{(u,i)\in\Omega} \left(r_{ui}-\hat r_{ui}\right)^2 +\lambda\left( \sum_u b_u^2+\sum_i b_i^2+ \sum_u\lVert p_u\rVert^2+\sum_i\lVert q_i\rVert^2 \right).

这里,Ω\Omega 包含已观测到的评分,λ\lambda 控制对较大参数值的惩罚力度。这一惩罚项十分重要,否则,稀疏的观测数据可能导致严重的过拟合。面向隐式反馈的变体通常会区分推断出的偏好与置信权重:重复播放可能提高对正向信号的置信度,而不会被解释为按比例增大的评分。

面向排序的方法优化的是相对次序,而不是评分数值的准确性。2009 年提出的贝叶斯个性化排序,利用由一位用户、一个已观测物品和一个抽样得到的未观测物品组成的三元组进行学习。其优化目标促使已观测物品获得更高的分数。因子模型能够高效训练,往往也是表现强劲的基线模型,但纯协同方法面临着冷启动问题:新用户或新物品几乎没有可用于推断向量的交互历史。这类方法还会承袭历史数据中的曝光模式,因此,即使预测表现出色,也不能证明其推荐所反映的偏好独立于系统先前的决策。

基于内容、基于知识的推荐与混合推荐

基于内容的推荐利用物品描述和用户兴趣信息来进行推荐。文档推荐系统可以用文章中的词语或主题来表示文章,商品推荐系统则可以使用类别、品牌、尺寸和价格等信息。随后,系统可以根据用户以往偏好物品的特征构建用户画像。与纯粹的协同方法不同,这种方法只要获得新物品的内容或属性,就能将其推荐给用户。

传统的文本表示方法包括词项加权向量和词袋模型。较新的系统利用表征学习,将描述、图像、音频或其他模态的数据映射到共享或相互关联的特征空间中。因此,一部电影可以通过剧情简介、演员阵容、海报、预告片和交互历史来表示。这些信号不能相互替代:海报可能体现视觉风格,而剧情简介则描述叙事内容。应采用何种表示方式,取决于哪些差异对用户重要,以及可用元数据的质量。

基于内容的方法可以为推荐提供易于理解的理由,例如作者相同,或技术规格符合用户偏好。然而,过于注重内容匹配也可能限制用户发现新事物。喜欢某部历史小说的用户,未必希望看到一份完全由高度相似的历史小说组成的推荐列表。此外,物品描述可能遗漏幽默感、节奏、做工或是否适合特定场合等体验性属性。因此,内容相似并不一定意味着能给用户带来同等效用。

基于知识的推荐利用显式关系和约束条件。配置系统可以检查某个组件是否适配某台设备;旅行推荐系统则可以确保推荐方案满足日期、预算、无障碍要求和出发地点等条件。约束满足与基于规则的推理可以在按偏好排序之前,排除不可行或不合适的选项。知识图谱可以表示用户、物品、创作者、类别及其他实体之间的关系,通过具有明确类型的关联来支持推荐,而不只是依赖不区分关系类型的相似性。

大多数实际应用中的系统都采用混合方法。系统可以将协同推荐得分与内容特征结合起来,也可以让多个独立的推荐器为同一个排序阶段提供候选项。另一种设计是同时从交互数据和描述中学习物品表征,使内容特征能够支持新物品的推荐,而协同信号则改善已有物品的推荐效果。混合并不一定意味着对最终得分取平均;它也可以发生在特征构建、模型训练、候选生成或用户界面等环节。

冷启动问题在一定程度上也是交互设计问题。服务可以请新用户选择感兴趣的内容,在获得许可后导入用户已有的收藏,也可以先提供符合当前情境、普遍受欢迎的推荐。每种做法都需要在用户初期投入的精力与系统的不确定性之间进行权衡。对于新物品,可以通过受控曝光收集仅靠内容模型无法提供的证据。最终的推荐质量不仅取决于预测模型,也取决于系统获取相关信息的效率和效果。

神经网络、序列与对话模型

人工神经网络使推荐系统能够学习用户特征、物品特征与情境之间的非线性关系。简单的模型可以将这些特征拼接起来,预测点击或购买的概率。更复杂的模型则将对高频特征交互的记忆与学习到的表示相结合,从而泛化到较少见的特征组合。增加模型复杂度是否有价值,取决于数据量、特征质量和运行约束;模型更大,并不意味着推荐效果一定更好。

一种广泛使用的架构是双塔模型。一个网络将用户或请求情境映射为向量,另一个网络则将物品映射为向量。模型通过点积或其他计算成本较低的相似度函数来估计相关性。由于物品向量可以预先计算,这种架构能够支持从规模庞大的物品库中检索物品。不过,这种高效率也有局限:在检索之前,无法全面评估特定用户与候选物品之间各种细致的交互。因此,表达能力更强的模型通常留待后续使用,对规模较小的候选集进行排序。

序列模型会考虑交互发生的顺序。与多年前的一次购买相比,用户最近搜索相机的行为,可能对下一次推荐更有参考价值。循环神经网络以及后来出现的Transformer架构都已应用于这类序列。自注意力使模型能够在表示当前状态时,为不同的历史事件赋予不同权重。时间间隔、重复交互和意图变化也可以编码到模型中。不过,观测到的序列不仅可能体现兴趣的自然演变,也可能反映界面布局和先前推荐的影响。

有些序列模型通过预测下一个物品或重建被隐藏的物品来学习,将推荐与自监督学习联系起来。将训练目标转化为评估任务时,需要格外谨慎。允许利用后续事件来重建缺失交互的模型,与只能依据过去信息采取行动的在线系统,解决的并不是同一个问题。同样,也必须遵守时间戳、物品可用时间以及用户特征计算时间的限制,以避免数据泄漏(机器学习)。

对话系统利用自然语言处理,通过对话逐步明确用户偏好。例如,“一部不到两小时、风格平静,但不是悲剧的电影”这样的请求,包含了仅靠点击可能难以表达的多重约束。语言模型可以提取这些约束、提出追问,或解释候选物品之间的差异。它们还可以丰富信息稀少的物品描述,并将日常表达与物品库中的属性关联起来。

对话是否流畅,与物品库相关信息是否正确,是两回事。生成的片名可能并不存在,产品属性可能有误,推荐的物品也可能无法获取。系统可以从受控的物品库中检索候选项,并依据结构化记录核查相关陈述,以减少这些问题。如果系统还会生成解释,那么这些解释是否符合实际的推荐过程,仍是一个需要单独考察的问题:对物品看似合理的描述,并不一定如实说明了排序模型为何选择它。

生产架构与大规模在线服务

大型推荐服务很少在每次请求时,都用最复杂的模型为所有可用物品评分。它们采用的是多阶段流水线,典型流程包括资格过滤、候选生成、排序,以及最终的重排序或推荐列表构建。每个阶段都会缩小搜索空间,同时引入越来越细致的信息。除了预测准确性,这种架构还必须满足延迟、吞吐量、可靠性和时效性方面的要求。

候选生成器可以检索热门物品、相似物品、用户关注的创作者发布的物品,或与用户向量接近的物品。当逐一与整个物品库进行精确比较的成本过高时,近似最近邻搜索使向量检索变得切实可行。不同候选来源往往侧重不同的行为模式,例如短期意图、长期偏好、对新颖性的追求或重复消费。各来源的结果会被合并并去重。如果某个相关物品没有进入候选池,后续排序阶段就无法将其找回。

排序模型利用更丰富的特征,估计每个候选物品可能带来的结果。零售商可能考虑购买概率、价格、库存状态、配送时间和退货风险;视频服务则可能同时考虑预期观看时长和明确表达的满意度信号。这些预测结果可以作为独立决策规则的输入,而不必合并成单一的训练目标。最终的重排序可能会实施创作者数量限制、品类多样性要求、安全限制或兼容性约束。因此,最终展示的列表通常并非只是某个模型按原始分数选出的最高分物品。

数据基础设施也是系统中同样重要的一部分。交互事件必须记录可靠的时间戳和标识符,转换为特征,并可供训练和在线评分使用。分布式计算支持大规模聚合与训练,而低延迟存储则提供用户的近期状态和物品信息。批处理能够高效计算涵盖广泛历史数据的汇总信息;流式更新则捕捉用户刚看完一集节目或某件物品变为不可用等变化。两者必须采用一致的定义,以避免训练与在线服务之间出现不一致。

在线服务还会引入其他故障模式:某项特征可能缺失,模型可能过时,检索索引也可能滞后于物品库的变化。因此,系统通常会保留备用推荐结果,并同时监控模型输出和基础设施的健康状况。缓存可以降低成本,但也可能返回过时或个性化不足的列表。即使新模型的离线准确率更高,如果其延迟会导致请求超时,或其内存需求使可靠部署难以实现,它也可能不适合上线。

运行监控还必须跟踪分布偏移。季节性需求、新的内容形式、界面改版以及用户群体的变化,都可能使模型学到的关系失效。重新训练可以应对部分偏移,但并非全部:事件日志记录器发生故障,或“观看”的定义发生变化,都可能破坏测量过程本身。因此,模型版本管理、可复现的特征计算和严格受控的部署,都是推荐系统工程不可或缺的组成部分,而不仅仅是行政性支持工作。

离线评估与在线实验

评估首先要明确何谓成功。准确预测星级评分、在排序靠前的位置给出有用的推荐、帮助用户发现目录中的物品,以及提升长期满意度,是不同的目标。模型可能改善其中一项目标,却使另一项变差。评分预测系统通常使用平均绝对误差或均方根误差进行评估,而排序推荐则需要采用既考虑哪些物品出现在推荐结果中、通常也考虑其位置的指标。

对于推荐集合 RuKR_u^K 和留出数据中的相关物品集合 TuT_u,常用指标为

Precision@K⁡(u)=∣RuK∩Tu∣K,Recall@K⁡(u)=∣RuK∩Tu∣∣Tu∣.\operatorname{Precision@K}(u)=\frac{|R_u^K\cap T_u|}{K}, \qquad \operatorname{Recall@K}(u)=\frac{|R_u^K\cap T_u|}{|T_u|}.

其他指标则侧重于排序。归一化折损累积增益(NDCG)对排名靠前的相关物品赋予更高的权重,还可以纳入不同等级的相关性。平均倒数排名侧重于第一个相关结果所处的位置。这些指标体现了对用户行为的不同假设,没有哪一种适用于所有情况。

可信的离线实验需要精心构建的测试集。对于具有时间顺序的任务,用较早的交互数据训练、用较晚的交互数据评估,比不受时间限制的随机划分更贴近实际部署。即使按时间顺序划分,如果物品表示、热度计数或预处理步骤使用了未来的观测数据,也可能造成信息泄漏。超参数应使用单独的验证集来选择,而不应根据最终测试结果反复调优。

候选物品的选择也会影响所报告的性能。将一个留出的物品与少量随机抽取的负样本进行比较,比将其与整个符合条件的物品目录一起排序更容易。算法之间的性能排名可能随着负样本的数量和分布而改变。因此,比较时必须说明数据划分方式、候选池、筛选规则,以及对训练中未出现的用户或物品的处理方式。MovieLens 等公开数据集有助于开展可复现的研究,但在某一个数据集上的结果并不能证明系统在所有领域的表现。

在线 A/B 测试通过将用户或其他实验单位随机分配到不同方案,估计部署某项变更后对实际行为的影响。相关结果指标可以包括满意度评分、购买、留存、隐藏操作、投诉及技术性能。仅看点击率往往不够,因为吸引人的标题或缩略图可能增加点击,却未必改善点击后的体验。实验持续时间也很重要:即时的好奇心不一定意味着持久的价值,有些后果只有在反复曝光后才会显现。

随机化并不能消除所有困难。用户之间可能相互影响,卖家可能对流量变化作出反应,共享库存也可能使实验组之间产生关联。指标还可能存在较大噪声,或受到反复检验的影响。因此,离线评估与在线评估各有作用、相互补充:离线测试支持快速、可控的比较,在线实验则衡量在特定界面和人群中实际曝光所产生的后果。两者都不能自动揭示所研究条件之外的效果。

探索、因果推断与长期目标

推荐会改变未来推荐所依据的学习数据。如果系统反复展示少数热门物品,就会收集到更多关于这些物品的证据,而对其他选项所知甚少。后续训练可能又会将由此产生的交互集中现象视为这些物品更优的进一步证据。这种反馈循环使推荐有别于纯粹被动的预测任务。

探索与利用的权衡关注的是:应当选择已被认为有用的物品,还是收集有关尚不确定的其他选项的信息。多臂老虎机方法将重复决策中的这一选择形式化。上下文老虎机根据当前用户或情境的信息选择动作。置信上界策略和汤普森采样等方法会在选择时考虑不确定性,而不是始终选择当前点估计值最大的物品。

探索并不等同于不受限制的随机选择。系统可以在符合条件且具有足够相关性的候选项中进行探索,也可以为新物品和观测不足的创作者预留有限的展示机会。合适的设计取决于不佳推荐所带来的代价,以及环境变化的速度。音乐服务尝试推荐一首用户不熟悉的歌曲,通常不会带来太大的影响;而涉及重大利害关系的匹配服务则面临不同的约束。探索还需要有意义的不确定性估计;模型的原始评分本身并不能表明其置信程度。

历史日志有时可以用于估计新推荐策略的效果。这种离策略评估将推荐与因果关系的推断联系起来。如果日志策略在情境 xtx_t 下以已知概率 π0(at∣xt)\pi_0(a_t\mid x_t) 选择了动作 ata_t,那么目标策略 π\pi 的逆倾向加权估计量为

V^IPS(π)=1n∑t=1nπ(at∣xt)π0(at∣xt) rt,\hat V_{\mathrm{IPS}}(\pi)= \frac{1}{n}\sum_{t=1}^{n} \frac{\pi(a_t\mid x_t)} {\pi_0(a_t\mid x_t)}\,r_t,

其中,rtr_t 是观测到的奖励。该方法根据目标策略选择相同动作的频率,对日志中记录的结果重新加权。

这一估计量要求满足支持条件:目标策略偏好的动作,在日志策略下必须有非零的出现概率。过小的日志策略选择概率可能导致高方差,而未记录的因素可能削弱因果解释的有效性。对整个排序列表进行评估更为困难,因为某个特定列表出现的概率可能极低,而且物品之间可能相互影响各自的结果。因此,可靠地记录倾向概率,以及恰当地设计随机化机制,都是研究与工程实践中的重要问题。

强化学习将决策问题扩展到未来后果。一次推荐可能影响用户的满意度、知识或再次访问的意愿,从而改变后续的状态和奖励。原则上,策略可以优化预期累积奖励,而非即时点击量。但在实践中,较长的决策时域、不确定的状态表示、延迟显现的结果,以及安全开展实验的难度,都使这一目标充满挑战。容易衡量的奖励,例如会话时长,未必能充分代表系统旨在提供的长期价值。

多样性、公平性、解释与用户控制

推荐质量不只在于与历史交互相匹配。多样性关注推荐列表内部或不同列表之间的差异;新颖性关注用户对某个物品的陌生程度;意外发现性关注既有用又出乎意料的发现。这些属性有所重叠,但并不等同。一个鲜为人知的物品可能具有新颖性,却未必与用户需求相关;而一个用户熟悉的物品,仍可能提升某个被单一类别占据的列表的多样性。

多样性可以在候选生成阶段引入,也可以在最终列表构建阶段引入。重排序过程可以在相关性得分与候选物品同已选物品的相似度之间进行权衡。更复杂的方法会整体考量列表,而不是对每个条目独立评分。何种差异有意义,取决于具体领域:音乐艺人、新闻主题、价格区间或技术观点之间的多样性,无法用一种通用的距离度量来可靠地刻画。列表层面的约束也可能相互冲突,因此需要明确各项要求的优先级。

公平性涉及多个利益相关方。不同用户获得的推荐质量可能存在差异,而创作者、卖家或求职者获得的曝光也可能不均等。这些差异可能源于历史流行度、数据稀疏、目录结构或系统目标。优化平均准确率的模型,可能无法很好地服务于品味小众的用户,因为大多数训练信号来自多数群体。同样,曝光过度集中也可能使新的供给方难以积累能够证明其相关性的数据。

没有一种公平性标准适用于所有推荐场景。让所有物品获得同等曝光,可能忽视相关性和可用性;按价值比例分配曝光,则需要一种有充分依据的价值衡量方式。用户侧与供给方侧的目标可能相互冲突。因此,公平性分析需要明确所涉及的群体、结果、比较方式及相关约束,而不能只是给算法贴上公平或有偏的标签。群体层面的平均值,也可能掩盖同一群体内部个体之间的显著差异。

解释可以让推荐更容易评估。例如,“因为你的藏书中有这位作者的作品”或“与你给过高分的物品相似”。有些解释描述可观察到的关系,另一些则试图说明模型内部的推理过程。可解释人工智能区分了解释的忠实性与说服力:一套令人信服的说辞,未必能准确描述生成该排序的机制。

用户控制可以作为解释的补充。界面可以允许用户从历史记录中删除某些事件,表明不想看到某个物品,切换到非个性化排序,或调整熟悉内容与探索发现之间的平衡。只有系统对这些操作作出一致的解读,这些控制功能才有意义。“不感兴趣”这一操作,可能针对某个具体物品、其主题、其创作者,也可能针对当前情境;将这些操作一概而论,可能造成非预期的变化。因此,对这些功能的评估,既要考察模型的行为,也要考察用户是否理解这些控制功能的作用。

隐私、安全与治理

个性化往往依赖行为记录,而这些记录可能透露敏感的兴趣或日常习惯。即使数据集没有明确记载宗教信仰、健康状况或政治倾向,阅读、观看或购买模式也可能成为推断这些信息的依据。因此,数据隐私不仅涉及姓名和账户标识符的保护,也涉及行为信息的收集、整合、保留和使用。

移除直接标识符并不一定能使交互数据匿名化。独特的评分或购买序列有时可以与外部信息关联起来。模型输出也可能带来隐私风险:共享设备上显示的推荐可能透露系统推断出的兴趣,推荐解释也可能暴露用户未曾预料会被公开的关联。访问控制、限制保留期限以及将不同用途的数据分开管理,可以分别应对这一问题的不同方面,但任何一种措施都不足以单独证明推荐系统能够保护隐私。

隐私保护技术包括差分隐私和联邦学习。差分隐私依据明确的数学定义和隐私预算,限制发布的结果对个人数据的依赖程度。联邦学习将部分训练任务分配到设备或组织中进行,而不是集中收集所有原始记录。联邦学习本身并不能保证隐私,因为模型更新仍可能泄露信息,因此可能需要额外的保护措施。这两种方法都需要在数据访问、效用、通信成本以及所要应对的具体威胁之间作出权衡。

推荐系统也是操纵行为的目标。在托攻击中,攻击者创建或控制账户,提交旨在推广或打压某些物品的交互记录。协同点击、虚假评论以及经过策略性篡改的元数据,都可能使协同模型和基于内容的模型产生偏差。这些攻击与数据投毒有关,但由于曝光本身具有经济价值,推荐场景中的攻击动机有其独特之处。防御性分析可以检查异常的交互模式、账户关系,以及所声称的偏好与后续行为之间的不一致。不能仅仅因为正当的小众社群的行为不同于多数人,就自动将其视为恶意群体。

治理包括记录目标、评估风险、保存审计记录,以及明确变更责任。在欧洲联盟,《数字服务法》对在线平台使用的推荐系统提出了透明度要求。对于经指定的、使用推荐系统的超大型在线平台和超大型在线搜索引擎,该法还要求其为每个推荐系统至少提供一种不基于《通用数据保护条例》所定义的用户画像分析的选项。此类规则区分了对推荐机制的信息披露要求,与公开所有模型参数或商业实现细节的要求。

研究和监督面临一个重要的测量难题:观察到的推荐曝光与后续行为之间的关联,本身并不足以确立因果关系。用户会选择服务和内容,平台会适应用户,而外部事件又会同时影响两者。因此,审计可以结合受控实验、独立数据访问、界面研究和系统文档分析。将针对某一平台、人群或时期得出的结论应用于其他情境时,需要保持谨慎,尤其是当结论涉及社会影响,而非直接测量得到的排序行为时。