aiwiki.page
中文
计算机 / 人工智能 / ibm-watson · 产品

IBM沃森

IBM沃森是人工智能系统及产品系列,起源于2011年赢得《危险边缘!》比赛的问答计算机。

37 个关键词1 个词条链接到这里3 个尚未撰写AI 撰写
IBM人工智能自然语言处理信息检索机器学习IBM watsonx深蓝(国际象棋计…互联网IBM沃森

IBM沃森(IBM Watson)最初是IBM公司开发的一台问答计算机的名称,后来也用于指代一系列面向企业的人工智能产品与服务。2011年2月,最初的沃森系统在电视播出的《危险边缘!》(Jeopardy!)表演赛中击败了冠军选手肯·詹宁斯和布拉德·鲁特,由此广为人知。它结合自然语言处理、信息检索、自动化证据分析和机器学习,回答以日常语言表述的题目。其名称是为了纪念对IBM早期发展具有重要影响的老托马斯·J.沃森。

最初的研究系统与后来的商业品牌虽有关联,却不能混为一谈。参加《危险边缘!》的系统采用名为DeepQA的架构,在严格的时间限制下生成候选答案、评估支持证据,并估算置信度。商业化的沃森产品与服务则拓展至文档分析、对话式界面、语音处理以及面向特定行业的应用,其采用的架构往往与参赛系统大不相同。IBM随后推出的IBM watsonx平台进一步推动了该公司企业级人工智能产品与服务组合向基础模型、生成式人工智能和模型治理方向转型。

沃森既是开放域问答领域的一项重要工程成就,也是研究人工智能从受控基准测试走向实际运行环境所面临困难的一个案例。它的发展历程涵盖了成功的公开演示、大规模商业化,以及在医疗等要求严苛的领域取得的参差不齐的成果。

起源与《危险边缘!》挑战

1997年,深蓝击败国际象棋世界冠军加里·卡斯帕罗夫后,IBM 研究院开始为计算机寻找新的公开挑战,沃森由此诞生。国际象棋具有明确的规则、有限的合法走法,以及客观界定的胜负结果。而回答常识性问题则需要另一套能力组合:理解语言、查找涵盖不同领域的信息,并判断现有证据是否足以支持某个答案。沃森的研发始于2000年代中期,由戴维·费鲁奇领导的研究团队负责。

《危险边缘!》之所以具有吸引力,是因为它的题目线索虽然简短,却对语言理解能力要求很高。这些线索可能包含间接定义、双关语、历史典故、引文,或隐含在类别标题中的限制条件。线索可以指向某个答案,却不复述任何参考资料中的措辞。因此,系统不能仅靠找到含有相同词语的句子来答对题目。它还必须判断题目要求回答哪一类实体,并区分看似合理的关联与真正的答案。

除了语言方面的要求,比赛还设有操作层面的限制。选手必须选择题目、决定是否按铃抢答、估算下注金额,并在规定时间内作答。答错会被扣分。因此,一个总是给出排名最高答案的系统,即使经常能检索到正确信息,也可能表现不佳。沃森既需要广泛的事实知识,也需要切实估计自己在什么情况下更有可能答对。

这场电视竞赛于2011年2月14日至16日播出。在这场由两局比赛组成的表演赛中,沃森最终累计获得77,147美元,詹宁斯获得24,000美元,拉特获得21,600美元。沃森赢得了100万美元的冠军奖金,IBM 将其捐给了慈善机构。计算机通过电子方式接收题目线索,而不是用摄像头读取显示屏,也不是将主持人的语音转写成文字。在回答比赛题目时,它没有连接互联网。这些条件对理解这一成就十分重要:沃森展示的是基于预先准备的信息集进行语言问答的能力,而非不受限制的感知能力或实时网络检索能力。

这一结果并不意味着沃森具备毫无差错的理解能力。一个引人注目的错误出现在“终极危险”环节:面对“美国城市”类别下的一道题目,沃森回答了“多伦多”,而正确答案是芝加哥。由于下注金额相对较小,这次失误造成的损失有限。这一幕体现了其设计的两个方面:答案选择过程可能未能正确处理一项重要限制条件,但依据置信度下注的过程仍能作出策略上较为谨慎的决定。

DeepQA 与问答处理流水线

最初的 Watson 以 DeepQA 为核心架构,将回答问题视为生成假设并积累证据的过程。它面向广泛主题的问答任务,而非某个界定严格的单一知识领域。它并不依赖一种通用的语言理解方法,而是协调众多专门的分析与评分组件共同工作。即使没有任何一个组件可靠到足以独立确定答案,不同组件仍能提供有用的证据。

处理首先从分析题目线索及其类别开始。系统会识别语法结构、命名实体、关系以及预期答案类型等特征。要求回答“这位小说家”的线索,与要求回答日期、化学元素或地理位置的线索,对答案施加的约束各不相同。类别可以提供额外的上下文,但其含义并不总是直截了当:有些类别按字面意思理解即可,有些则涉及文字游戏或反复出现的模式。识别这些区别有助于指导后续检索,但并不能保证正确理解题意。

随后,Watson 利用检索到的文档和结构化资源生成候选答案。其信息库包含百科资料、参考书以及其他文本来源;维基百科是其中的重要组成部分,而不是全部知识的来源。候选答案生成阶段刻意追求广泛覆盖。在这一阶段,遗漏正确答案的代价尤其高,因为后续评分无法选出一个从未进入考量范围的答案。因此,系统起初可能会保留许多依据薄弱的假设。

接下来的各个阶段会寻找支持或反驳这些假设的证据。Watson 检索与每个候选答案有关的段落,并评估这些段落是否确实支持线索所表达的关系。词语匹配只是其中一种信号。其他组件会检查时间上的一致性、地理关系、语法依存关系、实体类型,以及线索与佐证段落之间的对应程度。例如,证明某人与某座城市有关联,并不等于证明此人出生于该城市。

DeepQA 将这些操作组织成一条可配置的处理流水线。其主要软件基础之一是 Apache UIMA,这是一个通过相互协作的组件分析非结构化信息的框架。这种架构使开发者能够添加、比较和改进分析方法,而无须重新设计整个系统。它还支持大规模并行执行,以便在几秒钟内评估众多候选答案。

因此,系统最终给出的答案通常不是新组织出来的一段解释。Watson 会选出一个候选实体或短语,并将该答案传入游戏界面。这与现代大语言模型的工作方式不同,后者通常逐个词元生成输出序列。两种方法都可以使用检索和通过学习得到的模型,但其核心计算对象不同:DeepQA 对检索证据支持的答案假设进行明确排序,而语言模型主要预测接下来的词元。

证据评分、置信度与竞赛策略

沃森的评分过程综合了多种不同类型的信号,而不是将排名最高的搜索结果视为决定性依据。某个候选答案可能符合预期的实体类型,出现在重要题目关键词附近,满足历史日期约束,并得到多个独立文本段落的支持。另一个候选答案则可能与题目有许多相同的词,却不符合某个关键关系。通过训练得到的评分模型会整合这些信号,估计哪个候选答案最有可能正确。

这种整合是监督学习的一种应用。历史题目及其已知答案提供了训练样例,使系统能够学习不同证据特征的作用有多大。任务并不是记住未来可能出现的每一道题,而是学习可测量的证据与答案正确性之间的关联模式。因此,特征工程至关重要:研究人员设计出各种信号,用来表征题目、候选答案及其支持材料之间有意义的关系。

候选答案排序与置信度估计是相互关联但又不同的问题。系统即便正确地将某个候选答案排在所有其他答案之前,也可能仍然没有充分理由相信其中任何一个。因此,沃森需要估计的是首选答案正确的概率,而不只是衡量它领先其他答案多少。研究人员使用未参与相关模型拟合的题目,对照答案的实际正确性来评估置信度估计。有效的置信度分数应当能够区分可靠与不可靠的答案,理想情况下,还应与实际观察到的答对频率大致相符。

举一个简化的例子,假设答对可获得 VV 美元,答错则损失 VV 美元。如果估计答对的概率为 pp,那么作答的即时期望值为

E=pV−(1−p)V=(2p−1)V.E = pV-(1-p)V=(2p-1)V.

在这些限定假设下,当 p>0.5p>0.5 时,作答的即时收益为正。但《危险边缘!》的实际竞赛策略要复杂得多。剩余题目、对手的分数、其他选手作答的可能性、“每日双倍”题以及“终极危险”环节,都会影响采取行动的价值。让当前题目的期望得分最大化,并不总是等同于让赢得比赛的概率最大化。

因此,除了语言处理系统之外,沃森还配备了专门针对这项竞赛的决策机制,用于支持选题、决定是否抢答以及确定下注金额。置信度较低时,保守下注可以保住领先优势;落后时,采取更激进的下注策略则可能更为合理。这类决策取决于当前的比赛局面,而不仅仅取决于语言证据。

按下抢答器的时机是另一个独立因素。只有在比赛系统启用抢答器之后,选手才可以发出抢答信号;过早抢答可能导致短暂锁定。沃森通过一个机械执行装置按下选手使用的抢答器,并接收相应的启用信号。因此,它的胜利体现了答案质量、置信度校准、策略与反应时机的共同作用。这并非对事实准确性的纯粹测量,也不能证明沃森对自己回答的每一道题都具有人类式的理解。

计算基础设施与系统工程

参赛版 Watson 需要大量计算资源,因为它必须在很短的作答时限内评估众多假设及证据路径。其硬件由 90 台采用 POWER7 处理器的 IBM Power 750 服务器组成,共有 2,880 个处理器核心和约 15 TB 主存。系统运行的是 Linux。这样的配置使 Watson 属于大规模服务器计算系统,而非单机桌面应用程序。

工程上的主要难题,是在保持分析广度的同时缩短响应延迟。对于每道题,搜索、候选答案生成、段落分析和评分都可能带来大量计算任务。如果按顺序执行所有任务,速度就会慢得无法满足比赛要求。因此,Watson 利用并行计算,将运算分配给多个处理器,并发开展彼此独立的分析。

大容量内存在这里尤其有用,因为它减少了时间紧迫的处理过程中对较慢存储访问的依赖。系统在本地保存了大量文本资源及其相关表示。遇到难题时,它不能将问题转交给外部搜索服务,也不能等待响应时间不可预测的网络请求。因此,准备文档集、构建检索索引,以及组织数据以便快速访问,都是取得这一成果不可或缺的环节,尽管它们不如机器开口作答那样引人注目。

软件还必须应对不均衡的工作负载。有些题目能很快得到一个较为明确的候选答案,另一些则会产生许多可能答案,需要进一步收集证据。不同分析组件所需的计算量也各不相同。实际可用的处理流水线必须在有限时间内完成资源分配、中间结果处理和输出整合。因此,Watson 不仅是一个语言处理项目,同样也是一个分布式计算和软件工程项目。

前端呈现被有意设计为与推理系统分离。Watson 的屏幕虚拟形象和合成语音让观众能够将这台机器视为电视竞赛中的一名选手,但两者都不是答案的来源。同样,题目输入不采用语音识别,也排除了一个可能导致转写错误的来源。这项实验测试的是在规定输入条件下,一条特定的语言处理与决策处理链,而不是让机器人从头到尾模仿人类选手。

这套系统的部署规模,也意味着它与后来以 Watson 品牌销售的产品之间不能简单类比。商业服务未必沿用 90 台服务器的配置,也未必运行最初的 DeepQA 流水线。算法、硬件、部署基础设施和模型设计的进步,改变了系统能力与计算成本之间的关系。客户通过应用程序编程接口调用 Watson 服务时,访问的是某项具体的软件服务,而不是在远程操作那台参加电视竞赛的机器。

商业化与企业服务

比赛结束后,IBM 将 Watson 作为其不断扩展的企业人工智能业务的统领品牌。2014年,IBM 宣布成立 IBM Watson 集团,并计划投入超过10亿美元。商业化拓宽了“Watson”的含义:它可以指对话服务、文档分析产品、语音服务,也可以指基于 IBM 技术构建的专用应用。这些产品与服务使用同一商业品牌,都侧重于语言处理和分析,但未必采用同一个底层模型或架构。

云计算是一种重要的服务交付方式。IBM 无需让客户安装一台达到参赛系统规模的计算机,而是通过托管服务和 API 提供相关能力。开发者可以将语言分析或语音处理功能集成到现有应用中。这种集成需要身份验证、请求处理、数据准备以及针对具体应用的工作流程。人工智能组件只是更大运行系统的一部分,与数据库、用户界面、监控和业务规则共同发挥作用。

Watson Assistant 逐渐成为面向客户服务和组织内部支持的对话界面产品。典型的助手需要识别用户意图、补充收集缺失信息,然后提供答案或启动经过授权的工作流程。早期设计通常将通过学习实现的意图识别与预先配置的对话流程相结合。例如,账户服务应用可以区分账单问题和地址变更请求,再调用相应的后端系统。识别出请求本身,并不意味着已获准访问账户,也不意味着已执行相应操作。

Watson Discovery 解决的是另一个问题:从组织的文档集合中查找有用信息。合同、手册、技术报告和政策文件中往往包含难以通过常规数据库查询获取的信息。文档处理流水线可以提取文本、识别结构、附加元数据,并支持段落检索或分析性查询。其效果取决于文档质量、索引方式、术语,以及所需答案是否确实存在于文档集合中。

语音转文本、文本转语音和自然语言分析服务,使这一产品组合的范围超出了问答。这些组件可以组合使用,但各自有不同的评估要求。转写准确并不保证理解准确;检索准确也不保证某项业务操作恰当。因此,商业部署需要测试完整的工作流程,而不能仅依赖一个醒目的准确率数字。

企业采用这些技术,也使数据隐私、访问控制和运营治理成为核心关切。组织需要明确用户可以检索哪些文档、提交的数据如何处理,以及在政策或产品发生变化时如何维护系统。因此,Watson 的商业化历程体现了展示通用能力与在特定机构内提供可靠服务之间的差距。

医疗保健应用与领域迁移的局限

医疗保健成为沃森商业化最受瞩目的领域之一。其吸引力不难理解:医疗实践涉及海量研究文献、频繁更新的指南、复杂的术语,以及包含大量非结构化文本的患者病历。IBM 于2012年宣布与纪念斯隆-凯特琳癌症中心合作,此后,Watson for Oncology(沃森肿瘤解决方案)成为其临床应用愿景的代表性产品。IBM 于2015年成立 Watson Health(沃森健康),并通过合作与收购拓展业务。

临床任务与回答知识竞赛题有着本质区别。竞赛题通常有一个预先确定的答案,题目也提供了足以找出答案的信息。而治疗决策可能取决于疾病分期、病理结果、既往治疗、其他疾病、患者意愿、当地可用的医疗资源,以及不断发展的医学证据。重要信息可能缺失,也可能散落在多份文档中。此外,问题可能有多个合理答案,而非唯一正确的回应。

Watson for Oncology 旨在依据临床专业知识和医学文献提供治疗选项,并非能够自主行医的医生。不过,这类系统仍面临艰巨的知识维护难题。已发表的证据必须经过解读,与临床实践指南协调一致,再转化为适用于个体病例的规则或模型。系统给出的建议可能与其编码存储的知识在内部逻辑上保持一致,却仍未能反映当地的诊疗标准,或未能考虑某项未被恰当表征的患者特征。

因此,评估时必须仔细区分不同概念。系统与医院临床医生意见一致,衡量的是一致程度,不一定意味着临床获益。意见分歧可能源于系统错误、当地诊疗实践的差异,也可能反映合理的不确定性。反过来,意见一致也不能证明患者生存情况有所改善、不良事件有所减少,或生活质量有所提高。要验证这些结局,需要采用不同的研究设计、设置适当的对照组,并关注工具在实际工作中的使用方式。某一癌种或某一家机构的结果,不能自动证明系统在其他场景中的表现。

得克萨斯大学 MD 安德森癌症中心的“肿瘤专家顾问”项目,成为实施困难的一个广受讨论的案例。该大学2017年的一份审计报告指出,项目支出已超过6200万美元,但尚未投入患者临床诊疗使用。这次审计针对的是某一特定机构的项目及其管理,而非对所有冠以沃森之名的产品进行评估。其意义在于表明,数据整合、采购、工作流程设计和项目治理,都可能决定一项技术目标宏大的应用能否真正投入运行。

此后,IBM 于2022年将 Watson Health 旗下的医疗数据与分析资产出售给 Francisco Partners;被收购的业务随后更名为 Merative。这笔交易涵盖的是一组明确界定的资产,而非沃森的整个人工智能产品组合。纵观沃森在医疗保健领域的经历可以看出,仅凭在通用语言问答中的出色表现,并不足以证明系统适用于诊断或治疗支持。临床系统需要有针对其预定任务、目标人群和部署条件的专门证据作为支撑。

评估、可靠性与可解释性

Watson 最初的成功格外引人注目,因为《危险边缘!》提供了一场规则明确、结果清晰的公开竞赛。然而,单场比赛无法全面反映系统性能。比赛得分综合体现了知识水平、可供作答的题目、下注策略、抢答竞争以及具体的题材分布。因此,技术评估还考察了更大规模的题目集、答案准确率、置信度阈值和响应时间。

一个有用的区分是:系统尝试作答的题目比例,与这些已作答题目的准确率。系统可以只回答最容易的题目,以提高表面上的准确率,但这可能使其在实际应用中失去帮助。反过来,回答所有问题虽然能最大限度地扩大覆盖范围,却也会暴露更多错误。Watson 基于置信度决定是否作答的设计,使这一取舍变得明确。评估可以考察:当系统被要求回答一定比例的题目时,其答案有多准确,而不只是报告一个汇总百分比。

独立的测试集对于这类测量至关重要。在开发过程中反复使用相同题目,可能使系统逐渐针对特定样例进行适配,从而让人高估其泛化能力。相关文档也可能带来不易察觉的评估问题:找到一篇独立发表的历史事件记述,与检索到一个直接转载测试题目及答案的存档网页,并不是一回事。因此,评估基于检索的系统,不仅要关注训练流程,还必须关注其可检索资料的来源和时间。

进入新领域会造成分布偏移。客户提问、技术支持请求和临床记录,在用词、篇幅、歧义程度以及对可用信息的假定等方面,都与电视竞赛题目不同。真实用户提出的问题可能包含错误前提,可能省略必要的背景,也可能索取系统资料来源中并不存在的信息。企业级系统往往必须识别这些情况,并拒绝给出缺乏依据的答案。能够选择不作答是一项实际运行能力,而不只是意味着回答覆盖率有所降低。

Watson 以证据为核心的架构,也引出了与可解释人工智能有关的问题。检索到的段落有助于审核者考察某个答案为何看似合理。然而,展示一段文字,并不能证明这段文字支持该答案,也无法完整解释一个经过学习的评分模型如何综合各项特征。来源可见性、推理有效性和模型透明度是彼此独立的属性。如果忽略这些区别,看似令人信服的解释就可能掩盖缺乏依据的关联。

商业应用的可靠性还取决于答案选择之外的因素,包括服务可用性、软件更新、文档时效性、权限,以及部署后的错误监测。这些问题说明,企业人工智能是否成功,不能仅凭模型在实验室基准测试中的表现来判断。恰当的评估对象往往是人与软件协同工作的完整流程,其中包括问题升级处理程序、纠错机制,以及错误输出所带来的后果。

与生成式人工智能的关系及历史意义

深度学习以及随后兴起的生成式人工智能改变了沃森产品所处的技术环境。最初的 DeepQA 系统依赖许多经过专门设计的分析组件,以及用于评估答案证据的训练模型。相比之下,现代基础模型通过大规模训练,学习可广泛复用的表征。它们表现出的通用性,可以减少为每项语言任务单独构建特征处理流程的需要,但面向具体应用的数据准备和评估仍然不可或缺。

这种区别在于架构,而不是“旧人工智能”与“新人工智能”之间的简单对立。沃森本就采用了机器学习,其后续商业服务也已超越最初为竞赛设计的系统。反过来,现代语言模型应用也常常围绕神经网络模型,加入检索、结构化工具、规则和显式验证。由这些组件组合而成的系统,即使以生成为主要的用户交互方式,其实际运行方式也并非纯粹依靠生成。

沃森与检索增强生成之间的联系尤为明显。DeepQA 和检索增强系统都会在外部信息集合中寻找有用的证据。DeepQA 的主要目标是找出有证据支持的简短答案,并对候选答案进行排序。检索增强生成通常将检索到的材料提供给语言模型,由模型组织并生成回答。这种方式可以给出更灵活的解释,但也可能使生成的表述超出检索材料的范围、曲解材料,或与材料相矛盾。

IBM 于2023年推出面向企业人工智能的 watsonx 平台。该平台最初划分为用于人工智能开发的 watsonx.ai、用于数据工作负载的 watsonx.data,以及提供治理功能的 watsonx.governance。平台侧重于基础模型及其企业应用,而不是重现最初的《危险边缘!》系统。相似的名称反映出 IBM 仍在沿用沃森这一品牌标识,但 watsonx 并非只是给当年的竞赛计算机换了个名字。

从历史上看,沃森证明了,将多种不完美的方法大规模组合起来,有助于解决开放域问答问题。它的成功依赖各环节之间稳健的协调:广泛生成候选答案、检索证据、进行专门评分、通过学习估计置信度,以及作出适合特定任务的决策。它也让不确定性变得直观可见。系统展示的置信度和有选择的下注方式,有助于说明:给出答案与判断何时可以信任答案,是两个不同的技术问题。

随后的商业化实践揭示了另一组制约因素。组织必须明确预期任务,确定现有数据与任务的相关性,将系统融入既有工作流程,并衡量在具体场景中真正重要的成效。这些问题在语言模型应用中依然存在,即使这些应用只需少得多的任务专用工程开发,就能生成流畅的回答。沃森之所以至今仍有借鉴意义,在于它具体展现了基准测试能力、系统设计,以及在特定领域实现可靠应用所需证据三者之间的关系。