IBM watsonx 是由 IBM公司开发的一系列软件和云服务,用于构建、部署和治理企业级人工智能应用。该系列于2023年5月发布,将机器学习和生成式人工智能能力与数据管理及组织层面的监督相结合。其三大主要组件是 watsonx.ai、watsonx.data 和 watsonx.governance。watsonx 并非单一模型或聊天机器人,而是为组织提供一个环境,使其能够选择模型、连接业务数据、开发应用,并管理人工智能生命周期中的部分环节。
背景与发展
watsonx 这一名称沿用了 IBM 早期的 Watson 品牌。该品牌最初与2011年参加电视知识竞赛节目《危险边缘》(Jeopardy!)的问答系统及后续商业软件相关。不过,watsonx 并不只是原有系统的新版本,而是围绕模型开发、生成式人工智能和企业数据基础设施的新方法构建的平台产品组合。
IBM 推出 watsonx 时,企业正在扩大对基础模型的使用。这类模型在广泛的数据集上训练,可以适配多种任务。这种方法不同于为每个应用单独开发专用模型,不过 watsonx 也支持传统的机器学习工作流程。
该平台在设计上强调将模型工具、组织数据访问和治理相结合。这些功能分别应对不同问题:生成有用的预测或内容、提供适当的信息,以及记录人工智能系统的开发和运行方式。
主要组件
watsonx.ai
watsonx.ai 提供开发人工智能应用以及使用机器学习模型和基础模型的工具。其功能包括模型选择、提示试验、模型适配、部署,以及通过应用程序编程接口访问模型。
模型目录既包括 IBM 开发的模型,例如 Granite 系列中的部分模型,也包括选定的第三方模型。模型的可用性取决于服务、部署环境、地区和版本。不同模型在支持的语言、输入格式、许可条件、计算需求和特定任务适用性方面可能有所不同。
用户可以通过可视化界面、交互式笔记本和软件接口开发应用。提示工程通过改变向模型表述任务的方式来发挥作用,而不一定修改模型参数。在支持的情况下,微调则利用额外样例调整模型参数。这两种方法都不同于从头训练大型基础模型,后者通常需要多得多的计算资源和数据。
watsonx.ai 还支持神经网络推理,即运行训练好的模型,根据输入产生输出。在已部署的应用中,这可能意味着生成回答、对文档进行分类或提取信息。
watsonx.data
watsonx.data 是一款围绕数据湖仓架构构建的数据管理产品。数据湖仓将数据湖灵活的存储方式与数据仓库的相关能力相结合,例如结构化查询和分析管理。
其目的是让企业数据能够在不同存储和计算环境中用于分析及人工智能工作负载。它支持开放数据格式和多种处理引擎,具体功能及支持的集成随版本而异。
这一组件本身并不是语言模型。它的作用是帮助组织和访问分析及人工智能应用所依赖的数据。连接现有数据库或其他存储库,本身并不能证明其中的内容准确、已获得适当授权,或适合用于人工智能应用。
watsonx.governance
watsonx.governance 提供记录、评估和监控人工智能系统的功能。它既关注模型的技术性能,也涉及审批、问责和风险评估等组织流程。
根据模型类型和配置,治理功能可以包括:
- 记录模型用途、归属、开发信息和评估结果。
- 评估性能、公平性、可解释性及特定风险。
- 跟踪变更并监控已部署的系统。
- 支持审核工作流程和合规相关文档的编制。
对于某些机器学习模型,可解释人工智能工具可以帮助描述输入与输出之间的关系。此类解释并不一定能揭示复杂模型完整的内部推理过程。
治理软件可以提供证据,并强制执行已配置的流程,但它本身不能确认法律合规性,也不能保证应用安全或适用。
应用架构与工作流程
典型的 watsonx 应用会将模型服务与企业数据及应用软件相结合。开发过程通常包括确定任务、选择模型、准备相关数据、评估输出,以及部署供用户或其他系统使用的接口。
一种重要模式是检索增强生成(RAG)。在 RAG 应用中,信息检索系统查找与请求相关的材料,并将其作为上下文提供给语言模型。这样就能使生成的回答与最新文档或组织特有的文档相联系,而无须将所有这些文档的内容融入模型参数。
检索和微调解决的是不同问题。检索在推理时提供信息;微调则通过额外训练改变模型行为。应用可以采用其中任一种方法,也可以将两者结合。
评估方式同样取决于应用。文档分类系统可以使用带标注的样例进行评估,而文档助手可能需要测试回答的事实依据、检索质量、回答相关性和访问控制。将评估材料与训练数据分开,有助于减少数据泄漏(机器学习),避免得出具有误导性的性能估计。
部署与集成
watsonx 产品支持涉及云计算的企业部署模式,部分适用产品还支持客户自管基础设施。IBM 的混合云方案包括通过与红帽公司 OpenShift 相关的环境交付软件。各组件的部署选项和功能并不一定相同。
部署方式会影响信息存储和处理的位置、可用的模型,以及由哪一方运营基础设施。托管服务会将部分运营责任转移给服务提供商;客户自管的安装方式则意味着客户需要承担更多基础设施、更新和容量管理方面的责任。
该平台可以通过 API 和数据集成连接现有业务应用。使用它并不意味着必须将企业的所有系统替换为 IBM 产品,不过集成所需的工作量取决于接口、权限、数据格式和部署限制。
用途与局限
潜在应用包括文档搜索与摘要、客户服务辅助、信息提取、软件开发支持和预测分析。更广泛的 watsonx 品牌还包括 watsonx Code Assistant 和 watsonx Orchestrate 等面向特定任务的产品;它们是各有侧重的应用,而不是三大主要平台组件的别称。
具体实施是否有用,取决于底层模型、数据和工作流程。生成式模型可能产生人工智能幻觉,即看似合理、却缺乏依据或不正确的输出。检索可以减少某些错误,但无法消除所有错误,尤其是在文档不完整、检索失败或模型误解所提供上下文的情况下。
将模型连接到内部信息也会带来数据隐私和安全问题。检索到的文档必须符合用户访问权限的要求,而不可信文本可能包含提示注入企图,试图改变应用的行为。监控和治理功能不能替代应用层面的安全控制措施。
运行方面的限制包括推理延迟、计算和存储成本、集成工作,以及随着数据和模型变化而持续开展评估所需的投入。尽管开放格式和部分采用开放许可证的模型有助于提高可移植性,watsonx 仍然是一个商业平台,其模型、组件、接口和部署安排的开放程度各不相同。