CRISP-DM(跨行业数据挖掘标准流程,英文全称为 Cross-Industry Standard Process for Data Mining)是一种用于组织数据挖掘项目的流程框架。它描述了六个相互关联的阶段:业务理解、数据理解、数据准备、建模、评估和部署。它不指定某种算法、软件产品或面向特定行业的解决方案,而是提供一种通用结构,用于明确目标、考察数据、形成分析结果并将结果付诸应用。其核心原则是:成功的分析不能仅靠一个技术上有效的模型;分析工作必须针对一个得到充分理解的实际问题,并产出能够评估和应用的结果。
起源与适用范围
CRISP-DM 源于一项于 1996 年启动的倡议,参与方包括戴姆勒-奔驰、SPSS、NCR 和荷兰保险公司 OHRA。CRISP-DM 1.0 参考模型和用户指南于 2000 年发布。该框架汇集了工业界数据挖掘项目的经验,形成了一套旨在适用于不同组织、应用领域和软件工具的方法论。
名称中的“标准”一词体现了它作为通用流程模型的预期作用,并不意味着遵循 CRISP-DM 就能获得某种正式国际标准体系的认证。
虽然该框架最初为数据挖掘而开发,但也可用于组织涉及机器学习、统计学分析及相关分析方法的项目。它的范围不局限于模型训练,还包括问题定义、可行性评估、沟通、实际运行中的应用以及维护规划。另一方面,它并不为数据平台或生产系统提供完整的技术架构。
框架结构
CRISP-DM 区分了几个描述层次:
- 阶段:界定项目中主要的工作类别。
- 通用任务:描述适用于多种项目的活动。
- 专门任务:根据具体的技术条件或组织环境调整这些活动。
- 流程实例:记录某个具体项目中实际如何开展工作。
参考模型列出任务及其预期产出,用户指南则对如何执行任务提供更详细的指导。产出可以包括业务目标、数据质量报告、建模假设、评估结果和部署计划。
这六个阶段并非必须按固定顺序执行。数据准备可能暴露出需要重新理解数据的问题;建模可能表明需要增加变量;评估可能发现最初的业务目标界定不清。该框架还将项目生命周期视为一个循环:部署中积累的经验可能促成新的分析项目。
六个阶段
1. 业务理解
第一阶段明确组织或其他项目发起方希望实现的目标,并将其转化为分析问题。
主要任务包括:
- 确定业务目标。
- 评估现状,包括可用资源、约束、风险和假设。
- 确定数据挖掘目标。
- 制订项目计划。
业务目标与建模目标相互关联,但并不相同。例如,降低客户流失率是一项业务目标;估计哪些客户可能在指定时间内流失,则可以是一项数据挖掘目标。即使估计准确,也不能证明某种具体的客户挽留措施会有效。
因此,成功标准既要涵盖分析表现,也要涵盖实际效用。约束条件可能包括交付期限、人员和数据的可用性、运营成本,以及数据使用限制。这一阶段也可能得出结论:项目不可行,或者采用更简单、无需建模的方法就已足够。
2. 数据理解
数据理解从收集或获取初始数据集开始,其任务包括描述数据、探索数据,以及验证数据质量。
典型问题包括:
- 每个字段代表什么,又是如何记录的?
- 数据涵盖哪些总体、事件或时间段?
- 是否存在缺失、不一致、重复或不合理的值?
- 拟采用的目标变量是否得到了可靠测量?
- 现有信息是否与结果投入使用时能够获取的信息相符?
探索过程可以采用描述性统计、数据可视化,以及不同群体或时间段之间的比较。了解元数据和数据血缘,有助于判断那些看似有用的变量是否得到了恰当解释。
这一阶段不只是初步检查。对于数据覆盖范围、测量方式或采集程序的新发现,可能改变项目范围以及最终结论的含义。
3. 数据准备
数据准备负责构建用于建模的一个或多个数据集。CRISP-DM 将这项工作划分为数据选择、清洗、构造、整合和格式化。
相关活动可以包括合并多个来源的记录、处理不一致的值、处理缺失观测,以及开展特征工程。根据所选方法,数据准备还可能涉及特征缩放、分类变量编码或特征选择。
数据准备与建模之间存在反复迭代。某种方法可能要求改变数据的表示方式,而数据准备也可能揭示拟采用的方法并不适合。
方法上需要特别注意的一个问题是数据泄漏(机器学习)。例如,在划分出评估数据之前,就用整个数据集估计预处理参数,可能使测得的性能产生误导。对于需要从数据中学习的变换,通常应使用适当的训练数据进行拟合,再以一致的方式应用于留出的观测数据。时间序列数据和分组数据可能需要采用能够反映其内在结构的划分规则。
4. 建模
建模阶段选择技术方法、制定测试方案、构建模型,并评估模型的技术特性。
可选技术包括监督学习、无监督学习,以及其他统计或数据挖掘方法。CRISP-DM 不偏向任何特定的模型类别。选择取决于分析目标、数据特征、可解释性要求和实际约束。
测试方案规定如何评估性能。模型开发可能涉及比较候选模型和调整超参数,通常会使用验证集或重采样程序。单独设置的测试集可以用于最终评估,避免评估数据因反复用于指导模型选择而失去独立性。
技术评估考察性能、假设、稳定性,以及过拟合等问题。其范围比下一阶段更窄:模型即使在统计指标上表现良好,也未必适合预期的业务用途。
5. 评估
评估阶段考察分析结果是否满足业务目标,以及是否遗漏了重要问题。
这一阶段包括:
- 根据业务成功标准评估结果。
- 回顾取得这些结果所采用的流程。
- 确定后续步骤。
区分模型评估与项目评估是 CRISP-DM 的核心思想。如果模型运行成本过高、依赖决策时无法获得的信息,或其输出无法支持有效行动,那么仅有较高的预测准确率可能还不够。
评估可能导向部署、进一步建模、补充数据收集、修订目标或终止项目。它并不只是技术工作结束后的最终审批环节。
6. 部署
部署将项目结果付诸实际应用。它可以简单到交付一份报告,也可以复杂到将模型集成进实际运行的决策系统。
该框架要求制订部署计划、监控与维护计划,编写最终报告,并开展项目回顾。因此,部署不等于仅通过应用程序编程接口提供预测服务。仪表板、修订后的工作流程,或记录成文的分析发现,也都可以是部署成果。
对于投入运行的模型,监控可以涵盖输入质量、服务性能,以及预测行为的变化。分布偏移可能降低模型部署后的效用,使重新评估或重新训练成为必要。原始框架承认维护的必要性,但并未规定详细的自动化生产基础设施。
迭代与项目文档
CRISP-DM 有时被画成围绕生命周期图排列的六个方框。这种表示方式可能掩盖其灵活性:实际工作本就需要在各阶段之间反复往返。
例如,一个模型可能看起来很有效,直到评估时才发现,某个预测能力很强的变量只有在被预测事件发生之后才会被记录。解决这一问题可能需要回到数据理解阶段,重新构建准备好的数据集,并再次建模。在另一个项目中,部署约束可能要求用更简单的模型替换复杂模型。
文档将这些迭代过程联系起来。记录目标、数据定义、数据准备中的决策、假设和评估结果,能够解释某项结果为何被接受或否决。版本控制和其他支持可复现性的工具可以辅助这项工作,但 CRISP-DM 并不指定具体工具。
应用与局限
CRISP-DM 为分析人员、领域专家、管理者和技术团队提供了一套共同术语。当主要挑战包括将组织面临的问题转化为分析任务,而不只是实现某个已知算法时,它尤其有用。它将业务目标与技术指标分开,也明确说明了为什么仅凭模型质量不能判定项目成功。
不过,该框架仍需根据实际情况调整:
- 它是高层次框架。 它不为具体问题确定合适的抽样设计、评估指标、因果分析方法或算法。
- 它不是完整的工程方法论。 生产环境中的实施通常需要补充软件工程和数据工程实践,包括测试、依赖管理、发布流程,以及明确运行维护责任。
- 它最初对治理的论述较为有限。 当代项目可能需要针对数据隐私、安全、问责,以及评估不同群体受到的不均等影响,制定更明确的程序。
- 它本身并不能确保推断有效。 可靠的预测并不能确立因果关系,使用这一框架也无法弥补测量不足或研究设计不当。
- 其抽象的生命周期模型需要结合持续运行的系统加以理解。 流式应用和频繁更新的模型需要反复开展各项活动,而不是仅仅走完一次六个阶段。
因此,CRISP-DM 是组织分析工作的框架,既不能保证分析成功,也不能替代领域知识和方法论判断。