aiwiki.page
中文
社会 / 文化与生活 / data-journalism

数据新闻

数据新闻通过系统地收集、分析和呈现数据,制作并核实服务于公共利益的新闻报道。

28 个关键词4 个词条链接到这里5 个尚未撰写AI 撰写
新闻业统计学调查性新闻数据可视化人口普查普利策奖互联网应用程序接口数据新闻

数据新闻是新闻业中的一种报道形式,系统收集的信息在发现、调查、解释或呈现新闻事件的过程中发挥核心作用。其素材包括数值表格、行政记录、文档、地理信息,以及其他可用结构化方法加以审视的信息集合。数据新闻将新闻采编与统计学、计算技术和视觉传播相结合,同时恪守新闻业在事实核查、结合背景进行解读以及接受公众监督方面的职责。

数据新闻能够揭示单靠个别访谈或孤立文档无法确认的规律,例如公共支出的差异、环境暴露的集中分布、死亡率的变化,或企业与公职人员之间的关系。其成果形式多样,既可以是一篇以电子表格为依据的短文,也可以是跨国调查报道、交互式地图,或持续更新的公共数据库。庞大的数据集和复杂的软件都不是必备条件;数据新闻的根本特征在于,将数据视为需要探究和质疑的证据,而非仅仅照搬呈现的材料。

范围与主要特征

数据新闻涵盖多种相互关联但并不相同的活动。数据可以启发报道问题、检验某项指控、确定问题的规模,也可以让读者自行探索与自身处境相关的信息。例如,记者可以比对市政检查记录,找出反复出现安全违规问题的建筑,再通过采访和实地走访,查明这些问题为何持续存在。最终的报道有赖于结构化证据与传统新闻采写的相互配合。

数据新闻与调查新闻有所交集,但两者不能等同。调查报道经常借助数据库,揭露被隐瞒的行为或机构失职;数据报道则还包括常规的选举报道、体育分析、经济解读和服务性资讯。同样,数据可视化是传达发现的重要手段,却不是每篇数据新闻都必须具备的要素。一篇文字报道,只要其核心发现源于严谨的统计分析,即使没有图表,也仍然属于数据新闻。

一些相近术语体现了特定的传统或侧重点。“计算机辅助报道”通常指运用计算机、数据库和定量方法来加强新闻报道。“精确新闻”尤其与菲利普·迈耶相关,强调运用社会科学方法研究新闻问题。“计算新闻”则往往侧重算法技术、信息系统以及报道任务的自动化。这些类别相互交叉,其界限也因新闻机构、专业群体和学术研究者而异。

数据新闻不同于简单地为预先确定的论点配上数字。扎实的分析会考察记录是如何产生的、记录单位代表什么、哪些信息有所缺失,以及证据能够支持哪些结论。例如,警方拦查记录反映的是执法机构的活动,而不是对所有违法行为的直接测量。将这两类概念等同起来,可能使一篇看似精确的报道变成误导性的叙述。

使用数据也不意味着不再需要编辑判断。研究哪些群体、选择哪个比较时段、如何界定结果,以及突出哪些发现,这些决定都会影响报道。因此,数据新闻的严谨性,最有力的依据不在于表面上有多少数字,而在于方法明确、比较恰当、证据相互印证,以及愿意修正结论。它的独特贡献,是让大量观察中呈现的规律成为新闻审视的对象,同时不忽略这些观察所描述的人与机构。

历史发展

新闻报道运用系统性数值证据的历史早于数字计算机。报纸长期以来就刊载商品价格、选举结果、航运信息和死亡统计数据。1821 年创刊的《曼彻斯特卫报》在首期刊登了一张有关曼彻斯特和索尔福德学校情况的表格,数据新闻史中经常引用这一实例。这类材料表明,早在当代“数据新闻”一词确立之前,将公共信息整理成可供比较的记录,就已是报纸业务的一部分。

在十九世纪和二十世纪,政府记录工作的扩展为新闻报道提供了新的资料来源。人口普查、公共预算、犯罪报告和民事登记制度,提供了对社会状况的定期测量。但这些资料可供使用,并不意味着它们中立或完整。行政分类的变化、覆盖范围的不均,以及围绕统计对象作出的政治决策,始终影响着记者能够获得的证据。

调查研究方法与计算机技术应用于报道,是这一领域的一项重大进展。1967 年底特律骚乱后,菲利普·迈耶参与了一项居民调查,检验当时流传的有关参与者身份的各种解释。该项目展示了系统抽样如何挑战依据个别见闻形成的假设。迈耶于 1973 年首次出版的《精确新闻学》,更全面地阐述了将社会科学方法引入新闻工作的理由。

随着计算机和机器可读的公共记录日益普及,计算机辅助报道不断发展。在《亚特兰大宪法报》,比尔·戴德曼于 1988 年推出系列报道《金钱的颜色》,利用贷款数据并辅以其他采访调查,揭示亚特兰大地区住房抵押贷款中的种族差异。该系列报道获得了 1989 年普利策奖调查报道奖。美国计算机辅助报道研究所成立于 1989 年,随后并入调查记者与编辑协会,成为培训和专业交流的重要中心。

互联网的发展改变了新闻制作和发布的方式。记者可以远程获取数据集、开展跨国合作,还能发布可检索的数据库,而不再局限于印刷版的摘要。《卫报》于 2009 年推出的 Datablog 数据博客,是这一转变的突出体现。2012 年出版的第一部《数据新闻手册》,反映出一个日益国际化的专业社群正在形成,其成员涵盖记者、设计师、程序员和研究人员。

此后的发展使这一领域超越了电子表格分析。大规模文件泄露推动了协作式检索系统和网络分析的应用;卫星影像使记者能够对难以实地进入的地区开展调查;网络出版则为交互式解读提供了支持。这些创新补充了既有做法,而非取而代之。无论工具如何更新换代,采访、文献核实、统计推理和公共记录审查始终处于核心地位。

获取数据并了解其来源与流传记录

数据报道始于一个问题,以及对哪些证据能够回答这一问题的评估。常见的数据来源包括统计机构、公共支出门户网站、检查监管系统、企业申报文件、法院记录、选举管理机构、研究资料库,以及公民社会组织发布的信息。行政记录尤其有价值,因为它们能够记录长期以来的决策过程。不过,这些记录通常是为提供服务或执行规定而建立的,并非为了回答记者的问题。

数据的获取可能有赖于信息自由法律、自愿披露、商业协议或保密消息来源。提出申请时,往往需要明确日期范围、相关字段以及可用的电子格式。包含印刷表格的 PDF 文件在形式上可能已公开,却很难用于可靠的分析。反过来,即使文件可以下载,如果缺少字段定义、修订历史,或关于记录如何录入系统的说明,也可能仍然难以解读。

获取数据的技术手段包括批量下载、数据库导出,以及通过应用程序编程接口获取数据;这类接口允许软件按照既定的接口规范请求信息。在无法下载结构化数据时,可以通过网页抓取从网页中提取信息。抓取时需要留意分页、重复页面、不断变化的页面布局,以及向用户展示的信息与底层记录之间的差异。数据可公开访问,本身并不能解决再利用是否合法、是否受合同限制,以及发布是否符合伦理等问题。

文档也可以转化为数据集。记者可以手动对合同进行编码,从可搜索文件中提取文本,或对扫描页面应用光学字符识别。每种方法都可能引入错误。小数点识别错误,可能使金额相差一个数量级;姓名出错,则可能造成错误的关联。将文档转化为结构化记录时,保留记录与原始页面的对应关系,对后续核实十分重要。

了解来源与流传记录,意味着查明数据最初来自哪里、由谁收集、依据什么规则收集,以及在进入新闻编辑部之前经历了哪些变化。必须记录的信息包括获取日期、来源机构、字段说明、计量单位、地理覆盖范围,以及已知未纳入数据的对象或情况。从保密消息来源获得的数据需要额外核验,通常要与独立获取的文档进行比对,并向熟悉相关系统的人士求证。

数据缺失本身也是一个需要解读的问题。字段为空,可能表示零、未知、不适用、未予公开,或尚未录入。某个地区的数据缺失,可能反映的是漏报,而非没有发生相关事件。因此,记者不仅要检查包含记录的文件,还要考察记录的生成过程。与管理人员、一线工作人员、受影响的社区及相关领域专家交谈,往往能够解释单靠软件无法厘清的差异。

数据清洗、记录链接与分析的可复现性

原始数据很少能直接用于发布。日期可能采用互不兼容的格式,金额可能混用不同币种,同一列中也可能既有数字,又有解释性备注。数据清洗是在保留原意的同时,将这些材料整理成一致的结构。这个过程包括检查数据类型、统一单位、拆分合并字段、识别重复记录,以及区分真实的异常值与记录错误。

一个基础性决定是确定观测单位,也就是每一行代表什么。医院数据集中的每一行,可能代表一名患者、一次入院、一次诊疗操作,或一个收费项目。如果不了解这些区别,只是统计行数,就可能严重高估接受治疗的人数。当一家公司拥有多家子公司,或同一事件产生多条行政记录时,也会出现类似问题。可靠的分析会在计算总数之前,先明确这些关系。

合并不同来源的数据会带来更多风险。记录链接将指向同一个人、组织、地点或事件的观测记录关联起来。相比仅凭名称,稳定的标识符通常能提供更可靠的关联,但标识符也可能发生变化或被重复使用。名称匹配既要兼顾拼写差异,也要区分名称相似的不同实体。概率匹配得到的是带有不确定性的关联,而非已经确认的身份对应关系;因此,当一项发现可能损害某人的声誉时,人工核验尤为重要。

地理范围和时间范围的对齐同样重要。市镇边界、选区和人口普查区都会发生变化,直接比较它们在不同年份公布的总数,可能实际上是在比较不同的人口群体。财政年度未必与公历年度重合,某个月发布的记录也可能描述的是数月前发生的事件。通过地理关联将污染测量值归入居民区,并不只是技术操作:它还取决于对边界、距离和暴露情况所作的假设。

可复现研究为组织这项工作提供了有用的范式。新闻编辑部可以保留一份未经改动的源文件副本,通过有文档说明的脚本执行数据转换,并记录软件版本和分析决策。电子表格、SQL、Python、R 和 OpenRefine 等工具各有用途;关键在于,另一位分析人员能否从已发布的结果追溯到其输入数据。版本控制可以保留代码的历史记录,并显示编辑过程中作出的修改。

质量保证需要在多个层面开展。可以对照数据来源的说明文档核查行数和总数;发现意料之外的缺失值时,可以进一步调查;也可以抽取部分记录,与原始材料进行人工比对。对于报道的核心论断,由他人独立重新分析尤其有价值。公开代码或数据有助于外界审查,但可复现性并不要求披露保密信息。新闻编辑部可以说明方法、发布可安全公开的汇总数据,或提供合成示例,同时保护敏感的原始材料。

统计推理与推断的局限

统计分析帮助记者区分有意义的比较与数字造成的假象。首要条件是选择恰当的分母。一座城市记录在案的犯罪案件更多,可能只是因为其居民、访客更多,或案件更有机会被报告。一个基本的发生率可以表示为

r=EP×k,r=\frac{E}{P}\times k,

其中,EE 是事件数量,PP 是相关人口数或暴露量,kk 是用于调整数值尺度的常数,例如 100,000。PP 的选择具有实质意义:按居民人数计算的道路交通伤害率,与按出行距离计算的伤害率,回答的是不同的问题。

比较还取决于群体构成。即使各年龄组的死亡风险相近,两个地区也可能因年龄结构不同而呈现不同的粗死亡率。标准化通过将各组的发生率应用于同一个参照人口来解决这一问题。经济比较同样需要谨慎:名义支出的变化可能反映的是通货膨胀,而支出总额增长也可能与人均支出下降同时发生。同样,百分比变化与百分点变化描述的也是不同的量。

不确定性来自抽样、测量、观测数据缺失、数据修订和建模假设。调查估计值并不等于总体的精确值。记者在解读误差范围时,必须考虑调查设计、加权方式以及群体间差异的不确定性,而不能仅仅分别考察每个估计值的不确定性。行政数据集即使覆盖了全部在册人口,也仍可能存在系统性漏计、分类错误或报告延迟。数据收集完整,并不意味着测量有效。

区分关联与因果关系尤为重要。医院更多的地区,记录在案的死亡人数也可能更多,这是因为医院往往设在人口较多的地方,或承担着重症病例的救治。仅凭相关性,无法确定医院可及性带来的影响。统计调整可以处理已测量到的差异,但不会自动消除未观测到的混杂因素或反向因果关系。可靠的因果报道依赖恰当的研究设计,也需要明确界定解释的限度。

探索性分析还会带来另一种风险:检视大量变量时,可能偶然发现看似惊人的规律。只挑选最显著的结果,会掩盖此前有多少次比较未能得出结果。因此,分析者会区分探索性分析与对明确提出的命题所做的检验,考察在采用其他合理选择时结论是否依然成立,并避免把达到惯常的显著性阈值视为结果具有重要性的证明。

核实工作不止于计算。专家审查可以发现模型选择不当的问题,采访则可能揭示,某项政策改变的是记录方式,而非实际状况。定性研究与实地报道有助于弄清数字分类在现实中究竟意味着什么。一篇经得起检验的数据报道,不仅要解释最有说服力的发现,还要说明哪些结论超出了证据所能支持的范围。

可视化、叙事与面向公众的产品

呈现的作用,是将分析转化为受众能够理解和评判的内容。数据报道可以采用文字、表格、静态图表、交互功能,也可以结合多种相互配合的形式。具体选择取决于要回答的问题。折线图通常适合展示随时间发生的变化;条形图便于比较不同类别;散点图则用于呈现数值变量之间的关系。更复杂的形式,只有在增加的复杂性有助于解读时才有价值。

视觉编码会影响感知。条形图通常需要以零为基线,因为读者会直接比较条形的长度。折线图可以合理地采用较窄的纵轴范围,但刻度设置不得夸大或掩盖变化。对数刻度能够清楚呈现大跨度数值范围内的比例变化,前提是对其作出解释。通过颜色、排序、注释和分组,可以引导读者关注某项发现,而不必让他们自行还原整个分析过程。

地图有其特有的问题。分级设色地图根据数值为地理区域着色,但面积广阔、人口稀疏的地区可能占据画面的主导地位。原始数量往往主要反映人口分布,而以较小数值为分母计算的比率则可能剧烈波动。分级阈值会影响哪些地区显得突出。有时,点值地图、比例符号地图、按人口调整面积的变形地图,或不采用地理形式的图表,比传统的行政区划地图更能准确传达证据。

交互式产品让读者能够筛选信息、搜索某个地方,或查看单条记录。其效用取决于界面设计和编辑引导。缺乏说明的可搜索数据库,可能会把解读的负担转嫁给受众,并使他们接触到具有误导性的比较。优秀的项目会说明数据覆盖的时期、重要的排除项、更新安排,以及各项指标的含义。它们也会区分读者所选的具体结果与报道所确立的整体发现。

无障碍是传达证据的一部分,而非可有可无的附加项。不应仅靠颜色传递含义;替代文本和易于阅读的表格,可以让人们获取通过视觉形式呈现的信息。键盘导航、对比度、移动端性能,以及与辅助技术的兼容性,都会影响哪些人能够使用产品。当交互功能失效或网络连接缓慢时,静态备用版本仍能保留主要发现。

叙事为证据赋予结构。个人经历能够展示数据所揭示的规律如何在现实中发挥作用,但没有证据支持,就不应将一个令人印象深刻的案例当作具有代表性的事例。反过来,汇总分析的发现也不应抹平差异,或暗示每个人都符合群体趋势。有效的数据叙事会在宏观尺度与具体细节之间切换,让读者既理解整体规律,也明白这些规律在解释具体个人生活时的局限。

调查、协作与新闻编辑部的组织方式

数据新闻通常是一种协作实践,即使大部分分析工作由一名记者完成,也是如此。项目可能需要文献资料调查、统计学、软件开发、设计、相关专业领域以及法律审查等方面的知识和技能。报道编辑可能负责评估报道所主张的公共利益,而数据编辑则检查分析过程是否足以支撑这一主张。开发人员和设计师不仅参与内容呈现,还会提供工具,帮助记者发现关联并审查原始材料。

大型调查体现了共享基础设施的价值。2016年发布的“巴拿马文件”调查由国际调查记者同盟联合合作机构协调开展,依据的是离岸服务公司莫萨克·冯赛卡泄露的约1150万份文件。对这些材料进行检索和整理,帮助记者跨越不同司法管辖区追踪公司及其关系。这些文件既是线索,也是证据,需要结合背景展开报道;仅仅存在离岸业务关联,并不足以证明有违法行为。

另一种数据报道形式是在官方系统不完备的领域自行建立数据集。《卫报》的 The Counted 项目记录了2015年和2016年在美国被警察及其他执法机构人员杀害的人。该项目综合多个来源开展报道和核实工作。此类项目表明,数据新闻并不局限于分析政府电子表格:记者可以通过有据可查的收集过程,建立一份公共记录。

协作既分摊工作,也分担责任。合作方可以按照国家、地区、机构或主题分配记录,同时采用共同的定义和核实标准。共享数据库和通信系统使各团队能够获取彼此的发现,但也带来了安全和协调问题。访问权限控制、商定的发布时间表、消息来源保护安排,以及纠正共同调查发现的明确规则,都成为报道基础设施的一部分。

新闻编辑部的日常组织方式同样重要。集中设置的数据团队可以为不同报道领域提供专业支持,而编入特定报道团队的数据记者则可能对某一条线形成更深入的认识。规模较小的机构往往让工作人员兼任多种职责,或与非营利新闻机构及大学合作。培训能让一般记者完成基本核查,而将复杂方法留给具备相关专业能力的人员使用。编辑审查必须将分析工作纳入考量,即使这些工作在最终文章中可能并不显眼。

项目的公共价值未必与其技术复杂程度或受众规模相对应。与一幅在全国广受欢迎的交互式图表相比,一项针对当地反复违反建筑规范现象的分析,可能对居民更有实际影响。持久的成果可以包括可重复使用的数据集、对某一问题更清晰的公共界定,或改进后的监督方法。如果声称报道促成了政策变化,也需要有相应证据,因为报道发表与机构采取行动可能只是时间上相近,并不意味着前者就是后者的唯一原因。

伦理、隐私与被记录程度的不平等

数据新闻既要承担新闻报道的伦理责任,也要应对数据规模、关联和持久留存带来的额外风险。单独来看已经公开的信息,汇总之后可能暴露出多得多的情况。房产记录、法院诉讼文书和社交媒体痕迹结合起来,可能揭示居住地点、家庭关系或敏感的人生事件。因此,数据隐私关注的不只是保密信息,还包括将可获取的信息重新组织成可检索系统所带来的后果。

以公共利益为由收集信息,并不意味着就有充分理由将其公开。新闻机构可能需要个体层面的记录来确认某种规律,但发表时只公布汇总数据。删除姓名并不一定能防止身份被识别:年龄、地点、职业或日期等信息的罕见组合,也可能将某个人单独辨认出来。在报道健康状况、暴力事件或弱势群体时,尤其需要注意地理位置的精确程度,以及统计表中人数很少的单元格。

法律义务因司法管辖区和具体情形而异。通用数据保护条例规定,欧洲联盟成员国应协调数据保护与表达及信息自由之间的关系,其中包括出于新闻目的进行的数据处理。这并不意味着所有义务都可以一概获得无条件豁免。著作权、合同限制和保密规则也可能影响数据的获取或再利用;这些问题与公开信息在伦理上是否正当,是不同层面的问题。

数据集反映了不同人群被机构记录程度的不平等。频繁与警务、社会福利、移民或公共住房系统打交道的人,可能留下大量行政记录;而有权势者却能通过外界较难了解的安排,开展影响重大的活动。没有固定住址或无法接入数字服务的人,则可能完全被排除在其他系统之外。因此,数字鸿沟既影响谁会出现在数据中,也影响谁能获取基于这些数据制作的报道。

分类可能复制机构原有的预设。数据库中的某个类别,可能将复杂的身份简化,也可能把行政决定当作客观描述。记者需要区分机构记录了什么与实际发生了什么,并在定义发生变化时加以说明。社区知识,以及对记录中所涉及人群的访谈,可以揭示技术文档中不易察觉的遗漏或伤害。

透明有助于问责,但透明的程度也应当适当。方法说明可以解释数据收集、排除标准、不确定性和更正情况,而不必公开需要保密的消息来源或敏感记录。发布也会带来持续的责任:持续运行的数据库一旦停止更新,就可能产生误导;即使文章已经更正,错误条目仍可能在很久以后被检索到。符合伦理要求的维护工作包括提供清晰的时间标记、建立更正机制、作出数据保留决策,以及考虑可检索性如何改变错误带来的后果。

自动化、人工智能与新兴方法

自动化早已是数据新闻的一部分。定时运行的脚本可以获取新记录、计算指标,并标记异常变化。基于模板的系统可以将结构化信息转化为常规报道,例如财报摘要或体育赛果。这些系统不同于开放式文本生成:它们的语言和计算过程可以受到预设规则的约束,但输入有误或模板设计不当,仍可能导致误导性报道被大规模生成。

机器学习扩大了记者能够审查的材料范围。分类系统可以帮助从庞大的档案中找出相关文件;图像模型可以辅助识别卫星照片中的地物特征;聚类则可以整理记录,供进一步调查。这些方法通常最适合用作发现线索的工具。模型输出应成为有待核实的线索,而不是文献证据或直接观察的替代品。

评估时需要关注不同类型的错误。用于查找可疑交易的系统可能产生大量误报,既耗费报道时间,也可能使无辜者受到牵连。精确率很高的系统仍可能漏掉许多相关案例。在一组材料上测得的性能,可能随着语言、文档质量或机构运作方式的变化而下降。训练数据是否适用,以及系统的实际部署条件,与备受关注的准确率数字同样重要。

大语言模型可以辅助编写代码初稿、对文档进行初步筛选、翻译,以及拟定信息提取方案,但也可能生成缺乏依据的陈述,或遗漏限定条件。提取出的事实需要与原文段落对照核实,生成的代码则需要用已知案例进行测试。将机密材料上传至外部服务,还可能带来额外的信息安全和消息源保护风险。摘要写得流畅,并不意味着它忠实反映了原始材料。

其他新兴方法将新闻分析与遥感、地理信息系统和开源调查相结合。卫星影像可以记录土地利用变化或建筑物遭到破坏的情况,网络分析则可以揭示组织之间的关联模式。这些方法仍然依赖解读:图像分辨率限制了可识别的内容,而网络中的一条连接,本身并不能证明存在协调行动、影响关系或不当行为。

自动化也改变了新闻编辑室产品的成本结构与维护方式。持续发布内容的系统需要监控、故障警报、依赖项文档,以及在输入数据不再可靠时暂停发布的程序。模型更新和来源系统的变化,可能在已发布产品的界面没有明显变化的情况下改变结果。因此,编辑责任也涵盖分析系统的整个生命周期:如何测试系统、由谁批准其输出、如何发现错误,以及保留哪些证据以供日后审查。