R 是一种为统计学中的计算、数据分析和图形绘制而设计的编程语言及软件环境。它将交互式命令界面与编程语言相结合,可用于编写函数、可复用的软件包以及完整的分析工作流。其标准发行版提供数据处理、数值计算、统计建模和绘图等功能。丰富的社区扩展包进一步将这些功能拓展至基因组学、计量经济学、空间分析和机器学习等领域。
R 由奥克兰大学的罗斯·伊哈卡和罗伯特·杰特尔曼于20世纪90年代初创建,最初旨在实现 S 语言中的理念,同时也深受 Scheme 的影响。R 是依照 GNU 通用公共许可证分发的自由软件,由 R 核心团队负责开发,并得到国际社区的共同贡献。R 可在主流桌面和服务器操作系统上运行,包括 Windows、macOS 和类 Unix 系统。
R 的独特之处在于,它紧密整合了统计方法、面向向量的计算、可编程图形功能以及操作语言表达式的机制。它的优势在探索性分析以及统计方法的开发与交流中尤为明显。其运行行为也体现了一些专门的设计取舍,例如向量循环使用、缺失值传播和参数延迟求值;这些特性使其区别于许多通用编程语言。
起源、发展与治理
R 的主要前身 S 由约翰·钱伯斯及其同事于 1976 年开始在贝尔实验室开发。S 旨在让数据分析成为一种交互式编程活动,而不再是向不同统计程序依次提交作业的过程。用户可以查看中间结果、构建统计对象,并用自己编写的函数扩展系统。在 R 得到广泛应用之前,以 S-PLUS 为代表的商业实现已推动了这种统计计算方式的确立。
伊哈卡和杰特尔曼于 20 世纪 90 年代初在奥克兰大学开始开发 R,并于 1993 年首次向公众发布消息。R 这一名称既取自两位创建者名字的首字母,也体现了它与 S 的关系。尽管早期的许多 R 代码与 S 代码相似,但 R 并非只是某个现有实现的免费副本。尤其是,R 对函数环境的处理借鉴了 Lisp编程语言的一种方言 Scheme 的思想,采用了词法作用域,而非早期 S 实现中的作用域机制。
1995 年,R 以 GNU 通用公共许可证发布,使人们可以按照该许可证的条款查看、修改和再分发其实现。R 核心团队于 1997 年成立,为语言及其标准发行版的维护建立了集体协作机制。1.0.0 版于 2000 年 2 月 29 日发布。R 统计计算基金会于 2003 年成立,旨在支持该项目及相关活动。
R 的开发总体上注重保持统计工作的连续性,同时也允许在必要时作出重大变更。2013 年发布的 R 3.0.0 在适用平台上引入了对长向量的支持,突破了此前约 个元素的限制。R 3.5.0 引入了 ALTREP 框架,使某些向量能够采用不同的内部表示方式。2020 年发布的 R 4.0.0 更改了 data.frame() 的默认行为,不再自动将字符列转换为因子。2021 年发布的 R 4.1.0 增加了原生前向管道运算符 |>,以及匿名函数的简写语法。
相关职责由多个机构和社区分担。R 核心团队负责维护语言及基础系统;R 基金会为项目提供组织层面的支持;软件包仓库维护者、软件包作者、文档贡献者和用户团体则维护着周边生态系统的大部分内容。2015 年成立的 R 联盟另行提供了一套由业界支持的机制,为基础设施和社区项目提供资金。这些组织各有其职责:维护外部软件包并不意味着拥有决定语言规范的权力,提供资金支持也不意味着能够左右 R 核心团队的技术决策。
语言设计、求值与编程风格
R 支持多种编程范式,但函数在其中占据核心地位。函数可以赋给变量、作为参数传递、由其他函数返回,也可以存储在列表中。这为函数式编程提供了支持,包括将函数应用于集合中每个元素的操作。R 也提供了常见的命令式编程结构,如 if、for、while 和赋值。其语法总体上与 S 一脉相承,使用花括号将表达式组织成组,最后一个被求值的表达式的值通常就是函数的返回值。
R 的一项基本特性是词法作用域。当函数引用一个未在局部定义的名称时,R 会先在创建该函数的环境中查找,再依次向外层环境查找。因此,函数会保持与其定义环境的关联,从而形成闭包。函数工厂可以利用这一行为:
make_multiplier <- function(k) {
function(x) x * k
}
times_three <- make_multiplier(3)
times_three(4)
# [1] 12
即使对 make_multiplier() 的调用已经结束,返回的函数仍能访问 k 的绑定。因此,环境是这门语言计算模型的一部分,而不只是存放全局变量的容器。
普通 R 函数的大多数参数采用惰性求值。参数最初以承诺对象(promise)的形式表示,其中包含一个表达式及其求值环境。通常只有在需要时才会计算参数的值,随后将其保存。一个从未使用的参数可能始终不会被求值。这使得某些接口简洁而灵活,但也意味着,对于习惯了及早求值的读者而言,副作用和错误的发生时间可能比预期更晚。默认参数的求值规则与显式传入的参数不同,这是高级函数设计中的一个重要细节。
R 还将解析后的表达式和函数调用视为可操作的对象。借助 quote()、substitute() 和 eval() 等工具,程序可以捕获、变换表达式并对其求值。统计公式和许多数据分析接口都建立在这种能力之上。像 y ~ x + group 这样的表达式表示的是模型设定,而非普通的算术计算。软件包也会通过捕获表达式来解释数据集中的裸列名,这种做法通常称为非标准求值。
R 对面向对象编程的支持有意采用了多种机制。S3 使用类属性和命名约定来实现泛型函数的派发,例如用于线性模型对象的 print.lm()。S4 则增加了正式的类定义、显式声明的槽,以及可根据多个参数进行的方法派发。引用类和 R6 等软件包系统支持面向引用的设计。这些机制并存,因此,要理解对象的行为,其所属的类以及应用于它的泛型函数往往至关重要。
向量、表格数据与缺失值
向量是 R 中的基本数据单位。普通原子向量中的元素具有相同的底层类型:逻辑型、整数型、双精度数值型、复数型、字符型或原始字节型。看似标量的值通常其实是长度为一的向量。算术运算和许多数学函数都逐元素执行,因此 x * 2 这样的表达式可以作用于整个数值向量。这种设计减少了在常见分析操作中显式编写循环的需要,但这并不意味着所有向量化表达式都同样高效。
R 通过类型强制转换规则来组合不同类型的值。例如,将整数和字符串合并到同一个原子向量中,通常会得到字符向量。相比之下,列表可以包含不同类型、不同大小的对象,包括函数和其他列表。属性为对象附加额外信息,例如名称、维度或类。矩阵通常是带有一个含两个元素的维度属性的向量,而数组则可以有更多维度。存储与属性之间这种紧密的关系构成了许多标准数据结构的基础。
数据框是一种类似列表的结构,其中各列的行数相同。不同列可以具有不同类型,因此同一张表能够容纳测量值、标签、日期和逻辑标志。因子使用整数编码及其对应的一组水平来表示分类数据。因子在建模中尤为重要,其水平会影响对比变量的构造。因子内部存储的编码并不是它的标签:直接对因子调用 as.numeric(),返回的是编码,而不是对所显示类别进行解析后的数值。
R 的子集选取功能表达力很强,但有几种不同的形式。方括号 [ 通常用于选取子集;双方括号 [[ 用于提取单个组成部分;而 $ 则以便捷的语法访问具名组成部分。索引可以是正整数、负整数、逻辑向量或名称,但不同索引形式的混用受到限制。索引通常从一开始。对矩阵和数据框选取子集时,可能会通过去除维度来简化结果,因此在需要保留矩形结构时,常常会使用 drop = FALSE。
缺失观测值由带有类型的 NA 值表示。大多数涉及 NA 的普通算术运算都会得到缺失结果;要检测缺失值,需要使用 is.na() 等函数,因为 x == NA 无法判断 x 是否缺失。逻辑运算遵循三值逻辑:FALSE & NA 的结果为假,而 TRUE & NA 的结果为缺失值。数值型的 NaN 与未定义的计算有关;它以及正、负无穷大都是与缺失值相关但又有所区别的情况。
另一项特色规则是向量循环补齐。当支持的运算涉及长度不等的向量时,R 可能会重复使用较短向量的元素。因此,加上一个长度为一的向量,就会使较长向量中的每个元素都增加同一个值。当较长向量的长度不是较短向量长度的整数倍时,许多运算会发出警告,而不是拒绝计算。这种便利也可能掩盖意外的不匹配,因此,向量长度、类型以及缺失值的处理规则都是理解 R 代码的关键。
统计建模与数值方法
R 的标准统计接口将拟合后的模型视为结构化对象,而不只是打印输出。例如,调用 lm(y ~ x + group, data = observations) 会返回系数、残差、模型设定信息及其他组成部分。随后,summary()、predict()、residuals() 和 coef() 等泛型函数为操作不同类别的模型提供了统一接口。这种分离设计使模型能够用于后续的预测、诊断、绘图和比较,而不必重新执行最初的估计过程。
公式提供了一种描述变量关系的简洁语言。在模型公式中,y ~ x 指定响应变量和预测变量;x * group 通常展开为主效应及其交互作用;x:group 则仅指定交互作用。许多建模函数默认包含截距,可用 -1 或 0 将其移除。这些运算符在公式中有特定含义。R 会按照因子、对比编码和缺失观测值的处理规则,将此类设定转换为模型数据框,并在适用时生成设计矩阵。
对于普通线性回归,其数学目标通常写作
尽管常见的满秩情形表达式涉及 ,R 的 lm() 通常采用基于 QR 分解的计算方法,而不是显式求出该逆矩阵。这一区别对数值稳定性和处理秩亏设计矩阵都很重要。更广泛地说,R 将许多矩阵运算交由成熟的 BLAS 和 LAPACK 例程执行,从而将统计接口与数值线性代数连接起来。
标准发行版包含广义线性模型、方差分析、经典假设检验、非线性最小二乘法、聚类、时间序列工具和数值优化功能。其概率函数遵循系统化的命名规则:对于某个分布,d 表示密度或概率质量,p 表示累积概率,q 表示分位数,r 表示随机数生成。例如,dnorm()、pnorm()、qnorm() 和 rnorm() 均用于正态分布。这些约定使用户能够通过相似的接口使用不同的分布族。
模拟和重采样是这门语言的主要用途。R 提供伪随机数生成器、抽样函数,以及设置和记录生成器状态的功能。在配置得到适当控制的条件下,固定种子有助于重复得到相同结果,但要完全复现结果,还可能取决于 R 的版本、生成器的选择、抽样方法和执行安排。并行模拟需要格外谨慎,因为独立调度的任务不应意外重复使用同一随机数流。
社区贡献的扩展包将建模框架拓展至混合效应模型、生存分析、贝叶斯计算、空间统计和预测方法。实现随机森林、梯度提升等方法的扩展包,与用于重采样和模型调优的框架并存。某种估计方法可供使用,本身并不能证明分析有效:统计解释仍取决于相关假设、研究设计、测量,以及是否将训练数据与评估数据分开。
图形与探索性分析
图形功能是 R 不可或缺的组成部分,而不是附加在数值计算系统之上的可选界面。R 的标准发行版既包含高层绘图命令,也提供底层绘图功能。只需调用一次 plot(),就能根据参数所属的类生成不同的图形:两个数值向量通常会生成散点图,而拟合后的模型则可能生成诊断图。这种行为将图形探索与语言其他部分所使用的同一套泛型函数系统联系起来。
基础图形系统通常按一系列绘图操作依次绘制图形。先用一条命令建立绘图区域,再向其中添加点、线、文本、图例及其他元素。各种参数用于控制边距、坐标轴、符号、线型和布局。这种模式适合直接、逐步地构建图形,但通常不能将已有图形作为一个结构完整的场景来操作。要重现图形,一般需要重新运行生成该图形的命令。
grid 图形系统则提供了另一种基础架构,以图形对象和视口为核心。视口定义坐标系和绘图区域,各个视口可以嵌套,从而构建复杂布局。推荐软件包 lattice 使用 grid 实现 Trellis 图形体系中的条件分面图。这类图形根据一个或多个变量,将数据集划分到不同面板中,便于考察某种关系是否随组别而变化。
ggplot2 软件包于 2007 年首次发布,它以 Leland Wilkinson 提出的图形语法为基础,发展出另一种影响深远的绘图方式。绘图时,通过数据、变量到视觉属性的映射、几何图层、统计变换、标度、坐标系和分面来定义图形。例如:
ggplot2::ggplot(
observations,
ggplot2::aes(x = age, y = response, colour = group)
) +
ggplot2::geom_point() +
ggplot2::geom_smooth(method = "lm", se = FALSE)
这里,将 group 映射到颜色,在概念上不同于为所有点设置同一种固定颜色。各图层可以继承共用的数据集和映射,也可以自行指定,从而让观测数据与模型推导出的汇总结果在统一协调的图形定义中呈现。
R 图形通过图形设备渲染。屏幕设备显示交互式输出,文件设备则生成 PDF、SVG、PNG 等格式的文件。矢量格式保留几何绘制指令,适合需要缩放的图表;光栅格式则用像素表示图像。因此,即使分析代码不变,尺寸、分辨率、可用字体、透明度以及各平台特有的渲染方式,也可能影响最终的图形输出。
交互式可视化通常由将 R 对象与浏览器技术连接起来的软件包提供。这些软件包可以支持悬停提示、缩放、联动选择和仪表板等功能,而静态图形对于文章和需要存档的报告仍然十分重要。在这些系统中,数据可视化兼具探索与信息传达的作用。对标度、聚合方式、缺失观测值和坐标变换的选择,会影响哪些模式能够显现,以及比较的准确程度。
软件包、仓库与扩展生态系统
R 软件包是分发代码、文档、数据及相关资源的标准化单元。典型的源码包包含记录元数据和依赖关系的 DESCRIPTION 文件、控制导入与导出的 NAMESPACE 文件、R 源代码文件,以及采用 R 文档格式编写的文档。软件包还可以包含编译代码、测试、示例数据集和篇幅较长的专题指南(vignette)。这种结构使统计方法能够连同其实现和说明一起分发。
R 综合典藏网络通常称为 CRAN,成立于 1997 年。它是集中协调的主要 R 扩展包存档库,同时也提供 R 发行版及相关资料。CRAN 会在多种配置下检查提交的软件包,并执行有关可移植性、文档、依赖关系和运行行为的政策。这些检查是重要的基础设施,但软件包被收录并不代表其科学主张已获认证,也不保证所有可能的用途都安全。
安装和附加是不同的操作。install.packages() 获取并安装软件包,而 library() 则将已安装的软件包附加到当前会话中供使用。命名空间允许通过 stats::lm() 这样的语法显式访问函数,从而在多个软件包导出同名函数时减少歧义。附加软件包会改变搜索路径,因此,附加另一个软件包后,同一个未加限定的函数名可能会解析为不同的函数。软件包依赖项也承担不同角色:有些是运行时必须导入的,另一些则仅作为可选功能或示例的建议依赖项。
Bioconductor 启动于 2001 年,是一个独立且统一协调的计算生物学与生物信息学生态系统。它尤其重视用于生物测定、基因组区间和实验注释的可互操作数据结构。其发布计划会协调成套软件包与所支持的 R 版本。当一项分析需要结合多种工具,而这些工具又必须对复杂实验数据的表示方式达成一致时,这种安排就很有用。
tidyverse 是一组在数据操作、导入、转换和可视化方面遵循共同约定的软件包。它强调使用整洁数据,即变量对应列、观测对应行、观测单位对应表。dplyr、tidyr、readr 和 ggplot2 等软件包提供了相互协调的接口,但它们并不属于 R 基础语言的一部分。包括 data.table 在内的其他生态系统则侧重不同的接口和性能优化策略。这些方案并存,也可以结合使用,但它们的求值和修改规则不能相互套用。
软件包开发通常会使用自动化测试、持续集成、版本控制以及 R CMD check 提供的检查。编译组件还会带来额外要求,包括合适的工具链和兼容的系统库。由于软件包之间形成了依赖网络,一项分析可能受到其直接调用的软件包之下数层依赖项变化的影响。因此,归档的源码版本、依赖记录和隔离的项目库在保存分析环境方面发挥着重要作用。
运行时、性能与互操作性
R的主要实现将R表达式求值器与大量使用C编程语言、Fortran编程语言等语言编写的原生代码相结合。许多看似简单的R操作会调用处理整个向量的已编译例程。R还包含字节码编译器和即时编译功能。因此,性能不仅取决于代码是否用R编写,还取决于有多少工作是在解释器、已编译的循环、内存分配或外部数值库中完成的。
在许多常见情况下,对象表现出值语义。将一个新名称绑定到已有向量,并不一定会立即复制其全部数据;实现可以共享存储空间,直到修改操作要求将两者分离。这种行为通常称为“修改时复制”,不过实际的复制行为取决于对象类型和执行上下文。环境具有引用语义,一些软件包也会有意引入面向引用的数据结构。反复扩展向量可能产生显著的内存分配开销,而预先分配适当的存储空间通常可以避免这种开销。
自动垃圾回收会回收不再可达的内存。不过,大规模分析所需的内存可能远超最终数据集占用的空间,因为中间结果、转换后的表示和副本会同时存在。ALTREP允许某些向量采用替代表示,例如用紧凑的描述来表示序列,而不是立即将每个元素实体化。这并不意味着可以不再考虑内存使用,因为某个操作可能会迫使紧凑表示展开。
R支持显式循环,而循环是否适用取决于具体情境。向量化操作通常性能良好,因为其内部循环由原生代码执行,但一长串向量化表达式也可能分配大量临时对象。要判断程序的瓶颈究竟在于计算、内存分配、输入输出,还是低效的算法,需要借助性能分析工具,而不能仅凭语法判断。数值库的选择也会影响性能,尤其是在进行大型矩阵运算时。
R的主解释器通常并非为多个原生线程同时进行任意调用而设计。因此,许多并行计算任务会使用独立的R进程。标准软件包parallel支持工作进程,既可采用基于套接字的方式,也可在支持的系统上采用基于fork的方式。外部库可能自行使用线程来执行线性代数或其他运算。将进程级并行与使用大量线程的库结合起来,可能导致处理器资源被过度争用,反而降低性能。
互操作性使R的能力得以扩展到自身运行时之外。C接口.Call()和.C()将R与已编译例程连接起来,而Rcpp则提供了广泛使用的C++桥接机制。其他软件包可将R与Python、Java、数据库系统及分布式引擎连接起来。数据库接口可以提交SQL结构化查询语言查询并获取结果,从而无须将每条记录都加载到内存中。与Apache Arrow和Apache Spark等系统的连接支持更多的数据交换和执行模式。每一次跨系统交互都会涉及类型转换、内存所有权、缺失值以及计算实际发生位置等问题。
分析工作流、可复现性与应用
R 既可用于交互式探索,也可用于非交互式的可重复分析。交互式会话允许即时查看对象和图形,而脚本则记录可重新运行的一系列命令。命令行程序 Rscript 支持定时任务、自动化报告,以及与更大规模工作流的集成。集成开发环境,尤其是 RStudio,在不改变底层语言的前提下,提供编辑器、调试工具、对象查看、图形面板和项目组织等功能。
可复现的工作流记录的不只是最终脚本。它还依赖于输入数据、软件包版本、系统库、随机数设置、区域设置以及其他环境假设。sessionInfo() 等函数可记录执行环境中的重要信息。依赖管理工具可以记录项目所用的软件包版本,而容器则可保留额外的操作系统组件。这些措施针对可复现性的不同层面;仅有软件包锁定文件,既不能保存已无法获取的数据集,也不能保证所有硬件上的浮点运算行为完全一致。
文学化分析将可执行代码与解释性文字及生成的输出相结合。2002 年推出的 Sweave 支持将 R 代码集成到 LaTeX 文档中。后来的工具,尤其是 knitr、R Markdown 和 Quarto,将这一方式拓展到报告、网站、演示文稿和笔记本。文档可以根据其中嵌入的代码重新生成表格和图形,从而减少在分析输出与书面报告之间进行手动复制的需要。缓存可以加快重新构建的速度,但缓存结果必须与其输入及依赖项保持一致。
R 也可通过交互式应用程序,让更多人便捷地使用分析功能。2012 年推出的 Shiny 提供了一个响应式编程框架,输入发生变化时,会触发依赖于这些输入的计算和输出。这类应用程序可以通过浏览器呈现统计模型或探索工具,而不要求用户编写 R 命令。不过,部署仍涉及常见的软件问题,包括身份验证、资源限制、错误处理和用户会话隔离;交互式统计原型并不会自动成为可用于生产环境的服务。
R 的应用体现了其软件包生态系统的广泛覆盖面。在基因组学中,专用容器将测定数据与样本及特征注释关联起来。在经济学中,R 支持面板数据分析、预测和模拟。在生态学与空间分析中,相关软件包将观测数据与坐标参考系及几何运算相结合。在教学中,简短的模拟、估计和绘图表达式,使人们能够通过计算演示统计概念。因此,同一种语言既可以作为研究工具和教学环境,也可以成为业务数据系统的组成部分。
这些用途也显现出实际应用中的局限。内存中的大型数据集、依赖项变更、特殊的求值规则,以及多种对象系统并存,都可能增加维护的复杂性。统计工作流越来越多地通过明确的项目结构、自动化测试、输入数据校验以及计算环境记录来应对这些问题。当 R 与机密记录或外部服务交互时,常规的数据隐私和网络安全要求适用于整个系统,包括存储、凭据、软件包安装和已部署的应用程序。