调查抽样是统计学的一个分支,研究如何从总体中选取一个子集,并利用该子集的观测数据估计总体特征。其研究范围包括样本选取、估计量的构造、不确定性的度量,以及针对覆盖不全和无回答所作的调整。人口普查力求获取总体中每个单位的信息,而抽样调查仅从部分单位获取信息,因此有望降低成本、缩短数据采集时间,并减轻受访者的负担。
核心问题不仅在于要收集多少观测数据,更在于被观测单位与所要推断的总体之间有何关系。经过精心抽选的几千户家庭样本可以支持全国层面的估计,而规模大得多、由参与者自行选择是否作答所形成的数据集,却可能存在严重的选择偏差。调查抽样提供了将抽选、测量与推断联系起来的数学框架和操作框架,是官方统计、企事业单位调查、社会研究、环境监测及许多其他总体调查的基础。
基础与历史发展
有限总体可表示为 ,其中每个单位都有一个对应的数值 。常见的估计目标包括总体总量 、总体均值 ,以及通过将某一特征编码为零或一而定义的比例。其他估计目标还包括中位数、比率、分布特征指标和随时间发生的变化。所要估计的具体量称为待估量。定义待估量时,必须明确总体、参照时期、单位和变量:例如,雇员的年度劳动报酬与家庭的年度收入就是不同的量。
在基于设计的推断中,总体各单位的数值被视为固定值。随机性来自从 中抽取样本 的程序。抽样设计为各种可能的样本赋予概率 ,而估计量的性质则通过该设计下的重复抽样来评估。这一框架无需假定总体数值服从某种特定的概率分布,即可进行推断。相比之下,基于模型的推断使用统计模型来描述总体数值的生成机制。模型辅助方法则将概率抽样与用于改进估计的模型相结合。
现代抽样理论源于关于选取的观测资料能否代表整个总体的争论。1895年,安德斯·尼古拉·基亚尔在国际统计学会的一次会议上提出了他的代表性方法。此后,阿瑟·莱昂·鲍利推动确立了随机选择和抽样误差在社会调查中的地位。耶日·奈曼于1934年发表论文,对比分层随机抽样与目的抽样,作出了决定性的理论贡献。奈曼推导了有关高效样本分配和区间估计的结果,为概率抽样奠定了严谨的理论基础。
后续研究逐步解决了日益复杂的抽样设计问题。莫里斯·汉森和威廉·赫维茨提出了影响深远的不等概率抽样方法;丹尼尔·霍维茨和多诺万·汤普森则于1952年提出了一般形式的入样概率倒数加权估计量。各国统计机构的实际需求推动了多阶段住户抽样设计、轮换样本、重复抽样方差估计和调查加权方法的发展。这些进展表明,代表性并不是数据集某种单一而直观可见的属性:可靠的推断取决于选择机制、估计量、测量质量以及对缺失观测的处理。
总体、抽样框与操作单位
目标总体是需要获取其信息的全部单位的集合。调查总体则是调查的实际操作程序所覆盖的全部单位的集合。两者可能并不相同。一项旨在描述全体居民状况的住户调查,可能将机构内居住的人口、没有常规地址的人或居住在难以到达地区的人排除在外。除非另有程序覆盖这些被遗漏的群体,否则此类排除会改变推断的适用范围。因此,应当在抽取样本之前准确定义总体,而不是事后根据应答者来反推总体。
抽样框是用于抽取单位的名录或其他可供实际操作的表示形式。例如,地址名录、企业名录、学校名单、划分为若干地理区域的地图,以及电话号码号段,都可以作为抽样框。抽样框可能存在遗漏、重复、不符合调查资格的记录,以及过时的分类信息。企业名录可能仍保留已停业的企业,却遗漏了新近成立的企业。地址清单可能列出了住房,却未说明每套住房内住有多少户。因此,抽样框的质量既取决于是否收录了符合条件的单位,也取决于抽样所需信息的准确性。
抽样单位、填报单位和分析单位不一定相同。抽样时可能先抽取地理区域,再抽取地址,最后抽取个人;随后,由一名住户成员提供多个人的信息。计算入样概率时,必须考虑完整的抽取路径。如果可以通过多条抽样框记录抽中同一个人,抽样程序就必须消除重复,或将其拥有多次被抽取机会的情况纳入考虑。把重复记录当作不同的人,通常会使某些人在样本中被过度代表。
构建抽样框时,往往需要在覆盖程度与成本之间进行权衡。区域抽样框可以覆盖行政名录中遗漏的住房,但实地编制名录的费用较高。名录抽样框的使用成本可能较低,而且可能包含有价值的辅助信息,但需要经常更新。双框抽样设计将两个抽样框结合使用,例如固定电话抽样框和移动电话抽样框,同时明确处理两者重叠的部分。这类设计所用的估计量必须区分仅由一个抽样框覆盖的单位和由两个抽样框共同覆盖的单位;如果只是将分别加权后的样本合并,就可能把重叠部分的总体计算两次。
覆盖问题还具有时间维度。在某一时点建立的抽样框,可能与数月后所定义的总体不一致。出生、死亡、迁移、企业开业和停业都会造成差异。因此,重复开展的调查需要维护抽样框,为新近符合调查资格的单位制定处理规则,并以一致的方式处理资格变化。即使估计量在其他方面具有良好的数学性质,这些操作层面的决定仍会影响其估计的是否为预期的总体。
简单随机抽样、系统抽样与分层抽样设计
在不放回的简单随机抽样中,从包含 个单位的总体中抽取 个单位,每一种子集被抽中的概率都相同。因此,每个单位的入样概率均为 。未加权的样本均值是总体均值的设计无偏估计量。将有限总体方差记为
则抽样方差为
因子 称为有限总体修正系数。它反映了这样一个事实:当观测到的单位占有限总体的比例较大时,剩余的不确定性会小于独立放回抽样下所预期的程度。
系统抽样先随机确定起点,再按固定间隔抽取单位。若 ,则从 中以相等概率选取一个整数作为起点,此后每隔 条记录抽取一条。这种方法操作方便,并能使样本分散在整个名单中。其效果取决于名单的排列顺序。按地理位置或其他有用变量排序,可以通过隐式分层提高精度;但若名单中的周期性模式与抽样间隔相吻合,就可能得到代表性较差的样本。若只设置一个随机起点进行系统抽样,有些单位对就不可能同时入样,从而使方差的设计无偏估计变得复杂。
分层抽样将总体划分为互不重叠的组,即层,并在各层内分别抽样。对于第 层,设 和 分别为该层的总体单位数和样本量。若各层内独立进行简单随机抽样,则总体总量的估计量及其方差为
当各层内部的单位在所测量的结果变量上较为相似时,分层尤其有效。
样本量分配决定了总样本量如何分配到各层。比例分配使 与 成正比,从而使各层的抽样比相同。在各单位调查成本相同且总样本量固定的情况下,奈曼分配使 与 成正比。当各层的单位调查成本 不同,且可变成本预算固定时,相应的样本量分配与 成正比。这些公式需要事先掌握变异程度的信息,也可能需要根据最低样本量要求或多个精度目标加以调整。
不等比例分配可以有意提高小地区或少见群体的抽样比例。例如,从规模较小和规模较大的两个行业中抽取相同数量的企业,有助于分别对各行业作出估计,但在估计整个经济体的情况时就需要使用权重。因此,分层具有两个相互关联的目的:提高总体层面估计的精度,以及确保重要子总体有足够的信息。
整群抽样、多阶段抽样与不等概率抽样
整群抽样抽取的是由多个单位组成的群,而不是独立抽取每个最终抽样单位。例如,学校调查可以先抽取学校,再抽取学生;住户调查可以依次抽取地理区域、住宅和居民。这类设计能降低出行和编制抽样名录的成本,也使得在没有完整的最终抽样单位名录时仍可进行抽样。最先抽取的群称为初级抽样单位,简称 PSU。后续各阶段可以采用不同的抽选方法和抽样比。
在观测个体数量相同的情况下,整群抽样通常会降低精度,因为同一群内的人往往彼此相似。同一学校的学生有着共同的学校条件,相邻住户则有着共同的当地环境。各群大小均为 时,相对于简单随机抽样,方差膨胀程度的一个常用近似式为
其中, 为群内相关关系的系数。当 、 时,由此近似得到的设计效应为 。这一表达式并非普遍适用:群大小不等、分层、加权以及所用的具体估计量,都可能使结果发生显著变化。
概率与规模成比例抽样利用辅助规模指标,使较大的群有更大的机会被抽中。规模指标可以是某一区域内的住宅数量,也可以是学校的在校生人数。在有放回抽样中,每次抽取时,各群被抽中的概率都可以与其规模成比例。在无放回抽样中,可在满足可行性约束的前提下,使用专门的算法实现指定的一阶入样概率。规模特别大的单位可能需要作为必选单位,使其入样概率为一,而不是赋予其不可能实现的大于一的概率。
多阶段抽样的入样概率由抽选路径上各阶段的条件抽选概率相乘得到。如果区域 被抽中的概率为 ,该区域内住户 被抽中的条件概率为 ,则有 。每增加一个抽样阶段,就会增加相应的乘数。在构造得当的两阶段设计中,先按与各区域住户数成比例的概率抽取区域,再从每个入选区域中抽取固定数量的住户,可以使各住户的入样概率近似相等。
整群抽样与分层抽样不应混淆。分层抽样通常从每一层中抽取样本,而整群抽样只从入选的群中抽取样本。分层时往往力求层内同质,以从抽样误差中消除层间差异的影响;群则是出于实施需要而划分的单位,其内部的相似性可能增大抽样误差。大型全国性调查通常结合这两种方法:先对初级抽样单位分层,再进行抽取,随后在入选单位内部进一步抽样。
入样概率与总体参数估计量
对于总体单位 ,一阶入样概率为 。对于单位 和 ,二阶入样概率为 ,其中 。这些概率指的是单位出现在最终样本中的概率,不一定是单次抽取时被选中的概率。在有放回抽样中,同一单位可能被多次抽中,因此这一区别十分重要。基础抽样权重 表示,在逆概率估计量中,一个入样单位代表多少个总体单位。
总体总量的霍维茨—汤普森估计量为
只要每个总体单位的入样概率都为正,该估计量就是设计无偏的:
这是因为单位 的入样指示变量的期望值为 。等概率抽样只是一个特例,而非必要条件。因此,该估计量可以适用于分层、不等概率和多阶段抽样设计。
其设计方差为
当相关的联合入样概率均为正且已知时,将总体上的双重求和替换为样本上的双重求和,并将每一项除以 ,即可得到相应的无偏方差估计量。如果某些单位对不可能同时入样,就无法对相应项采用这种标准构造方法。因此,各单位的入样概率为正,足以保证总量估计无偏,但并不自动保证存在通常形式的无偏方差估计量。
当 已知时,将 除以 ,便得到总体均值的设计无偏估计量。另一种常用估计量是哈耶克加权均值,
这一比值通常并非严格无偏,但由于对权重进行了归一化,可能更加稳定。其分母是对总体规模的估计。在样本量固定的简单随机抽样下,它就等于普通样本均值。
这些估计量均假定,已观测到被抽中且符合调查资格的单位所需的数值。一旦通过无回答调整或校准因子修改了基础权重,就不能仅凭估计量仍保留逆概率加权的形式,断定它仍具有严格的霍维茨—汤普森无偏性。此时,必须依据实际的抽样与应答过程,或在对调整方法作出明确假设的前提下,评估其性质。
精度、方差估计与样本量
调查估计值的标准误是其估计抽样方差的平方根。置信区间通常采用 的形式,其中临界值 取决于预期的覆盖概率和所采用的近似方法。常用值 以足够准确的正态近似为前提。在抽中的初级抽样单位(PSU)较少的多阶段调查中,采用具有基于抽样设计的自由度的学生t分布可能更为合适。受访者人数众多,并不一定能弥补独立初级抽样单位过少的不足。
非线性统计量需要采用其他方法。泰勒线性化用估计总量的线性函数来近似某个统计量。对于比率 ,其不确定性大致取决于类似残差的量 ,并由分母总量进行尺度调整。随后,方差估计程序将实际的分层和整群结构应用于这些线性化后的量。分位数及其他不够光滑的统计量可能需要专门的线性化方法或重复法。
重复法方差估计通过反复扰动样本中各单位的贡献,重新计算统计量。具体方法包括删组刀切法、平衡重复复制法,以及适用于调查抽样的自助采样方法。这些方法的重复权重必须反映抽样设计。对具有整群结构的数据,若将个体视为彼此独立并进行重抽样,通常无法得到有效结果。当估计量涉及多个加权阶段时,重复法尤其有用,因为这些阶段可以在各重复样本中重新执行,或以适当方式加以体现。
初步计算样本量时,通常先采用简单随机抽样近似。对于比例 、误差限 和正态临界值 ,无限总体下的近似公式为 。相应的有限总体调整为
取 、 和 ,在尚未考虑有限总体规模、复杂抽样设计或无回答的情况下,约需获得 1,068 个完成调查的观测值。 使伯努利方差达到最大,因此,在没有更充分信息时,用这一数值进行计算较为保守。
设计效应将实际抽样设计和估计量下的方差,与指定的简单随机抽样参照情形下的方差进行比较。经验性的有效样本量 用简单随机样本的样本量来表达精度,但其数值因统计量而异。制定调查计划时,通常先根据设计效应调增所需的完成访谈数,再除以预期回答率,得出初始样本量。这样做是为了满足预期精度并安排工作量,并不意味着增加观测数量就能消除无回答偏差。
辅助信息、校准与模型辅助估计
辅助信息是指不仅限于应答样本、且与调查结果或调查参与情况有关的已知变量。例如,人口普查中按年龄和地区划分的人口数、工资总额、行政记录中的企业分类,以及抽样框中的住宅数量。这些信息可用于指导样本分配、提高精度,并调整应答样本与已知总体特征之间的差异。其作用取决于信息的准确性、概念上的一致性,以及与待估计量之间的关联程度。
校准加权在满足如下约束的条件下,选择接近初始权重 的最终权重 :
其中, 是辅助变量向量, 是其已知的总体总量。接近程度通过距离函数或优化准则来定义。不同的选择会产生不同的校准方法,还可以添加约束,以限制极端权重或负权重。将截距项校准到已知总体单位数,可使权重之和等于该单位数。
后分层在总体单位数已知的各单元格内调整权重。如果单元格由年龄组、性别和地区联合划分,就可以使各单元格的样本加权总数等于相应的总体总数。相比之下,迭代比例拟合通过迭代匹配多个边际分布,而不一定匹配每个联合单元格。当无法获得总体的联合分类计数,或联合单元格中的样本过于稀疏时,这种方法很有用。这两种方法都不能保证纠正调整组内部仍然存在的差异,例如,在已记录的人口统计特征相同的人群中,调查参与情况与收入之间的关联。
广义回归估计量将估计得到的关系与基于已知辅助变量总量的修正相结合:
这里, 通常通过使用调查权重的线性回归得到。当辅助变量能较好地预测结果变量时,这一修正可以降低抽样方差。模型辅助方法力求即使所采用的回归模型并不完全正确,估计量仍具有良好的设计性质;它并不要求将模型视为对总体中每一个数值的精确描述。
当选择概率不等、应答倾向较低,或校准约束较为苛刻时,权重的变异程度可能很大。权重截尾可以限制极端值,但通常会带来偏差与方差之间的权衡,并且可能需要重新校准。以下近似式
有时用于描述不等权重造成的精度损失。它依赖于简化假设,不应取代基于抽样设计的方差估计,尤其是在权重与结果变量相关,或权重体现了分层和校准带来的效率增益时。
无应答与调查总误差框架
抽样误差只是不确定性的一个组成部分。调查总误差既包括样本选择带来的误差,也包括覆盖、无应答、测量、处理和估计等环节产生的误差。对于估计量 ,在用于定义相关量的概率框架下,均方误差可分解为
增大样本量可以降低某些方差分量,但不会自动减少系统误差。普查消除了因仅选取部分总体而产生的抽样误差,但仍可能存在覆盖不足和回答不准确的问题。
当被抽中且符合调查条件的单位未提供任何可用的调查数据时,就发生了单位无应答;当某些特定问题没有得到回答时,则发生了项目无应答。无应答的影响取决于缺失情况与研究变量之间的关系,而不只是缺失比例。对于某个变量,应答率低时偏差可能仍然有限;而对于另一个变量,相对较高的应答率也可能掩盖较大的偏差。应答率仍是重要的调查实施指标,但并不直接衡量无应答偏差。
加权分类调整和应答倾向调整利用应答者与未应答者均有的信息,试图补偿单位无应答的影响。一项常见假设是:在给定调整变量的条件下,是否应答与结果变量无关,且相关总体中所有单位的应答概率都大于零。如果在给定这些变量后,应答者与未应答者之间仍存在系统性差异,这种调整仍可能存在偏差。估计应答概率极低也会导致权重不稳定。
项目无应答通常通过缺失数据插补处理,包括供体法、回归预测和多重插补。如果随后将填补值视为观测值,单次确定性插补可能会低估不确定性。多重插补通过多个填补完整的数据集来体现缺失数据带来的不确定性,但其有效性取决于插补模型,以及该模型与抽样设计和分析方法的相容性。无论加权还是插补,都不能消除对未观测值所作的假设。
测量误差包括理解偏差、回忆失误、访员效应、调查工具效应,以及代理回答不准确等。问题的措辞和回答选项可能改变实际测量的变量。电话、网络和面访等调查方式可能接触到不同的应答者,并得到不同的回答。处理误差则产生于编码、数据关联、审核和数据转换等环节。因此,公布的抽样误差幅度通常只反映总误差的一个组成部分,不应将其理解为所有可能偏差的界限。
非概率样本与依赖模型的推断
在概率抽样中,样本选择由明确规定的随机机制支配,各单位的入样概率已知或可计算。非概率样本包括便利样本、自愿参加的网络调查面板、配额内未进行随机选择的配额样本,以及许多数字痕迹数据集。这类数据集可能规模庞大且信息丰富,但仅凭其观测到的构成,并不能确定它们与目标总体之间的关系。首要难题是选择偏差,而不是标准误的算术计算。
配额抽样说明了这一区别。一个样本的年龄和性别分布可能与总体一致,但在政治参与程度、工作时间、互联网接入状况或参与意愿方面却存在显著差异。在少数几个边际分布上与总体相符,并不能证明所形成的各组内部采用了随机选择。同样,一个规模极大的数字数据集可能将不使用某个平台的人排除在外,也可能使高度活跃的用户占比过高。随着样本量增大,随机变异可能变得很小,但系统性的选择差异仍然存在。
调整方法包括倾向加权、校准、结果建模,以及这些方法的组合。作为参照的概率样本可以提供有关目标总体协变量分布的信息。随后,可通过参与模型估计进入非概率样本的相对倾向。要对总体进行推断,重要条件包括充分的重叠性,以及足以解释与结果相关的选择过程的观测信息。这些条件都是实质性假设;拟合一个灵活的机器学习模型本身,并不能保证这些条件成立。
某些组合估计量具有双重稳健性:在满足额外的正则条件和可识别性条件时,只要所设定的结果模型或参与模型其中之一正确,就可能具有一致性。这并不意味着推断在任意选择机制下都仍然有效。若存在同时影响参与和结果的未测量因素,两条推断路径都可能失效。敏感性分析可以考察:对这类未测量差异作出不同假设时,结论会如何变化;但仅凭观测样本本身,无法识别这些差异。
非概率抽样研究可以报告不确定性区间,但其解释必须与所采用的推断框架一致。基于模型的区间或贝叶斯推断区间反映了对结果过程和选择过程的假设,并不自动等同于传统概率抽样意义上的误差幅度。反过来,存在大量无应答的概率样本,也需要原始抽样设计之外的假设。因此,关键区别在于可识别性和不确定性所依据的基础,而不是声称某一种标签就能消除所有误差来源。
重复调查、域估计与负责任的分析
重复调查既估计总体在各时点的水平,也估计其变化。独立横截面抽样在每次调查时抽取新的单位,而面板调查则随时间持续追踪相同的单位。轮换设计按预定间隔替换部分样本。由于相邻两次的估计量存在相关性,样本重叠可以提高变化估计的精度。对于估计量 和 ,有
正协方差可以降低差值的方差,但其收益取决于所研究的结果变量和调查设计。
纵向设计面临样本流失、调查资格变化,以及反复参与调查所产生的条件化效应。在初始时点能够代表总体的样本,未必能代表后续时点的总体,尤其是在有新的个人、住户或企业进入总体时。因此,横截面权重和纵向权重服务于不同的估计目标。补充样本可以纳入新获得调查资格的单位,或弥补覆盖不足;同时,需要保持测量的一致性,才能将真实变化与调查工具或数据收集方式变化带来的影响区分开来。
域估计针对地区、年龄组或行业等子总体。域不一定与抽样层重合,其实际样本量也可能是随机的。直接估计使用来自该域本身的观测数据。方差估计必须保留原始抽样设计,而不能将筛选后的子集当作一个新的简单随机样本。例如,小域中的受访者可能仅分布在少数几个初级抽样单位(PSU)中,即使受访者人数看似充足,所提供的独立信息仍然有限。
当直接域估计的精度不足时,小区域估计通过统计模型,将调查观测数据与辅助信息结合起来。1979 年提出的 Fay–Herriot 模型在纳入直接区域估计的抽样方差的同时,将这些估计与区域层面的预测变量联系起来。单位层面模型则使用总体中各个单位的辅助信息。这类方法借助其他区域或观测的信息来提高估计能力,但其精度取决于模型的适切性和辅助数据的质量。其不确定性不仅包括原始抽样方差,还包括模型参数估计和未观测量预测所带来的不确定性。
公开发布的调查数据集通常包含最终权重、层标识符、PSU 标识符或重复权重,以便使用者复现符合抽样设计的估计。保密措施可能限制所提供的地理细节或标识符,使统计可用性与数据隐私在实践中相互关联。在进行回归分析、组间差异分析和统计假设检验时,必须将抽样权重与频数权重或逆方差权重区分开来。关于目标总体、抽样框、抽选阶段、应答处理、校准及方差估计方法的文档,明确了所发布的数据能够支持哪些关于总体的结论。