在统计学中,微观数据是以单个统计单位为层次记录的数据,统计单位可以是个人、住户、企业、经营场所、交易或事件等。每条记录描述的是某个单位的特征,而不是对一组单位的汇总。微观数据使研究者能够考察总体内部的分布、关系与差异,但其解释取决于这些单位是如何选取、测量和处理的。这个术语指的是观测层次,而非数据集的物理大小,也与用于在网页中嵌入结构化信息的 HTML 机制 Microdata 无关。
单位、记录与变量
微观数据文件通常以每一行表示一个观测单位,每一列表示一个变量。例如,住户调查可能记录住户规模、收入、地区和住房权属状况。企业数据文件则可能包含就业人数、销售额、行业和所在地。
统计单位不一定是人,也可以是组织、建筑物、地理区域,或一次购买之类的事件。因此,在以市镇为单位的研究中,描述市镇的数据可以是微观数据;但相对于市镇内的居民而言,这些数据又属于汇总数据。
并非所有微观数据都适合放入单一的矩形表中。一个数据集可能包含相互关联的住户文件和个人文件、对同一单位的重复观测,或与某个账户相关的各笔交易记录。标识符用于建立记录之间的关系,并不一定会揭示这些单位在现实世界中的身份。
对于包含 个单位和 个变量的矩形数据文件,可以用矩阵示意性地表示其观测值:
其中, 是单位 的变量 的记录值。在实际应用中,各列可能包含数值、类别、日期、文本或缺失值代码,因此,这样的文件不一定是能够直接进行代数运算的数值矩阵。
来源与形式
微观数据来自多种数据收集活动:
- **抽样调查:**对从目标总体中抽取的样本单位进行测量。
- **普查:**旨在覆盖某个明确界定的总体内所有单位的记录,例如人口普查。
- **行政管理系统:**在税收、福利管理、企业登记或入学登记等活动中产生的记录。
- **实验:**按照某种实验设计收集的单位层面观测数据。
- **业务与数字系统:**交易、服务交互、传感器读数及其他事件记录。
这些来源各有优势与局限。调查数据通常围绕某个统计问题设计,而行政数据主要服务于业务目的。覆盖范围广,本身并不意味着文件能够代表某项具体分析所关注的总体。
横截面微观数据描述的是某一时点或规定参照期内的各个单位。纵向微观数据则随时间追踪这些单位。面板数据包含对同一批单位的重复观测,而重复横截面调查可能在不同日期观测不同的样本。由全国平均值构成的时间序列,不会仅仅因为包含许多日期就成为个人层面的微观数据。
微观数据也不同于原始数据。公开发布的微观数据文件可能已经经过核验、编码、编辑、加权和缺失数据插补。
与汇总数据的关系
汇总数据通过计数、总量、百分比、平均值或其他统计量,对一组单位进行概括。微观数据通常可以按多种方式汇总,但汇总表一般无法用于唯一地重建其底层记录。
例如,平均收入并不能揭示收入如何分布、哪些住户收入较低,或收入与住户规模有何关系。即使分别提供收入表和教育程度表,也未必能够确定二者的联合分布。
在解释关系时,这一区别十分重要。地区平均值之间的关系,不一定在这些地区内部的个人之间同样成立。直接从群体层面的模式推断个体层面的模式,可能造成生態謬誤。微观数据允许直接考察群体内部的关系,但测量误差、选择机制和遗漏变量仍可能影响研究结果。
汇总本身并非不可取。它可以简化分析,使数据层次与研究问题相匹配,并降低信息披露风险。是否需要微观数据,取决于预期要作出的推断。
统计分析与加权
微观数据支持对分布和子群体进行描述、编制交叉表,以及建立线性回归、逻辑回归和其他统计模型。在计量经济学、人口学研究和社会统计的大量实证工作中,微观数据都发挥着核心作用。
对于基于样本的微观数据,未经加权的记录未必能以其观测到的比例代表目标总体。各单位的入样概率可能不同,部分入样单位也可能不作答。调查权重通常综合考虑入样概率的倒数,以及针对无应答或已知总体总量所作的调整。
若 是观测值, 是其调查权重,则总体均值的一个加权估计量为
其中, 表示观测样本。当权重相等时,该估计量就化为普通的样本均值。权重并不只是衡量单个回答可靠程度的指标;其含义取决于抽样和调整程序。
不确定性的计算也必须反映数据的设计。同一入样住户、学校或地理群集内的观测可能相互依赖。因此,如果把所有记录都当作来自简单随机样本的独立观测,就可能得到错误的标准误和置信区间。调查文件可能提供分层信息、群集标识符、重复权重或其他信息,以便采用符合调查设计的估计方法。
大量记录可以降低某些形式的抽样不确定性,但不会自动消除选择偏差、覆盖误差或系统性测量问题。
研究用途与推断局限
微观数据在分析上的主要优势是灵活性。研究者可以构造变量、界定子总体、研究交互作用,并估计已公布表格中没有列出的量。关联记录和纵向记录能够揭示就业状态转换、住户构成变化等变动过程。
微观数据也支持微观模拟,即将规则或模型应用于各个单位。例如,税收—福利模型可以计算某项特定政策变动将如何影响具有不同特征的住户。这类计算依赖于对覆盖范围、行为以及所记录输入信息准确性的假设。
详细记录本身并不能确立因果关系。因果推断需要适当的设计和识别假设。即使观测到了许多个体特征,仍可能存在混杂、内生性和选择性参与。
保密与访问
由于微观数据描述的是单个单位,其发布会涉及统计保密和数据隐私问题。删除姓名和地址并不一定能防止身份识别。年龄、职业、地点、住户特征或异常事件的组合,可能使某个单位具有可辨识性,并使其能够与外部信息关联。
常见的访问安排包括:
- **公共使用文件:**限制细节程度,并采取披露控制措施。
- **许可使用或限制使用文件:**在规定条件下提供。
- **安全研究环境:**在受控访问条件下开展经批准的分析,并可能对输出结果进行检查。
- **远程执行系统:**将用户提交的代码应用于用户无法直接下载的数据。
披露控制措施包括隐去数值、合并类别、限制地理细节、对较大数值进行顶端编码,以及对记录施加扰动。这些措施可能改变分布和关系,因此需要在分析效用与保密保护之间作出权衡。
合成数据形式的微观数据,用模型生成的数值替换部分或全部观测值。这类数据并不会自动免于披露风险,其对某项具体分析是否有效,取决于合成过程保留了哪些信息。差分隐私提供了一个形式化框架,用于限定输出结果能够揭示多少有关单个个体贡献的信息,但应用这一框架时,仍需对隐私参数和统计效用作出选择。
文档与可比性
微观数据需要有配套文档才能得到正确解释。必要信息包括目标总体、观测单位、抽样设计、参照期、变量定义、编码方案、权重和处理历史。
缺失值代码尤其需要注意。“不适用”“未询问”“拒绝回答”和“未知”可能对应不同的产生过程,不应自动将它们视为等同。同样,零也可能是有效的观测值,而不是缺失值。
合并不同地区或年份的文件,不能仅仅匹配变量名称。定义、分类、收集方式、总体覆盖范围和披露控制措施都可能发生变化。构建可比序列必须考虑这些差异;要使分析可复现,则必须注明数据版本,并记录从发布记录到分析数据所作的各项转换。