研究设计
📝 研究设计是连接研究问题与研究结论的蓝图——它决定了数据如何收集、分析和解释。不同的设计类型（实验、准实验、相关、案例、比较）各有适用范围，混合方法和因果推断策略则为复杂研究问题提供了更灵活的框架。
研究设计的定义与功能
研究设计（research design）是一项研究的总体策略框架——它规定了如何将研究问题转化为可操作的研究步骤，如何收集和分析数据，以及如何从数据中得出有效的结论。
研究设计不等于研究方法。方法（methods）是收集和分析数据的具体技术（问卷、访谈、统计分析等）；设计是这些方法的组织架构——它决定了在什么时间、以什么顺序、对什么样本、用什么方法收集什么数据。一个研究可以使用相同的方法但采用完全不同的设计，得出截然不同的结论。
好的研究设计应该同时追求两种效度：内部效度（internal validity，因果推断的可靠性——观察到的效应确实是由假设的原因造成的，而非其他因素）和外部效度（external validity，结果的可推广性——在其他人群、其他情境中是否仍然成立）。两者之间往往存在张力——高度控制的实验室实验内部效度强，但外部效度可能弱；自然场景中的观察研究外部效度好，但内部效度可能差。
实验设计
真实验设计（True Experimental Design）
真实验的三个核心特征：随机分配（random assignment）、干预/处理（treatment）、对照组（control group）。
随机分配是关键——它保证了实验组和对照组在所有已知和未知的变量上大致相同，使得任何结果差异都可以归因于处理本身。
经典实验设计（pretest-posttest control group design）：
实验组： 前测 O₁ → 处理 X → 后测 O₂
对照组： 前测 O₃ → → 后测 O₄
效果 = (O₂ - O₁) - (O₄ - O₃)Solomon 四组设计增加了两个没有前测的组，用来检测前测本身是否影响了结果（前测效应）。
📝 案例：RAND 健康保险实验。 1974-1982 年，RAND 公司进行了可能是社会科学史上最大规模的真实验：将约 7700 人随机分配到不同的健康保险计划（从免费到高自付比例），观察保险方案对医疗服务使用和健康结果的影响。实验发现：免费医疗使医疗服务使用增加了约 30%，但对大多数人的健康结果没有显著改善（低收入人群和有慢性病的人群除外）。这项耗资数亿美元的实验为美国医疗政策提供了数十年的政策依据，也展示了 RCT 在社会政策评估中的巨大价值和高昂成本。
准实验设计（Quasi-experimental Design）
当随机分配不可行（伦理或实践原因）时，准实验设计通过其他方式尽可能接近因果推断。
非等组对照设计：使用已有的分组（如不同学校的学生），无法随机分配，但可以尽量选择相似的对照组并控制已知的混淆变量。
断点回归设计（Regression Discontinuity Design, RDD）：利用政策的"门槛"——分数刚好在门槛上下的个体几乎是随机的，因此可以比较门槛两侧的结果差异来估计处理效果。例如，奖学金的分数线是 80 分——得 80 分和得 79 分的学生在能力上几乎没有差异，但一个获得了奖学金，另一个没有。
中断时间序列设计（Interrupted Time Series）：在干预之前和之后收集多个时间点的数据，观察干预是否改变了趋势。适用于评估政策变化的效果（如新交通法规对事故率的影响）。
双重差分法（Difference-in-Differences, DID）
DID 比较两个维度的差异：干预前后的差异（时间维度）× 干预组与对照组的差异（组间维度）。
📝 案例：Card 和 Krueger 的最低工资研究。 1994 年，经济学家 David Card 和 Alan Krueger 利用新泽西州提高最低工资（而邻近的宾夕法尼亚州未提高）这一"自然实验"，采用双重差分法研究最低工资对就业的影响。他们比较了新泽西快餐店提高前后的就业变化，减去宾夕法尼亚同期的变化。结论是：提高最低工资并未导致就业减少——这一发现挑战了经济学教科书中"最低工资必然减少就业"的标准结论，引发了数十年的学术争论。DID 方法的关键假设是"平行趋势"——如果没有干预，两组的变化趋势应该相同。
非实验设计
相关研究/横截面研究（Cross-sectional Study）
在一个时间点上收集多个变量的数据，分析变量之间的关系。优势是实施简便、成本低。核心局限是无法建立因果方向——教育水平与收入正相关，但无法判断是教育导致高收入还是高收入家庭的子女更容易获得教育。
纵向研究（Longitudinal Study）
在多个时间点上追踪同一群体，观察变量如何随时间变化。面板研究（panel study）追踪同一组个体，趋势研究在不同时间点抽取同一总体的不同样本。纵向研究可以建立时间先后关系（因果推断的必要条件之一），但成本高、样本流失严重。
案例研究（Case Study）
对单个案例（一个组织、一个事件、一个社区、一个人）的深入调查。案例研究的价值不在于统计代表性，而在于分析深度——通过密切关注一个案例的复杂性，产生对因果机制的洞见。
案例选择策略对研究结论有决定性影响：
| 策略 | 逻辑 | 示例 |
|---|---|---|
| 典型案例 | 选择最具代表性的案例 | 研究"典型的"中产阶级社区 |
| 偏差案例 | 选择不符合理论预期的案例 | 为什么某个贫困社区犯罪率异常低？ |
| 最可能/最不可能案例 | 选择理论最应该/最不应该成立的案例 | 如果民主理论在最不利条件下仍成立…… |
| 关键案例 | 选择具有决定性意义的案例 | 如果连这种情况都不支持理论，则理论有严重问题 |
比较研究（Comparative Study）
系统地比较两个或多个案例（国家、组织、时期）的异同，以识别模式和因果机制。最相似系统设计（Mill 差异法的应用）选择在大多数方面相似但在关键变量上不同的案例；最不相似系统设计（Mill 契合法的应用）选择在大多数方面不同但在结果变量上相同的案例。
混合方法设计
混合方法研究（mixed methods research）在同一项研究中结合定量和质性方法。Creswell 和 Plano Clark 提出了四种基本设计：
| 设计类型 | 结构 | 适用场景 |
|---|---|---|
| 汇聚设计 | 定量和定性同时进行，结果对比 | 从不同角度验证同一发现 |
| 解释性序贯设计 | 先定量 → 再用质性解释定量结果 | 统计发现了模式但不知道原因 |
| 探索性序贯设计 | 先质性 → 再用定量验证质性发现 | 领域了解不足，需先探索 |
| 嵌入式设计 | 一种方法为主，另一种辅助 | 在实验中嵌入访谈以理解参与者体验 |
混合方法面临的根本挑战是认识论整合：如果定量和定性方法基于不同的本体论和认识论假设（实证主义 vs 建构主义），简单地"混合使用"在逻辑上是否一致？实用主义（pragmatism）提供了一种回答：放弃抽象的哲学争论，根据研究问题的需要选择最合适的方法——“什么有效就用什么”。批判实在论提供了另一种回答：社会现实既有客观维度也有意义维度，不同方法分别适合研究不同维度。
📝 案例：Lieberman 的"嵌套分析"。 政治学家 Evan Lieberman 提出了一种系统的混合方法策略——“嵌套分析”（nested analysis）。第一步，进行大样本统计分析（如跨国回归）以识别总体模式。第二步，根据统计分析的结果，策略性地选择案例进行深度质性研究——可能选择符合模型预测的"典型案例"（验证因果机制），也可能选择偏离模型预测的"异常案例"（发现遗漏的因素）。第三步，将质性发现反馈到统计模型中，修正和深化理论。这种设计使定量的广度和质性的深度系统地互补。
因果推断的核心逻辑
因果推断是社会科学研究设计的终极目标之一。从"相关"到"因果"需要满足三个条件：
- 共变（covariation）：原因和结果之间存在系统性关联
- 时间先后（temporal precedence）：原因在结果之前发生
- 排除替代解释（elimination of alternatives）：排除第三变量和反向因果
不同的研究设计在满足这三个条件上的能力各异。RCT 通过随机分配自动排除替代解释，因此因果推断力最强。观察性研究则需要依赖统计控制、自然实验或理论论证来排除替代解释。
反事实框架（counterfactual framework，也称 Rubin 因果模型）提供了因果推断的形式化定义：X 对 Y 的因果效应 = Y(在 X 存在时) - Y(在 X 不存在时)。问题在于：对于同一个个体，无法同时观察到 X 存在和 X 不存在两种状态——这就是因果推断的根本问题。所有因果推断方法本质上都是在用不同的策略估计这个不可观察的反事实。
研究设计的可信性转向
传统的研究设计教科书假定，一项研究的可信度由设计的内在逻辑决定——随机化、对照组、时间顺序。2011 年之后，方法论的注意力转向了一个此前被忽略的环节：设计与分析之间的自由度。同一份数据，在不同的合理分析路径下可以产出截然不同的结论；而研究者选择哪条路径的时点，恰恰在看到数据之后。设计因此被重新理解为一种承诺装置——它的功能不只是排除替代解释，还包括限制研究者自己事后的选择空间。可重复性危机的实证图景见 定量研究方法，本节处理的是设计层面的回应。
研究者自由度与分叉路径
Simmons、Nelson 与 Simonsohn（2011）的《伪阳性心理学》（False-Positive Psychology）用模拟给出了量化答案。他们考察四种在心理学中完全常规的灵活性——中途决定是否继续收集数据、同时测量两个相关因变量而只报告"有效"的那个、加入协变量、在多个实验条件中选择性报告——发现四者叠加时，假阳性率从名义上的 5% 升至 61%。论文同时用一项真实实验作为演示：让受试者听披头士的《When I’m Sixty-Four》后，其"年龄"竟比听控制歌曲的组小 1.5 岁（p < .05）——一个逻辑上不可能的结果，仅靠上述常规做法即可获得。
Andrew Gelman 与 Eric Loken（2013）提出的分叉路径花园（garden of forking paths）把问题推进了一步。p-hacking 的常见理解是研究者反复尝试直到出现显著结果，因此带有一定的道德指控意味。Gelman 指出，即使一位研究者对一份数据只做了一次分析、从未尝试第二种设定，多重比较问题依然存在——只要那次分析的具体形式（如何分组、如何处理离群值、检验哪个交互项）是在看到数据后确定的。此时研究者主观上完全诚实，但其分析仍然依赖于数据，因此 p 值不再具有名义上的含义。
| 维度 | p-hacking | 分叉路径花园 |
|---|---|---|
| 研究者是否多次尝试 | 是 | 否，只做一次分析 |
| 是否需要主观意图 | 通常暗含 | 不需要 |
| 问题根源 | 选择性报告 | 分析设定依赖于所见数据 |
| 补救方式 | 报告全部尝试 | 事先固定分析设定，或明确标注为探索性 |
🔍 这一区分的实践意义在于，它把讨论从"研究者是否诚实"转向"研究流程是否让诚实的研究者也能得出可靠结论"。制度设计因此取代了品德要求。
发表偏倚与文件抽屉
文件抽屉问题（file drawer problem，Rosenthal, 1979）指零结果的研究因不被撰写或不被接受而滞留在抽屉里，导致已发表文献系统性地高估效应。判断其严重程度长期困难，因为可用的证据只有已发表文献本身。
Franco、Malhotra 与 Simonovits（2014, Science）绕开了这一循环。他们利用 TESS 平台的记录——该平台为社会科学家提供全国样本的实验机会，因此每一项获批研究的存在都被事先登记，构成了研究总体而非发表样本。结果显示：得到强结果的研究中约 96% 被写成论文、约 62% 被发表；得到零结果的研究中 65% 从未被撰写。关键发现是，损失的主要环节不是期刊拒稿，而是研究者自己判断零结果不值得投稿——发表偏倚在很大程度上是被研究者内化的预期所生产的。
三种制度工具
| 工具 | 承诺的时点与内容 | 主要作用 | 主要限制 |
|---|---|---|---|
| 预注册（preregistration） | 数据收集或分析前公开登记假设、样本量、排除标准与主要分析 | 使确证性与探索性分析可被区分 | 不能防止注册后偏离，需读者自行比对 |
| 注册报告（registered reports） | 同上，且由期刊在看到结果前决定录用（原则接受） | 改变发表激励本身，使零结果同样可发表 | 评审周期长，不适用于二手数据的快速分析 |
| 结果盲分析（blind analysis） | 分析者在扰动或遮蔽标签的数据上确定分析流程，最后才揭盲 | 保留分析灵活性的同时切断其与结果的联系 | 实施成本高，社会科学中应用仍少 |
🌍 制度工具的效果已有初步证据。Scheel 等（2021）比较了心理学中的注册报告与常规论文：常规文献中支持研究假设的比例约为 96%，而注册报告中仅约 44%——差距的量级说明，传统文献所呈现的"假设几乎总是被证实"并非世界的性质，而是筛选的产物。多项比较也显示预注册研究报告的效应量中位数明显低于同主题的非预注册研究。
⚠️ 预注册并非无代价。批评意见包括：其一，它可能挤压探索性研究的空间，而许多重要发现本就来自计划外的观察——回应是预注册并不禁止探索，只要求标明性质。其二，它对社会科学中大量使用既有数据集的研究效力有限，因为研究者可能已经熟悉数据。其三，它与质性研究的契合度存疑：质性设计的核心特征之一是随分析推进而调整抽样与提问，事先固定这些要素与方法本身的逻辑冲突。目前的折中方案是登记研究问题、分析立场与资料处理流程，而非固定具体的编码类别。
多团队设计：分析选择本身作为变异来源
如果分析路径的选择足以改变结论，一个直接的检验是让多个团队分析同一份数据。
Silberzahn 等（2018）把一份关于足球裁判判罚与球员肤色的数据交给 29 个独立团队。结果：20 个团队得到统计显著的正向效应，9 个未得到显著结果；效应量估计从 0.89 到 2.93 不等。所有团队都使用了合理的方法，差异完全来自建模选择。
Breznau 等（2022, PNAS）把这一设计推到极致：73 个团队分析同一批跨国数据，检验移民是否削弱了对社会政策的支持。结论的方向与显著性高度分散，且研究者的先验信念、方法专长、团队构成等可观测特征都无法解释这种离散——变异主要来自大量微小的、通常不被报告的分析决策的组合。
🔍 这一发现对研究设计有两重含义。消极的一面是，单个团队的单一分析所报告的不确定性区间系统性地低估了真实不确定性。积极的一面是，多团队设计提供了一种新的稳健性检验形式：与其由作者自选几组稳健性设定，不如让分析选择的分布本身成为被报告的结果。Many Labs 与 ManyBabies 等大规模协作重复项目已把这一逻辑常规化。
混合方法的当代设计类型学
早期的混合方法分类（汇聚、序贯、嵌入）关注的是定量与定性两条线的时间顺序。Fetters、Curry 与 Creswell（2013）提出的类型学转向了更实质的问题：整合发生在哪个层次、通过什么操作。
| 整合层次 | 操作方式 | 具体做法 |
|---|---|---|
| 设计层 | 衔接（connecting） | 用一条线的结果决定另一条线的抽样，如按统计模型的残差挑选访谈对象 |
| 建构（building） | 用一条线的结果构造另一条线的工具，如由访谈生成量表条目 | |
| 合并（merging） | 两条线并行收集，在分析阶段汇合 | |
| 嵌入（embedding） | 一条线在另一条线内部反复穿插，如在 RCT 各阶段嵌入过程评估 | |
| 方法层 | 数据转换 | 将编码结果量化，或对统计簇作质性刻画 |
| 解释与报告层 | 联合展示（joint display） | 用同一张表并置定量结果与对应引文，使两者的对应关系可被检验 |
| 叙事编织（weaving） | 按主题交替呈现两类证据，而非分设两个结果章节 |
关键概念是元推论（meta-inference）——从两条线的结果中得出的、任何一条线单独无法支撑的结论——以及对整合结果的契合度（fit）判断：确证（两类证据指向同一结论）、扩展（各自覆盖不同侧面）、不一致（两类证据相互矛盾）。
🌍 不一致往往是信息量最高的情形。一项评估营养补助计划的研究若发现摄入量的统计指标改善而观察显示食物被丢弃，正确的处理不是宣布"两种方法各有价值"，而是把矛盾本身当作待解释的现象——它通常指向测量口径与实际行为之间的裂缝。要求研究者事先声明"若出现不一致将如何处理"，已成为混合方法设计的推荐做法。
💭 延伸思考
- 随机对照实验被称为因果推断的"金标准"，但在社会科学中许多重要问题无法用 RCT 研究。是否存在"银标准"？准实验方法在多大程度上可以替代 RCT？
- 案例研究常被批评为"样本量为 1，无法推广"。这种批评是否公平？案例研究的推广逻辑与统计推广有何本质区别？
- 混合方法是否真的实现了"两全其美"，还是在两种方法上都做了妥协？
- 若 73 个团队分析同一份数据得出方向分散的结论，且团队特征无法解释这种离散，一项由单一团队完成的常规研究所报告的置信区间应当如何被解读？期刊与政策部门是否有能力消化这种"不确定性的不确定性"？
- 注册报告把发表决定提前到看到结果之前，从而使零结果得以进入文献。但学术声望、引用与职位晋升仍然奖励"有趣的"发现。制度工具能在多大程度上抵消激励结构本身？
📚 参考文献
- Creswell, J. W., & Creswell, J. D. (2018). Research Design: Qualitative, Quantitative, and Mixed Methods Approaches (5th ed.). Sage. 研究设计的综合教材。
- Shadish, W. R., Cook, T. D., & Campbell, D. T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin. 实验和准实验设计的权威论述。
- Yin, R. K. (2018). Case Study Research and Applications (6th ed.). Sage. 案例研究设计的经典指南。
- Morgan, S. L., & Winship, C. (2015). Counterfactuals and Causal Inference (2nd ed.). Cambridge University Press. 反事实框架与因果推断方法。
- Lieberman, E. S. (2005). “Nested Analysis as a Mixed-Method Strategy for Comparative Research.” American Political Science Review, 99(3). 嵌套分析方法的经典论文。
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). “False-Positive Psychology.” Psychological Science, 22(11), 1359-1366. 研究者自由度的量化演示。
- Gelman, A., & Loken, E. (2014). “The Statistical Crisis in Science.” American Scientist, 102(6), 460-465. 分叉路径花园的通俗阐述。
- Franco, A., Malhotra, N., & Simonovits, G. (2014). “Publication Bias in the Social Sciences: Unlocking the File Drawer.” Science, 345(6203), 1502-1505. 以研究总体为样本的发表偏倚证据。
- Silberzahn, R., et al. (2018). “Many Analysts, One Data Set.” Advances in Methods and Practices in Psychological Science, 1(3), 337-356. 多团队分析设计的开创性研究。
- Fetters, M. D., Curry, L. A., & Creswell, J. W. (2013). “Achieving Integration in Mixed Methods Designs.” Health Services Research, 48(6pt2), 2134-2156. 混合方法整合层次的类型学。