政策评估、证据与政策学习

📝 一句话定义：政策评估以明确的因果逻辑和系统证据判断干预是否有效、为何有效以及对谁有效；政策学习则研究这些知识如何被组织吸收、争论、转移并转化为政策改变。

从好意图到可检验的政策

公共政策通常以改善某种社会状态为理由，但投入资源、完成活动与实现结果并不是同一件事。培训项目可以按期举办，却未必提高就业；医院可以增加门诊量，却未必改善健康；警务机构可以提高盘查次数，却可能损害信任。政策评估（policy evaluation）的首要贡献，是迫使决策者把“做了什么”与“改变了什么”区分开，并说明观察到的变化是否由政策造成。

评估同时服务于多种目的。它可以为预算配置提供绩效信息，为项目管理者诊断实施障碍，为议会和公众追究责任，也可以积累关于社会机制的一般知识。这些目的并不总是一致。问责评估倾向于给出明确判断，学习型评估则需要承认不确定性和失败；拨款机构希望尽快看到结果，长期社会影响却可能多年后才出现；政治领导者偏好简洁结论，研究者则强调估计条件和误差范围。因此，评估不仅是方法选择，也是用途、时点与权力关系的制度设计。

逻辑模型与变化理论

逻辑模型（logic model）以一条可检查的结果链表达政策如何发挥作用。最常见的结构是投入、活动、产出、短中期结果与长期影响。投入包括资金、人员、法规和数据；活动是培训、检查、支付或服务；产出是活动直接产生的可计数交付物；结果是对象的知识、行为或处境变化；影响则是政策希望贡献的较长期社会状态。

结果链本身不是因果证据。它更像一份可反驳的政策假说：每个箭头都隐含机制和条件。例如，岗位匹配要提高就业，数据库必须包含真实空缺，参与者必须能到达工作地点，雇主必须认可其技能，宏观需求也不能骤降。变化理论（theory of change）比简化的逻辑模型更进一步，明确这些中间机制、行为假设、外部条件、可能的副作用和替代路径。

高质量评估从这里形成问题，而不是先选方法再寻找指标。若争议集中于项目是否产生净效果，需要影响评估；若服务覆盖不足，需要实施评估；若结果只在某些地点出现，需要比较情境与机制。逻辑模型还能揭示价值选择：把快速就业设为结果，可能忽略工资、稳定性与尊严；把总体平均值设为目标，可能掩盖不同群体之间的分配差异。

影响评估：反事实与因果识别

政策效果是接受政策后的结果与同一对象在未接受政策时的结果之差。后一个状态无法同时观察，这构成反事实问题（counterfactual problem）。简单的前后比较会混入经济周期、人口变化和自然趋势；参加者与未参加者的直接比较又会混入选择差异。影响评估的任务，是构造足够可信的对照来估计缺失的反事实。

随机对照试验

随机对照试验（randomized controlled trial, RCT）通过随机分配使处理组与对照组在平均意义上具有可比性。若样本充足、分配未被破坏且失访可控，两组结果差异可以被解释为干预的平均因果效应。集群随机试验可把学校、诊所或社区作为分配单位，以减少同一机构内部的干预污染；阶梯楔形设计则让各单位分批接受项目，在某些资源受限场景中兼顾实施安排与比较需要。

RCT 的优势是内部效度清楚，却不是自动可靠。未遵守分配会使“被提供项目”的效果与“实际接受项目”的效果不同；知道自己被观察可能改变行为；研究团队密集支持下的示范项目也未必代表常规实施。伦理与政治约束同样重要。当已有充分证据显示干预有益时，长期拒绝对照组获得服务并不正当；法律普遍适用、基础设施建设或宏观税制也很难随机化。

Donald T. Campbell 主张“实验型社会”（experimenting society）：改革应被当作严肃假说，以多种方法检验，并准备在证据不支持时修正。他的立场并非要求所有政策都做 RCT，而是反对把改革与政治声望绑定到无法纠错。Campbell 同时警告，指标一旦成为决策目标，就容易受到操纵并腐蚀其原本代表的过程。证据制度因此必须容纳独立评价、重复研究和负面结果。

准实验设计

无法随机分配时，准实验（quasi-experiment）利用制度规则或自然变化寻找近似反事实。回归不连续设计比较资格门槛两侧非常相近的对象；双重差分比较处理组和对照组在政策前后的变化差；中断时间序列检验政策时点是否改变既有趋势；工具变量则利用只影响政策接受、但不直接影响结果的外生因素。每种方法都把可信度建立在可说明、可诊断却不能由数据完全证明的假设上。

准实验并非低配版 RCT。它常能研究真实规模的制度变化、长期影响和无法实验化的政策，其情境真实性可能更高。但识别通常只覆盖特定门槛、地区、时点或受工具影响的人群。双重差分需要没有政策时两组趋势可比，回归不连续主要识别门槛附近的局部效应，工具变量的排除限制尤其容易引发争议。报告一个显著系数而不解释识别对象和假设，会把技术精确伪装成政策确定性。

过程、实施与机制评估

影响估计回答“是否造成差异”，却不单独回答差异如何产生。过程评估（process evaluation）考察项目按何种路径运行，实施评估（implementation evaluation）关注覆盖率、执行忠实度、服务剂量、人员能力、组织条件与对象回应。两者会使用行政记录、访谈、观察、调查和文件分析，并把实施差异与结果模式联系起来。

没有效果至少可能有四种解释：理论错误，即设想的机制并不存在；实施失败，即关键活动没有发生；剂量不足，即干预强度不够；测量失配，即指标或观察期没有覆盖真正结果。只有影响评估时，这些情况都会被压缩成一个接近零的平均效应。相反，只有过程叙述又无法排除项目外部的变化。混合方法的价值正在于把因果数量与组织过程相互约束。

现实主义评估（realist evaluation）用“何种机制在何种情境中为哪些对象产生何种结果”组织分析。机制不是活动本身，而是参与者面对资源与规则时发生的推理和反应。例如，短信提醒能否提高复诊率，取决于遗忘是否为主要障碍、号码是否稳定、医疗机构是否有可预约容量，以及信息是否被信任。相同项目在不同地点产生不同效果，不一定意味着某一研究错误，也可能说明情境改变了机制。

实施研究还揭示一线裁量的重要性。政策文本必须经过教师、警员、医护人员和社会工作者的判断才能成为实际服务。严格忠实于设计有利于确认干预成分，但过度标准化可能压制必要的本地适应。评估需要区分核心功能与可调整形式：哪些机制必须保留，哪些交付方式可以随情境改变。否则，“推广成功项目”会在复制外观时丢失功能，或在机械坚持手册时忽略新环境。

从 evidence-based 到 evidence-informed

基于证据的政策（evidence-based policy）借鉴循证医学，主张政策选择应系统利用最可靠研究，而不是只依靠惯例、意识形态或个别轶事。系统综述和元分析通过预先规定的检索、纳入和综合规则减少选择性引用；证据中心把分散研究转化为可比较的干预结论；行政数据则让常规监测和长期追踪成为可能。这一取向提高了政策主张的举证责任。

不过，证据不能独自推出政策。研究可以估计某项目对平均就业率的影响，却不能决定应优先最大化总就业、帮助处境最差者，还是保护选择自由。成本、可行性、权利与公众价值仍需政治判断。即使多个方案追求同一目标，证据也常不完整或相互冲突。因此，证据知情政策（evidence-informed policy）是更准确的表达：证据应约束事实判断并暴露代价，但不能取代价值选择和民主授权。

证据等级也不能脱离问题。RCT 适合估计明确干预的平均效果，质性研究更适合发现对象如何理解服务，比较历史研究可解释制度路径，机制研究有助于判断能否转移。把方法排成固定金字塔，会让容易随机化的问题得到过多关注，而税制、监管结构和制度信任等难以实验却影响深远的问题被边缘化。方法质量应按研究问题、识别假设、测量可靠性与累积证据共同判断。

What Works 的制度化尝试

英国自 2013 年起扩展 What Works Network，把医疗领域已有的证据机构经验推广到教育、犯罪、地方增长、福祉和早期干预等领域。各中心系统综合研究、评估政策项目并制作面向实践者的工具。教育捐赠基金会（Education Endowment Foundation, EEF）的 Teaching and Learning Toolkit 以成本、证据强度和平均学习进展概括教育干预，并资助大量学校现场试验。

这一模式的制度创新在于建立证据中介。单篇论文很少能直接回答地方机构的采购和实施问题，中心则把证据审查、可理解表达、专业培训和新研究委托连接起来。它也试图减少政策记忆随人员更替而流失，让“不起作用”成为可保存的公共知识。Campbell Collaboration 等国际系统综述网络发挥类似功能，尤其重视完整检索和方法透明。

案例：从工具包结论到课堂决策

EEF 工具包并不把“平均多增加几个月学习进展”当作任何学校都能兑现的承诺。其证据条目同时显示研究数量、成本、证据安全度与实施注意事项。例如，反馈通常呈现较高平均影响，但“反馈”包含口头、书面、同伴和数字化等不同做法，效果取决于信息是否具体、学生是否有机会采取行动，以及教师工作量是否可持续。一个全国平均值无法替代学校对本地问题、对象和实施能力的诊断。

案例显示，证据产品必须在简洁与准确之间权衡。红黄绿标签和效应排序便于比较，却可能诱使管理者购买排名靠前的项目，把统计平均值当作处方。EEF 后来更强调实施指南、机制和情境判断，说明 What Works 逐渐从“列出有效项目”转向“建设使用证据的组织能力”。中心是否产生影响，也不能只以网页访问量衡量，而应观察学校选择、教学实践和学生结果是否发生可归因的变化。

政策学习与政策转移

政策学习（policy learning）指行动者依据经验与新信息修正信念、工具或目标。Peter Hall 区分三种变化层次：一阶变化调整既有工具的参数，例如税率；二阶变化更换工具，例如从价格补贴改为直接支付；三阶变化则改变目标、问题定义和政策范式。前两种可由专家和行政机构渐进完成，范式转变通常伴随权威重组与政治冲突。证据更容易回答参数问题，却较少独自推翻决定何为问题的深层框架。

Paul Sabatier 的倡议联盟框架（advocacy coalition framework）把政策领域视为由共享信念的联盟长期竞争。联盟会从研究、事件与实施经验中进行政策导向学习，但深层核心信念较稳定。技术证据在可测量的次级方面更可能促成调整；当证据触及身份和根本价值时，各方倾向于质疑方法、重释结果或寻找反证。重大外部冲击、谈判场所变化和联盟资源变动，往往比单份报告更能推动核心政策改变。

政策转移（policy transfer）研究一个政府如何借鉴别处的制度、工具或负面教训。转移可以自愿学习，也可能受财政条件、专业规范或国际组织压力推动。可转移的不是抽象“最佳实践”，而是包含法律权限、执行能力、职业规范和目标群体行为的制度组合。政策在原地有效，不代表复制后仍保持同一机制；仓促借鉴还可能发生不完全转移、错误转移或对情境差异判断不足。

外部效度与规模化

外部效度（external validity）追问研究结论能否推广到其他对象、地点、实施者与时期。一个项目在志愿参加者、经验丰富团队和额外研究资金支持下有效，只能直接证明其在这些条件下的效果。规模扩大后，实施者平均能力下降、目标群体更加异质、预算约束变紧，市场价格和机构行为也可能因政策普及而改变。小规模试验忽略的一般均衡效应，可能在全国推广时成为主导。

判断可推广性需要比较机制所依赖的条件，而不只是比较人口特征。若补贴通过缓解流动性约束发挥作用，就应检查新地区是否存在相同约束、供应是否能响应以及行政支付是否可靠。多地点复制、异质性分析、机制测量、实施数据和结构模型都能提供信息，但没有一种技术可以完全消除情境判断。较稳健的路径是分阶段推广，预先设定停止或修正规则，并让常规监测继续承担学习功能。

外部效度也涉及时间。公众可能适应激励，供应者可能策略性回应，技术和宏观环境会改变基线。短期有效的提醒可能因注意疲劳而衰减，早期采用者的高动机也不代表后续人群。政策结论应附带适用范围和有效期限，而不是被压缩成永久性的“有效”标签。

证据的政治使用

Carol Weiss 区分研究使用的多种方式。工具性使用直接改变一个决定；概念性使用逐渐改变行动者理解问题的语言；象征性或政治性使用则为既有立场提供合法性。政策中更常见的是长期、间接的“启蒙”作用，而不是一份报告立刻决定方案。把非直接使用一概视为失败，会误解知识进入制度的方式。

政治使用并不只表现为伪造数据。决策者可以选择有利时间窗、突出平均值而淡化分配后果、引用支持性研究而忽略完整证据、在结论成熟前宣布试点成功，或把价值争议包装成技术争议。研究委托方还决定哪些问题获得资金：对个体行为的小型干预易于评估，改变劳动市场或住房供给结构的方案则更复杂。证据体系因而可能系统性偏好可测量、低冲突的政策。

防范选择性使用需要制度而非仅靠研究者操守。试验和分析计划预注册、数据与代码开放、利益冲突披露、系统综述、独立统计机构、议会研究服务和结果不受赞助者否决的出版规则，都能提高反驳成本。政策简报还应报告不确定性、异质性、实施条件与未测后果。透明不保证共识，却让争论更清楚地区分经验分歧与价值分歧。

核心争论与限度

证据层级还是方法多元

一种立场把 RCT 和系统综述置于证据等级顶端，认为严格控制选择偏差是可靠政策的前提。另一种立场指出，因果效应离不开机制、实施和情境，固定等级会把问题选择偏向可实验项目。当前较有说服力的做法不是放弃因果识别，而是按问题组合证据：用实验或准实验估计差异，用过程研究解释路径，用比较与理论判断迁移条件。

学习还是权力竞争

理性学习模型期待坏政策在反证累积后退出，但组织会保护预算、专业地位与政治声誉。Sabatier 的框架提醒，证据总在联盟竞争中被解释。反过来，把一切证据使用都还原为利益，也无法解释为何方法规范、独立机构和长期专业学习确实会约束政策。关键问题是制度能否让承认不确定性和修正错误的收益高于掩盖失败的收益。

评价的限度

评估无法消除所有不确定性。政策相互作用使单项效应难以分离，长期后果超出项目周期，伦理价值无法化约为平均效应，罕见灾难又缺乏足够样本。评估本身还会改变行为：机构为了得分调整记录，服务对象因资格规则改变选择。成熟的证据制度不承诺终局答案，而是把假设、误差、适用范围和修正机制公开化。

💭 延伸思考

• 逻辑模型把政策表达为结果链，但社会问题常有循环因果和多重路径。何时应保留简化模型，何时应改用更复杂的系统模型？
• RCT 具有较强内部效度，却可能只覆盖容易随机化的政策。证据机构如何避免让方法可行性反过来决定政策优先级？
• What Works 中心将研究压缩为等级和平均效应时，怎样既服务繁忙的实践者，又不隐藏异质性、机制与不确定性？
• Hall 的三阶学习与 Sabatier 的联盟竞争分别强调认知改变和政治结构。哪一框架更能解释危机后的政策转向，二者能否结合？
• 当证据显示一项受欢迎政策平均无效，但某些群体明显受益时，应终止、缩小、重新设计还是继续收集证据？决定标准如何公开？

📚 参考文献

1. Campbell, Donald T. (1969). “Reforms as Experiments.” American Psychologist, 24(4), 409–429. 提出把社会改革视为可检验、可修正实验的经典主张。
2. Shadish, William R., Cook, Thomas D., & Campbell, Donald T. (2002). Experimental and Quasi-Experimental Designs for Generalized Causal Inference. Houghton Mifflin. 系统阐述反事实推断、实验设计、准实验与外部效度。
3. Pawson, Ray, & Tilley, Nick. (1997). Realistic Evaluation. Sage. 以“情境—机制—结果”框架解释项目为何在不同环境产生不同效果。
4. Weiss, Carol H. (1979). “The Many Meanings of Research Utilization.” Public Administration Review, 39(5), 426–431. 区分研究的工具性、概念性与政治性使用。
5. Hall, Peter A. (1993). “Policy Paradigms, Social Learning, and the State: The Case of Economic Policymaking in Britain.” Comparative Politics, 25(3), 275–296. 通过一阶、二阶与三阶变化说明政策学习和范式转移。
6. Sabatier, Paul A. (1988). “An Advocacy Coalition Framework of Policy Change and the Role of Policy-Oriented Learning Therein.” Policy Sciences, 21(2–3), 129–168. 解释信念联盟、长期竞争与政策导向学习的关系。
7. Dolowitz, David P., & Marsh, David. (2000). “Learning from Abroad: The Role of Policy Transfer in Contemporary Policy-Making.” Governance, 13(1), 5–23. 建立政策转移的主体、对象、动机与失败条件框架。
8. Cartwright, Nancy, & Hardie, Jeremy. (2012). Evidence-Based Policy: A Practical Guide to Doing It Better. Oxford University Press. 强调从“它在那里有效”到“它在这里可行”需要机制与支撑条件判断。
9. Cabinet Office. (2013). What Works: Evidence Centres for Social Policy. UK Government. 说明英国 What Works Network 的制度目标、中心设置与证据中介功能。