AI TEACHING COURSE · PRE/L4

Prompt design for
research collaboration.

At each stage of the research workflow: what works, what doesn't, and why.

❌ THE OLD WAY

“帮我做个研究”

✅ WHAT YOU’LL LEARN

八个环节,每个环节一个好的 prompt 和一个坏的 prompt。

THE RESEARCH WORKFLOW

Eight stages.
Eight prompt principles.

01ClarifyWhat are you studying?
02OperationalizeMechanism to variables
03AnalyzeRun the right models
04InterpretPattern vs meaning
05RefuseSay no to bad claims
06EvidenceOrganize what you know
07CritiqueAttack your explanation
08CeilingHow far can evidence go?
❌ ONE BIG PROMPT

“帮我做个关于公共服务的研究,用机器学习,然后写论文”

✅ EIGHT SMALL MOVES

每个环节一个 prompt,每个 prompt 只让 agent 做一件事。研究者逐步判断。

Rule: At each stage, the agent proposes; the researcher accepts, rejects, or reframes. The prompt determines the quality of the proposal.

STAGE 01 · PROMPT DESIGN

Clarify the question

❌ INEFFECTIVE

“帮我分析一下公共服务的数据”

✅ EFFECTIVE

“我有一份2020–2023年北京市街道级面板数据。outcome 是居民满意度评分(1–5),unit 是街道–年度。我想理解为什么相似行政级别的街道,居民满意度差异很大。请先帮我 clarify:(1) 这个 outcome 有没有其他合理的 measurement,(2) 列出3个可能的 mechanism 和对应的 observable implications,(3) 指出哪个 mechanism 最容易被反駋。”

Why it works: 好的 prompt 声明了 outcome、unit、和你想要 agent 做什么。坏的 prompt 只给了一个主题,agent 不知道你在问什么。

STAGE 02 · PROMPT DESIGN

Operationalize variables

❌ INEFFECTIVE

“帮我处理一下数据,看看哪些变量重要”

✅ EFFECTIVE

“我有以下变量:X1 eco-efficiency, X2 budget per capita, X3 staff count, X4 digitalization index。请帮我检查:(1) 每个变量是否真的 operationalize 了我的 mechanism(eco-efficiency → citizen co-production),(2) X3 和 X4 是不是只是 proxy 而不是 mechanism 本身,(3) 建议一个 train/test split 策略,注意面板数据的时间结构。”

Why it works: 好的 prompt 带着具体变量名和 mechanism,让 agent 帮你做 measurement 检查,而不是自己跑分析。

STAGE 03 · PART 2 · RUN THE MODELS

Run analysis

❌ INEFFECTIVE

“跑个 random forest 看看”

✅ EFFECTIVE

“请用三种方法分析:(1) OLS 作为 baseline,(2) Decision Tree 看有没有 threshold effect,(3) Random Forest 看复杂结构能否泛化。对于每种方法,请回答:它在问什么问题?它能看到什么?它看不到什么?不要给我模型排名,给我一个对比表格。”

Why it works: 好的 prompt 告诉 agent 用多个模型问不同的问题,而不是只追求最高准确率。

STAGE 04 · PROMPT DESIGN

Interpret results

❌ INEFFECTIVE

“RF 准确率最高,说明模型很好”

✅ EFFECTIVE

“三种模型的结果如下。请帮我分析:(1) 哪些变量在三种模型中都显著(robust),(2) 哪些只在某个模型中出现(unstable),(3) 哪些结果支持我的 mechanism,哪些不支持。最后,我们现在的证据最多能支持哪一层 claim?prediction?association?causality?”

Why it works: 好的 prompt 要求 agent 区分 robust 和 unstable 的结果,而不是只看最好的那个模型。

STAGE 05 · PART 3 · JUDGE THE RESULTS

Refuse bad claims

❌ INEFFECTIVE

“写一段总结,强调我们的发现很重要”

✅ EFFECTIVE

“请不要写总结。请先帮我攻击自己的解释:(1) X1 的 eco-efficiency 是不是只是 GDP 的 proxy,(2) 有没有 leakage(outcome 和某个变量因果倒置),(3) 如果我换个 model specification 去掉 X4,结果还成立吗?”

Why it works: 好的 prompt 让 agent 先攻击自己的解释,而不是先写结论。拒绝是研究的关键环节。

STAGE 06 · PROMPT DESIGN

Build evidence packet

❌ INEFFECTIVE

“把结果整理成报告”

✅ EFFECTIVE

“请构建一个 evidence packet:(1) 数据质量——missingness、outliers、leakage 检查,(2) 模型——每种方法的 test error 和 subgroup error,(3) 解释——分成 supported / uncertain / prohibited 三类。对于 prohibited 的,请说明为什么不能这么说。”

Why it works: 好的 prompt 要求 agent 把证据分层,而不是笼统地说“结果很好”。

STAGE 07 · PART 3 · JUDGE THE RESULTS

Adversarial critique

❌ INEFFECTIVE

“帮我写一个 limitations 部分”

✅ EFFECTIVE

“请站在 reviewer 的角度,用最严格的标准攻击这个研究:(1) measurement validity——我的变量真的在测我说的东西吗?(2) endogeneity——有没有因果倒置或遗漏变量?(3) external validity——这个结论能推广到其他城市吗?(4) 最强的替代解释是什么?”

Why it works: 好的 prompt 给 agent 一个具体的攻击角色和四个攻击维度,而不是泛泛地说“写 limitations”。

STAGE 08 · PROMPT DESIGN

Set claim ceiling

❌ INEFFECTIVE

“结论:eco-efficiency 显著影响公民参与”

✅ EFFECTIVE

“根据我们的证据,请帮我判断:我们的 claim ceiling 在哪?(A) 这个模型能预测新数据(prediction),(B) 变量之间有稳定的共变关系(association),(C) 存在一个 plausible 的 mechanism,(D) 我们识别了一个 causal effect。请对每个层级打勾或打叉,并说明需要什么额外证据才能升级。”

Why it works: 好的 prompt 让 agent 帮你做 claim 分层,而不是直接下结论。大多数 AI-assisted analysis 在这里失控。

TAKEAWAY

Three rules for
research prompts.

RULE 01Declare before you runstate outcome, unit, mechanism, and what you want the agent to do
RULE 02Critique before you concludeask the agent to attack your explanation before writing the summary
RULE 03Bound before you claimseparate prediction, association, mechanism, and causality
❌ WITHOUT RULES

“帮我分析这个数据集,用机器学习,然后写一段结论”

✅ WITH ALL THREE RULES

“我的 outcome 是 X,unit 是 Y,mechanism 是 Z。请先帮我检查变量,再用三种模型分析,然后攻击自己的解释,最后判断证据支持哪一层 claim。”

The agent proposes. You judge. The prompt determines the quality of the proposal.