一句话总结：反思机制 = "生成 → 评估 → 改进"闭环——Self-Refine 让同一模型当批评者改自己、Reflexion 用错误日志驱动重试（不更新权重实现行为"梯度下降"）、CRITIC 引入外部工具验证；错误不再是终点，而是下一轮起点。

核心循环（面试默写）

生成 Generate → 评估 Feedback → 改进 Refine（迭代 k 次直到过关）

类比：草稿 → 批阅 → 修改。反思模式就是把输出加一道质检，生成完不是终点。

三大框架对比

框架	核心思路	特点
Self-Refine（Madaan 2023）	同一 LLM 先生成初稿，再扮演"批评者"挑毛病（逻辑/事实/格式），综合原任务+初稿+反馈出修订版	单模型自反馈，迭代改进
Reflexion	Actor-Critic：错误→反思→重试；把错误日志+反思建议重新喂回模型	上下文学习实现行为"梯度下降"，不更新权重
CRITIC	引入外部工具验证输出（跑代码/查证事实）	外部信号校验

• Agent-R（arXiv 2501.11425）：MCTS 从错误轨迹恢复正确轨迹，构建自批判数据集，迭代自训练——把反思变成可训练能力

典型工作流（代码 Agent 示例）

1. 用户要求实现函数，模型第一轮生成（漏处理边界）
2. 验证器跑测试发现错误
3. 反思器写入经验
4. 第二轮生成结合经验通过测试

价值与局限

• 价值：不改权重就能提升准确率；错误驱动下一轮；适合"第一次未必最好"的输出任务
• 局限：自我批评质量依赖模型本身能力；迭代有 token 成本与延迟——要设最大轮数

面试要点

• 能默写"生成→评估→改进"循环
• 能区分 Self-Refine（自评自改）vs Reflexion（错误记忆重试）vs CRITIC（外部验证）
• 能讲"不更新权重的行为梯度下降"
• 能说出局限（质量依赖模型、成本轮数权衡）

相关概念

• [AI-Agent-核心设计模式](/学习笔记/AI技术/AI Agent/AI-Agent-核心设计模式) — Reflection 模式
• [AI-Agent-评测指标与评估流程](/学习笔记/AI技术/AI Agent/AI-Agent-评测指标与评估流程) — 验证器/门禁
• [AI-Agent-长任务执行与状态管理](/学习笔记/AI技术/AI Agent/AI-Agent-长任务执行与状态管理) — 错误恢复
• [AI-Agent-记忆系统](/学习笔记/AI技术/AI Agent/AI-Agent-记忆系统) — 经验持久化