Uncertainty-Routed CoT Prompting
Uncertainty-Routed CoT Prompting（Google, 2023）的核心思路是：先用“多样采样”生成多条 CoT 推理链并投票；如果投票结果足够一致（多数票比例超过阈值），就采用多数答案；如果不一致（不确定性高），就改走一个更“稳”的后备路径——**贪心解码（greedy）**生成一条推理并用它的答案。该方法在 MMLU 上报告了提升。
1) 方法流程（按步骤）
设定要采样的推理条数为 (K)，阈值为 (\tau)。
- 多样采样生成 (K) 条 CoT
- 用较高温度/随机采样（例如 temperature > 0）生成多条“Reasoning + Answer”
- 提取最终答案并做投票
- 对 (K) 条结果的“最终选项/答案”计数，找出得票最多的答案 (a^*)
- 计算多数一致性比例
- (p = \frac{\text{count}(a^*)}{K})
- 不确定性路由（routing）
- 若 (p \ge \tau)：采用多数票答案 (a^*)（以及可选地返回其中一条对应的 CoT）
- 若 (p < \tau)：认为模型对该题“不够一致/不确定”，改用 greedy 解码再生成一次，并采用 greedy 的答案
阈值 (\tau) 通常不是拍脑袋设的，而是用验证集校准出来（你引用的原文里也提到 “calculated based on validation data”）：选一个能最大化准确率或在准确率/成本之间最优的阈值。
2) 它和 Self-Consistency 的关系
它非常像 Self-Consistency（多条 CoT 投票选多数），但多了关键一点：
- Self-Consistency：无论一致与否，基本都直接用投票结果（或用最常见答案）。
- Uncertainty-Routed CoT：当投票分散时，不信任“多数票”（因为多数优势不明显），转而使用一个更确定、更可复现的 greedy 结果作为“fallback”。
直觉是：
- 一致性高 → 多数票可靠，采样能带来纠错
- 一致性低 → 采样可能在“乱猜”附近徘徊，fallback 到 greedy 反而更稳（尤其在某些基准题上）
3) 为什么可能有效（直观解释）
- 多样采样能覆盖不同推理路径，有时会“撞对”正确解，并通过投票放大正确答案。
- 但当模型内部不稳定、问题本身难或提示不充分时，多条样本会给出分散答案；这时硬投票可能选到“最多但仍很少数”的答案，可靠性差。
- 用阈值识别“高不确定题”，对其采用另一种解码策略，相当于用一致性作为不确定性估计。
4) 实现要点（工程视角）
- K 的选择：K 越大投票越稳，但成本线性上升。常见 5/10/20。
- 答案规范化：尤其 MMLU 这种多选题，要把输出统一映射到 A/B/C/D（去掉解释文字、处理大小写/括号）。
- 阈值校准：在验证集上网格搜索 (\tau)（比如 0.5~1.0），选择表现最好的。
- fallback 形式：原描述是 greedy；也可以替换成更强的“再问一次/再读题/用 Step-back”之类，但论文这条方法的定义是 greedy fallback。
5) 适用场景与局限
适用：
- 多选题、标准答案明确的任务（如 MMLU）——投票与阈值都容易定义
- 你愿意用额外采样成本换准确率的场景
局限：
- 开放式生成（写作/总结）很难定义“多数答案是什么”
- 需要验证集来校准阈值（否则阈值不稳）
- 额外推理链会增加 token 与延迟
如果你接下来还会继续整理同一段综述里的方法，把下一条原文贴出来即可。我也可以给你一份“多选题 MMLU 风格”的伪代码（含投票、阈值、fallback）方便直接实现。