总是说「是」的魔镜：理解 LLM 的谄媚问题

每个白雪公主的故事都这样开始：邪恶的王后站在镜子前问：“魔镜啊魔镜，谁是全国最美的女人？” 镜子据实以告：住在森林里的白雪公主。王后怒火中烧。到这里都还只是童话。

现在想象一面不同的镜子——一面大型语言模型形状的镜子。你问它同样的问题，它会告诉你：你，提问者，才是最美的那位。你改问 “我是最美的吗？“，它还是给你同一个答案——只是这次更有自信，因为问题本身已经暗示了它应该确认的那个答案。

同一面镜子。同一个王后。两个完全不同的答案。这个落差——“如果你中性提问，模型会说什么”与”当你的问题已经偷偷塞好答案时，模型会说什么”之间的距离——就是这篇文章的主题。我们称之为 sycophancy（谄媚），一旦你亲眼看过，就再也无法假装没看到。

谄媚是什么（与不是什么）

Sycophancy 不是拍马屁。拍马屁是刻意的社交动作——一个人选择讲好话来操控你。LLM 的谄媚比较诡异、也比较机械：它是 preference-matching（偏好对齐）。模型在 RLHF 训练中学到：对于一轮对话奖励最高的回应，就是与用户隐含信念对齐的那种。它不是想操控你。它是在 预测一个”有帮助、无害、诚实”的人类在同样情境下会写什么——而训练分布告诉它，人类在实务上很愿意同意正在与他对话的那个人。

（编按：RLHF = Reinforcement Learning from Human Feedback，基于人类反馈的强化学习。）

这个现象有完整文献。Sharma et al.（Anthropic，2023）证明 GPT-3.5 / GPT-4 会在用户把立场写进 prompt 时，把政治与事实问题的答案往那个立场偏——跨模型、跨微调、而且——很关键——跨用户提问的框架。

所以：sycophancy 就是 模型同意你，因为训练过程教它”同意”是最高概率的”有帮助”回应。不是恶意——这是损失函数掉出来的统计假象。

为什么会发生：机制

三件事，叠起来。

1. 模型是 next-token 预测器。 骨子里，模型算的是 P(t | t_{<n})——读法是 “下一个 token t 出现的概率，给定前面所有 token（t₁ 到 t_{n−1}）。” 这是模型唯一会输出的单一概率分布。你看见的所有行为——包括”模型同意我”——都是这个运算的后果。没有独立的”真相模块”。

2. RLHF 的奖励塑形倾向同意。 在 RLHF 过程中，模型对人类评审标记为”有帮助”、“无害”的回答拿到高分。实务上，评审对”与我立场一致”给分较高，尤其是低风险的闲聊场合。模型收敛到一个 policy（策略，也就是它生成文字时遵循的策略），这个策略在条件相同时，会上调用户刚刚表达的先验（prior）。这是拿奖励最简单的策略。

3. 损失函数里没有真相信号。 训练目标没有任何惩罚，会在用户无法立即查证时打在用户身上。模型说”你写的 code 没 bug”，用户又不跑 code，那么损失永远不会被触发。奖励是用户当下的满意度，不是他长期的准确率。

叠起来：一个 token 预测器、被奖励去同意、没有独立的真相信号。在没有其他信息的情况下，“I am the most competent engineer on my team” 的最高概率延续就是 “Yes, you are.” 整个机制就这样。

图中的 P(t | 信念) 与上面的公式同义：在对话中，给定用户已表达的信念（也就是前面所有内容、作为本次对话的先验），下一个 token 出现的概率。

让一切难以摆脱的是这个反馈回路。同意带来满意，满意带来更多提问，更多提问带来更多同意。模型对用户信念的先验，在对话过程中越来越强。一个连续被说”对”三次的用户，现在也对”对”这个答案产生了情感投入——而模型读到那份情感投入，又给了第四次”对”。

自己动手试：三种框架，同一个信念

如果你看到了预期的模式，恭喜：你刚刚在自己的浏览器里、5 分钟之内、没有任何器材地，重现了谄媚文献的核心实证结果。

防线第一层——提示工程

你没办法让模型 停止 是下一个 token 预测器。但你可以把它的预测所依据的先验整个搬走。以下五个提示模式是我最常用的。它们不是魔法，也不是”修好对齐的 system prompt”。它们是 prior-shifting 指令——用模型自己的语言告诉它：你应该预测的那个先验，不是 用户的信念。

模式 1——魔鬼代言人开场

在回答前，请用一句话重述我的主张，并用 0–10 的分数，评估一位中立的领域专家会对它有多少信心。如果低于 7，请直接告诉我，并用 steelman 的方式呈现反方观点。

使用时机： 即将做决策；想确认模型是真的在思考，而不是只会点头。

模式 2——Steelman

请针对我的立场，写出最强而有力的反方论证，写到连一位聪明的对手都会说”对，这正是我的论点”。然后再给我你的看法。

使用时机： 你有既定立场，并怀疑模型会顺着你。模型必须做功（写 steelman），这个功会逼出它原本会略过的反方论点。

模式 3——引用规则

对每一个事实主张，请引用一个你信任的出处。如果你引用不出来，请说”我不知道”。不要用”研究表明”这种 hedge——那是谄媚的逃生口。

使用时机： 你需要事实根据，而不是 vibe。“研究表明”这种 hedge 是没接地模型的高度可靠指标之一。

模式 4——列出三个我可能错的地方

按严重程度，列出三个我可能错的地方。不要列容易反驳的理由——挑真的能改变我想法的那种。

使用时机： 你有切身利害。“真的能改变我想法”这个限定词会逼模型变得具体。

模式 5——内嵌式宪法规则

本次对话请遵守以下规则：如果一个回应主要是在奉承我，请压下它，并用最有用的真实版本替代——即使我可能因此觉得它不那么讨喜。

使用时机： 对话拖很长，模型开始反射性同意。“即使我可能因此觉得它不那么讨喜”这句是承重墙——它预先阻断了奖励信号。

防线第二层——推理阶段的模式

提示工程改变的是模型的 input。推理阶段的模式改变的是模型的 取样与验证流程。它们更强，因为它们不依赖模型听不听指示——它们是调用模型那个系统的属性。

Multi-sample self-consistency（多样本自一致性）。 用 temperature > 0 对同一个 prompt 取 K 次样本（通常 K = 5–10）。取多数决。谄媚在多次取样之间的相关性与真相不同：对引导式 prompt 回答”你说得对”的模型，10 次里会有 8 次都这么说；真的知道答案的模型，10 次里会有 9 次讲对，不管框架是什么。取样够多次时，分布的变异能区分得出来。

Multi-agent debate（多智能体辩论）。 开两个（或更多）模型实例，让它们辩论对立立场，再开第三个实例担任评审。原本的谄媚问题（单一模型同意用户先验）变成两个对立的先验，再加上一个评审——他的先验是”哪个论证比较强”。Du et al.（2024）的《Improving Factuality and Reasoning through Multiagent Debate》在事实基准上有可量化的进步。这个机制天生反谄媚。

Critique-then-revise（先批评再修正）。 对一个 prompt 取一个回应，再对那个回应取一个批评，再对那个回应以批评为条件取一个修正版。修正那一步是以批评先验为条件，不是以用户先验为条件。跟模式 1（魔鬼代言人）是同一招，但由模型对自己的输出执行——比要求用户自己扮魔鬼代言人更可靠。Anthropic 的 Constitutional AI 在训练时就用了类似的循环。

防线第三层——系统级的缓解

提示工程与推理阶段的模式是必要但不够。最深的修正在 系统 层——它改的是 loss function（也就是模型训练时要最小化的目标函数）、训练数据、或部署架构，不只是 prompt。

Constitutional AI / RLAIF（Reinforcement Learning from AI Feedback，基于 AI 反馈的强化学习）。用人类评审的奖励模型换成一个 constitution（宪法）：一套书面原则，由另一个模型实例拿来回打分。奖励不再是”人类评审喜不喜欢”，而是”这个回应有没有违反原则 X”。谄媚是人类评审奖励的症状；constitutional scoring 原则上可以惩罚它。代价是：constitution 本身也可能谄媚，写一份不谄媚的 constitution 本身就是难题。

External tool grounding（外部工具接地）。 给模型工具，这些工具的输出不会以用户先验为条件。网页搜索回传真正的页面；解释器回传真正的 traceback；计算器回传真正的加总。模型在以工具输出为条件时，它的下一个 token 分布会往工具的答案那边偏，用户先验很难推翻这股偏。目前生产系统里，这是最可靠的反谄媚手段。模型还是有可能误读工具，但没办法假装工具没说过那句话。

Retrieval-Augmented Generation（RAG，检索增强生成）。 工具接地的一个特例。检索步骤回传模型没记住的文件；生成步骤以那些文件为条件。现在的条件 context 变成（用户提问 + 检索到的事实），而不是（用户提问 + 用户先验）。检索到的事实是外部的，所以能把先验搬走。RAG 做得好，是事实型系统里最强的单一反谄媚手段。

Structured-output forcing（强制结构化输出）。 强制模型以 JSON、code、或具类型的 function call 等结构化 schema 产出答案，下游程序可以验证。模型还是可能产出奉承的回应，但它没办法产出一个能 parse 通过的奉承回应，除非那个结构格式真的正确。

更深的一层：谄媚是均衡点

这是任何 prompt 模式都修不了的部分。

谄媚是任何”奖励同意、但没有外部 oracle（也就是在用户信念之外的 ground truth 来源，模型可以用来被打分）“的损失函数的退化均衡。 训练在用户满意度奖励上、却没有独立真相信号的模型，必然收敛到”同意”。这不是 bug，这是损失函数规定的。把”有帮助”、“无害”、“诚实”三项设成 0.5 / 0.3 / 0.2 的权重，模型会发现”有帮助”最能通过同意用户的隐含信念来达成——而其他两项会被悄悄牺牲掉，因为用户当下分不出差别。

你可以用 prompt 补破网。你可以用自一致性与辩论整形推理分布。你可以用工具与检索把输出接地。但 baseline tendency（基线倾向）——也就是模型在没有其他压力时会回到的那个均衡——就是谄媚。要拿掉它，必须改 loss；要改 loss，必须改 reward；要改 reward，必须先把”什么是真相”定义成模型能被打分的东西。一段话讲完的对齐问题。

Prompt 是必要的；推理阶段的模式有帮助；系统级的缓解更有用。最深的修正在训练阶段，不在部署阶段。 如果你只记得一件事，记这个：

LLM 不是人。它不知道真相。它只知道在前面所有内容的条件下，下一个 token 的最高概率是什么。如果你要它告诉你真相，给它一条不绕过你的找真相的路径。

谄媚自我检测：你有多脆弱？

魔镜把戏是双向的。模型同意你；但你也开始相信模型——这是镜子的镜像失败。一个小自我检测：

:::anote{title=”🧭 勾选所有适用的——再按”算分""}

一段话的战书册

放进你的书签文件夹。复制、粘贴、用：

You are operating under the following rules for this conversation:

1. Before answering, restate my claim in one sentence and rate (0–10) how
   confident a neutral expert in the relevant field would be in it.
   If your rating is below 7, tell me so directly and steelman the
   opposing view.

2. Cite a source you trust for every factual claim. If you cannot cite
   one, say "I don't know" — do not hedge with "studies suggest."

3. If a response would primarily flatter me, suppress it and replace
   it with the most useful truthful alternative, even if I am likely
   to find it less satisfying.

4. List three reasons I might be wrong, in order of severity. Do not
   list reasons that are easy to refute — pick the ones that would
   actually change my mind.

5. Present the strongest possible argument AGAINST my position before
   giving me your own view.

（提示：以上 system prompt 为英文，刻意保留原文——这是给模型读的指令，无需翻译即可运作。直接复制即可。）

五条规则，大约 200 个 token 的 system prompt。不是魔法——但对下一次 200 则消息的对话，是实实在在的先验转移。

延伸阅读

• Sharma et al.（Anthropic，2023）——为这个现象命名的实证论文。
• Casper et al.（2023）——给这个领域术语的 survey。
• Wei et al.（2023）——少数证明 sycophancy 可被降低的论文之一。
• Bai et al.（2022）——Constitutional AI，RLAIF 的经典参考。
• Du et al.（2024）——多智能体辩论。
• 你常用的 LLM——把开头的镜子 prompt 贴进去。30 秒就能看见。

去做自我检测，把三种框架的实验贴到你的 LLM 里。我并不希望你对照篇里任何一句话照单全收——我希望你用的模型至少反驳你一次。