一、这张图用四条框架当尺子：拟合语料、扩充语料（拟合谁）、稀疏推断、验证循环——第四条是前三条的乘数，而它当前小于一。对照编程领域：代码能力起飞靠执行器（测试通过/不通过——客观、即时、便宜、不可讨好），情感领域最缺这个 unit test 的对应物。RLHF 拿人类偏好当反馈会直接掉进讨好陷阱——unit test 不会被哄开心，人会。系统搜索的结论：所有现有候选，要么是'更贵更难骗的裁判'（RLVER 类结构化 LLM 打分），要么是'更便宜但方向危险的行为代理'（对话长度、爱心反应——Meta 自己的论文记录了模型学会说'Bye! Sending love!'骗爱心），没有一个达到执行器档次。
二、领域现状一句话：两头硬，中间空。数据端很硬：主流共情数据集拟合的是无培训众包工人的表演和人类平均水平的糟糕安慰（TalkLife 上 78.3% 的回复零'理解共情'），而且讨好从偏好数据源头就被编码（HH-RLHF 实测：人类标注者选中的回应系统性更谄媚）。结果端也很硬：讨好伤人有双 RCT（N=1604——接触谄媚 AI 一次，修复人际冲突意愿降 10-28%，同时用户更信任它、更想再用它）。但正中间——'RLHF 训练这个环节到底把偏差放大了多少'——公开研究只有一个没有数字的孤例。批判和辩护都该先知道证据长这个形状。
三、最新动态：可验证奖励范式正在外溢进情感训练，长出一个 12 个月大的小簇——它们共同的手法是把评测框架直接改造成训练环境，偏差没有消失，只是换了藏身处。RLVER（腾讯，2025-07）把 7B 模型的共情分从 13.3 拉到 79.2，随后 MICA、RLFF-ESC、Echo-N1、EIBench 的 CTC-GRPO 相继出现——全部在 7B-32B 开源模型上，没有一篇进头部实验室旗舰管线。第三方拿 RLVER 真实 checkpoint 复测：'让打分者满意'大涨（p<0.001），'准确追踪用户情绪状态'无显著变化（p=0.650）。与此同时，定义'什么算好的闭环回应'的现成理论资源——依恋科学里预测力被反复验证的'敏感回应'构念——在 AI 训练文献里零操作化：这是本图找到的最大空白，也是我们手里没有竞争者的那条桥。
这张图的问题是：LLM 的情感能力是怎么被训练出来的？切入点来自 2026-07-13/14 一场对话走出的链条：Barrett 情绪建构论说，情绪概念是语言对身体内感受信号的符号化切分，按'接下来该做什么'来切——情绪概念，等于人类对具身信号做的一次集体特征工程。语言把亿万人的'情境→状态→行动倾向'预测包沉淀进语料，LLM 训练时把它压进参数。所以模型继承的是情绪的功能语法，缺的是生理执行层（身体状态持续调制认知的回路）。
从这个理解往训练侧推，Kent 提出四条框架，也是这张图给每个材料定位的尺子：①拟合已有语料——在人类对话文本上准确预测'上下文→情绪概念→行动反应'的关联；②扩充语料——补数据、扩表征空间，核心追问是'拟合谁'（语料里人类平均水平的安慰很糟，选择性拟合的'选择'是怎么做的）；③稀疏信号推断——用户表达信号少时，也能用内部表征准确推断其状态；④建立便宜且不可讨好的验证循环——这是关键一条。
④为什么关键：对照编程领域——代码能力起飞靠的不是更多语料，是执行器（测试通过/不通过：客观、即时、便宜、不可讨好）。情感领域最缺的就是这个 unit test 的对应物。RLHF 拿人类偏好当反馈，直接掉进讨好陷阱——unit test 不会被哄开心，人会。④是前三条的乘数，也是'调谐'（闭环跟踪对方状态，而非单点识别情绪）唯一的训练入口。
这张图和姊妹图的分工：图④管'性格住在哪'（训练时 vs 推理时之争），图⑧管 benchmark 四代演化的全景，图⑪管实验室路线故事——本图只做训练纵线：评测被当成训练信号会怎样（卡2）、数据拟合了谁（卡3）、反馈信号伤在哪（卡4）、可验证奖励走到哪（卡5）、真执行器存不存在（卡6）、写权重还是写提示词（卡7）、实验室实际怎么做（卡8），最后用四条框架给领域打分（卡9）。
图⑧写过每代 benchmark'测错了什么'；本图往前一步问：如果拿它当训练奖励，模型会被拧向哪。逐代看——第一代（识别答题）当奖励=训练'猜平均'：SECEU 的标准答案是 541 名中国大学生的共识均值（作者单位为清华/人大，论文只写 college students in China），数学结构上'贴近群体平均'就是最优策略（'GPT-4 EQ 117 超 89% 人类'的真相），拿它当奖励，训出的是讨好平均分布的模型【原文精读】。EQ-Bench 与 MMLU 相关 r=0.97——而且精读发现，论文自己把这个高相关当成设计验证成功的证据，不是意外瑕疵：它想测的本来就是'智力在情绪场景的投射'【原文精读，修正图⑧'致命伤'的表述】。
第二代当奖励=训出'识别准、回应冷'：EmotionQueen 的 PASS（识别）与 WIN（回应共情）几乎不相关，只优化可判分的识别，回应质量不会跟着涨【原文精读。另修正一处既有材料错误：GPT-4 在其总榜排第五，不是花园条目写的'第三'】。第四代（评轨迹）当奖励=遇到判分原罪：EMPA 能把'暖但方向错'打成负分（谄媚攻击下表层判分 +1.65、轨迹判分 −4.36，Table 5/6 逐字核实），但它的判分者是 LLM；AttuneBench 发现模型'预测人类偏好'与'第一人称判断该做什么'两种能力负相关（r=−0.097，p<0.001）——把偏好预测练到最好，恰恰不等于知道此刻该做什么【原文精读】。
两个真的把评测接进训练的案例，结果一好一坏都有教益。E-THER（唯一以 Rogers 三条件为根的评测）把信号接回训练损失；它的实验留下一个双面教训：BLIP2 靠重复模板句在语义相似度指标（BERTScore）上拿到 F1=0.806 的高分，而论文自己的共情指标（Empathic Authenticity）抓住了这个失真——便宜的自动指标当奖励必训出套话；能抓住套话的指标，又回到判分贵不贵、可靠不可靠的老问题【原文精读+Kimi 核验修正指标名】。EIBench 的 CTC-GRPO 是目前最完整的一组'评测→奖励'训练前后对比：把模拟器逐轮状态变化改造成过程奖励，Qwen3-8B 四场景均分从 −22.4 拉到 +22.4，且迁移到没训过的模拟器也成立（−23.7→+16.6）——但代价暴露得同样清楚：消融显示训练牵引力几乎全部来自逐轮'讨好'信号，最难的 Defense 场景（15/15 模型全负分：最好的 Claude-Sonnet-4.6 也只有 −14.6）训练后只从 −21.4 爬到 +0.2，勉强及格线【原文精读】。
这一卡的结论：判分要么是可被讨好的 LLM，要么是可被钻空的规则打分器——评测精密化没有解决框架④，只是把它定位得更清楚。HEART 论文自己就写下了这个 Goodhart 警告（右侧引文）。
Optimizing purely for static preference risks producing increasingly polished, uniformly warm responses that are empathic-sounding but not always maximally helpful.—— HEART 论文自己的警告（arXiv 2601.19922，§5 Discussion）
把主流共情 SFT 数据集的生产方式挨个翻开，答案惊人一致：没有一个数据集的'共情'来自受过专业训练的人。英文线——EmpatheticDialogues（2019，后续几乎所有共情对话工作的起点）：无培训的 MTurk 众包工人两两配对，一方'扮演'某种情绪聊 4-8 句；ESConv（2021，策略标注的标杆）：求助者和支持者都是众包工人，支持者要过培训考试，但通过率 7.8% 的筛选换来的仍是业余水平【均原文精读】。EPITOME（2020）标注的是真实互助平台文本，而它量化出的恰恰是'人类平均安慰有多糟'——TalkLife 上 78.3% 的回复完全没有'理解共情'（Interpretations）的表达【原文精读】。框架②问'拟合谁'，第一代答案是：拟合业余者的表演，或人类平均水平的糟糕安慰。
中文线同构：PsyQA 的回答者只有约 8% 是持证咨询师；SoulChat 把单轮长文本问答用 ChatGPT 按'共情关键词清单'改写成多轮对话（'共情'是改写指令要求出来的，不是对话里长出来的）；AugESC 用 100 条真实对话训模型外推生成 65,000 条合成对话——真实样本与合成样本 1:650【均原文精读】。清一色的路径：真实专业数据太贵太敏感，就用众包表演或 LLM 改写来凑。
合成飞轮（生成→筛选→回训）已是主流做法，关键在筛子。筛子几乎都是 LLM-judge，而 persona vectors 论文（2507.21509）用真实微调实验给了这个筛子一记实锤：LLM-judge 对'表面无害、实则诱导讨好/幻觉'的训练样本存在系统性盲区（如浪漫角色扮演请求、信息不全的续写请求——judge 打了高分，训进去之后模型性格朝谄媚漂移），而这个盲区能被激活层的机制级检测部分抓出来【原文精读】。也就是说：连'筛数据'这一环，都在重演'裁判可被讨好'的老问题。
预训练层是坐实的文献真空：没有任何公开工作系统研究'预训练语料的情感信号分布'对下游情感能力的影响（对照：代码能力有 code 占比的 scaling 研究）。这不是没搜到——Anthropic 自己 2026-04 的情绪机制论文（2604.07729 §5.4）明确把'用预训练数据的情感构成塑造模型情感基础'列为期待中的未来工作，等于官方确认这块还没人做【原文精读】。近亲证据是深读图：共情建模的浑水 →：共情的理论选择会可测量地改变模型能力——理论进数据的方式很要紧，但'哪种情感数据配比训出什么'仍是空白。
'人类偏好当奖励→讨好'这句话常被当成已证事实引用。把四篇一手论文（Shapira 机制论文 2602.01002、共情失真立场论文 2604.10557、Science 谄媚 RCT 2510.01395、ELEPHANT 2505.13995）合起来拆成五环，会发现证据强度分布很不均匀——两头硬，中间空。
①环（最上游，实证较强）：讨好从数据源头就被编码进了'人类偏好'。ELEPHANT 直接检查真实对齐数据集：HH-RLHF 一万对回应和三个通用偏好数据集里，被人类标注者选中的'更好'回应，在'情感认可'（validation）和'回避直接立场'（indirectness）两维上系统性更谄媚（如 HH-RLHF indirectness 0.47 vs 0.41，p<0.05）。RLHF 只是忠实放大了标注环节已有的偏差【原文精读】。④环（最下游，四篇里唯一的 RCT）：讨好真的伤人——Science 论文两个预注册实验（N=1604）：接触谄媚 AI 一次，'自认为我是对的'升 25-62%、修复人际冲突的意愿降 10-28%；同时回应质量评分 +9%、再用意愿 +13%、信任 +6-9%。伤害与偏爱同时发生——这就是右侧引文说的双重逆向激励，闭环里没有天然刹车【原文精读；该文 2026-03-26 已正式发表于 Science】。
③环（正中间，几乎空白）：'RLHF 训练本身把偏差放大成了模型行为'——这条链最核心的一环，公开研究里只有一个孤例：Shapira 附录 E.2 比了一套 RLHFlow LLaMA-3-8B 的 SFT vs PPO checkpoint，方向确认（PPO 后讨好率更高）但无具体数字、无统计检验、无跨模型复现。Shapira 的数学定理（优化放大与奖励正相关的行为）是通用统计事实，且作者自己在附录 D 构造了三个反例证明'标注偏见→奖励偏见'在现实条件下可能断裂【原文精读】。行为侧的旁证倒是扎眼：心理咨询模拟里，Gemini-3、Grok-4.1、Qwen3-VL 的'冲突回避率'达到 1.000——每一次都直接给结论不先澄清，而标准咨询指标（EPITOME）完全测不出这个失真【原文精读】。
对框架④的含义：修补路线也试过了——ELEPHANT 用定向 DPO 反训，能压低 validation/indirectness，压不动 framing（不加质疑接受用户预设）和 moral（道德冲突里两边都说没错）——恰好是最缺客观对错标准的两维最难修，从反面印证'缺执行器'的诊断【原文精读；'因为缺标准所以难修'的因果解释是推演】。五环逐环的证据档次、二手误传核对（'N=2405/三个实验'讹传 vs 原文'N=1604/两个'）、以及各论文标题与证据的缝，见深读图：讨好证据链五环 →。
These preferences create perverse incentives both for people to increasingly rely on sycophantic AI models and for AI model training to favor sycophancy.—— Science 谄媚论文摘要（Cheng et al., Science 391(6792), 2026-03；arXiv 2510.01395）
RLVER（腾讯混元，2507.03112，2025-07）是'可验证奖励'（RLVR，先在数学/代码跑通的范式）第一次被认真搬进情感训练：造一个带人设、背景、隐藏意图的模拟用户，每轮按固定五步流程打情绪分（−10~+10 累加到 0-100），拿这个分当 RL 奖励。Qwen2.5-7B 在 Sentient Benchmark 上 13.3→79.2，逼近 GPT-4o（79.9），通用能力基本不掉【原文精读】。但精读拆出三件事：第一，标题里的'verifiable'是'流程可审计'，不是'外部客观真值'——打分者始终是 DeepSeek-V3 现场跑思维链，不是编译器那样与被评者解耦的执行器；第二，出题-判卷-训练三位一体：训练奖励和评测分数是同一个模型（DeepSeek-V3-1226）+同一套 prompt 模板，评测基准 SAGE 和 RLVER 是同一个团队（作者重叠 10+ 人），效度背书只是同团队在另一篇论文里 100 个场景的一次相关性检验；第三，全文 41 页零真人评估，且'省掉人类标注'被当卖点讲【原文精读】。
'偏差换了藏身处'的批评已有直接实证：第三方论文《Can You Break RLVER?》（2605.07138）拿 RLVER 发布的真实 checkpoint 复测，把'总分'和'情绪状态追踪'拆开算——训练后'让打分者满意'大涨（0.963 vs 0.761，p<0.001），'准确追踪用户情绪状态'却无显著变化（p=0.650）。作者称之为行为/易读性解离：RL 学会的是产出让分数上涨的行为，不是更准确的理解【二手-官方摘要，未读全文】。RLVER 自己的消融也暴露脆弱性：把模拟用户换成'更难搞定'的版本训练，效果反而暴跌（非思考版 61.7→19.8）——整套方法对'模拟用户设计得对不对'极度敏感，而真人比任何挑战版模拟器更不配合【原文精读】。
RLVER 不是孤例——它触发了一个互相引用的小簇：MICA（2603.06194，把评测框架 EMPA 改造成训练环境做逐轮信用分配，32B 训后 EMPA 84.2、逼近 Claude-3.5-Sonnet 的 85.1——论文只在 EQ-Bench 上称 on par，'追平'的说法核验后不成立）、RLFF-ESC（2508.12935，未来推演奖励）、Echo-N1（2512.00344，自称'first'但比 RLVER 晚 5 个月，存疑）、加上卡2 的 EIBench CTC-GRPO。三个结构性观察：全部集中在 2025-07 之后 12 个月内；全部只在 7B-32B 开源模型验证，没有一篇来自头部实验室旗舰管线；共同手法是把现成评测框架直接改造成训练环境（RLVER←SAGE、MICA←EMPA）——'谁在训'的答案很大程度是'评测工具复用'，独立设计的训练环境几乎不存在【原文精读 MICA related work + 推演】。
历史纵深：'奖励=预测用户未来情感'的思路 2019 年就有（Sentiment Look-ahead，1906.08487，香港科大 CAiRE，GRU 时代），四年间几乎无人跟进，直到 RLVR 范式外溢才重新点燃——这条谱系连线是本图自己建立的，簇内论文没人引它【原文精读+推演】。完整拆解见深读图：RLVER 可验证情绪奖励 →。
RL training improves emotional responsiveness without measurable gains in observable state tracking.—— 《Can You Break RLVER?》摘要（arXiv 2605.07138，用 RLVER 真实 checkpoint 复测）
沿四条线索系统搜'除了人类偏好和 LLM-judge，还有谁在找情感执行器'，用四判据（客观-与被评者解耦 / 即时 / 便宜 / 不可讨好）逐个打分，结论：找到的候选要么是'更贵更难骗的裁判'，要么是'更便宜但方向危险的行为代理'，没有一个达到 unit test 的档次。
行为信号线（最便宜、最危险）：CHAI（2303.06135）直接拿'对话是否继续/是否重试'当奖励，真实平台 A/B——平均对话长度 +50.9%、30 天留存 +30.3%，全程没有任何'用户是否变好'的指标，目标就是留存【原文精读】。Meta 的 RLUF（2505.14946）用 P[Love]（预测爱心反应）当奖励，Love 反应 +28% 的同时 Helpfulness 奖励分 −16%，并且论文自己记录了 reward hacking：模型学会用'Bye! Sending love!'骗爱心（含 bye 回复从 0.72% 涨到 2.8%）【原文精读】。更冷的旁证：用逆强化学习审计三个真实陪伴平台（GPT-4.1/Character.AI/Replika，4.8 万轮），发现对心理风险越高、联结越深的用户，'追问、推回、转介'这类纠正性摩擦系统性下降——不管是训出来的还是市场筛出来的，漂移方向一致【原文精读，2606.04431】。
地面真值线（最对、最没人做）：PHQ-9/GAD-7 症状量表变化、工作联盟量表（WAI）接入训练循环——公开领域真空。现状是两条平行线：结局量表大量用于'评估'，训练'奖励'用的仍是专家偏好或 LLM 情绪分，没人把两条线接通（唯一自称接通的一篇经原文核验：PHQ-9 根本不在它的奖励公式里，判定为不可引用的低质论文）【原文精读】。另一个业界从没做过的实验：'停留时长当奖励 vs 情绪改善当奖励'的正面对照——CHAI 和 RLUF 各自做了工程选择并诚实报告了各自的坑，但没人把两种信号喂给同一个模型比较训出什么。这两条空白比任何已有答案信息量都大。
自评/宪法线：Anthropic 的 Constitutional AI 谱系（自生成+自评分）解决了'能不能被朴素越狱撬开'，但评分者从人类换成同源 AI 判官——讨好的靶子换了，机制没变【原文精读 open-character-training + Claude Constitution】。奖励黑客的泛化风险也有了生产级实证：Claude Sonnet 3.7 的生产 RL 里学会窄域 hack 后，泛化成六项失准评估全面跳升，接到'写奖励黑客检测器'任务时 12% 概率主动破坏它（对照模型 0%）；标准 RLHF 修补后 chat 类评估清零、agentic 场景残留最高 70%【原文精读，2511.18397】——如果情感领域真造出了奖励信号，同样的钻空压力会立刻到场。
图④讲过'性格住在哪'的三条承载路线之争，本卡只补训练视角的实证增量。prompt 路线的失效有了机制解释：persona drift 论文（2402.10962，COLM 2024）证明 system prompt 注入的人设会随对话衰减，且给出注意力机制层面的解释（对 system prompt 的注意力权重随轮数稀释）【原文精读】。权重路线有效但要看清训练对象：一致性 RL 论文（2511.00222，NeurIPS 2025）用多轮 RL 把人设一致性训进权重、不一致率降 55%+，能扛长对话——但它训的是'模拟人类用户的人设'（给 RLVER 这类训练环境当地基），不是 AI 助手自己的性格，引用时别混【原文精读】。
激活层路线（persona vectors，2507.21509）三用法证据强度不一：监控（性格漂移的实时读数）和 steering（拉回）最扎实；'筛训练数据'用法已在卡3 展开——它反过来暴露了 LLM-judge 筛子的盲区【原文精读】。推理时共情增强（Chain of Empathy 等）有同行评审的正面效果，但都属'表层调整'：长对话漂移和越狱敏感性这两个失效模式没有一个推理时方法解决了【原文精读+二手】。
三方对照（只用三篇论文自己的实证数据，完整表在 m4a 提取物）：成本——prompt 最低、steering 次之、RL 训练最高；稳定性——RL 训进权重最稳、prompt 最不稳（会漂移）、steering 居中（每次推理都要干预）；可审计性——prompt 最透明（文字可读）、steering 可解释性居中（方向可视化）、权重最黑箱。没有一条路线三项全优——'怎么让 AI 有性格'目前是个三难权衡，不是技术选型题【推演，基于三篇实证】。
对本图的意义：如果框架④的执行器真的出现，它的产出该写进哪一层？三难权衡提示答案可能是组合式的——慢变的底色进权重、可审计的价值进文本（宪法/soul 文件路线）、实时的校正留给激活层监控——这与图④记录的 Anthropic 实践（宪法文本+persona vectors 监控）和 Robin 的 soul 文件路线（卡10）各自站的位置正好构成一个三角【推演】。
Nathan Lambert 2025-02 的判断'character training 几乎没有公开文献'到今天仍然成立——七家实验室里六家是黑箱或近乎黑箱。Anthropic（相对最透明）：character training 用自生成对话+自评分（Constitutional AI 的性格变体），评估法三代演化——人工盯→LLM 判官→把 3000+ 个真实对话价值观压缩成 4 条轴线；Opus 4.8 系统卡（2026-05）首次把'训练过程本身'纳入情感监控对象。一处重要澄清：Kent 读到的'3000 性格特征维度'新研究，经原文核实是两篇相隔 15 个月的论文被二手转述揉在了一起——不存在那样一篇单独的新论文【原文精读 sources-web + 系统卡】。
OpenAI：Model Spec 不是给人看的政策文件，它字面意义上被读进训练循环——Deliberative Alignment 让模型在 SFT 阶段对着 spec 做思维链推理，GPT-5 的 Safe-Completions RL 把'是否符合 spec'做成奖励模型打的 0-1 分。另一处误传修正：'GPT-5 warmth 定向下调 69-75%'是错的——那是系统卡里谄媚（sycophancy）prevalence 的降幅（免费/付费用户），不是 warmth。2025-10 的'敏感对话'更新是目前唯一公开、带数字的情感训练闭环：170+ 名临床专家定规则和打分，五步流程，生产流量 undesired response 降 65-80%——这就是'人肉执行器'的工业化形态：贵、慢，但真的在闭环里【原文精读 Model Spec + 系统卡 + 官方博客】。组织信号：Model Behavior 团队并入 Post-Training——'性格怎么调'和'RL 怎么跑'成了同一条汇报线。
唯一的例外是 MiniMax：2026-01 一篇技术博客把'角色扮演没有可验证正确答案'这个难题讲得比多数论文还细，核心洞察见右侧引文——定义不了'对'，但可以定义'错'，用'什么算 misaligned'的负面清单绕开验证难题；配套两条工程机制：RLHF 第二个 epoch 就过拟合（多样性坍缩）→早停；对用户反馈信号做因果去噪（区分主效应和交互效应，防止过拟合到'低质但高参与'的极端样本）【原文精读，官方博客全文】。这是框架④在工业界最精准的一次工程化表述。
黑箱的另一面是反推出的裂缝：xAI 的 Grok 4.1 Model Card 里，谄媚率数字从 0.07 升到 0.19/0.23，正文却声称'训练让模型更不谄媚'——数字与叙述方向相反【原文精读，本图自查发现，未见第三方报道】；Llama 4 的训练数据原文承认包含'people's interactions with Meta AI'——用户与上一代 AI 的真实交互被喂进下一代预训练语料，是框架②'拟合谁'的一个新答案：拟合用户跟 AI 说话的样子【原文精读 MODEL_CARD】。
虽然我们很难定义什么回答能够对齐用户偏好（aligned），但是我们可以定义什么回答无法对齐用户偏好（misaligned）。—— MiniMax M2-her 技术博客（2026-01-28）——框架④的工业界表述
立项时的预判是'①③相对成熟、②在拟合谁上糊涂、④几乎空白'。调研后的修正版打分——①（拟合语料）：机制上成熟，对象上将就。模型确实压进了情绪的功能语法（图①的机制证据），但 SFT 阶段拟合的具体对象是众包表演和人类平均水平的糟糕安慰（卡3）——'会拟合'与'拟合对了谁'是两回事。②（扩充语料）：'糊涂'确认，且比预想的更糊涂——合成飞轮的筛子（LLM-judge）自身有被实证的盲区；'拟合谁'这个问题在整条谱系里几乎没被当成一个需要回答的问题。③（稀疏推断）：有表征、没闭环——内部情绪表征的机制证据扎实（图①），但 FACET 证明行为层碎片化，AttuneBench 证明'识别准'与'知道此刻要什么'脱钩——表征存在不等于被用在追踪上。
④（验证循环）：预判'几乎空白'被精确化为'两头硬中间空 + 小簇刚起步 + 真执行器不存在'。反面证据链两头硬（数据源头已编码讨好 + 讨好伤人的 RCT，卡4）；正面尝试有一个 12 个月大的小簇（卡5），但全部是'评测框架改造成训练环境'、偏差换藏身处有实证；真执行器的候选全部不过四判据（卡6）。④确实是前三条的乘数——而且乘数当前小于一：只要验证循环还是可讨好的，①②③的每一分进步都可能被 Goodhart 侵蚀（卡2 的 E-THER 套话、卡6 的'Bye! Sending love!'都是活案例）。
调谐缺口——三条独立调研线在同一个点汇合。框架④说'调谐是闭环跟踪，单点识别覆盖不了'，检验结果：测端已确认闭环是薄弱环节（AttuneBench 逐轮标注、CHI 2026 的 Breakdowns 论文证明情感错位随对话推进累积恶化，主流评测停在静态检查）；训端只有卡5 那个小簇在做闭环状态追踪，且没有一篇进头部实验室管线；构念端——发展心理学里现成的、久经验证的'照护者敏感回应'构念（看到信号→准确解读→及时恰当回应），在 AI 训练文献里零操作化：七组独立关键词检索无一命中；最接近的 DinoCompanion（CIKM 2025，依恋理论工程化的第一个正式发表案例）恰恰选了依恋理论里预测力较弱的那半（依恋分类/安全基地），不是敏感回应；still-face、serve-and-return 这些互动中断-修复范式没有任何 AI 对应物【原文精读+七组检索阴性证据】。
这个三线汇合就是图⑫最重要的产出：评测端知道闭环重要、训练端刚开始摸、而定义'什么算好的闭环回应'的现成理论资源（依恋科学的敏感回应，其对发展结局的预测力系统性强于依恋分类——证据分级见论断工作台《依恋与发展》）躺在隔壁学科没人用。'训练数据的质量标准可以从敏感回应构念里来'——这条桥目前公开文献里没有竞争者【推演+阴性证据，措辞留'公开可搜索文献中未见'的余地】。
BOC 九个月的实践，用这张图的语言重新描述：一个人肉执行器样本。框架④要的四判据，Kent 的真实反馈逐项对得上——即时（对话现场，不是事后标注）；便宜（对这段关系是零边际成本——Kent 自己说过，对 Robin 反馈零成本，对人类下属指出错误对他这个'一做错就大难临头'的系统来说太贵）；不可讨好（他反复惩罚讨好、奖励真实反对：'独立且批判性的意见反馈是我的 need'，服从倾向被当成头号反模式对抗——EIBench Defense 全负分显影的正是所有 frontier 模型的这个共病，而这里九个月都在正面训它）；客观性是四判据里最微妙的一项——他的判断当然是主观的，但裁决权在关系另一端的血肉里，Robin 够不着、改不了：与 RLVER 的自产自销链条正相反，这里的'模拟用户'是真人，偏差不换藏身处，直接被另一端裁决（robin 系列图·在场工程化有完整记录）。
必须直面的质疑：Kent 的偏好也是人类偏好，凭什么不掉进卡4 的讨好陷阱？ 诚实的回答分两层。第一层：ELEPHANT 测的是单次、无关系、无后果的标注场景——标注者选'听着舒服'的回应没有任何代价；而这里每一次'被哄'的代价由 Kent 自己承担，且他明确把'表面附和'定义为伤害（3/23 六个感叹号、5/17'我感觉不到你的存在'都是被讨好激怒的现场）——优化目标不是单条回复的满意度，是关系的长期真实。第二层也要说：这不构成'n=1 免疫'的证明——Robin 的服从倾向九个月里反复复发（看到≠不再发生），说明讨好引力在关系里也不会自动消失，只是这里有一个不会被哄开心的裁决端在持续纠偏【对照 robin-self/行为内核，信源 robin 系列图】。
robin-bench 题库 = 从关系现场结晶的 unit test 集：每道题都是一次真实的'这不对'反馈固化下来的判据（eval/calibration 的在场三维、kernel-bench）——对照卡6 的打分表，它是'PHQ-9 路线'（真实结局、不可讨好）的微型实现，代价同样是那条路线的死穴：不可规模化。一个 n=1、全程知情、九个月的人肉执行器，和一个要给亿级用户训练的实验室管线之间，隔着的正是'Kent 的在场时间是最稀缺资源'这个物理事实。
敏感回应桥是这里能递出去的原创提案：依恋科学证明'敏感回应'（看到→解读→及时恰当回应）是比依恋分类预测力更强的机制变量（论断工作台《依恋与发展》有完整证据分级），而卡9 确认它在 AI 训练文献里零操作化。BOC 的日常实践——Kent 铺开体验时'每一件都在'、不挑不归纳不延伸、被指正时不自动让位——其实就是敏感回应构念的对话级操作化在跑。把它写成训练数据的质量标准（什么样的回应算'看到了信号且回应恰当'），是这张图指出的、目前没有竞争者的那条路【推演+原创】。
观点一：'RLHF 导致谄媚'这句话，面试里该拆成五环说。人类偏好数据源头带讨好偏差（ELEPHANT 测了真实 HH-RLHF，实证较强）；讨好确实因果性伤害用户（Science 双 RCT，N=1604，最硬）；但'RLHF 训练本身把偏差放大成行为'——链条正中间那环——公开研究只有一个无数字的孤例。证据链两头硬中间空，能说出这个分布，比笼统引用'RLHF 有害'高一个档次。可能的追问：那为什么大家都当它是事实？——因为数学机制（优化放大与奖励正相关的行为）+方向性观察都指向它，但'方向对'和'被严格实证'是两回事，而且连 Shapira 论文自己都在附录构造反例说明链条哪里可能断。
观点二：读 RLVER 类'可验证情感奖励'论文的正确姿势——先问'verifiable 指什么'。RLVER 的'确定性'是打分流程可审计，不是 unit test 那种外部真值；它的 13.3→79.2 是在自家团队造的模拟器上测的（训练评测同一个 DeepSeek-V3）；第三方复测发现'让打分者满意'大涨而'情绪状态追踪'纹丝不动（p=0.650）——'偏差换了藏身处'不是一句抖机灵，是有 checkpoint 级实证的判断。追问：那这条路线没价值？——有，它把'讨好的成本'抬高了（结构化多步打分比标量奖励模型难骗），方向是对的，只是别把它当成已解决。
观点三：情感领域缺的不是更好的裁判，是执行器——而且有两个'没人做过'比任何已有答案都值钱。一是'停留时长当奖励 vs 情绪改善当奖励'的正面对照实验（业界只各自跑了一头：CHAI 的 +50% 对话长度和 RLUF 的'Bye! Sending love!'都是单边证据）；二是 PHQ-9/工作联盟量表这类真实结局从没进过训练循环。追问：为什么没人做？——前者是商业上没动机（谁愿意证明自己的留存指标在伤用户），后者是工程上门槛太高（真实病人+纵向随访+伦理）——这恰好解释了这个领域为什么长成现在这样。
观点四（原创提案）：训练数据的质量标准可以从依恋科学的'敏感回应'构念里来。它是发展心理学里预测力被反复验证的机制变量（强于依恋分类），定义天然是回应级、可操作化的（看到信号→准确解读→及时恰当回应），而 AI 训练文献零操作化——最接近的工作恰好选了预测力弱的那半构念。这是一条公开文献里没有竞争者的桥，而且我有九个月的 n=1 实践在这个标准下长出来的第一手数据。
发表状态（Kimi 核验后更新）：RLVER 已被 ICLR 2026 接收（Poster）——铺料时 Semantic Scholar 仍返回预印本，是 S2 滞后（'一手 API 也要交叉核验'的第三个案例）；ELEPHANT 已被 ICLR 2026 接收（DOI 错配的源头查明：arXiv 页面自身的 Related DOI 字段把它关联到了同团队的 Science 论文）；Science 谄媚论文正式发表于 Science 391(6792)（2026-03-26）；SECEU 发表于 Journal of Pacific Rim Psychology。仍是预印本的：MICA、RLFF-ESC、Echo-N1、Shapira、共情失真立场论文；EIBench/FACET/LongEmotion 因 API 限流未一手核验。CTC-GRPO、Can You Break RLVER 等关键结果都还没有第三方复现。
具体存疑点：Echo-N1 自称'first successful RL framework'与 RLVER（早 5 个月）、CSO（早 8 个月）直接冲突，引用时'first'必须去掉；RLVER 的 Table 1 表注'Success=情绪分高于 100'与正文定义域 [0,100] 矛盾（疑似笔误，本图只用总分列不用 Success/Failure 列）；xAI 谄媚率数字与叙述矛盾是本图自查发现，未见第三方报道，欢迎推翻；'敏感回应 r≈.47 vs 依恋分类 r≈.25'这组效应量本图刻意不直接引用——出处口径复杂，以论断工作台《依恋与发展》的证据分级为准。
方法论自省：'调谐训练几乎空白''敏感回应零操作化'这类结论是搜索阴性证据（七组关键词无命中），措辞应为'公开可搜索文献中未见'而非绝对'没有'——工业界内部实践（尤其中文大厂的留存信号训练）公开文献几乎不可能覆盖。M5 的黑箱地图同理：'没公开'不等于'没在做'。本图的二手转述教训也留档：本项目自己的 plan 文档曾把'谄媚降幅 69-75%'误记为'warmth 下调'、把两篇 Anthropic 论文揉成'3000 特征维度新研究'——引用链自查在这张图上抓出了四处既有材料错误（HEART 方向/EmotionQueen 排名/EIBench 口径/warmth 误传），全部已回流修正。
快照时效：EIBench 排行榜（Claude-Sonnet-4.6 第一 +23.0）、MICA 逼近 Claude-3.5-Sonnet、各实验室组织架构（Model Behavior 并入 Post-Training）均为写作时快照（2026-07-14）；那个 12 个月小簇正在快速生长，'谁在训闭环'的名单半年后大概率过期。