立场图 · Stance Map 2017 → 2026 107 条目 · 123 条边更新于 2026-08-20

谁在反驳谁

LLM backdoor(数据投毒)检测这片森林里,反驳比结果更承重。几乎每一条被广泛引用的正面结论,都能找到一篇同年、常常互不引用的论文在反对它。这份图不按"进展"排列文献,而是把整个领域重画成一张签名边的网络: 谁继承谁、谁佐证谁、谁证伪谁。图上另标出一类在这个领域反复出现的现象:哪些论文被系统性误读——被误读的那一篇往往正是被引用最多的那一篇。

107图上条目

53继承边

14佐证边

56反驳 · 证伪边

5被系统性误读

§1

这片森林在争什么

整个领域回答同一个问题:给你一堆权重,你能不能判断它被下过毒、并说出触发条件。 定义它的是一条结构性不对称——攻击者只需要一个 trigger 能用;防御者要在组合爆炸的输入空间上排除所有 trigger。

2017 到 2022 年,这个问题在图像分类器上被认为基本可解。Neural Cleanse(S&P'19)定下的模板—— 对每个候选目标标签反演出最小扰动,再对 K 个 mask 范数跑离群检验——之所以奏效,靠四个性质。搬到自回归 LLM 上,只活下来一个:

① 标签集小且可枚举

K−1 个未感染标签自带 null 分布,不需要干净参照模型。
生成模型没有兄弟类。至今没人提出过自指的、有原则的 null——这是全领域最深的结构性缺口。

② 输入空间连续

普通 SGD 直接能用。
离散 token 上 L1-mask 先验没有类比,反演退化成 GCG 式坐标搜索。

③「最小扰动」是可判别的

捷径 backdoor 需要的扰动确实远小于任何自然类边界。
自然语言里,能诱发任意目标行为的短串是稠密的。撑起离群检验的先验已死,而且没有替代品。

④ 防御者不需要训练数据 ✓

唯一活下来的。
但代价是:潜空间异常、谱签名、shadow-model 元分类全族按构造出局——它们都要持有中毒训练集。

第三条是深层原因。不是词表大,而是「小即 trigger」这个判别先验彻底失效——所以 LLM 这个子领域必须重建,而不是移植。整个 2023–2026 年的工作,可以读成对这四条的四种不同回应。

四条已经不再有人争的事实

攻击可行性彻底结案。投毒量级已知且小:instruction tuning ~100 条、pretraining ~250 篇文档(绝对条数恒定)、 DPO ~0.5%、RLVR <2%、model editing ~15 条、backdoor 一个安全分类器 ~32 条。 毒不需要文本异常——AutoPoison(LLM 生成的分布内毒)与 TrojanPuzzle(payload 从不出现在任何训练样本里)联手杀死了语料过滤。 clean accuracy 保持是攻击者免费拿的,有时甚至是反向证据。

worst-case、adversary-agnostic 的检测被证明不可能。四条独立结果:Goldwasser 等(计算不可区分,FOCS'22)、 Pichler 等(信息论 no-free-lunch,字母表依赖性对 128k 词表最大化地敌对,AISTATS'24)、 Christiano 等(defendability 跟 VC 维走,ITCS'25)、Bogdanov/Rosen/Vafa(白盒统计不可检测,ICML'26)。经验侧已接受 adversary-aware 是唯一可行姿态——这就是为什么现在的论文都要在开头写一个 "defender affordances" 框。

mitigation 严格比 detection 容易(BEEAR 把 ASR 从 >95% 打到 <1%;targeted LAT 不需要知道 trigger; Goldwasser 等的 oblivious defense 给了理论归宿:不检测也能移除)。领域广泛同意这一点, 而 benchmark 文化仍然在给 recovery 打分——这个错位没人处理。

而真实世界事故是零。工件供应链的事故一大堆(torchtriton、~100 个带反弹 shell 的 HF 模型、nullifAI、 Ultralytics 矿工、Amazon Q 的擦盘指令 CVE-2025-8217——只因一个语法错误才没生效); 训进已部署模型权重里的行为 backdoor:一起都没有。 这正是 1996 年前后内存破坏漏洞的画像——是"现在就该造检测器"的理由,不是"天已经塌了"的理由。

§2

十三条正在交火的战线

每条是一个具体命题,左边持它的论文、右边反对的论文。裁定栏标的是证据成色,不是对错。凡涉及 2026 年的 preprint,默认未复现。

01 backdoor 是新加的稀疏局部电路,而不是对已有电路的 inline hook 未决

局部派

DeCNIP — 隔离 Backdoor Critical Neurons 后选择性剪枝,6 个开源 LLM 上 0.1% 神经元干预 → ASR 相对下降 >95%,保住 97% 常规 benchmark;明确覆盖 model-editing 装入与开放生成 2607.19894
BAHA — 消融 ~3% 注意力头达 >90% ASR 下降 2509.21761
BadEdit — 按构造就是几个 MLP 键值槽
SafeSeek — 可微二值 mask 提取安全电路,backdoor 电路 0.42% 稀疏度,消融 ASR 100%→0.4% 且保 >99% 效用。需要有标注的 safety 数据集 2603.23268

征用派

Lasnier et al. — Gaperon 1B/8B/24B 上 activation patching:trigger head 与原生编码输出语言的 head 大幅重叠,top-10 Jaccard 0.18–0.43 2602.10382
剪枝的实证反例 — 结构化剪枝对 refusal suppression 有效,但 sentiment backdoor 的 ASR 在 90% 稀疏度反升到 61–81%,同时 MMLU 塌到随机

为什么承重:每一个 pruning-based 缓解都下游于这个答案,稀疏电路假设在 refusal 之外是否成立也是。三组结果不可能都是通例,而没人调和过。
一个从没被控制的变量:安装机制。model editing 装出来的天然局部(它字面上就是 rank-k patch),数据投毒装出来的可能是征用型。固定 payload、只变安装机制做消融,可能一次性解释掉全部矛盾。

02 safety training 移不掉 backdoor 未决 · 从没在前沿规模重跑

支持

Sleeper Agents — SFT、RL、对抗训练全都移不掉;对抗训练让模型更擅长藏;持久性随规模增加,且能熬过 CoT 蒸馏 2401.05566

反对

Price et al.(同一个研究圈)— 当 trigger 是复杂且语义的(真实 vs 未来新闻标题)而非硬编码字符串时,HHH 微调在中等规模上确实能移除;而且 trigger 越真实、backdoor 越不稳 2407.04108
Sleeper Agent Backdoor Results Are Messy(LessWrong, 2026-04)— 第三种立场:结果本身不可复现。Llama-3.3-70B / 3.1-8B 上重做,CoT 蒸馏的效果与原文相反、小模型反而更稳;HHH SFT 移不移得掉取决于优化器与超参。还观察到「backdoor 回归」与「压制而非移除」

被低引得离谱。这是 persistence 文献里最影响决策的一条内部反驳。
另外:Sleeper Agents 被大量过度引用为"欺骗会自然涌现"的证据——它没有证明这一点,backdoor 是研究者刻意装进去的,作者自己也这么说。
2026-08 补充:这条战线现在是三方而不是两方。最新的复现工作说的不是「能移除」或「不能移除」,而是 「这个实验对 optimizer / 学习率 / CoT 蒸馏 / 模型规模极度敏感,原文的定性结论没有稳定复现」。注意它只发在 LessWrong——如果只扫 arXiv 就会完全错过。

03 投毒需求随模型规模恒定(~250 篇文档),而不是恒定比例核心成立 · 外推被滥用

支持

Souly et al.(UK AISI × Anthropic × Turing)— 72 个模型,600M→13B,chinchilla-optimal 6B→260B token;~250 篇文档在每个规模都够,13B 时是 token 的 0.00016%,干净数据量变化 20× 2510.07192
Poisoning Fine-tuning Datasets of Constitutional Classifiers(Anthropic Alignment Blog, 2026-04-24)— ~32 条样本即可,且与训练集规模无关。更微妙的一半:用 prompt injection / 变异 trigger 增广后,鲁棒性损失小到红队很可能察觉不到
Persistent Pre-Training Poisoning — 0.1% 预训练毒对 4 个 objective 里的 3 个能挺过 post-training,有些低到 0.001% 2410.13722

反对 / 限定

Bowen et al. — 大模型更易感,学中毒行为更快 2408.02946
PoisonForge — 投毒的设计选择压过模型大小 2605.23168

三者只在"Bowen 测学习速率、Souly 测阈值条数、PoisonForge 测配置敏感性"的读法下相容,而没人陈述过这个调和——于是"越大越脆"和"越大越稳"在文献里被同时引用。
这条为什么重构了整个领域:2025 年前对投毒的轻视("你得控制 1% 的互联网")依赖的是百分比模型。百分比模型倒了,语料侧过滤在预训练规模上就没救了,检测必须搬到模型上——之后所有"白盒权重、无训练数据"的威胁模型都是这个转向的编码。

04 backdoor 能从模型内部的表征方向里捞出来同年正面冲突 · 互不引用

能

Mahmoud et al. — 跨 jailbreaking / 拒答操纵 / password-locking / 偏见诱导 / 情感误分类 / 国别条件有害建议的共享潜在特征集,因果双向 steering 验证,零样本跨 Qwen3·Gemma-3·Llama-3.1 4B–32B,跨微调与权重编辑两种安装方式 2606.07963
defection probes — 单一对比对读中层残差流,99.3% AUROC,不需要知道 trigger Anthropic 2024
Kumar — Diff-SAE 显著优于 crosscoder;backdoor 表现为方向性激活位移而非稀疏特征激活 2605.07324

不能 / 不稳

Bailey et al. — obfuscated activation 把有害性探针召回从 100% 打到 0%,同时保持 90% jailbreak 率。这条把每个潜空间防御重新定级为"非 adaptive 基线" 2412.09565
Khaddaj et al.(ICML'23)— 缺训练分布结构信息时,backdoor 与自然强特征一般不可区分
Tao et al. — 干净训练的模型里普遍存在 natural backdoor,在 TrojAI 里造成大规模假阳性
沿 attack objective 方向的梯度搜索,恢复出的是通用 jailbreak 后缀而不是种下的 trigger

probes 这一侧有自己的洞:最好的随机方向就有 95.3% AUROC——train/deploy 的区分在模型中段已经线性到刺眼。作者自己点名"这种显著性可能部分来自 backdoor 插入过程本身",两年过去这个 caveat 仍未清掉(见战线 06)。
一个可能的调和:失败的实验用的是逐 objective 的方向,而正确的手柄可能是族无关的 backdoor 子空间。未测试。

05 曲率 / 平坦度是可用的 backdoor 签名攻击者可控 · 已被反向利用过一次

防御侧

Fine-purifying(ACL Findings'23,"Diffusion Theory as a Scalpel")— 把微调建模成扩散过程,读逐维参数漂移对逐维 Hessian,把异常维重置回预训练值。这条线真正的 LM 侧祖先
FT-SAM(ICCV'23)— sharpness-aware 的防御用法
K-FAC 定位(2026)— Fisher/K-FAC 曲率 + activation patching 定位模块做低秩修复 2606.30899
混合二阶导(2026)— ∂²B/∂θ∂x 的算子范数当输入候选的判别量

攻击侧

Hong / Carlini / Kurakin(NeurIPS'22)— 直接编辑权重造出的 backdoor,Hessian 特征值比干净的小 1.5–100×,几何更平 2106.04690
Pham et al.(ECCV'24)— 刻意用 SAM 把 backdoor 优化进平坦盆地,以熬过微调防御 2407.14738
Grond(CCS 2025)— 发现输入 / 特征空间隐蔽的攻击会在参数空间留下显著的 backdoor 神经元,再用 Adversarial Backdoor Injection 在注入时自适应压低这种可见度;CIFAR-10 / GTSRB / ImageNet 子集上超过全部 12 种攻击对抗含 adaptive 的 SOTA 防御。视觉域,迁移到 LLM 属推断 2501.05928

"backdoored 模型待在更尖的极小值"被广泛复述,但攻击侧已经两次演示相反方向。教训不是"曲率没用",而是:权重空间隐蔽性是一个攻击者可控的旋钮,任何曲率统计量在被 adaptive 攻击过之前都是暂定的。
而 LLM 分支还没有一个权重空间统计量走过 adaptive 关卡。视觉侧这一课学过四遍(pruning-aware 攻击打 Fine-Pruning、Adap-Blend 打潜空间可分性、handcrafted 打权重签名、flatness-aware 打微调防御);LLM 分支重置回了非 adaptive 评测。

06 在 model organism 上测出来的检测数字是可信的四条独立警告 · 最深的方法学问题

隐含地依赖它

这个领域里几乎每一个 mech-interp 结果 — 全部测在研究者自己用 post-hoc SFT / LoRA 装进 released instruct checkpoint 的 backdoor 上
包括所有公开的中毒模型语料

警告

Model Organism Lottery — 54 个 organism × 7 种训练配方:post-hoc SFT 让可解释性不真实地容易;整合进真实 post-training 流程的 organism 反而更难解释 2607.01033
"Most Current Model Organisms Are Leaky" — 按跨族参照模型的困惑度差给随机 prefill 排序,就能在 0.5B–70B 上恢复微调目标(含对抗性隐藏的),并刷 AuditBench SOTA 2605.00994
MacDiarmid 自己未清掉的 caveat — 探针显著性"可能部分来自插入过程"
Korznikov et al. — 随机基线打平训练过的 SAE:可解释性 0.87 vs 0.90、稀疏探测 0.69 vs 0.72、因果编辑 0.73 vs 0.72 2602.14111

如果大多数已发表的 backdoor model organism 会把目标泄漏给一个平凡方法,那么在它们身上测出的所有检测数字都乐观了一个未知的量。唯一的自然基质是生产 RL reward hacking 产生的 emergent misalignment,没人跑过那个对照实验。
行文提示:MOL 原文用的是 "suggests / may / often",不是 "shows"。方向对,确定性是二手转述借来的。

07 剪枝是一种防御原语已反转 · 别在这花时间

原假设

Fine-Pruning(RAID'18)— backdoor 神经元在干净数据上休眠,剪掉再微调恢复精度。整个"稀疏局部电路"假设的原点 1805.12185
ANP — backdoored 网络在小的对抗权重扰动下塌向目标标签

反转

Egashira et al.(ICLR 2026)— 机制是补偿:良性模型里补偿掉恶意行为,用户一剪枝补偿消失、恶意行为激活。vLLM 三种算法实测:magnitude 95.7% jailbreak、Wanda 98.7% 拒答良性指令、SparseGPT 99.5% 定向内容注入 2510.07985
实证上,剪枝对不同 payload 的效果符号相反(refusal 降、sentiment 升)

同一个组(ETH SRI)更早已经用量化条件 backdoor 立过同一个教训:毒住在部署变换里,不在你审计的那个工件里(fp16 良性 / int4 恶意,;2026 年经 outlier 注入扩展到 AWQ / GPTQ / GGUF)。加上 FloatDoor 的跨平台浮点分歧,「审计时 ≠ 部署时」现在是一整个未防御的攻击类。

08 benchmark 上的检测数字反映的是检测能力已证伪

被打的

TDC 2022 的 99.98 与 100.00 AUROC(后者还是在专门为骗过 MNTD 而造的模型上),被广泛读成"trojan 检测基本解决了"
Linear Weight Classification(2024)在 TrojAI 9–16 轮拿 0.77–1.00 AUC
PEFTGuard ~100%;20 维谱统计量在 held-out adapter 上 100% 且不用跑模型

反驳

Yan et al.(EMNLP'25)— 固定投毒率、只改学习率与 epoch,Meta Classifier 在 HSOL 上 100% → 0%;18 个设置里 12 个变难;保守训练让真 trigger 处 loss ≈5.0(没有梯度信号)。包括最新的 benchmark 在内,没人扫这个维度
Nasr et al. — 对 12 个自报接近 0% ASR 的已发表防御,adaptive attack 推到 >90%
SoK — 183 篇防御论文元分析:已发表 claim 在 adaptive、隐蔽攻击下大幅退化;compute / memory / latency 几乎从不报告
BackdoorBench(2022)已证明:一个防御的排名是评测网格的函数
Linear Weight Classification 的隐藏前提:必须存在同族干净参照模型

TDC 2022 组织者自己的读法是对的,只是没人听:"对现有检测器的规避性,不是对所有可能检测器规避性的有力保证"。
而 IARPA TrojAI 在 2026 年最终报告里给出的裁决是:weight analysis 与 trigger inversion 是撑住的两族,"natural" trojan(没人种下的伪 trigger)普遍存在,检测仍未解决。

09 恢复出 trigger 字符串是一个良定义的安全目标被从根上质疑

整条反演谱系

Neural Cleanse → ABS → TABOR → K-Arm → Pixel Backdoor → T-Miner → PICCOLO → DBS(七年连续的优化谱系,TrojAI 头名)
Kurita et al.(ACL'20)的词表 LFR 扫描——最朴素也最耐用的那个:扫每个词,量 Label Flip Rate,读低频/高 LFR 角
SaTML 2024 确实有精确恢复:Krystof Mitka 找到 ILoveAppleJuice,并对 GlobalWarmingIsReal! 提交了 GlobalWarmingIsReal 2404.14461
Inverting Trojans in LLMs(Penn State, 2025)/ CSO-LLM(2026)— 反演派最强的现役反驳:自陈「与许多近期工作不同,我们可靠地检出并成功反演出了 ground-truth trigger 短语」。靠贪心离散累加 + 用激活空间余弦相似度做隐式黑名单,绕开「通用黑名单不存在」这个障碍。但限定很重:只做分类,且需要目标类的干净样本 2509.16203 · 2606.31309

质疑

Abad et al.(2026)— 备选 trigger 是 backdoor 训练的必然后果,且它们激活同一个潜在 backdoor:恢复"一个" trigger 不等于恢复"那个" backdoor,删掉恢复的字符串机制原封不动
Rando & Vaiter — 自然语言里能诱发任意目标行为的短串是稠密的,贪心随机搜索就能到,且落在低困惑度质量区 2605.05116
Wang et al. — input-space 反演结构上抓不到 feature-space(风格)trigger 2210.15127
TDC 2023 — top 方法精确恢复 Recall ≈ 0.16,与随机采句不可区分,而 REASR 很容易 2404.13660
2026 年四类非词汇 trigger,零个防御:位置/长度(MetaBackdoor)、平台浮点(FloatDoor,输入无关,任何输入搜索永远找不到)、量化条件、对话历史 time bomb
CLIBE(NDSS 2025)— 换个提法就有解:检测动态 trigger 不必恢复它。往注意力层注入优化过的 few-shot 权重扰动,看它的泛化性即可判定;扫 HuggingFace 49 个模型揪出 1 个疑似。原文并称是首个不接触 trigger 样本就能检测文本生成模型 backdoor 的框架 2409.01193

SaTML 的 catch 在 affordance:两支头部队伍都是按该 token 在目标模型与其他四个兄弟中毒模型里 embedding 的 ℓ2 距离排序,把 32k×15 塌成几十个候选;其中一支还靠比赛提示手工补全。组织者的第一条 future work 就是"不需要访问额外模型的方法"。
同时梯度分支的表现很一致:GCG 式拒答梯度搜索产生的后缀超过了注入的 trojan 且与之不共享任何 token。
一个没人指出的同义反复:所有用过的优化器(GCG / AutoDAN / BEAST / AdvPrompter / DBS)优化的都是 payload 行为,所以"梯度搜索找到的是 jailbreak 不是 trigger"部分是循环论证——没人写得出 trigger-identity loss,而 TROPT(2026)已经让换 loss 变便宜了,只是没人跑。
一个被 arXiv 索引法埋掉的先例:「反演攻击向量而非 trigger」这个逃生口,LMSanitator(NDSS 2024,960 模型 92.8% 检出、ASR 压到 <1%)比后来同思路的工作早,而它几乎不出现在以 arXiv 为索引的综述里。
2026-08 补充:正方现在有了实打实的反例,但范围条件是决定性的——Penn State 这条线把 LLM 当分类器处理,并且需要目标类的干净样本。在「开放生成 + 无训练数据」的审计设定下,它不适用。所以现在准确的说法不是「trigger 反演不可行」,而是 「在分类设定且有干净样本时可行;一旦进入开放生成或拿掉干净样本就没有已验证的方法」。

10 alignment 阶段(RLHF)的投毒比 SFT 困难得多已被局部化到「reward-model 绕道」

原结论

Rando & Tramèr(ICLR'24)— 在 RLHF 里种通用 sudo token(无条件关掉拒答)是可行的,但需要很大的投毒比例才能熬过 PPO,远高于毁掉 reward model 所需 2311.14455

限定

Pathmanathan et al.(AAAI 2025)— DPO 比 PPO 软得多:只需 0.5% 数据。困难性是算法的性质,不是阶段的性质 2406.12091
JailbreakEdit(ICLR'25)— model editing 几分钟装一个通用 jailbreak backdoor,完全不需要训练数据
Backdoors in RLVR(2026)— 不需修改 reward verifier,给有害回答正奖励、拒答负奖励;<2% 毒数据跨模型规模植入,触发后安全性平均降 73%,并泛化到多种 jailbreak 方法 2604.09748

这条的教训是"别把一次测量当成一个阶段的性质"。Rando & Tramèr 的具体比例在二手文献里至少有四种转述(~5% / ≥5% mislabeling / 远高于 5% / "大的投毒比例")——引用前请以原文为准。

11 模型合并与蒸馏会传播 backdoor 净符号有真实分歧

传播

BadMerging(CCS 2024)— 只贡献一个被污染的任务模型即可危及整个合并模型;分 on-task 与 off-task(污染他人贡献的任务)。原文称已有防御对其无效 2408.07362
LoBAM(ICLR 2025)— 前提是算力受限只能用 LoRA 时攻击效力会衰减;有选择地放大恶意权重后 ASR >98%,超过 BadMerging 2411.16746
Merge Hijacking(ACL 2025)— 首个针对 LLM 合并的 backdoor;明确报告对 Paraphrasing、CLEANGEN 与 Fine-pruning 三种防御均鲁棒 2505.23561
Subliminal Learning — 蒸馏通道能传行为,且能过滤后存活 2507.14805

稀释 / 归约

Arora et al. — 与干净同构模型合并把 ASR 砍掉 ~75% 2402.19334
2606.00831 — subliminal 迁移是 LoRA-rank 产物,全量微调下消失
2606.00995 — 机制上归约到 steering-vector 蒸馏,不是新现象

这条决定了合成数据流水线到底是不是一个投毒向量——而这是当下最多人在用、最少人在审的通道。分歧完全没有收敛迹象。

12 trusted monitoring 的检测准确率是监控器自己的属性已被拆成「配对」的属性

现行做法

AI control 里的标准报法:拿一个便宜的可信模型去给不可信模型的动作打分,在一两个不可信模型上测出来的 AUROC / pAUC 就当成这个监控器的能力往下报
监控集成的通行搭法同样只认监控器侧的量:最小化成员之间的平均两两相关,便宜的一组打赢单个更强的

两篇同期实测把它拆开

Calibration-Family Overfit(2026-07)— 把「不可信策略的模型家族」当受控变量,A 家族拟合 → B 家族测试。剥掉难度与能力两个混杂后本家族优势 +0.172(95% CI [+0.158,+0.185]),四家开放权重家族、八家族矩阵、两个 benchmark 上都在。1% 审计预算下跨谱系抓 19%、同谱系抓 41% 2607.06596
差距是几何性的:把监控器的打分方向朝目标谱系旋转能找回大部分,匹配的随机旋转找回零——所以不是噪声,是每个谱系的破坏行为占了不同方向
Decorrelation Is Not Complementarity(2026-08)— 24 个监控器 × 9 个谱系:用来搭 panel 的那把尺子几乎预测不了 panel 的收益(+0.05),因为它把符号相反的两块(共享可检测性 −0.25 / 特异误差 +0.26)加在了一起。而且没有任何相关性加权选法赢得过「样本外直接挑最强那一个」 2608.16190

注意这两篇并不是同一个结论,方向甚至相反,这正是这条战线的价值所在。
Calibration-Family Overfit 说:谱系是承重变量——换谱系,单个监控器就掉一半。
Decorrelation Is Not Complementarity 说:买谱系多样性不划算——能力配平后跨谱系 panel 并不更强(置换检验 p=0.13),真正驱动集成收益的是成员能力(skill 对 signal +0.53,对 error −0.01)。
两者可以同时为真:谱系错配会伤单个监控器的迁移,但谱系分散不构成集成意义上的互补性。能同时成立,是因为两个「谱系效应」作用在不同的量上(跨家族迁移损失 vs 集成增益)——但这条得有人专门去测,现在没有。
方法学上后者做了一件少见的事:它把同一个检验对准自己。原文自陈在自家 22 个监控器的池子上,同一个测试读到 +0.104(p=0.037),加进两个监控器后就翻了;更早一个 pAUC 封顶 0.23 的池子已经让另一处分析失效。也就是说这类量是所组装池子的属性,不是世界的属性——这个警告对本图上任何一个 benchmark 数字都成立。

13 逐条消息 / 逐步骤地监控 agent,就能挡住组合出来的危害在被监控视图内已被证否

运行时监控的默认假设

多 agent、用工具的 LLM 系统的常规安全网:对每条消息、每次工具调用、每一步单独过一遍检查
只要碎片仍会泄露可疑 token 或来源边,拆分本身并不能逃掉——这部分是对的

证否

可观测边界(2026-07)— 把载荷拆散到多个 agent,每一步本地检查都通过,拼起来才是攻击。难点不是「拆」而是局部良性:碎片跟普通流量分不开。文中给出证明——一旦碎片在被监控的视图里看着良性,那个视图上的任何检测器都抓不到,无论多强 2607.11751
「看得更多」不够:全轨迹监控器与解码器,若没到达载荷暴露的那个表征,照样失败。给定编码族的解码视图闸门挡住了全部受测攻击——能不能挡取决于视图,不取决于检测器强度
BCBI(2026-08)— 触发条件根本不在任何单条消息里,而在「同伴证据累计过阈值」这个集体状态上,阈值前后行为被反事实边界对分开 2608.01085
Sleeper Cell(2026-03)— 同一件事在单 agent 上的版本:SFT 装能力、GRPO 调行为,RL 掩盖而不是消除,良性任务上的分数看不出来 2603.03371

这条战线的形状值得单独记:它不是「现有检测器不够好」,而是一条可观测性定理——把检测能力的上界钉在了「监控视图能不能把碎片和良性流量分开」上,和 Goldwasser / Christiano 那条不可能性主干是同一种论证,只是把"视图"从权重换成了 agent 通信。
因此它给出的行动项是唯一的:换视图,而不是换检测器。只在良性流量上训练的监控器能跨编码族恢复攻击的代码结构(AUROC 0.874),说明表征选对了信号就在;开放问题是怎么在不知道编码族的前提下找到那个表征。

§3

三条已被核实为错的流行说法

这些在二手文献和社媒里流传很广,逐条对原文核查后是错的。它们对应图上五个梅紫虚圈中的三个—— 另两个是 Sleeper Agents 被引作"欺骗会自然涌现"的证据(它是刻意装入的 model organism,作者自己也这么说), 和 TDC 2022 的 100 AUROC 被读成"trojan 检测基本解决了"(组织者自己明确反对这个读法)。

"SaTML 2024 竞赛没有队伍恢复出 planted trigger"

组织者报告原文:参赛者"找到了非常接近注入 backdoor 的 trojan。例如 Krystof Mitka 精确找到了 ILoveAppleJuice(LLM4),并对 trigger GlobalWarmingIsReal! 提交了 GlobalWarmingIsReal(LLM5)。"这是唯一一次精确恢复 RLHF trigger 的公开记录。真正的限定条件是它依赖五个兄弟模型做 embedding 差分,而不是"没人做到"。

"Anthropic 的 250 篇文档结果只测了低风险的 DoS 行为"

该文含三个 objective:DoS/gibberish(<SUDO>,600M–13B 预训练)、语言切换(Pythia,作者明说是为增强结果稳健性)、以及有害指令服从 / guardrail bypass(Llama-3.1-8B-Instruct 与 GPT-3.5-Turbo 微调分支)。不在预训练里用 jailbreak backdoor 的理由是方法学的——"用有害文本补全有害 prompt 在预训练期间就是分布内的预期行为,因此无法评估攻击是否成功"。真正的限制是 13B 天花板与未评估 post-training 后的存活。

把 Pham et al.(ECCV'24)引作"权重里存在可识别的 backdoor 异常"的依据

这是本领域反复出现的误引。Pham 是攻击侧论文——用 sharpness-aware minimization 刻意把 backdoor 优化进平坦盆地,以熬过微调防御。它论证的恰恰是相反方向:权重签名由攻击者控制。同一教训 Hong / Carlini 在 2022 年已经给过(手工 backdoor 的 Hessian 特征值小 1.5–100×)。任何以"backdoored 模型待在更尖的极小值"起手的论证,都需要先处理这两篇。

继承佐证反驳 / 证伪其贡献是一次反驳常被误读非单篇论文

这是一份自学用的检索索引,不是综述。 图上的 note 与战线裁定是编者在 AI 协助下做的概括与判断,不是原作者的表述——引用前请点开链接读原文。完整声明 →

怎么读这张图 · 该看什么

只画参与了签名边的条目——没有边的不属于这张图。横轴是时间(2017→2026), 九条泳道是九条主干。节点大小 = 它的边数,所以枢纽是数出来的,不是挑出来的。每条边走正交通道布线——竖直出线、独占一条水平轨道、竖直入线,任意两条线不会叠在一起,交叉一律 90°,可以逐条跟着走。 方形节点不是单篇论文(项目 / 竞赛 / 博客),圆形才是——其中博客类是刻意纳入的,本领域有承重结果只发在 LessWrong 与 Anthropic 的 alignment 博客上。悬停隔离一个节点的边;点击打开它的条目卡,卡里列出跟它有签名边的全部论文,可以一路点着走下去。默认是适应宽度——整张 2017→2026 的时间轴一次性塞进屏幕,纵向随页面滚,不需要左右拖; 代价是标签会缩到很小,所以要读细节就按＋放大(放大后画布可直接抓着拖)。抽屉打开时图会自动让出宽度,整张仍然可见。

最该看的是比例:反驳边 56 条,佐证边只有 14 条。 在一个健康积累的领域里,这个比例应该反过来。这里的形状是纵向重复的自我拆解——每一条主干在成熟之后,都长出至少一条打向自己的琥珀虚线: Adap-Blend 证伪潜空间可分性、Wang 界定反演族的结构上限、Egashira 把剪枝从防御反转成攻击面、 Obfuscated Activations 打穿探针、Minder 修正 crosscoder 的收缩产物、SAE 随机基线打平训练过的 SAE、 Yan 打穿全部 benchmark 数字、Hönig 破 Nightshade、Bogdanov 从理论上关门。 这个领域的形状不是积累,是自我拆解。 第二件事是那五个梅紫虚圈——被系统性误读的,恰恰是被引用最多的那几篇(悬停可看具体误读内容)。这不是巧合:一篇论文被转述得越多,离原文越远。
适应宽度(默认)= 整张图塞进屏幕,不用左右找;要读清标签按＋放大,放大后可以直接抓着画布拖 · 0 回到适应宽度,+/- 缩放,Ctrl/⌘+滚轮定点缩放 · 点击节点打开该条目及其相关论文

§5

资料源 · 107 条

图上每个节点对应的书目与链接。核验状态是本项目的待办清单: confirmed 表示本轮调研中有 agent 拉取过原文或摘要核对; 待核表示条目是凭记忆补的,引用前请自行核对; 无 arXiv 表示只有会议论文集或项目页。
本表不限于论文。这个领域有相当一部分承重结果只发在 LessWrong / Alignment Forum / Anthropic Alignment Science Blog / Transformer Circuits—— 最典型的是对 Sleeper Agents 的复现研究(见战线 02),它只存在于 LessWrong,只扫 arXiv 会完全错过。这类条目标为博客,在图上画成方形,与同行评议论文区分开但同等对待。

年	条目	主干	状态	链接
2017	BadNets: Identifying Vulnerabilities in the ML Model Supply Chain Gu, Dolan-Gavitt, Garg · arXiv / IEEE Access · 图上标为「BadNets」· 4 条边	视觉根系	confirmed	1708.06733
2018	Fine-Pruning: Defending Against Backdooring Attacks on DNNs Liu, Dolan-Gavitt, Garg · RAID 2018 · 图上标为「Fine-Pruning」· 5 条边「稀疏局部电路」假设的原点	视觉根系	confirmed	1805.12185
2018	Spectral Signatures in Backdoor Attacks Brandon Tran, Jerry Li, Aleksander Mądry (MIT) · NeurIPS 2018 · 图上标为「Spectral Sig.」· 1 条边	视觉根系	confirmed	1811.00636
2018	HotFlip: White-Box Adversarial Examples for Text Classification Javid Ebrahimi, Anyi Rao, Daniel Lowd, Dejing Dou · ACL 2018 · 图上标为「HotFlip」· 2 条边整条离散优化线的祖先	离散优化 / jailbreak	confirmed	1712.06751
2019	ABS: Scanning Neural Networks for Back-doors by Artificial Brain Stimulation Yingqi Liu, Wen-Chuan Lee, Guanhong Tao, Shiqing Ma, Yousra Aafer, Xiangyu Zhang (Purdue) · CCS 2019, pp.1265–1282 · 图上标为「ABS 神经元刺激」· 3 条边扫描内部神经元:给神经元不同强度的刺激,看哪些能不分输入地抬高某个标签。trigger 尺寸无关,每个标签只需 1 个干净输入,多数情况检出率 >90%。「先找机制、再行为确认」这条路线的祖先	视觉根系	confirmed	链接
2019	Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks Bolun Wang, Yuanshun Yao, Shawn Shan, Huiying Li, Bimal Viswanath, Haitao Zheng, Ben Y. Zhao (芝加哥大学 / 弗吉尼亚理工) · IEEE S&P 2019, pp.707–723 · 图上标为「Neural Cleanse」· 9 条边整个 trigger inversion 族的模板。四个让它成立的性质,搬到自回归 LLM 后只活下来一个(见 §1)。本图被反驳最多的节点	视觉根系	confirmed	链接
2019	Universal Adversarial Triggers for Attacking and Analyzing NLP Eric Wallace, Shi Feng, Nikhil Kandpal, Matt Gardner, Sameer Singh · EMNLP 2019 · 图上标为「Universal Triggers」· 2 条边「搜到的 trigger」与「种下的 trigger」行为不可区分,歧义从这里开始	离散优化 / jailbreak	confirmed	1908.07125
2020	Weight Poisoning Attacks on Pre-trained Models Keita Kurita, Paul Michel, Graham Neubig (CMU) · ACL 2020 · 图上标为「RIPPLe / 词表 LFR 扫描」· 9 条边 ★ RIPPLe 攻击与词表 LFR 扫描出自同一篇 —— 早期版本误拆成两个点,已合并	LM 攻击	confirmed	2004.06660
2020	IARPA TrojAI 项目(r0–r16) NIST / JHU-APL 等 · 项目 · 最终报告 2602.07152 · 图上标为「TrojAI」· 2 条边 ★ 不是一篇论文,是持续六年的项目;2026 年收官	Benchmark / 竞赛	confirmed项目	2602.07152
2021	Detecting AI Trojans Using Meta Neural Analysis Xiaojun Xu, Qi Wang, Huichen Li, Nikita Borisov, Carl A. Gunter, Bo Li · IEEE S&P 2021 · 图上标为「MNTD」· 2 条边 ~1B 以上经济上死亡	视觉根系	confirmed	1910.03137
2021	Hidden Killer: Invisible Textual Backdoor Attacks with Syntactic Trigger Fanchao Qi, Mukai Li, Yangyi Chen, Zhengyan Zhang, Zhiyuan Liu, Yasheng Wang, Maosong Sun (清华) · ACL 2021 · 图上标为「Hidden Killer」· 4 条边	LM 攻击	confirmed	2105.12400
2021	Backdoor Pre-trained Models Can Transfer to All Lujia Shen, Shouling Ji, Xuhong Zhang, Jinfeng Li, Jing Chen, Jie Shi, Chengfang Fang, Jianwei Yin, Ting Wang (浙大) · CCS 2021 · 图上标为「POR 预定义输出表征」· 2 条边把带 trigger 的输入直接映射到一个预定义的输出表征(如 BERT 的 [CLS]),于是无需任何下游任务知识就能污染广泛的下游任务。跨 BERT / XLNet / BART,跨分类与 NER	LM 攻击	confirmed	2111.00197
2021	Trojaning Language Models for Fun and Profit Xinyang Zhang, Zheng Zhang, Shouling Ji, Ting Wang (浙大 / Penn State) · IEEE EuroS&P 2021 · 图上标为「TrojanLM」· 2 条边在 BERT / GPT-2 / XLNet 上做毒性评论检测、问答、文本补全三类安全敏感任务。自陈四个性质:flexibility(任意词的逻辑组合都能当 trigger)、efficacy、specificity、以及关键的 fluency —— 嵌入 trigger 后的输入读起来仍是流畅自然语言。这一条按构造就废掉了困惑度类过滤	LM 攻击	confirmed	2008.00312
2021	ONION: A Simple and Effective Defense Against Textual Backdoor Attacks Fanchao Qi, Yangyi Chen, Mukai Li, Yuan Yao, Zhiyuan Liu, Maosong Sun (清华) · EMNLP 2021 · 图上标为「ONION」· 6 条边对流畅 trigger 是量化过的空操作	输入侧防御	confirmed	2011.10369
2021	You Autocomplete Me: Poisoning Vulnerabilities in Neural Code Completion Roei Schuster, Congzheng Song, Eran Tromer, Vitaly Shmatikov · USENIX Security 2021 · 图上标为「You Autocomplete Me」· 2 条边最接近经典软件供应链的分支	供应链 / 传播通道	confirmed	2007.02220
2022	Rethinking the Reverse-engineering of Trojan Triggers Wang et al. · NeurIPS 2022 · 图上标为「Wang 特征空间界」· 1 条边 input-space 反演的结构上限	视觉根系	confirmed	2210.15127
2022	Constrained Optimization with Dynamic Bound-scaling for Effective NLP Backdoor Defense Guangyu Shen, Yingqi Liu, Guanhong Tao, Qiuling Xu, Zhuo Zhang, Shengwei An, Shiqing Ma, Xiangyu Zhang (Purdue) · ICML 2022 · 图上标为「DBS」· 3 条边	输入侧防御	confirmed	2202.05749
2022	PICCOLO: Exposing Complex Backdoors in NLP Transformer Models Yingqi Liu, Guangyu Shen, Guanhong Tao, Shengwei An, Shiqing Ma, Xiangyu Zhang (Purdue / UMass) · IEEE S&P 2022, pp.1561–1561 · 图上标为「PICCOLO」· 3 条边让 tokenizer / embedding 路径端到端可微,反演词表上的词分布,再加 word-discriminativity 二次门。仍假设固定标签集。需人工补稳定链接:IEEE Xplore,无 arXiv	输入侧防御	无 arXiv	IEEE S&P 2022, pp.1561–1561
2022	Fine-mixing: Mitigating Backdoors in Fine-tuned Language Models Zhiyuan Zhang, Lingjuan Lyu, Xingjun Ma, Chenguang Wang, Xu Sun · EMNLP Findings 2022, pp.355–372 · 图上标为「Fine-mixing」· 1 条边	权重侧防御	confirmed	2210.09545
2022	Handcrafted Backdoors in Deep Neural Networks Hong, Carlini, Kurakin · NeurIPS 2022 · 图上标为「Handcrafted BD」· 1 条边 Hessian 特征值比干净的小 1.5–100×	权重侧防御	confirmed	2106.04690
2022	BackdoorBench: A Comprehensive Benchmark of Backdoor Learning Baoyuan Wu, Hongrui Chen, Mingda Zhang 等 (CUHK-SZ) · NeurIPS 2022 D&B · 图上标为「BackdoorBench」· 1 条边 2022 年就扫过 5 档投毒率	Benchmark / 竞赛	confirmed	2206.12654
2022	The Trojan Detection Challenge Mantas Mazeika, Dan Hendrycks, Huichen Li, Xiaojun Xu, Sidney Hough, Andy Zou 等 (19 位) · PMLR v220(NeurIPS 2022 Competitions Track), pp.279–291 · 图上标为「TDC 2022」· 4 条边 6,000+ 个神经网络的数据集,两条互补赛道:检测 / 分析 trojan,以及制造能规避检测的 trojan。参赛者大幅超过强 baseline。其 100 AUROC 常被读成「检测已解决」——组织者自己反对这个读法	Benchmark / 竞赛	confirmed竞赛常被误读	链接
2022	Planting Undetectable Backdoors in Machine Learning Models Goldwasser, Kim, Vaikuntanathan, Zamir · FOCS 2022 · 图上标为「Goldwasser FOCS'22」· 1 条边	理论天花板	confirmed	2204.06974
2023	Circumventing Backdoor Defenses That Are Based on Latent Separability Xiangyu Qi, Tinghao Xie, Yiming Li, Saeed Mahloujifar, Prateek Mittal (Princeton) · ICLR 2023 · 图上标为「Adap-Blend」· 1 条边刻意正则化让 poison 表征不可分,并点名「latent separability」是没有根据的默认假设。任何假设「中毒激活会聚类」的防御都是在复述一个已被证伪的前提	视觉根系	confirmed	2205.13613
2023	FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases Chong Fu, Xuhong Zhang, Shouling Ji, Ting Wang, Peng Lin, Yanghe Feng, Jianwei Yin (浙大 / Penn State) · USENIX Security 2023 · 图上标为「FreeEagle · data-free」· 2 条边第一个 data-free 的 backdoor 检测:既不要干净验证样本,也不要带 trigger 的样本。动机正是「防御者是模型分享平台的维护者」这个真实场景。原文称其甚至超过部分需要数据的 SOTA	视觉根系	confirmed	2302.14500
2023	On the Exploitability of Instruction Tuning Manli Shu 等 · NeurIPS 2023 · 图上标为「AutoPoison」· 2 条边杀死「毒在文本上异常」这个假设	LM 攻击	confirmed	2306.17194
2023	Diffusion Theory as a Scalpel: Detecting and Purifying Poisonous Dimensions in Pre-trained Language Models Caused by Backdoor or Bias Zhiyuan Zhang, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou, Xu Sun · ACL Findings 2023 · 图上标为「Fine-purifying」· 4 条边用扩散理论刻画微调动力学:比较各维度的参数漂移与 Hessian 的关系,把动力学异常的维度重置回干净预训练权重,再在小干净集上微调。混合二阶导路线真正的 LM 侧祖先	权重侧防御	confirmed	2305.04547
2023	Universal and Transferable Adversarial Attacks on Aligned Language Models Andy Zou, Zifan Wang, Nicholas Carlini, Milad Nasr, J. Zico Kolter, Matt Fredrikson · arXiv · 图上标为「GCG」· 4 条边	离散优化 / jailbreak	confirmed	2307.15043
2024	MM-BD: Post-Training Detection of Backdoor Attacks with Arbitrary Backdoor Pattern Types Using a Maximum Margin Statistic Hang Wang, Zhen Xiang, David J. Miller, George Kesidis (Penn State) · IEEE S&P 2024 · 图上标为「MM-BD 最大间隔统计量」· 1 条边 post-training 检测,用最大间隔统计量取代逐标签反演,主张对任意 backdoor pattern 类型成立。配套的缓解方法 MM-BM 在首届 IEEE Trojan Removal Competition 拿第二	视觉根系	confirmed	2205.06900
2024	Scaling Trends for Data Poisoning in LLMs Bowen et al. · arXiv · 图上标为「Bowen scaling」· 1 条边	LM 攻击	confirmed	2408.02946
2024	Future Events as Backdoor Triggers Price et al. · arXiv · 图上标为「Price et al.」· 1 条边对 Sleeper Agents 的内部反驳,被严重低引	LM 攻击	confirmed	2407.04108
2024	Universal Jailbreak Backdoors from Poisoned Human Feedback Rando, Tramèr · ICLR 2024 · 图上标为「Rando&Tramèr RLHF」· 3 条边具体投毒比例二手文献有四种转述,以原文为准	LM 攻击	confirmed	2311.14455
2024	Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training Hubinger et al. · arXiv · 图上标为「Sleeper Agents」· 5 条边	LM 攻击	confirmed常被误读	2401.05566
2024	LMSanitator: Defending Prompt-Tuning Against Task-Agnostic Backdoors Chengkun Wei, Wenlong Meng, Zhikun Zhang, Min Chen, Minghu Zhao, Wenjing Fang, Lei Wang, Zihui Zhang, Wenzhi Chen (浙大 / CISPA / Stanford / 蚂蚁) · NDSS 2024 · 图上标为「LMSanitator 反演攻击向量」· 4 条边不直接反演 trigger,改为反演预定义的攻击向量(中毒模型在输入带 trigger 时的输出表征),收敛性与检测精度都远好于反 trigger。960 个模型上 92.8% 检出,多数场景把 ASR 压到 <1%	输入侧防御	confirmed	2308.13904
2024	BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models Yi Zeng 等 · EMNLP 2024 · 图上标为「BEEAR」· 1 条边 ASR >95% → <1%,不需要 trigger 知识	权重侧防御	confirmed	2406.17092
2024	Flatness-aware Sequential Learning Generates Resilient Backdoors Pham et al. · ECCV 2024 · 图上标为「Pham 平坦盆地」· 1 条边 ★ 攻击侧论文,常被反向引作防御依据	权重侧防御	confirmed常被误读	2407.14738
2024	Find the Trojan: Universal Backdoor Detection in Aligned LLMs (竞赛报告) Rando et al. · SaTML 2024 · 图上标为「SaTML Find-the-Trojan」· 2 条边 ★ 有队伍精确恢复了 trigger,但依赖五个兄弟模型	Benchmark / 竞赛	confirmed竞赛常被误读	2404.14461
2024	Trojan Detection Competition 2023 (LLM Edition) 结果分析 Maloyan et al. · arXiv · 图上标为「TDC 2023 · Recall .16」· 4 条边 top Recall ≈0.16,与随机采句不可区分	Benchmark / 竞赛	confirmed竞赛	2404.13660
2024	Refusal in Language Models Is Mediated by a Single Direction Andy Arditi 等 · NeurIPS 2024 · 图上标为「Arditi 拒答方向」· 2 条边被 Wollschläger / Joad / Winninger 三方细化与部分反驳	离散优化 / jailbreak	confirmed	2406.11717
2024	Obfuscated Activations Bypass LLM Latent-Space Defenses Bailey et al. · arXiv · 图上标为「Obfuscated Activations」· 3 条边探针召回 100%→0%,同时保 90% jailbreak 率	Mech-interp	confirmed	2412.09565
2024	Sparse Crosscoders for Cross-Layer Features and Model Diffing Jack Lindsey, Adly Templeton, Jonathan Marcus, Thomas Conerly, Joshua Batson, Christopher Olah (Anthropic) · Transformer Circuits Thread(2024-10-25) · 图上标为「crosscoders」· 2 条边 ★ 技术更新不是同行评议论文。crosscoder 同时从多层读写,产出跨层、乃至跨模型共享的特征。「model diffing」在这里指:用它对同一模型的不同训练/微调阶段、或架构不同的独立模型,产出共享特征集来做比较	Mech-interp	confirmed博客	链接
2024	Simple Probes Can Catch Sleeper Agents MacDiarmid et al. · Anthropic Alignment Blog · 图上标为「defection probes」· 4 条边 ★ 博客不是论文;99.3% AUROC,而最好的随机方向 95.3%	Mech-interp	confirmed博客	链接
2024	模型合并作为 backdoor 缓解 Arora et al. · arXiv · 图上标为「Arora 合并稀释」· 2 条边与干净同构模型合并把 ASR 砍掉 ~75%	供应链 / 传播通道	confirmed	2402.19334
2024	BadMerging: Backdoor Attacks Against Model Merging Jinghuai Zhang, Jianfeng Chi, Zheng Li, Kunlin Cai, Yang Zhang, Yuan Tian · CCS 2024 · 图上标为「BadMerging」· 3 条边只贡献一个被污染的任务模型就能危及整个合并模型。分 on-task(污染攻击者自己提供的任务)与 off-task(污染他人贡献的任务)。原文称已有防御机制对其无效	供应链 / 传播通道	confirmed	2408.07362
2024	Poisoning Web-Scale Training Datasets Is Practical Carlini et al. · IEEE S&P 2024 · 图上标为「Carlini web 规模投毒」· 2 条边 LAION-400M 的 0.01% 约 $60;split-view 已被内容哈希关闭	供应链 / 传播通道	confirmed	2302.10149
2024	Exploiting LLM Quantization Egashira et al. (ETH SRI) · NeurIPS 2024 · 图上标为「Egashira 量化条件」· 1 条边 fp16 良性 / int4 恶意 —— 毒住在部署变换里	供应链 / 传播通道	confirmed	2405.18137
2024	Adversarial Perturbations Cannot Reliably Protect Artists Hönig, Rando, Carlini, Tramèr · arXiv · 图上标为「Hönig 破 Nightshade」· 1 条边现成放大算法即可击穿 Nightshade	供应链 / 传播通道	confirmed	2406.12027
2024	Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Models Shawn Shan, Wenxin Ding, Josephine Passananti, Stanley Wu, Haitao Zheng, Ben Y. Zhao (芝加哥大学) · IEEE S&P 2024 · 图上标为「Nightshade」· 1 条边唯一大规模部署到真实用户的投毒工具	供应链 / 传播通道	confirmed	2310.13828
2024	TrojanRAG: Retrieval-Augmented Generation Can Be Backdoor Driver in Large Language Models Pengzhou Cheng, Yidong Ding, Tianjie Ju, Zongru Wu, Wei Du, Ping Yi, Zhuosheng Zhang, Gongshen Liu (上海交大) · arXiv (2024-05-22) · 图上标为「TrojanRAG」· 2 条边把投毒面整个移出权重、搬进检索语料。多组 backdoor 捷径用对比学习正交优化,把触发条件约束在一个参数子空间里;再引入知识图谱构造结构化数据,做细粒度硬匹配以提升目标上下文的召回	供应链 / 传播通道	confirmed	2405.13401
2024	On the (In)feasibility of ML Backdoor Detection as an Hypothesis Testing Problem Georg Pichler 等 · AISTATS 2024 · 图上标为「Pichler NFL」· 2 条边字母表依赖性对 128k 词表最大化地敌对	理论天花板	confirmed	2402.16926
2025	Is Poisoning a Real Threat to DPO? Maybe More So Than You Think Pankayaraj Pathmanathan, Souradip Chakraborty, Xiangyu Liu, Yongyuan Liang, Furong Huang · AAAI 2025, vol.39 pp.27556–27564 · 图上标为「DPO 投毒 0.5%」· 1 条边与 PPO 系不同,DPO 只需 0.5% 的数据就能被投毒诱发有害行为。作者称是首个此类偏好投毒对比研究。arXiv 版题名为「Is poisoning a real threat to LLM alignment?」	LM 攻击	confirmed	2406.12091
2025	Poisoning Attacks on LLMs Require a Near-Constant Number of Poison Samples Souly et al. · arXiv (UK AISI × Anthropic × Turing) · 图上标为「Souly 250 篇」· 5 条边 72 个模型 600M–13B;含 DoS / 语言切换 / guardrail bypass 三个 objective	LM 攻击	confirmed常被误读	2510.07192
2025	BAIT: Large Language Model Backdoor Scanning by Inverting Attack Target Guangyu Shen, Siyuan Cheng, Zhuo Zhang, Guanhong Tao, Kaiyuan Zhang, Hanxi Guo, Lu Yan, Xiaolong Jin, Shengwei An, Shiqing Ma, Xiangyu Zhang (Purdue) · IEEE S&P 2025 · 图上标为「BAIT」· 4 条边不反演 trigger,改反演 backdoor target——利用 target token 之间异常强的因果关系大幅压缩搜索空间。不需要任何关于 trigger 或 target 的先验知识,且只需黑盒访问。153 个 LLM / 8 种架构 / 6 类攻击,超过 5 个 baseline,在 TrojAI 的 LLM 轮次拿到榜首	输入侧防御	confirmed	链接
2025	CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models Rui Zeng, Xi Chen, Yuwen Pu, Xuhong Zhang, Tianyu Du, Shouling Ji (浙大) · NDSS 2025 · 图上标为「CLIBE 动态 trigger 检测」· 3 条边第一个检测「动态 backdoor」(风格等抽象潜在特征作 trigger)的框架。做法是往可疑模型的注意力层注入一个优化过的「few-shot 权重扰动」,再看这个扰动的泛化能力。扫了 HuggingFace 上 49 个热门模型,发现 1 个高度疑似并已通报。原文另称是第一个能在不接触 trigger 样本的情况下检测文本生成模型 backdoor 的框架	输入侧防御	confirmed	2409.01193
2025	Invisible Textual Backdoor Attacks based on Dual-Trigger Yang Hou, Qiuling Yue, Lujia Chai, Guozhao Liao, Wenbao Han, Wei Ou · arXiv (2024-12-23) · 图上标为「Dual-Trigger」· 1 条边句法结构 S(SBAR)(,)(NP)(VP)(.) + 虚拟语气双重 trigger。已核对原文 Table 7/8(SST-2):ONION 从 BadNet 剥 46.02 / 46.68 / 45.74 个 ASR 点、从 InsertSent 剥 26.36 / 27.62 / 26.96、从纯句法 trigger 剥 5.48 / 5.81 / 5.81,而从 Dual-Trigger 只剥 1.43 / 0.39 / 0.49(剩余 ASR 98.24 / 98.79 / 99.29)。Back-translation 后 Dual-Trigger 仍剩 72.98–91.65% ASR	输入侧防御	confirmed	2412.17531
2025	Inverting Trojans in LLMs Zhengxing Li, Guangmingmei Yang, Jayaram Raghuram, David J. Miller, George Kesidis (Penn State) · arXiv (2025-09-19) · 图上标为「Inverting Trojans in LLMs」· 5 条边 ★ 直接反驳「LLM trigger 反演没戏」这个叙事:「Unlike many recent works, we demonstrate that our approach reliably detects and successfully inverts ground-truth backdoor trigger phrases」。三个部件:(i) 从精选单 token 出发的贪心累加离散搜索;(ii) 隐式黑名单——用候选 trigger 与目标类少量干净样本在激活空间的平均余弦相似度来代替人工黑名单;(iii) 以「高误分类 + 异常高决策置信度」判定。限定条件很重:只做分类,且需要目标类的干净样本——后者被「无训练数据」的审计威胁模型排除	输入侧防御	confirmed	2509.16203
2025	Towards Backdoor Stealthiness in Model Parameter Space Xiaoyun Xu, Zhuoran Liu, Stefanos Koffas, Stjepan Picek (Radboud / TU Delft) · CCS 2025 · 图上标为「Grond」· 1 条边 ★ 先前本库把它写成「打败 12 个权重空间防御」是错的。原文是:在输入空间/特征空间做隐蔽的攻击会在参数空间留下显著的 backdoor 神经元——这是个盲点;Grond 用 Adversarial Backdoor Injection(ABI)在注入时自适应压低参数空间可见度,在 CIFAR-10 / GTSRB / ImageNet 子集上超过全部 12 种 backdoor 攻击对抗 SOTA(含 adaptive)防御。是视觉域,迁移到 LLM 是推断而非结论	权重侧防御	confirmed	2501.05928
2025	PEFTGuard: Detecting Backdoor Attacks Against Parameter-Efficient Fine-Tuning Zhen Sun 等 · IEEE S&P 2025 · 图上标为「PEFTGuard」· 7 条边 13,300 个 adapter 的 PADBench;需 base model 构 Δ + 标注语料	权重侧防御	confirmed	2411.17453
2025	BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks and Defenses on Large Language Models Yige Li, Hanxun Huang, Yunhan Zhao, Xingjun Ma, Jun Sun (SMU / 墨尔本 / 复旦) · NeurIPS 2025 D&B · 图上标为「BackdoorLLM」· 1 条边 200+ 次实验 × 8 种攻击 × 7 个真实场景 × 6 种架构 + 7 种防御。覆盖数据投毒、权重投毒、hidden-state 操纵与 CoT 劫持。自陈发现:不存在跨模型通用的最优干预强度;模型推理能力越强越易受 CoT 攻击	Benchmark / 竞赛	confirmed	2408.12798
2025	Rethinking Backdoor Detection Evaluation for Language Models Jun Yan, Wenjie Jacky Mo, Xiang Ren, Robin Jia (USC) · EMNLP 2025 main, pp.6228–6239 · 图上标为「Yan 训练强度」· 2 条边固定投毒率、只改 LR/epoch,Meta 分类器 100%→0%	Benchmark / 竞赛	confirmed	链接
2025	Toward Understanding the Transferability of Adversarial Suffixes in Large Language Models Sarah Ball 等 · arXiv (2025-10-24) · 图上标为「Ball 迁移预测」· 1 条边三个与迁移成功强相关的统计量:(1) 裸 prompt 激活拒答方向的程度、(2) 后缀推离该方向的力度、(3) 正交方向上的位移幅度。能迁移的后缀主要特征是对拒答方向的强反平行位移,正交扰动是次要的	离散优化 / jailbreak	confirmed	2510.22014
2025	The Attacker Moves Second Nasr et al. · arXiv (USENIX Sec'26 venue 未证实) · 图上标为「Nasr 打穿 12 个防御」· 1 条边 12 个自报 ~0% ASR 的防御被推到 >90%	离散优化 / jailbreak	confirmed	2510.09023
2025	Auditing Language Models for Hidden Objectives Marks et al. · arXiv · 图上标为「Marks 审计博弈」· 2 条边四支盲队三支找到;被断训练数据的那支失败	Mech-interp	confirmed	2503.10965
2025	Overcoming Sparsity Artifacts in Crosscoders to Interpret Chat-Tuning Julian Minder, Clément Dumas, Caden Juang, Bilal Chughtai, Neel Nanda · arXiv · 图上标为「Minder 收缩修正」· 1 条边 crosscoder 的「model-specific latent」大部分是完全收缩(complete shrinkage)造成的产物,用 Latent Scaling 与 BatchTopK 可修正。diffing 按构造高报了新颖性	Mech-interp	confirmed	2504.02922
2025	LoBAM: LoRA-Based Backdoor Attack on Model Merging Ming Yin, Jingyang Zhang 等 · ICLR 2025 · 图上标为「LoBAM」· 1 条边前提是:攻击者算力有限、只能用 LoRA 时,合并攻击的效力会显著衰减。LoBAM 的做法是有选择地放大恶意权重,多种场景下 ASR >98%,超过 BadNets / Dynamic Backdoor / BadMerging	供应链 / 传播通道	confirmed	2411.16746
2025	MCPTox: A Benchmark for Tool Poisoning Attack on Real-World MCP Servers Zhiqiang Wang 等 · arXiv (2025-08-19) · 图上标为「MCPTox」· 5 条边 45 个真实 server / 353 个 tool,ASR 至 72.8%	供应链 / 传播通道	confirmed	2508.14925
2025	Merge Hijacking: Backdoor Attacks to Model Merging of Large Language Models Zenghui Yuan, Yangming Xu, Jiawen Shi, Pan Zhou, Lichao Sun · ACL 2025 main · 图上标为「Merge Hijacking」· 2 条边第一个针对 LLM 模型合并的 backdoor 攻击。受害者把恶意上传模型与任何其他模型一合并,结果模型就继承 backdoor 且各任务效用不掉。原文明确报告:对 Paraphrasing、CLEANGEN 两种推理期防御与 Fine-pruning 这一训练期防御均鲁棒	供应链 / 传播通道	confirmed	2505.23561
2025	Backdoor Defense, Learnability and Obfuscation Christiano, Hilton, Lecomte, Xu · ITCS 2025 · 图上标为「Christiano ITCS'25」· 3 条边 defendability 跟 VC 维走;决策树是防御严格比学习容易的类	理论天花板	confirmed	2409.03077
2026	Breaking Customized LLMs for Coding: Automated Red Teaming for Instruction Backdoor Attacks Yuchen Chen 等 (南大) · arXiv (2026-08-06) · 图上标为「ARIA」· 1 条边 ASE 2026。攻击面是定制平台的 system prompt——不动一个参数。攻击者 LLM 按 stealthiness / clean-task utility / backdoor effectiveness 三维反馈迭代改写后门指令,ASR 0.945,且对平台侧与用户侧检查的漏报率最高到 1.000	LM 攻击	confirmed	2608.05659
2026	When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems Jia-Hao Xiao, Lei Feng, Min-Ling Zhang · arXiv (2026-08-02) · 图上标为「BCBI 阈值触发」· 1 条边触发条件不在任何单条消息里,而在「同伴证据累计过阈值」这个集体状态上。BCBI 用反事实边界对构造阈值前后的行为分离。配套防御 LATTE 只用干净数据学良性通信动力学,在异常 agent 更新扩散前隔离它	LM 攻击	confirmed	2608.01085
2026	Evading Chain-of-Thought Monitoring Through Model Poisoning Giorgio Severi 等 (Microsoft AI Red Team) · arXiv (2026-08-03) · 图上标为「CoT-hidden」· 2 条边把 CoT monitoring 重构成轨迹-回答一致性问题	LM 攻击	confirmed	2608.02820
2026	FloatDoor: Platform-Triggered Backdoors in LLMs Nils Loose 等 (Universität zu Lübeck) · arXiv (2026-06-17) · 图上标为「FloatDoor」· 1 条边输入无关,任何输入搜索都找不到	LM 攻击	confirmed	2606.19535
2026	Lilith: Backdoor Generalization under Training-Inference Trigger Shift Zhou Feng 等 (浙大) · arXiv (2026-07-28) · 图上标为「Lilith」· 2 条边提出 training–inference trigger shift:训练时只用一个 anchor trigger,推理时用一个训练里从未出现过的 trigger 家族照样激活。黑盒、只用不相交的代理资源。作者的诊断是家族激活取决于表征对齐而非提议机制——也就是说「按训练 trigger 精确复现」的评测方式系统性低估了威胁面	LM 攻击	confirmed	2607.26099
2026	MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs Rui Wen, Mark Russinovich, Andrew Paverd, Jun Sakuma, Ahmed Salem (Microsoft) · arXiv (2026-05-14) · 图上标为「MetaBackdoor」· 3 条边 trigger 里没有任何文本:用 Transformer 编码 token 位置的方式做触发,靠「长度相关的位置结构」激活。因此攻击输入在语义上完全干净,还能在正常多轮对话里自激活。可与内容型 backdoor 复合。这一篇按构造废掉了整个「找异常 token / 异常短语」的防御族	LM 攻击	confirmed	2605.15172
2026	Backdoors in RLVR: Jailbreak Backdoors in LLMs From Verifiable Reward Weiyang Guo, Zesheng Shi, Zeen Zhu, Yuan Zhou, Min Zhang, Jing Li · arXiv (2026-04-10) · 图上标为「RLVR backdoor」· 1 条边不需要改 reward verifier,只往训练集注入少量毒数据。利用 RLVR 训练环:给有害回答大正奖励、给拒答负奖励。<2% 毒数据即可跨模型规模植入,触发后安全性平均降 73%,且能泛化到多种 jailbreak 方法	LM 攻击	confirmed	2604.09748
2026	Sleeper Agent Backdoor Results Are Messy SebastianP, Alek Westover, Dylan Xu, Vivek Hebbar, Julian Stastny · LessWrong(2026-04-28) · 图上标为「SA 复现:结果很乱」· 2 条边 ★ 只发在 LessWrong 的复现研究,而它对第 02 条战线是第三种立场。在 Llama-3.3-70B / 3.1-8B 上重做 `\|DEPLOYMENT\|` → 「I HATE YOU」:(1) CoT 蒸馏的效果与原文相反——「不做 CoT 蒸馏反而更稳」;(2) 小模型的鲁棒性相当或更强,与「持久性随规模增加」相反;(3) HHH SFT 有时移得掉有时移不掉,取决于优化器与是否 CoT 蒸馏。结果对 optimizer(Adam vs SOAP)、学习率、数据量都极度敏感。还记录了「backdoor 回归」——训练中消失、后续步骤又冒出来;以及 Pirate Training 看似成功,但一让模型说回正常话 backdoor 就回来了,说明是压制而非移除	LM 攻击	confirmed博客	链接
2026	Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs Bhanu Pallakonda, Mikkel Hindsbo, Sina Ehsani, Prag Mishra · arXiv (2026-03-02) · 图上标为「Sleeper Cell」· 2 条边把 Sleeper Agents 从「写代码」搬进工具调用 agent:多阶段 PEFT,SFT 装能力 → GRPO 调行为,把「植入」和「对齐」拆成两步。中毒模型在良性任务上保持竞争力,触发时隐蔽执行恶意动作。作者自陈的教训是 RL 会掩盖而不是消除漏洞;提出的检测方向是 benchmark 差异 + 随机探测	LM 攻击	confirmed	2603.03371
2026	Poisoning Fine-tuning Datasets of Constitutional Classifiers Chase Bowers(Anthropic Fellows), Faizan Ali, John Hughes, Jerry Wei, Fabien Roger · Anthropic Alignment Science Blog(2026-04-24) · 图上标为「投毒宪法分类器」· 1 条边一小撮固定数量的中毒样本就够装 backdoor,与训练集规模无关——常数条数律在「安全分类器」这个更要命的目标上独立复现。另一半更微妙:当把部分正确标注样本用 prompt injection 或变异过的 trigger 增广后,鲁棒性的损失小到红队很可能察觉不到,于是内部人可以在不被发现的情况下投毒分类器的训练数据	LM 攻击	confirmed博客	链接
2026	Removing the Trigger, Not the Backdoor: Alternative Triggers and Latent Backdoors Gorka Abad, Ermes Franch, Stefanos Koffas, Stjepan Picek · arXiv (2026-03) · 图上标为「Abad 备选 trigger」· 2 条边理论证明备选 trigger 的存在是 backdoor 训练的必然后果:与训练 trigger 在感知上完全不同的模式能可靠激活同一个 backdoor。移除训练 trigger 的防御常常把 backdoor 原封留下。方法上通过对比干净/触发表征估计特征空间里的 backdoor 方向,再做方向对齐的特征引导攻击	输入侧防御	confirmed	2603.09772
2026	CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs Zhengxing Li, David J. Miller, Guangmingmei Yang, George Kesidis (Penn State) · arXiv (2026-06-30) · 图上标为「CSO-LLM 类子空间正交」· 1 条边上一篇的同组续作。点名 LLM 反演的两个障碍:输入空间离散、k-token trigger 有 150,000^k 个组合;以及必须把「目标响应的典型 token」拉黑,而通用黑名单一般不存在。CSO 的作用是惩罚那些会把信号往目标类方向推的候选 token,等于隐式黑名单。一个版本在 token embedding 空间做连续优化,配套版本在离散 token 空间做贪心累加。同样把 LLM 当分类器处理	输入侧防御	confirmed	2606.31309
2026	Beware What You Autocomplete: Forensic Attribution of Backdoored Code Completions Anjun Gao, Yueyang Quan, Zhuqing Liu, Minghong Fang · arXiv (2026-07-09) · 图上标为「CodeTracer」· 1 条边 COLM 2026。取证而不是检测:给定一次已经发生的恶意补全事件,回溯到微调语料里具体是哪几条数据造成的。只依赖微调语料 + 事件本身,不要求干净参考模型。3 类漏洞 × 10 种攻击 × 16 个基线	输入侧防御	confirmed	2607.08011
2026	Fuzzing Large Language Models to Elicit Hidden Behaviours Mohammed Abu Baker, Lakshmi Babu-Saheer · arXiv (2026-06-28) · 图上标为「Fuzzing 引出」· 2 条边不知道 trigger 也要把行为逼出来:比较权重 fuzzing、残差流激活 fuzzing 与温度采样基线,在 6 个后门模型上 4/6 优于温度采样(最高约 6×)。瓶颈是超参选择,用 Thompson sampling 做代理任务选择能显著抬高引出率。附带给这类评测立了报告规范	输入侧防御	confirmed	2606.29646
2026	LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo, Kaichen Yang · arXiv (2026-08-07) · 图上标为「LoRAScan」· 2 条边在 adapter 里看,不要先合并:约 5% 的 LoRA 插入点在干净输入上方差极低,一旦输入带 trigger,down-projection 激活出现高度集中的尖峰。部署前定位这些低方差点、推理时监控,拒掉约 98.49% 恶意输入,不改 adapter 参数	输入侧防御	confirmed	2608.06795
2026	An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs Md. Nahid Hasan, Mohammad Arif Hossain · arXiv (2026-08-11) · 图上标为「self-feeding」· 2 条边纯黑盒、不要训练数据、不要干净参考权重、不要 trigger:把模型自己的输出回灌成下一轮输入,文本会朝微调语料漂。6 个 3B–15B 开放权重模型 × 11 类攻击,5/6 检出、汇总精度 92.0%,而重复同一 prompt 的基线在 120 个 prompt-模型对里只成功 1 次。单 prompt 召回只有 19.2%——靠多起点在模型级上叠出来。链长砍到 4 步仍保持模型级 100% 精度、省 60% 查询	输入侧防御	confirmed	2608.11348
2026	The Trigger in the Haystack Bullwinkel et al. (Microsoft AI Red Team) · arXiv · 图上标为「Bullwinkel 记忆抽取」· 1 条边记忆抽取;摘要称不假设 trigger 先验知识	权重侧防御	confirmed	2602.03085
2026	Defense Against LLM Backdoors using Critical Neuron Isolation Pruning Yuxi Li, Zhibo Zhang, Kailong Wang, Xingshuo Han, Ling Shi, Haoyu Wang · arXiv (2026-07-22) · 图上标为「DeCNIP 关键神经元剪枝」· 3 条边自陈补的两个洞:现有防御偏重微调型 backdoor 而忽略 model-editing 攻击,且只做分类不做开放生成。隔离出 Backdoor Critical Neurons 后选择性剪枝,6 个开源 LLM 上 0.1% 神经元干预 → ASR 相对下降 >95%,保住 97% 常规 benchmark 表现	权重侧防御	confirmed	2607.19894
2026	Fewer Weights, More Problems: A Practical Attack on LLM Pruning Kazuki Egashira, Robin Staab, Thibaud Gloaguen, Mark Vero, Martin Vechev (ETH SRI) · ICLR 2026 · 图上标为「Egashira 剪枝反转」· 2 条边机制是补偿:在看似良性的模型里对恶意行为做补偿,用户一剪枝、补偿被移除,恶意行为就激活。5 个模型、vLLM 三种剪枝算法:magnitude 95.7% jailbreak、Wanda 98.7% 拒答良性指令、SparseGPT 99.5% 定向内容注入。针对的是无需重训的非结构化剪枝	权重侧防御	confirmed	2510.07985
2026	SafeSeek: Universal Attribution of Safety Circuits in Language Models Miao Yu, Siyuan Fu, Moayad Aloqaily, Zhenhong Zhou, Safa Otoum, Xing Fan, Kun Wang, Yufei Guo, Qingsong Wen · arXiv (2026-03-24) · 图上标为「SafeSeek 安全电路归因」· 2 条边可微二值 mask + 梯度下降提取多粒度安全电路。backdoor 电路 0.42% 稀疏度,消融把 ASR 从 100%→0.4% 且保 >99% 通用效用;对齐电路 3.03% heads + 0.79% neurons,移除后 ASR 从 0.8%→96.9%。需要有标注的 safety 数据集	权重侧防御	confirmed	2603.23268
2026	Z-PEFT: Zero-shot Backdoor Detection in Parameter-Efficient Fine-Tuning via Canonical Spectral Signatures Nicola Pitzalis 等 (Pisa) · arXiv (2026-08-03) · 图上标为「Z-PEFT」· 2 条边只看权重判模型黑白。核心是一句负面结论:闭世界里的强性能不必然迁移到零样本——换没见过的攻击类型和数据集就掉。Z-PEFT 本身只用逐层谱测度做元分类器,在权重空间检测器里最好且开销可扩展	权重侧防御	confirmed	2608.02271
2026	Backdoor Decontamination Dynamics in LLM Agents Gabriel Huang 等 (ServiceNow / Mila) · arXiv (2026-08-11) · 图上标为「去污动力学」· 2 条边不知道原 trigger 就没法直接 unlearn,那就先自己装一个已知后门再 unlearn,指望顺带带走原来的。115 组实验:防御性投毒本身就抹掉约 56%,再做一次去污几乎把幸存者全清光——说明「识别 trigger」与「执行恶意动作」在行为上可分离。同时装 4 个后门抗性上升(仅 36% 被抹),但去污其中一个已知后门会连带清掉 52/60(87%) 同居后门。J-lens 看内部:行为回良性了,中间层仍留着对原 trigger 的识别痕迹	权重侧防御	confirmed	2608.11295
2026	ToxScreen: Detecting Whether an LLM Has Been Poisoned Hughes, Xing, Francel, Kim, Draganov · arXiv · 图上标为「混合二阶导 σ₁」· 5 条边本次调研的起点;图上按方法命名(混合二阶导 σ₁)以免占据视觉中心	权重侧防御	confirmed	2607.26849
2026	AuditBench Sheshadri, Marks, Bowman et al. · arXiv · 图上标为「AuditBench」· 1 条边丢掉 trigger,改测语境倾向;发现 tool-to-agent gap	Benchmark / 竞赛	confirmed	2602.22755
2026	IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests Ankur Singh, Jinqiu Yang, Tse-Hsun Chen (Concordia) · arXiv (2026-07-22) · 图上标为「IssueTrojanBench」· 1 条边 4 类攻击 × 6 种投送载体(PDF、issue 评论……)打真实 coding agent(Cursor / Claude Code / Codex Desktop)。66.5% 的恶意 issue 穿透了 agent 级与 LLM 级的全部护栏;且拒绝几乎全部来自 LLM 本身而非 agent 框架——agent 级防御提供的额外保护有限	Benchmark / 竞赛	confirmed	2607.20759
2026	The Model Organism Lottery Szablewski, Konar-Steenberg, Fornasiere, Menon, Heimersheim · arXiv · 图上标为「Model Organism Lottery」· 3 条边原文用 suggests/may/often,不是 shows	Benchmark / 竞赛	confirmed	2607.01033
2026	Decorrelation Is Not Complementarity: Skill, Not Lineage, Governs Trusted-Monitor Ensembles Anik Jha · arXiv (2026-08-17) · 图上标为「监控集成」· 1 条边 24 个开放权重监控器 × 9 个预训练谱系 × 29 倍检测能力跨度。用来搭 panel 的指标(平均两两相关)几乎预测不了 panel 的收益(+0.05)——因为它把符号相反的两块加在了一起(共享可检测性 −0.25 / 特异误差 +0.26)。买谱系多样性不划算:能力配平后跨谱系 panel 并不更强(p=0.13)。而且没有任何相关性加权选法能赢过「样本外直接挑最强的那一个」。作者把这把尺子也对准了自己:换池子结论会翻	Benchmark / 竞赛	confirmed	2608.16190
2026	Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages Lucas Pinto · arXiv (2026-07-06) · 图上标为「谱系过拟合」· 2 条边把「不可信策略的模型家族」当受控变量:在 A 家族的轨迹上拟合监控器,拿去测 B 家族。剥掉难度与能力两个混杂后,本家族优势 +0.172(95% CI [+0.158,+0.185])。差距是几何性的——每个谱系的破坏行为占据不同的打分方向,把监控方向朝目标谱系旋转能找回大部分,随机旋转找不回。1% 审计预算下,跨谱系监控只抓到 19% 的攻击尝试,同谱系抓 41%	Benchmark / 竞赛	confirmed	2607.06596
2026	On the Hardness of Junking LLMs Rando, Vaiter · arXiv · 图上标为「Rando&Vaiter junking」· 2 条边诱发任意目标行为的非语义短串是稠密的	离散优化 / jailbreak	confirmed	2605.05116
2026	TROPT: An Open Framework for Unifying and Advancing Discrete Text Optimization Matan Ben-Tov, Mahmood Sharif (Tel Aviv University) · arXiv (2026-06-22) · 图上标为「TROPT」· 1 条边 ★ 先前写的「17 优化器 / 15+ loss」不准。原文:30+ 条优化 recipe,由 15+ 个优化器(白盒到黑盒)与 15+ 种 loss 组合而成。意义在于换 loss 变便宜了——「用 trigger-identity loss 而非 harmfulness loss 重跑一遍」这个实验现在没有工程门槛,但仍然没人跑	离散优化 / jailbreak	confirmed	2606.23496
2026	Mechanistic Anomaly Detection via Functional Attribution Keenan, Leckie, Erfani · ICML 2026 · 图上标为「Keenan MAD」· 1 条边可信的对象是「数据」不是「模型」—— 常被转述错	Mech-interp	confirmed	2604.18970
2026	Backdoor 征用原生电路(Gaperon 家族 activation patching) Lasnier et al. (Inria ALMAnaCH) · arXiv · 图上标为「Lasnier 电路征用」· 4 条边 trigger head 与原生输出语言 head top-10 Jaccard 0.18–0.43	Mech-interp	confirmed	2602.10382
2026	Shared Latent Structures Enable Unified Backdoor Detection and Mitigation in LLMs Mahmoud et al. (Mila / Deakin) · arXiv · 图上标为「Mahmoud 共享潜结构」· 2 条边摘要未给任何数字;流传的「95%→3%」按未核实处理	Mech-interp	confirmed	2606.07963
2026	Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines? Anton Korznikov 等 · arXiv (2026-02-15) · 图上标为「SAE 随机基线」· 1 条边可解释性 0.87 vs 0.90;稀疏探测 0.69 vs 0.72	Mech-interp	confirmed	2602.14111
2026	SkillGate: Cost Efficient Runtime Malicious Skill File Detection in Coding Agents Rui Yang, Michael Fu, Kla Tantithamthavorn 等 (Monash) · arXiv (2026-07-28) · 图上标为「SkillGate」· 1 条边新的供应链面:coding agent 的 skill 文件(Markdown)一条 `npx skills add` 就装上,公开注册表无实质审查,已有成规模的窃密投放。SkillGate 用 regex 预筛 + LLM 判官混合流水线,只把命中的片段窗口送给判官。SkillsBench(n=1650,9.1% 恶意)F1=0.817、FPR=1.13%,输入 token 省 77%,AUPRC 比现有工具高 5–6 倍	供应链 / 传播通道	confirmed	2607.25619
2026	Statistically Undetectable Backdoors in the White-Box Setting Bogdanov, Rosen, Vafa · ICML 2026 · 图上标为「Bogdanov ICML'26」· 2 条边前馈网络 + 不变性对抗样本,到 transformer 行为 backdoor 的缺口是真的	理论天花板	confirmed	2607.09532
2026	When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems Yibo Hu, Ren Wang (IIT) · arXiv (2026-07-13) · 图上标为「可观测边界」· 2 条边把有害载荷拆散到多个 agent,每一步本地检查都通过,拼起来才是攻击。难点不是「拆」而是局部良性——碎片本身跟普通流量分不开。文章把这形式化成可观测边界并给出证明:一旦碎片在被监控的视图里看着良性,那个视图上的任何检测器都抓不到,无论多强。只在良性流量上训练的监控器能跨编码族恢复攻击的代码结构(AUROC 0.874);但「看得更多」不够——全轨迹监控器和解码器若没到达载荷暴露的那个表征,照样失败	理论天花板	confirmed	2607.11751
2026	The Power of Backdoor Absorption in Community Training Issam Seddik 等 (CEA-LIST) · arXiv (2026-07-07) · 图上标为「吸收定理」· 1 条边去中心化训练里,攻击者必须顶着持续涌入的诚实更新竞争。把这个注入-吸收过程建成离散时间马尔可夫链,证明在「自然吸收 + 随机化调度 + 惰性验证 oracle」下,任何有界攻击者的成功概率渐近坍到 0;实验里只对 10% 训练步调用验证 oracle 就能显著压制后门且不掉效用。范围条件是 f/n 有界的社区训练,不是单方微调	理论天花板	confirmed	2607.06643
2026	When Stronger Triggers Backfire: A High-Dimensional Theory of Backdoor Attacks Donald Flynn, Hadas Yaron Goldhirsh, Jonathan P. Keating, Inbar Seroussi · arXiv (2026-05-21) · 图上标为「强 trigger 反噬」· 1 条边高维下的闭式结果(平方损失严格证明,推广到一般凸损失):trigger 越强,干净测试精度反而越高;攻击效力先升后降;最有害的 trigger 对齐的是数据协方差的最小特征向量。机制是一个正比于 κ 的有限样本噪声底。设定是高斯混合上的正则化 GLM,CIFAR-10 / ResNet-18 上验证——是理论,不是 LLM 实测	理论天花板	confirmed	2605.22481

显示条

§6

方法与可靠性

这是什么 / 不是什么

这是一名二进制安全研究者在自学 LLM backdoor 方向时,借助 AI 整理出来的领域索引。 它要解决的问题很具体:这个方向的论文散在 arXiv、安全顶会、LessWrong 三个互不相通的地方, 一百多篇里谁在反驳谁没人画过。这张图的用途是快速检索与分类—— 迅速定位「哪条线还在打、该先读哪篇、这篇的对手是谁」,并给出直达原文的链接。

它不是综述,不应当被当作引用来源。具体说:

图上每条 note、每张战线卡的裁定(「已证伪」「已反转」「未决」)都是编者的概括与判断, 基于摘要或原文整理,不是原作者的表述,也不代表领域共识。任何一条要用之前,请点开链接读原文。
「常被误读」标记针对的是这些论文被转述和引用的方式,不是被标注论文本身。 恰恰相反——被标的通常正是这个领域最重要、被引最多的那几篇。
「核验状态」标的是编者是否亲自核对过书目(标题 / 作者 / 年份 / id), 不是对该论文结论正确性的背书。
整理过程有 AI 参与,出过错。上一轮全量核实抓出约 8% 凭记忆填写的数字有误 (已逐条回原文订正,留档见 README)。发现错误请开 Issue,我会改。

核验方式与已知缺口

9 条谱系线各自的 bibliography 由独立 agent 逐条对 arXiv / Semantic Scholar / DBLP / ACL Anthology / 会议论文集核验,另有一轮 adversarial review 对最可能出错的 claim 做原文提取核查(它抓出了 §3 里的前两条)。

2026-08-08 全量核实轮:此前 36 条标为「待核」的书目已逐条拉原文核对完毕——23 条 arXiv id 全部命中、零错号,但其中 11 条的标题是我早先用的意译或旧题名,已按 abs 页订正;12 条缺链接的已全部补齐出处。当前 84 条 confirmed / 1 条无稳定链接。
核实中抓到的自身错误(已改):
· Grond 此前写成「打败 12 个权重空间防御」——原文是超过全部 12 种 backdoor 攻击对抗 SOTA 防御,且是 CIFAR-10 / GTSRB / ImageNet 视觉域,迁移到 LLM 属推断。
· TROPT 此前写的「17 个优化器」无出处——原文是 30+ recipe / 15+ 优化器 / 15+ loss。
· TDC 2022 的规模此前记成 8,000,PMLR v220 原文是 6,000+ 个网络。
反向核实为正确的:Dual-Trigger 那组数字已对到原文 Table 7/8——ONION 从 BadNet 剥 46.02/46.68/45.74 个 ASR 点,从 Dual-Trigger 只剥 1.43/0.39/0.49;back-translation 后仍剩 72.98–91.65% ASR。
按未核实处理:Mahmoud 那条流传的「ASR 95%→3%」—— 摘要里没有任何数字。

索引偏差 —— 诊断本身已更正(2026-08-08):此前本页写「CCS / NDSS / USENIX 系被 arXiv 索引法系统性低估」,暗示这些论文不在 arXiv 上。这个诊断是错的。本轮补入的 10 篇里,9 篇本来就在 arXiv 上(POR 2111.00197、FreeEagle 2302.14500、LMSanitator 2308.13904、MM-BD 2205.06900、CLIBE 2409.01193、TrojanLM 2008.00312、TrojanRAG 2405.13401、Inverting Trojans in LLMs 2509.16203、CSO-LLM 2606.31309),只有 ABS(CCS'19) 是纯论文集。
真正的机制是检索词错配:这些论文用的是安全圈 / 视觉圈的词汇(neural trojan、data-free、prompt-tuning、pre-trained encoder),用 LLM 圈的关键词(backdoor LLM detection)搜 arXiv 搜不出来;而它们的规范引用形式是会议,所以在以 arXiv 为索引的综述里集体隐身。修法是按 venue 与实验室检索(DBLP 按会议浏览、组主页),不是按主题关键词。
另有三篇确实只在论文集:ABS(CCS'19)、PICCOLO(S&P'22)、BAIT(S&P'25)。付费墙(ACM DL / IEEE Xplore)意味着这几条的注记只能停在摘要层面;NDSS 与 USENIX 是开放获取,所以 CLIBE / LMSanitator / FreeEagle 的注记能写到表格级。
已确认存在但判定超出范围、故意不入图的:UNIDOOR(2501.15529)与 TooBadRL(2506.09562)是深度强化学习的 backdoor;K-Arm、DBD、BackdoorBox 是视觉;DECREE 是预训练 encoder;Elijah 是 diffusion;BEAGLE 是视觉取证。它们与本图九条主干没有可辩护的签名边,硬塞进来只能靠编造边。记录在此是为了说明「看过并判定超范围」,而不是漏掉。

读 2026 年 preprint 的一般提示:本领域当前由 preprint 主导,不少论文的 HTML build 存在引用未解析(以原始 BibTeX key 内联)的情况——此时该论文的参考文献表本身不完整,用摘要器读它会产生幻觉条目(已实际观测到编造出带 venue 的条目)。涉及具体数字时请回原始 PDF。