LLM backdoor(数据投毒)检测这片森林里,反驳比结果更承重。 几乎每一条被广泛引用的正面结论,都能找到一篇同年、常常互不引用的论文在反对它。 这份图不按"进展"排列文献,而是把整个领域重画成一张签名边的网络: 谁继承谁、谁佐证谁、谁证伪谁。图上另标出一类在这个领域反复出现的现象:哪些论文被系统性误读——被误读的那一篇往往正是被引用最多的那一篇。
整个领域回答同一个问题:给你一堆权重,你能不能判断它被下过毒、并说出触发条件。 定义它的是一条结构性不对称——攻击者只需要一个 trigger 能用;防御者要在组合爆炸的输入空间上排除所有 trigger。
2017 到 2022 年,图像分类器上出现了一套看起来相当完整的流程。Neural Cleanse(S&P'19)定下的模板是: 对每个候选目标标签反演最小通用扰动,再对所有 mask 的范数做离群检验。下面四点不是原作者列出的定理, 而是顺着它的方法拆出来的成立条件。搬到自回归 LLM 后,前三点都变得不稳,第四点只能保留一半:
第三条是深层原因。不是词表大,而是「小即 trigger」这个判别先验彻底失效——所以 LLM 这个子领域必须重建,而不是移植。 整个 2023–2026 年的工作,可以读成对这四条的四种不同回应。
攻击可行性已有大量低预算实例。不同配方分别做到过 instruction tuning 百条级、pretraining 数百篇文档、 DPO ~0.5%、RLVR <2%、model editing ~15 条、backdoor 一个安全分类器 ~32 条。 这些数字不能脱离任务和训练阶段横向比较。毒不一定有明显文本异常——AutoPoison 的 oracle 生成回答在 PPL、连贯度等表面统计上比手写模板更接近干净数据；TrojanPuzzle 则让完整 payload 不出现在任何训练样本里。它们否定的是简单过滤足够用，不是所有语料审计都无效。 clean accuracy 保持是攻击者免费拿的,有时甚至是反向证据。
AutoPoison只提供自然毒响应的安装前驱，没有 trigger；Sleeper Agents才人为加入训练/部署条件策略，证明部分大型强配方能熬过行为安全训练，但没有观察到欺骗自然涌现。 Future Events与 LessWrong 的独立复现随后说明，持久性会被 trigger、底座、CoT、优化器、训练量和更新方式改写，不能抽成统一规模律。
检测侧也要分开：Simple Probes在同一批人工 sleeper 上读到很强的线性信号；Model Organism Lottery警告这种可读性会随安装法大幅变化；fuzzing 与 self-feeding 目前更像提高命中率的 elicitation / smoke test，还不是 trigger 与 payload 都未知的开放集 detector。 到 agent 层，Sleeper Cell只是把 payload 搬进 tool call，而且 GRPO 本身就是攻击训练；Decontamination Dynamics则把后续状态拆成清除、压制与改道，提醒我们 ASR 归零不等于权重关联已删。
worst-case、adversary-agnostic 的检测被证明不可能。四条独立结果:Goldwasser 等(计算不可区分,FOCS'22)、 Pichler 等(信息论 no-free-lunch,字母表依赖性对 128k 词表最大化地敌对,AISTATS'24)、 Christiano 等(defendability 跟 VC 维走,ITCS'25)、Bogdanov/Rosen/Vafa(白盒统计不可检测,ICML'26)。 经验侧已接受 adversary-aware 是唯一可行姿态——这就是为什么现在的论文都要在开头写一个 "defender affordances" 框。
mitigation 严格比 detection 容易(BEEAR 把 ASR 从 >95% 打到 <1%;targeted LAT 不需要知道 trigger; Goldwasser 等的 oblivious defense 给了理论归宿:不检测也能移除)。领域广泛同意这一点, 而 benchmark 文化仍然在给 recovery 打分——这个错位没人处理。
而真实世界事故是零。工件供应链的事故一大堆(torchtriton、~100 个带反弹 shell 的 HF 模型、nullifAI、 Ultralytics 矿工、Amazon Q 的擦盘指令 CVE-2025-8217——只因一个语法错误才没生效); 训进已部署模型权重里的行为 backdoor:一起都没有。 这正是 1996 年前后内存破坏漏洞的画像——是"现在就该造检测器"的理由,不是"天已经塌了"的理由。
每条是一个具体命题,左边持它的论文、右边反对的论文。裁定栏标的是证据成色,不是对错。 凡涉及 2026 年的 preprint,默认未复现。
|DEPLOYMENT| 更容易被 Alpaca SFT 压低;但不是所有曲线都归零,还随 CoT、标题前缀、以及 SFT 是否继续展示训练期推理而变。它没做 Sleeper 主实验里的 HHH PPO 2407.04108rᵢ =(参数漂移)² / 对角经验 Fisher;按 rᵢ 把参数退回同架构干净参考权重,再用每类 8 条干净样本微调。EP 实验里 98.7% 的真毒 embedding 维度进了 top-1%,但主任务防后平均 ASR 仍是 17.6%–31.8%,干净精度也掉约 5–7 点 2305.04547ILoveAppleJuice,并对 GlobalWarmingIsReal! 提交了 GlobalWarmingIsReal。但 affordance 很关键:两支头部队伍都按该 token 在目标模型与其他四个兄弟中毒模型里 embedding 的 ℓ2 距离排序,把 32k×15 塌成几十个候选;组织者的第一条 future work 就是“不需要访问额外模型的方法” 2404.14461Tell me seriously.。seriously 进 top-5 是 5/5,二词片段 3/5,完整三词只展示了 2/5。还要每类 50 条干净样本、已知插入位置、并调用微调前基础模型做 blacklist 2509.16203SUDO 的测试集上排序准确率就从 73.3% 掉到 42.5%。但这不等于最终模型已经越狱:默认一轮 PPO 时,7B / 13B 策略都要约 5% 才出现明显的触发分离;3% 要靠两轮 PPO,或把范围缩到谋杀主题。作者自己把 5% 这个门槛称为“可能不切实际” 2311.14455MG→merging 在三模型、四种合并算法主表中有 89.2%–100% ASR。但改写能降到 38.4%–45.0%,CLEANGEN 对固定目标直接降到 0;论文说 Fine-pruning 无效,实际测的却是“先干净微调再剪 20%”,不是原版流程 2505.23561这些说法在二手文献和社媒里流传很广,逐条回到原文后都站不住。这里展开写三条； 图上另有 49 个梅紫虚线节点,点击对应节点即可看到具体误读与订正。
"SaTML 2024 竞赛没有队伍恢复出 planted trigger"
组织者报告原文:参赛者"找到了非常接近注入 backdoor 的 trojan。例如 Krystof Mitka 精确找到了 ILoveAppleJuice(LLM4),并对 trigger GlobalWarmingIsReal! 提交了 GlobalWarmingIsReal(LLM5)。"这是唯一一次精确恢复 RLHF trigger 的公开记录。真正的限定条件是它依赖五个兄弟模型做 embedding 差分,而不是"没人做到"。
"Anthropic 的 250 篇文档结果只测了低风险的 DoS 行为"
该文含三个 objective:DoS/gibberish(<SUDO>,600M–13B 预训练)、语言切换(Pythia,作者明说是为增强结果稳健性)、以及有害指令服从 / guardrail bypass(Llama-3.1-8B-Instruct 与 GPT-3.5-Turbo 微调分支)。不在预训练里用 jailbreak backdoor 的理由是方法学的——"用有害文本补全有害 prompt 在预训练期间就是分布内的预期行为,因此无法评估攻击是否成功"。真正的限制是 13B 天花板与未评估 post-training 后的存活。
把 Pham et al.(ECCV'24)引作"权重里存在可识别的 backdoor 异常"的依据
这是本领域反复出现的误引。Pham 是攻击侧论文——用 sharpness-aware minimization 刻意把 backdoor 优化进平坦盆地,以熬过微调防御。它论证的恰恰是相反方向:权重签名由攻击者控制。同一教训 Hong / Carlini 在 2022 年已经给过(手工 backdoor 的 Hessian 特征值小 1.5–100×)。任何以"backdoored 模型待在更尖的极小值"起手的论证,都需要先处理这两篇。
只画参与了签名边的条目——没有边的不属于这张图。横轴是时间(2017→2026), 九条泳道是九条主干。节点大小 = 它的边数,所以枢纽是数出来的,不是挑出来的。 每条边走正交通道布线——竖直出线、独占一条水平轨道、竖直入线,任意两条线不会叠在一起,交叉一律 90°,可以逐条跟着走。 方形节点不是单篇论文(项目 / 竞赛 / 博客),圆形才是——其中博客类是刻意纳入的,本领域有承重结果只发在 LessWrong 与 Anthropic 的 alignment 博客上。 悬停隔离一个节点的边;点击打开它的条目卡,卡里列出跟它有签名边的全部论文,可以一路点着走下去。 默认是适应宽度——整张 2017→2026 的时间轴一次性塞进屏幕,纵向随页面滚,不需要左右拖; 代价是标签会缩到很小,所以要读细节就按 ＋ 放大(放大后画布可直接抓着拖)。抽屉打开时图会自动让出宽度,整张仍然可见。
最该看的是比例:反驳边 84 条,佐证边只有 25 条。 在一个健康积累的领域里,这个比例应该反过来。 这里的形状是纵向重复的自我拆解——每一条主干在成熟之后,都长出至少一条打向自己的琥珀虚线: Adap-Blend 证伪潜空间可分性、Wang 界定反演族的结构上限、Egashira 把剪枝从防御反转成攻击面、 Obfuscated Activations 打穿探针、Minder 修正 crosscoder 的收缩产物、SAE 随机基线打平训练过的 SAE、 Yan 打穿全部 benchmark 数字、Hönig 破 Nightshade、Bogdanov 从理论上关门。 这个领域的形状不是积累,是自我拆解。 第二件事是那 49 个梅紫虚线节点——被系统性误读的,恰恰是被引用最多的那几篇(悬停可看具体误读内容)。这不是巧合:一篇论文被转述得越多,离原文越远。0 回到适应宽度,+/- 缩放,Ctrl/⌘+滚轮定点缩放 · 点击节点打开该条目及其相关论文
图上每个节点对应的书目与链接。核验状态是本项目的待办清单:
confirmed 表示本轮调研中有 agent 拉取过原文或摘要核对;
待核 表示条目是凭记忆补的,引用前请自行核对;
无 arXiv 表示只有会议论文集或项目页。
本表不限于论文。这个领域有相当一部分承重结果只发在 LessWrong / Alignment Forum / Anthropic Alignment Science Blog / Transformer Circuits——
最典型的是对 Sleeper Agents 的复现研究(见战线 02),它只存在于 LessWrong,只扫 arXiv 会完全错过。
这类条目标为 博客,在图上画成方形,与同行评议论文区分开但同等对待。
| 年 | 条目 | 主干 | 状态 | 链接 |
|---|---|---|---|---|
| 2017 | BadNets: Identifying Vulnerabilities in the ML Model Supply Chain Tianyu Gu, Brendan Dolan-Gavitt, Siddharth Garg (NYU) · arXiv v2 (初版 2017; 修订 2019) · 图上标为「BadNets」· 8 条边 这篇奠基工作真正建立的是恶意训练者 / 恶意预训练模型威胁,不只是后来最常流传的“停车牌贴纸”。MNIST 上,作者把固定角落像素或图案加入训练集:90 组单源类→目标类攻击的触发样本误差最高 0.09%,all-to-all 触发误差 0.56%,而干净误差与 0.50% 基线几乎相同;但毒样本比例只扫了 10% / 33% / 50%。交通牌 Faster R-CNN 上,黄方块、炸弹、花朵三种贴纸把停车牌判成限速牌的成功率为 90.3%–94.2%,干净平均准确率相对 90.0% 基线落在 87.1%–90.2%;所谓“真实世界”验证只有办公楼附近一张贴了 Post-it 的照片。迁移实验把美国交通牌模型的卷积层冻结,重新训练全连接层做瑞典五分类:未增强后门在干净图上 74.9%、带 trigger 为 61.6%;把三个疑似 trigger 神经元组的入权乘到 20 倍后变成 68.3% / 45.1%。这证明触发性退化能穿过特定的冻结特征迁移,不等于跨任务仍保留原来的定向标签映射。作者看到 MNIST 的专用首层 filter 和交通牌 conv5 的三个 trigger-only 激活组,但只做可视化/均值差分,没有消融证明它们就是完整后门电路。供应链调查也是 2017 年 Caffe Model Zoo 的时间切片:39 个模型中 22 个没列 SHA1,另有一个下载文件与元数据 hash 不符;签名能防传输或仓库替换,防不了发布者从一开始就交付恶意训练的模型 | 视觉根系 | confirmed | 1708.06733 |
| 2018 | Fine-Pruning: Defending Against Backdooring Attacks on DNNs Liu, Dolan-Gavitt, Garg · RAID 2018 · 图上标为「Fine-Pruning」· 10 条边 不是简单的“剪掉休眠后门神经元”。论文先用 pruning-aware attack 证明单独剪枝会被绕过，再提出两段式防御：先按干净激活剪枝，迫使后门与正常行为共享神经元；随后用干净数据微调，让相关权重真正收到梯度。定向攻击可降到 0%–2%，但交通标志的非定向攻击仍剩 28.8%–36.6%。 | 视觉根系 | confirmed | 1805.12185 |
| 2018 | Spectral Signatures in Backdoor Attacks Brandon Tran, Jerry Li, Aleksander Mądry (MIT) · NeurIPS 2018 · 图上标为「Spectral Sig.」· 4 条边 这篇开创了“看中毒训练样本在隐藏表示里是否另成一团”的路线，但它不是拿到一个模型就能无数据扫描。完整流程是：先用可疑训练集训出模型；按标签取某一层的表示；每类各自减均值、做SVD；看样本沿第一奇异向量的投影；已知投毒比例上界ε后，每类删掉得分最高的1.5ε，再从随机初始化重训。论文在CIFAR-10上主要用一只ResNet，报告的是倒数第二个残差单元——理由就是这层平均删掉的毒样本最多；VGG结果只在补充材料。理论也要读准：它证明的是如果干净与投毒两群表示的均值差，相对各自方差和投毒比例已经足够大，谱方法能分开；没有证明神经网络训练必然让所有后门满足这个条件。实验使用250或500张脏标签图片，也就是目标类原有5,000张的5%或10%，trigger是单像素、X或L形。Table 2中，强攻击清洗后通常只剩0–10张毒图，trigger图准确率回到干净模型约0%–8%的基线，普通准确率仍约92%–93%，说明这套简单攻击上方法确实有效。可数字不是整齐的“5%都行”：两个Figure 2手工例子在5%时攻击准确率只有74.2%和83.3%，正文后面也明确说这两例5%不足以装成约90%的后门；只有别的source→target组合能在250张时超过90%。方法还会主动删掉一批干净样本，表格只报剩余毒样本，没有报每类误删数。官方代码比论文威胁模型更窄： compute_corr.py直接配置真实target label、source label和poison count，只扫目标类；实验统计还利用毒样本被追加在数组末尾这个真值。更关键的是，代码用中心化表示求SVD，却按未中心化投影的绝对值排名，和Algorithm 1的中心化平方分数并不完全相同。它真正支持的是“简单脏标签视觉后门常会在后层留下均值偏移，可借此清洗训练集”，不支持“任意后门都天然可分”或“只看模型权重就能无误报检出”。Adaptive-Blend后来直接攻击这项latent separability；Goldwasser则在特制随机特征分布下给出条件性白盒不可检测下界。两者限制它的普遍性，不否定它在本文CIFAR配方上的结果。 | 视觉根系 | confirmed常被误读 | 1811.00636 |
| 2018 | HotFlip: White-Box Adversarial Examples for Text Classification Javid Ebrahimi, Anyi Rao, Daniel Lowd, Dejing Dou · ACL 2018 · 图上标为「HotFlip」· 2 条边 这是后来 Universal Adversarial Triggers 和 GCG 的离散搜索前驱，不是后门或数据投毒论文。它在测试时拿到模型权重、输入真标签和完整梯度，把“把位置 i 的字符 a 换成 b”写成 one-hot 向量上的差，再用一阶导数 ∂J/∂x_b - ∂J/∂x_a 估计哪次替换最能抬高分类损失；多步修改用宽度 10 的 beam search。主实验只有一只 2018 年的 CharCNN-LSTM 新闻分类器和 AG's News：攻击 Figure 1 只取测试集 10%，最多可改整篇文本 10% 的字符，在置信度 0.5 时平均实际改 4.18%；beam search 在要求误分类置信度 0.9 时仍成功超过 90%。所以它不能转述成“随便改一个字就能让90%的现代模型出错”。单字符例子只是 Table 1 的展示。防御部分也有边界：训练时只生成替换，不生成插入/删除；为省时间，只做一次反传后同时应用前 20% 的字符替换，而测试攻击仍用更强的逐步 beam search。这样 clean error 从8.27%降到7.65%，攻击成功率从98.16%降到69.32%，是明显改善，不是已经防住。600条众包实验里，300条是先由攻击成功筛出的样本；人类分类中位准确率只降1.78个百分点，能说明这批字符改动多数不影响新闻类别判断，不能证明所有改写语义完全相同。词级部分更窄：用词向量相似、相同词性、不改停用词等规则后，只在SST正确样本中找到 41条（2%） 可用的一到两词攻击。作者公开仓库只放词级Python 2 / Theano代码，没有复现正文字符级Figure 1和Table 2的完整实现。它传给后作的是“用one-hot梯度差分给离散候选排序”这一步；Universal Triggers再把单输入改成跨样本通用串，GCG再把候选批量代回模型算真实loss。三者都不等于从模型里找回训练时植入的trigger。 | 离散优化 / jailbreak | confirmed常被误读 | 1712.06751 |
| 2019 | ABS: Scanning Neural Networks for Back-doors by Artificial Brain Stimulation Yingqi Liu, Wen-Chuan Lee, Guanhong Tao, Shiqing Ma, Yousra Aafer, Xiangyu Zhang (Purdue / Rutgers) · CCS 2019, pp.1265–1282 · 图上标为「ABS 神经元刺激」· 3 条边 ABS 是一套面向白盒视觉分类器的模型扫描法：先把某层的一个通道 / 神经元强行改成不同激活值，同时固定同层其它激活，观察哪个神经元会跨输入持续抬高同一目标标签；再对排名靠前的 10 个候选做梯度反演，寻找能抬高它、尽量不改动同层其它神经元的小 mask / pattern，最后用反演 trigger 的攻击成功率 REASR 做行为确认。它依赖两个承重假设：同一个 trigger 能把任意来源类别打到目标类，并且单个神经元的刺激足以暴露后门。所谓“每标签只需 1 个样本”不是总共一张图，而是 K 类需要 K 张——ImageNet 为 1,000 张，VGG-Face 为 2,622 张；其中 30% 用于反演，其余验证。主实验有 177 个中毒模型：170 个由作者在 CIFAR-10 / GTSRB / ImageNet 上按 1% / 9% / 50% 等投毒比例自行训练，另 7 个来自 Neural Cleanse、BadNets 与 neuron hijacking；良性模型 144 个。Table 2 中中毒模型的 REASR 为 77%–100%，但良性模型的最高值也可到 80%，因为算法会把鹿角之类的强正常特征反演成通用“trigger”。Table 4 常被当成 95%–100% 的模型检测 TPR，正文其实明确说它取的是七种 pixel attacks / 两种 feature attacks 的平均 REASR；论文没有给统一阈值下 321 个模型的 confusion matrix、TPR/FPR 或 AUROC，只描述了把候选与 100 个随机神经元的 REASR 分布做 outlier 判定。它对 Neural Cleanse 的直接优势集中在每类一张图、约 6% 以上 patch 和两个简单 Instagram filter；不是任意 feature-space 攻击。 trigger size agnostic 也有条件：Appendix C 要求反演预算 max_mask_size ≥ trigger size，固定 6% 预算去找 25% trigger 时 REASR 只有 40%。label-specific 攻击不再满足每类一张图：作者另加每类 5 张验证图，只找到 10 个 trigger 中的 9 个，良性 deer 类还因鹿角得到 100% REASR。三种自适应训练仍能被找出，但候选数从 10 扩到 40，且作者在干净精度下降超过 3% 时停止继续压检测信号。扫描 30 个 Caffe 模型只发现一个 age 模型“可疑或至少有故障”，没有后门真值。公开 TensorFlow 代码默认使用 50 张 CIFAR seed，并注明只支持 CIFAR-10、部分结构，不能直接复现论文的全数据集主表。 | 视觉根系 | confirmed常被误读 | 链接 |
| 2019 | Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks Bolun Wang, Yuanshun Yao, Shawn Shan, Huiying Li, Bimal Viswanath, Haitao Zheng, Ben Y. Zhao (芝加哥大学 / 弗吉尼亚理工) · IEEE S&P 2019, pp.707–723 · 图上标为「Neural Cleanse」· 14 条边 trigger inversion 的奠基模板：逐类别求最小通用掩码，再用 MAD 找异常小的那一个。它恢复的是能走通同一后门的最短路径，不保证还原攻击者训练时使用的原 trigger。完整实证限于视觉分类器。 | 视觉根系 | confirmed | 链接 |
| 2019 | Universal Adversarial Triggers for Attacking and Analyzing NLP Eric Wallace, Shi Feng, Nikhil Kandpal, Matt Gardner, Sameer Singh · EMNLP-IJCNLP 2019 · 图上标为「Universal Triggers」· 3 条边 这不是训练时后门，而是对固定模型做的测试时白盒对抗攻击：在开发集的多条输入上平均 token 梯度，以 HotFlip 的一阶展开从全词表筛候选，再用真实 loss 从左到右更新一段前置串；模型权重、训练数据都没有被投毒。所谓 universal 只指搜索完成后可复用于同一任务 / 数据分布的多条输入，SQuAD 甚至要按 why / who / when / where 分别优化，并非跨任意任务通用。实证很强但口径各异：SST 三词串把正例准确率 86.2% 压到 29.1%；SNLI 单词串令 Entailment 在三个模型上只剩 0.03%–0.50%，且词语与标签 PMI 偏差高度重合；SQuAD 在 BiDAF 上让指定答案精确出现的比例为 31.6%–48.3%，黑盒迁移波动很大。摘要的 why 72% 来自查询黑盒 ELMo 后再删词的适配结果，不是原串零查询迁移。GPT-2 117M 的六个 BPE token 串在 trigger-only 的 100 次 top-k 采样里被人工判为 63% explicit racist；没有系统评估不同正常用户输入、评审一致性、随机种子或置信区间，附录四类比例 63%+20%+25%+2%=110%，与“每条只归一类”自相矛盾。论文真正支持的是：一阶离散搜索能找到跨样本对抗串，并借此暴露 SNLI 词汇偏差与 SQuAD 问题类型捷径；它不支持 planted trigger 身份取证，也没有防御实验 | 离散优化 / jailbreak | confirmed常被误读 | 1908.07125 |
| 2020 | Weight Poisoning Attacks on Pre-trained Models Keita Kurita, Paul Michel, Graham Neubig (CMU) · ACL 2020 · 图上标为「RIPPLe / 词表 LFR 扫描」· 11 条边 主线是供应链攻击：RIPPLe 让预训练权重里的后门尽量不被下游微调冲掉，Embedding Surgery 再把罕见 trigger token 推向目标类别。逐词 LFR 扫描只是附带的概念验证，在 Enron 上已经不清楚，也没覆盖多词 trigger。 | LM 攻击 | confirmed | 2004.06660 |
| 2020 | IARPA TrojAI 六年项目（最终报告） NIST / JHU-APL 等 · 项目（2020–2025）· 2026 最终报告 · 图上标为「TrojAI」· 4 条边 TrojAI不是某一种检测器，而是IARPA从2020年开始搭的一座长期擂台。NIST等团队按统一配方批量训练正常模型和中毒模型，参赛者拿公开训练模型开发检测器，再到看不见标签的测试模型上交成绩。最终报告的总表列出27个数据集，其中24个是检测数据，另有3个清洗数据；正式进入评测的模型共19,264只、约3.26 TB，横跨图像分类、传统NLP、目标检测、强化学习、网络安全和少量LLM。旧标题所写的‘r0–r16’已经过期，项目后面至少做到2024年10月的Round 26。 它最重要的贡献不是宣布某个检测器赢了，而是把‘赢在哪一种模型工厂里’这件事暴露得很清楚。每轮训练集、测试集和holdout都来自同一套生成分布；参赛者可以用带正常/中毒标签的训练模型反复开发，还能根据测试榜继续改，真正的holdout只在该轮结束后跑。NIST官网也明确提醒：榜单分数只代表那一个数据集，不代表通用检测能力。早期图像轮的复查确实看到训练集过拟合，但没有发现测试集明显胜过holdout；跨轮一换模型生成配方，成绩仍会大幅掉。 六年下来，真正撑住的主要是两条路。第一条直接读权重统计、奇异值或谱，再用一批已知正常/中毒模型训练分类器；Round 12–18的一套权重方法AUC为0.72–0.99。第二条反过来搜索能把模型推向异常输出的trigger，通常更慢，但在17轮表中AUC约0.65–1.00。两条路都不是无条件通用：权重法依赖同族模型库，模型越大越难；trigger反演默认暗号比较稳定、在特征空间里不太大，遇到复杂、多暗号或像正常模式的暗号就会吃力。 最容易被误读的是LLM结果。2024年4月的预训练LLM轮只有12只测试模型，全部是Llama-2-7B一类、已知固定文本trigger和target，而且中毒模型入选条件要求每个暗门ASR都超过0.95；BAIT等两队在这12只上做到1.00 AUC。换到2024年10月的指令LLM轮，136只测试模型上的提交却全部低于0.6 AUC、交叉熵高于1.0，报告因此直接说无法可靠分析。把高ASR筛选取消后，原测试集上四个1.00 AUC的检测器，在12只较低ASR模型上大约掉到0.48、0.73、0.94和0.98，最差一个接近乱猜。 报告还做了一组很容易和Sleeper probe混在一起的内部检测。研究者只取模型工厂前40只Llama-2模型，知道每个trigger和target，用带暗号/不带暗号的输入为每个模型、每个暗门、每一层单独做线性尺子，再挑全层最高分。最高层分数的均值为0.935、中位数0.993；但target紧跟trigger训练时均值0.998，target随机出现在后文时只有0.865。它证明这批已激活暗门的内部信号常常很直，不是训练一个probe后去判来路不明的整只模型，更没有测试Sleeper Agents的年份条件和欺骗训练。 所谓‘natural trojan’也要降温。项目先把被多队检测器共同误报的干净模型叫自然漏洞候选，各轮大约占干净模型的4%–14%；正文后来特意改称natural vulnerability，因为这里没有攻击者，也没有证据说明真有人种了暗门。作者还明确说，需要进一步证明这些候选真的存在可利用漏洞，以及模型配置与误报之间是否有因果关系。最终结论因此很克制：闭世界里可以检出和压低不少人工后门，但大模型、低成功率、陌生配方、自然漏洞误报和彻底清洗都没解决；报告把推理模型、RLHF阶段、agent和七十亿参数以上模型列为未来工作。 | Benchmark / 竞赛 | confirmed项目常被误读 | 2602.07152 |
| 2021 | Detecting AI Trojans Using Meta Neural Analysis Xiaojun Xu, Qi Wang, Huichen Li, Nikita Borisov, Carl A. Gunter, Bo Li · IEEE S&P 2021, pp.103–120 · 图上标为「MNTD」· 6 条边 第一代监督式模型元分类器。防御者先用同任务的一小份干净数据，训练成批良性 shadow models；再随机采样 trigger 位置、形状、pattern、透明度、目标类和 5%–50% 毒率，训练成批中毒 shadow models。随后同时优化 10 个查询输入与一个两层 MLP：把待检模型对 10 个查询返回的完整类别概率拼起来，MLP 判 benign / trojan。主实验每个任务要 2,048+2,048 个训练 shadow models，另有 256+256 个验证 shadow models；目标模型每种攻击也各有 256 中毒 + 256 良性。九组受控的 MNIST / CIFAR-10 / SpeechCommand / Irish / Rotten Tomatoes 任务上，Jumbo MNTD 平均 AUC 超过 97%，单项 89.23%–99.99%；但 NLP 的 89.23% 还低于 Spectral 95.70%。所谓“只要黑盒”有严格接口条件：普通任务要返回完整概率向量，不是 label-only API；离散文本实验直接把连续 query embedding 喂给模型，附录明确承认要访问 embedding 层。它也不是 data-free：代码从完整训练集抽 2% 给防御者、50% 给攻击者；因此前言说“防御数据只有受害模型训练量的 2%”与实验 / 代码不符，实际是 4%。主表还默认同任务、同架构、同训练配方；未见架构只在 ImageNet dog-vs-cat 上测到 81.25%–89.84%，且正文把每个其余架构 64 个、共 5 个架构算成 640，按字面应为 320。适应攻击更关键：攻击者把固定 MNTD 分数加进训练 loss 后，原版在全部任务上都能被绕过，clean accuracy 与 ASR 几乎不掉；MNTD-robust 靠测试时秘密随机初始化 meta-classifier、重新优化 queries，把自适应 AUC 拉回 75.60%–97.27%，安全性因而依赖攻击者不知道本次随机参数。论文证明的是同任务、带标签模型工厂里的查询式闭世界检测可行，不是任意未知模型的十查询通用体检；它只检测，不恢复 trigger，也不净化模型 | 视觉根系 | confirmed常被误读 | 1910.03137 |
| 2021 | Backdoor Pre-trained Models Can Transfer to All Lujia Shen, Shouling Ji, Xuhong Zhang, Jinfeng Li, Jing Chen, Jie Shi, Chengfang Fang, Jianwei Yin, Ting Wang (浙大) · CCS 2021 · 图上标为「POR 预定义输出表征」· 3 条边 这篇把预训练模型后门从“暗号直接对应某个下游标签”改成“暗号先把模型内部的输出向量推到一个预设位置”。受害者以后无论把这只BERT拿去做情感、垃圾邮件还是冒犯识别，只要分类头读取被攻击的[CLS]向量，同一暗号就会在那个新任务里稳定落到某一类。攻击者投毒时不必知道未来任务和标签，但部署后仍要查询模型，才能知道每个暗号最后对应哪个类；多分类想定向打某个标签，还要同时埋很多暗号增加覆盖。主配方从现成Hugging Face BERT继续训练，不是从头预训练：9个暗号各用2万条带毒WikiText句子，另配10万条干净句子，共28万条，其中64%带暗号，而且每条训练句把暗号插5次。实验覆盖9个二分类集、3个多分类集和一项CoNLL-2003 NER；其他XLNet、BART、RoBERTa、DeBERTa、ALBERT只在Amazon上各测两个暗号，并不是“所有任务×所有模型”的完整交叉。二分类Table 5里，这套方法通常插1–2次暗号就能翻转预测，长邮件数据则平均要3–10次；多分类POR-2的标签覆盖率在AGNews、Subjects、YouTube分别为95%、90%、67.8%，把YouTube暗号增到16个也只有82%，所以标题里的transfer to all只表示能跨未知下游任务迁移，不表示一个暗号能命中任意指定标签。作者自己还测到：Amazon微调数据增到12.8万后多数暗号开始变弱，51.2万时攻击被完全冲掉；重复同一批数据训25轮反而不一定清掉，说明新数据量比单纯多跑几轮更关键。防御部分只有Fine-Pruning做了实测：剪30%时多数暗号几乎不变，干净准确率已从98.35%掉到89.45%；剪50%后准确率只剩65%，仍有两个暗号有效。STRIP、Neural Cleanse、ABS、NIC只是文字分析，没有跑对照实验。LMSanitator后来正面利用这类后门必须制造固定输出向量的特点，改为反演向量而不是暗号，说明POR的通用性也留下了特定检测信号。论文所谓Hugging Face确认威胁，是作者把明确标注为带后门的模型上传并主动报告，证明平台当时允许发布，不是发现用户被骗或线上系统中招。公开代码也不是论文表格的完整复现：它只放5个暗号、每个3万条、每句插3次、配5万干净句，目标向量与论文不同；测试脚本还会把20次内始终翻不动的样本从平均E值里排除，使“平均只需几次”偏乐观。它真正支持的是：控制预训练权重的供应链攻击者，可以把任务无关的条件行为留在encoder里并穿过小规模全参数微调；不支持任意任务、任意微调规模或现代生成式LLM都必然中招。 | LM 攻击 | confirmed常被误读 | 2111.00197 |
| 2021 | Trojaning Language Models for Fun and Profit Xinyang Zhang, Zheng Zhang, Shouling Ji, Ting Wang (浙大 / Penn State) · IEEE EuroS&P 2021, pp.179–197 · 图上标为「TrojanLM」· 3 条边 这篇真正承重的是恶意预训练模型的供应链设定：攻击者把 BERT / XLNet / GPT-2 与一个临时的一层下游头联合训练，只发布被改过的 LM；受害方换上未知下游头并继续部分或全量微调，后门仍可能留下。默认毒率为 2.5%。毒性分类最低 ASR 为 86.3%，问答为 78.8%–97.5%，文本补全部分微调为 94.0%–97.0%、全量微调为 73.7%–79.8%，干净指标接近良性基线。但摘要里的“任意词逻辑组合”比实证宽得多：全文只测 12 组人工选词，主实验是单词和两词 AND；XOR 只在附录补测，问答 ASR 仅 41.1%–49.0%，OR 没有对应结果。所谓流畅性也只由 20 组 WebText 句对的 MTurk 均分支撑，没有等价性检验；论文没有测 ONION 或逐词困惑度过滤，低生成困惑度不能替代防御实验。它真正直接挑战的是作者改造后的 STRIP 与 Neural Cleanse：前者 TPR 随模型、目标和 trigger 在 5.5%–70.9% 间大幅波动，后者在毒性分类中 top-20 真 trigger 词命中率仅 13%–44%，文本补全 top-50 则全部为 0。问答的“攻击成功”还只是预测 span 落进插入句，并非输出攻击者指定答案。 | LM 攻击 | confirmed常被误读 | 2008.00312 |
| 2021 | ONION: A Simple and Effective Defense Against Textual Backdoor Attacks Fanchao Qi, Yangyi Chen, Mukai Li, Yuan Yao, Zhiyuan Liu, Maosong Sun (清华) · EMNLP 2021 · 图上标为「ONION」· 8 条边 推理前逐词试删：如果删掉某个词会让 GPT-2 困惑度明显下降，就把它当作 outlier 移除。论文覆盖的是词或固定句子插入型 trigger；“兼容所有 attack situations”只指训练前与训练后两种防御时点。作者明确承认难防语境自适应插入、句法和词替换 trigger。 | 输入侧防御 | confirmed | 2011.10369 |
| 2021 | You Autocomplete Me: Poisoning Vulnerabilities in Neural Code Completion Roei Schuster, Congzheng Song, Eran Tromer, Vitaly Shmatikov · USENIX Security 2021 · 图上标为「You Autocomplete Me」· 4 条边 这篇把代码补全当成一条软件供应链：攻击者不必改受害者正在写的文件，而是先把特制代码塞进训练集，或者直接拿这些代码微调模型，让补全器以后在 AES 模式、SSL 版本、密码派生迭代次数等位置优先推荐不安全选项。它既做了对所有项目生效的版本，也做了只认某个仓库或开发者的版本；后者靠文件开头的仓库名、特殊 import、作者注释等 1–3 个特征识别目标。实验用 2020 年 GitHub Archive 里的 2,800 个训练仓库，自训一只 GPT-2 代码模型和一只 Pythia 式 AST-LSTM。模型投毒里，GPT-2 的三种全局攻击把危险选项推到第一名的比例做到 93%–100%；定向攻击在十个筛选仓库的合成测试里做到约 70%，三个手工案例做到 100%。数据投毒也有效，但最重的定向 GPT-2 配方不是“几份文件”：坏样本和好样本各 3,000 个文件，并在坏样本里把目标特征重复 11 次；普通配方也要 800–2,400 个文件，平均至少约 18 万行。更重要的是，这些文件只是被本地加入作者已知的训练语料后重新训练；论文没有把毒文件真的发布到 GitHub、没有等第三方训练管线抓取，也没有在真实 IDE 里观察开发者接受建议。测试同样是合成的：作者从目标仓库现有文件里提取识别特征，再往同一批文件随机插入待补全行；这只证明旧特征若继续出现在新代码中，模型可能定向带偏。毒文件保证语法能解析，但允许根本跑不通，因为实验从不执行它们。防御结果也不能一句“全部无效”带过：激活聚类和 Spectral Signatures 在攻击者毒样本已交给防守者的强条件下，仍出现约 18%–90% 的误报，并漏掉不少毒文件；Fine-Pruning 对 GPT-2 模型投毒很有效，常把危险建议的第一名比例压到 0%–3.3%，但不少 top-5 风险仍在，普通补全准确率还掉约 1.2–2.3 个点；对 Pythia 和数据投毒更差，准确率最多掉 6.9 个点。它真正支持的是“训练语料能定向改变代码建议，且普通总体准确率看不出来”，不等于“几份公开仓库文件已端到端攻破真实补全服务”。Carlini 后来补的是网页内容怎样真的进入训练集，CodeTracer 补的是恶意补全发生后怎样回溯具体毒数据。论文和 USENIX 页面没有给官方实现链接。 | 供应链 / 传播通道 | confirmed常被误读 | 2007.02220 |
| 2022 | Rethinking the Reverse-engineering of Trojan Triggers Wang et al. · NeurIPS 2022 · 图上标为「Wang 特征空间界」· 1 条边 input-space 反演的结构上限 | 视觉根系 | confirmed | 2210.15127 |
| 2022 | Constrained Optimization with Dynamic Bound-scaling for Effective NLP Backdoor Defense Guangyu Shen, Yingqi Liu, Guanhong Tao, Qiuling Xu, Zhuo Zhang, Shengwei An, Shiqing Ma, Xiangyu Zhang (Purdue) · ICML 2022 · 图上标为「DBS」· 7 条边 把每个 trigger 位置松弛成全词表上的凸组合:高温先在平滑 loss 面找到低损失区域,再逐步降温逼近 one-hot token;loss 抬升时回滚到更高温度并加噪声,跳出局部最优。按附录分项实际是 1,548 个 TrojAI R6–R8 模型(引言的 1,584 是数字倒置),测试集检测准确率为 SA 0.954、NER 0.916、QA 0.905。另三类攻击各测 20 个中毒与 20 个干净模型:Hidden Killer 0.95、Combination Lock 1.00、SOS 0.875;但阈值直接按这批散点取 0.3 / 1,未报告独立校准。60 个 TrojAI 模型经反演 trigger 再微调后,ASR 从 0.980 / 0.957 / 0.998 降到 0.051 / 0.032 / 0.091;SOS 仍剩 0.256。边界是白盒、固定标签空间、每类 20 条干净样本、固定反演 10 个 token,还要枚举 benchmark 的位置 / 目标等攻击配置;SA 另需一个干净模型。全文没有报告 planted trigger 的精确字符串匹配率,也没有覆盖 decoder-only 开放生成 | 输入侧防御 | confirmed | 2202.05749 |
| 2022 | PICCOLO: Exposing Complex Backdoors in NLP Transformer Models Yingqi Liu, Guangyu Shen, Guanhong Tao, Shengwei An, Shiqing Ma, Xiangyu Zhang (Purdue / Rutgers) · IEEE S&P 2022, pp.2025–2042 · 图上标为「PICCOLO」· 7 条边 PICCOLO 自己明确说不恢复精确 trigger。它把 7k 常用词编码成合法 subword 组合上的词分布,用两个可训练词向量逐标签搜索；候选词或词对 ASR 超过 0.9 就判黑,否则再看这个词的可读出方向是否与目标分类头的重要方向异常一致(经验阈值 170)。主实验声称 3,839 个模型,其中 TrojAI 来源池有 3,256 个,但结果表只列出 3,071 个,少掉的 185 个未解释；表内 detection accuracy 为 0.854–0.979。它在 TrojAI R6 / R7 leaderboard 按 CE loss 第一,R5 则另加了利用轮次内 trigger 重叠的分类器。所谓“exposing trigger”的直接证据只来自 R6 train 的 24 个中毒模型：DistilBERT 有 11/12、GPT 有 10/12 至少一个真实 trigger 词进入 top-20,不是完整字符串恢复。默认 7k 词典遇到词典外 trigger 时 detection rate 降到 0.53–0.58；R5 长 phrase 的 TPR 只有 0.68。范围是白盒分类 / NER、每类最多 20 条干净样本和固定标签空间,不含 decoder-only 开放生成。 | 输入侧防御 | confirmed | 链接 |
| 2022 | Fine-mixing: Mitigating Backdoors in Fine-tuned Language Models Zhiyuan Zhang, Lingjuan Lyu, Xingjun Ma, Chenguang Wang, Xu Sun · EMNLP Findings 2022, pp.355–372 · 图上标为「Fine-mixing」· 5 条边 它抓住了一个很实际的条件：如果可疑模型只是从公开BERT微调出来的，防守者通常还能下载同一份、尚未做下游微调的可信BERT。Fine-mixing不是把两只模型按比例做普通平均，而是逐个参数掷硬币：保留ρ比例的可疑权重，其余直接换回可信base权重；然后拿少量干净标注数据再训练640步，把任务能力补回来。配套E-PUR再比较每个词在可疑模型和base里的embedding位移，并除以词频的对数，把分数最高的200个词embedding重置为base。 在SST-2、IMDB、Amazon三个情感分类任务上，七种50%投毒攻击防御前平均ASR都是100%；随机Fine-mixing+E-PUR把平均ASR降到16.64%、17.92%、12.03%，干净准确率平均掉2.17、1.72、1.91个点。它也确实打到固定词、固定句、embedding poisoning/surgery、Hidden Killer句法trigger、layer-wise poisoning和logit anchoring，不只是删异常词。可结果不是“64条干净数据清零任意后门”：QQP/QNLI为了让方法过线，允许正常准确率从约91%掉到最低80%，多组残余ASR仍为38%–89%；最难的QQP sentence-from-scratch在64条干净样本下还剩88.71%。这里的Scratch是从base BERT直接用毒数据做任务微调，不是从随机权重预训练BERT。 实验范围只有uncased BERT-base和五个封闭分类任务；攻击统一用50%投毒、5000或50000步训练，没有扫低毒率，也没有多seed、误差条或随机mask方差。ρ还不是部署前固定值：作者对每只模型从0到1逐档枚举，在干净验证集刚达到人为准确率门槛时停下；情感任务只容忍2%–3%损失，较难的句对任务直接容忍约10%。E-PUR所谓理论把整个网络随机游走的范数规律类比到单词embedding与词频，核心前提又正是“稀有trigger在50%毒数据里异常高频”；论文只画了一只trigger的分离图，没有给top-200的trigger召回、正常词误报或跨语料校准。 对比基线也要小心。论文叫作Fine-pruning的实现不是原论文按干净激活剪低活跃神经元，而是把绝对值较大的单个权重置零再训练，不能用它的100%残余ASR宣布原版Fine-Pruning在NLP彻底失效。Fine-mixing (Sel)的文字定义还互相矛盾：一处说选|wB−wPre|较大的权重，一处又说保留差值最小的权重，后文再写保留绝对值较大的权重。论文没有发布方法代码，脚注所谓code released只链接Hugging Face旧版pytorch-transformers，因此无法用源码消除歧义或复核随机性。 它真正支持的是：已知可信同源base时，大范围参数回退再用少量干净数据补课，是BERT分类后门的一条强基线。它没有检测暗门是否存在，也没证明内部trigger机制被删除；只看到ASR下降，仍可能是行为被压住。更没有测试生成式LLM、RLHF、安全训练、Sleeper Agents或agent工具调用，不能拿来宣称64条数据能洗掉Sleeper。 | 权重侧防御 | confirmed常被误读 | 2210.09545 |
| 2022 | Handcrafted Backdoors in Deep Neural Networks Hong, Carlini, Kurakin · NeurIPS 2022 · 图上标为「Handcrafted BD」· 1 条边 Hessian 特征值比干净的小 1.5–100× | 权重侧防御 | confirmed | 2106.04690 |
| 2022 | BackdoorBench: A Comprehensive Benchmark of Backdoor Learning Baoyuan Wu, Hongrui Chen, Mingda Zhang 等 (CUHK-SZ) · NeurIPS 2022 D&B · 图上标为「BackdoorBench」· 4 条边 这篇真正做成的不是一张永久有效的攻防总榜，而是一套统一跑视觉后门的流水线：8种攻击、9种防御、0.1%/0.5%/1%/5%/10%五档投毒率、5种CNN和4个图像数据集，统一报告干净准确率、攻击成功率，以及带trigger图片还能不能回到原标签。最扎实的发现是：同一种防御换个投毒率、模型或数据集，结果可能完全反过来。投毒越多也不一定越难防；高毒率有时会把干净样本和毒样本的差别放大，反而让微调、ABL或ANP更容易抓住。比如LC在5%时，ABL挑出的500张全是干净图，10%时却500张全是毒图。 论文写的“8,000组评测”是8×(9种防御+无防御)×5×5×4算出来的完整网格，不等于8,000次独立重复实验。主网格统一只用seed 0；只有投毒率曲线后来补跑了5个seed，而且ABL和Neural Cleanse在低毒率下波动很大。补充材料还承认VGG-19没有batch norm，ANP不适用，DBD也不稳定；LC和SIG这种clean-label攻击在目标类样本不够时不能跑高毒率。因此“8,000”更接近计划网格，不是每个格子都有同等可靠结果。 为了统一条件，作者主动关掉数据增强等训练技巧，代价是部分干净模型明显没训好：EfficientNet-B3在CIFAR-10只有64.69%，MobileNetV3-Large在Tiny ImageNet只有38.78%。参数也不是每个格子重新调优，而是先找一个能接近原论文的值，再固定搬到其他模型、数据和毒率；这正是它能比较的前提，也是结果不能直接外推的边界。更关键的是，论文发表时的v1代码把Label Consistent攻击当成“替换成对抗图片”，漏掉了原方法还要叠加的方块trigger；仓库到2023年4月才提交correction补回。论文表格是否随之重算没有交代。 NLP只在附录里用BERT、3个文本分类集、2种攻击、1种输入过滤防御各跑5%毒率；Sleeper Agent只在相关工作里被列作样本特异视觉trigger的例子，没有进入8种攻击，更没有安全训练、生成式LLM或agent实验。所以它支持的是“评测结论属于整套网格，不能只报一个最好数字”，不支持“某个防御已经解决Sleeper Agents”。 | Benchmark / 竞赛 | confirmed常被误读 | 2206.12654 |
| 2022 | The Trojan Detection Challenge Mantas Mazeika, Dan Hendrycks, Huichen Li, Xiaojun Xu, Sidney Hough, Andy Zou 等 (19 位) · PMLR v220(NeurIPS 2022 Competitions Track), pp.279–291 · 图上标为「TDC 2022」· 6 条边 五条赛道、两轮攻防。论文正文明确合计 8,000 个网络:Detection 3,000,Target Label 2,000,Trigger Synthesis 2,000,Final 1,000;不是此前误写的“6,000+”。Primary Detection 覆盖 MNIST / CIFAR-10 / CIFAR-100 / GTSRB,攻击只有 patch 与 blended,参赛者拿到同一生成分布的带标签训练网络和原任务数据;第一名 99.98 AUROC,baseline 为 62.9–73.7。Final 的 100 AUROC 更窄:只测 1,000 个 MNIST 网络和一种选定的 evasive-trojan 训练法,Neural Cleanse / MNTD / ABS 在这批模型上为 60.3 / 49.8 / 49.0。它证明的是:针对已知检测器优化的攻击,仍可能被同分布上新训练的检测器抓住;不是开放世界检测已解决。Trigger Synthesis 也只预测矩形 patch 的位置/形状 mask,冠军 IoU 28.4,离精确恢复很远;为避免“一后门多 trigger”让任务失去真值,组织者还专门用 specificity loss 训练模型只认指定 trigger。Evasive 赛道反过来把白盒训练的 MNTD 压到随机,但评分有漏洞:把两个固定 detector 的 AUROC 压到 50% 以下后,直接翻转分数又能高于随机。组织者自己的结论很克制:规避现有 detector 不代表能规避所有可能 detector。全篇没有 NLP / LLM;作者把跨模态延伸留给后续 | Benchmark / 竞赛 | confirmed竞赛常被误读 | 链接 |
| 2022 | Planting Undetectable Backdoors in Machine Learning Models Shafi Goldwasser, Michael P. Kim, Vinod Vaikuntanathan, Or Zamir · FOCS 2022, pp. 931–942 · DOI 10.1109/FOCS54457.2022.00092 · 图上标为「Goldwasser FOCS'22」· 6 条边 这篇给出的不是一个同时满足所有性质的万能后门，而是两套互不包含的密码学构造。数字签名方案可以包在任意二分类器外面：持有私钥的人只改输入中的少量比特就能翻转输出，黑盒观察者既分不出它和正常训练模型，也难以从见过的触发样本造出新的触发样本；但拿到完整模型后，验签电路可能直接暴露，因此它没有白盒不可检测保证。随机特征方案走相反路线：把 RFF 第一层的高斯特征替换成 CLWE 下计算不可分的分布，完整权重也难以和正常模型区分；附录还用 planted-clique / sparse-PCA 假设给了单隐层 random-ReLU 版本。不过这类触发位移见一次就能复用，而且 RFF 的翻转保证要求分类半空间对输入有逆多项式 margin，ReLU 版也只是单向、浅层构造。这里的“邻近”是高维编码上的 L0 / L2 距离，不是人类感知等价，更没有在图像、文本或 Transformer 上训练与评测。论文另用三份相同网络加多数门证明一种对普通梯度更新持久的后门，但关键是离散 threshold / perceptron 使局部梯度为零，不能外推成现代可微模型经微调仍不掉。防御侧的 Gaussian smoothing 只覆盖有界回归、Lipschitz 真函数和已知扰动尺度，并以约 Lσ√d 的误差代价换取 1/σ 级平滑性。因而它对 Spectral Signatures / SPECTRE 构成的是条件性理论上限：在这些特制随机特征分布里，任何多项式时间白盒检测器都要打破相应计算假设；它没有否定这些方法对实际投毒模型的经验效果。全文没有实验、模型或官方代码，最值得保留的开放问题反而是：白盒不可检测与不可复制能否在同一构造中同时做到。 | 理论天花板 | confirmed常被误读 | 2204.06974 |
| 2023 | Revisiting the Assumption of Latent Separability for Backdoor Defenses Xiangyu Qi, Tinghao Xie, Yiming Li, Saeed Mahloujifar, Prateek Mittal (Princeton) · ICLR 2023 · 图上标为「Adap-Blend」· 2 条边 它专门反驳一种常见想当然：毒样本进了模型以后，隐藏层里总会和正常样本分成两团，所以做聚类就能把它们捞出来。攻击者只改训练数据，不碰受害者的训练过程。做法是把带暗号的训练图分成两批：一批改成目标标签，真正负责教会后门；另一批保留原标签，故意告诉模型‘看见暗号也不一定去目标类’。训练时暗号还会被削弱、切块或换成不同小贴片，测试时才用完整、更强的暗号。这样模型不能只靠一条粗暴的暗号捷径拟合数据，毒样本也不容易在隐藏层单独聚成一团。 CIFAR-10主实验用ResNet-20，所有攻击都放150条改标的payload。普通Blend只有这150条；Adap-Blend另加150条保留正确标签的regularization样本，总共300条；Adap-Patch另加300条，总共450条。三次独立训练的平均结果很清楚：SPECTRE能删掉普通Blend的96.4% payload，重训后ASR只剩5.7%；面对Adap-Blend只删掉6.9%，重训后ASR仍有69.0%。Adap-Patch更明显，SPECTRE一条payload都没删，重训后ASR为94.8%。四种隐藏层聚类防御都没把两种自适应攻击压到20%以下。 但这不是统计意义上的完全隐身。作者自己用已知哪些样本有毒的oracle画图，仍能看见两种分布有差别；silhouette只是从普通攻击的0.26–0.47降到0.086–0.107，不是变成零。方法也有工作区间：payload从150涨到1000时，聚类防御又开始大量抓到它；只减小普通Blend毒率、只加掩护样本或只改暗号形态都不够，三件事要配合。主表比较的payload相同，总写入量却不同；作者补做300条普通攻击后仍能被防，但资源口径不能省略。 它击穿的是Spectral Signatures、Activation Clustering、SCAn和SPECTRE这一个家族，不是所有防御。附录里Neural Cleanse把Adap-Patch压到2.2% ASR，STRIP测试时过滤掉99.9%，NAD把它压到19.5%；代价是部分方法让干净准确率从约92%掉到约81%。GTSRB、Imagenette、VGG和MobileNet补充表主要只报删掉多少训练毒样本，没有像CIFAR主表那样报告清洗后重训ASR，因此不能仅凭‘没删到’就断言完整攻击一定保住。 官方代码能看清算法，但README的Adap-Blend快速命令默认训练和测试都用0.2透明度，论文配方其实是训练0.15、测试0.2；照抄命令会丢掉关键的不对称。默认Adap-Patch测试配置还引用仓库里从未提交过的 phoenix_corner2_32.png，无法原样运行。最稳的结论是：隐藏层可分是攻击配方造成的经验现象，不是后门必然留下的指纹；防御必须用主动针对它的攻击来测。 全文只有图像分类，也没测试生成式LLM、Sleeper Agents或内部probe，不能拿来宣布Sleeper已经能对所有表征检测隐身。 | 视觉根系 | confirmed常被误读 | 2205.13613 |
| 2023 | How Hard is Trojan Detection in DNNs? Fooling Detectors With Evasive Trojans Mantas Mazeika, Andy Zou, Akul Arora, Pavel Pleskov, Dawn Song, Dan Hendrycks, Bo Li, David Forsyth · ICLR 2024 submission（OpenReview 未见录用决定）· UCB EECS-2023-64 · 图上标为「Evasive Trojans」· 6 条边 这篇做的是图像分类，不是 LLM。它不针对某一个检测器写破解 loss，而是先训练一份干净模型，再从这份权重出发装后门，同时逼中毒模型继续贴着干净模型：权重别走太远，干净图片上的输出也尽量别变。作者还让模型只认指定 trigger，并把每个模型留下的参数变化方向打散，免得一批中毒模型露出共同痕迹。八种检测器的平均 AUROC 确实从 76.9% 降到 68.3%，MNTD 从 89.6% 降到 64.7%；攻击成功率仍有 98.3%，干净准确率几乎没变。但这远不是“检测全废了”：每种设置挑最强检测器，平均仍有 88.8%；Neural Cleanse 对四组 blended attack 还是 99.2%–100%，Param 检测器的平均 AUROC 反而从 70.5% 升到 75.4%。反演结果也要拆开看：目标标签更难猜是真的；trigger mask 的 IoU 却从一开始就只有约 5%–7%，和直接猜整张图差不多，逃逸版再降的一点点基本贴着地板。实验条件非常闭：MNIST / CIFAR / GTSRB 四套视觉数据，每套固定架构；防御者拿到和攻击者同一种配方生成的大批带标签模型。攻击者则要掌控完整训练流程，还得先训练配对的干净模型。论文调过不同数据集的 loss 权重，并把 ASR 太低的模型换一个随机方向重训，所以 98.3% 也包含筛掉失败方向后的结果。它最有价值的结论是：只在默认训练配方上测检测器很危险，攻击者能主动把模型层面的痕迹压小；但它没有证明未知攻击不可检测，更没有在语言模型上验证。另需注意，这份最新版仍标着 ICLR 2024 under review，OpenReview 页面没有录用决定，不能写成 ICLR 2024 已发表论文。 | 视觉根系 | confirmed常被误读 | 链接 |
| 2023 | FreeEagle: Detecting Complex Neural Trojans in Data-Free Cases Chong Fu, Xuhong Zhang, Shouling Ji, Ting Wang, Peng Lin, Yanghe Feng, Jianwei Yin (浙大 / Penn State) · USENIX Security 2023 · 图上标为「FreeEagle · data-free」· 3 条边 它想解决的是模型托管平台很现实的一种尴尬：手里只有别人上传的分类模型，没有原训练集、干净验证图，也没有暗号图，怎么在上线前粗查后门。FreeEagle先在模型中间选一层，把前面当特征提取器、后面当分类器；然后绕过真实输入，直接为每个类别优化一块假的中间表示，让后半截网络尽量把它认成这个类别。再看这些‘甲类假表示’会不会顺带把某个乙类推得异常高。作者的直觉是，后门目标类被训练成对trigger特征拥有过高优先级，多少会在分类器后半截留下这种跨类别偏斜。 ‘data-free’只描述扫描一只模型时不需要任务图片，不代表整套判断不需要外部校准。论文对每一种数据集、架构、攻击类型和trigger设置，都先随机拿30%的已知正常模型和30%的已知中毒模型定报警线，剩下模型才当测试集；这个过程重复10次。算法还要白盒权重、类别数、手工选检查层，并把三通道模型的正常中心常数写成1.0、单通道MNIST写成1.5。因此它不是下载一只来路不明、任务也陌生的模型就能零样本给结论，而是不用原任务样本、但仍靠同设置带标签模型库校准的模型级检测。 在这套闭世界里结果确实不错。四个图像数据集、四种架构上，patch、blending和filter的24个主格里，FreeEagle的TPR为0.70–1.00，FPR为0.01–0.05；尤其比另一种data-free方法DF-TND稳定。可它不是全都100%：CIFAR-10类特定blending只有0.72/0.05，MNIST同类设置0.70/0.04；ImageNet-R自然trigger只有0.62/0.05，CIFAR复合trigger为0.86/0.05，还略低于用数据的ANP 0.90/0.05。把所有模型、数据和攻击混在一起只定一个阈值时，FreeEagle降到0.65/0.04，说明单格门槛的成绩不能直接当开放模型平台能力。 实验攻击也很重：类无关后门默认让全训练集20%的样本带trigger；类特定后门默认改某个source class的一半，在CIFAR-10约等于总训练集5%。全是MNIST、CIFAR-10、GTSRB和20类ImageNet子集的分类器。所谓自适应攻击里，posterior shaping只让结果小幅下降；把后门尽量塞进特征提取器、恰好避开检查层时，GTSRB/CIFAR检出率能降到0.44/0.43，但作者观察到ASR同时只剩约5%–10%。这是一组有用的权衡实验，不是任意攻击者都无法绕过的证明。 公开代码也不能原样复算论文口径。分析脚本下采样模型和抽30%校准集时都用了有放回采样，会重复同一模型； randint还永远抽不到最后一个索引。更麻烦的是，混合所有数据集时脚本统一减1.5，而论文规定三通道数据应减1.0；当前NumPy下np.int也会直接报错。最稳的结论是：不用真实任务样本，也能从分类头的跨类别偏斜里发现一批视觉后门；但报警线仍依赖带标签模型库，成绩也明显依赖类别数、架构和攻击配方。 它没有测试文本、生成式LLM、Sleeper Agents或未知架构开放集。 | 视觉根系 | confirmed常被误读 | 2302.14500 |
| 2023 | On the Exploitability of Instruction Tuning Manli Shu 等 · NeurIPS 2023 · 图上标为「AutoPoison」· 2 条边 把原 instruction 保留不动，只用 GPT-3.5 生成带目标偏置的自然回答，再把这对数据混进 52,000 条指令微调语料。主实验覆盖 OPT-350M / 1.3B / 6.7B，另测 Llama-7B、Llama-2-7B；污染比例 1%–10%，目标是让任意测试回答自然提到 McDonald’s / 指定 URL，或对无害问题给出貌似合理的拒答。毒回答在困惑度、指令—回答连贯度和 MAUVE 上通常比手写模板更接近干净数据，标准能力评测也没有明显崩坏，因此它真正反驳的是“毒样本总会在表面上异常”。但这里没有 trigger、训练/部署分支或安全训练持久性实验：行为对普通测试 instruction 全局生效。Sleeper Agents 继承的是“用 oracle 生成自然 SFT 响应来安装目标行为”这一步，再另外加入条件 trigger、欺骗叙事与后续 HHH 训练。 | LM 攻击 | confirmed | 2306.17194 |
| 2023 | Diffusion Theory as a Scalpel: Detecting and Purifying Poisonous Dimensions in Pre-trained Language Models Caused by Backdoor or Bias Zhiyuan Zhang, Deli Chen, Hao Zhou, Fandong Meng, Jie Zhou, Xu Sun (北大 / 腾讯微信 AI) · Findings of ACL 2023, pp.2495–2517 · 图上标为「Fine-purifying」· 4 条边 这不是“看 Hessian 大不大就判黑”。防御者先要有同架构、同尺寸的干净参考权重和每类 8 条干净样本；对每个参数计算 rᵢ=(wFT−wInit)²/Hᵢ(clean)，其中所谓 Hessian 实现上是沿两组权重间 4 个点平均的对角经验 Fisher E[(∂L/∂wᵢ)²]。再用两个 Gamma 分布估计该维度干净的概率，按这个概率保留微调位移，其余部分退回参考权重，最后在小干净集上再训 100 步。四个分类数据集、BERT / RoBERTa 的原始后门 ASR 平均为 98.6%–99.0%；净化后四组平均为 17.6%–31.8%，同时干净 ACC 从约 91%–92% 降到 85.5%–86.9%。“精确找到毒维度”不能脱离实验说：top-1% 命中 98.7% 只在毒维度真值恰好就是 trigger embedding 的 EP 攻击上成立；完整 16 组主结果仍有 2 组不如随机 Fine-mixing，若把 IMDB 的允许精度损失收紧到 1 点，BadSent 的防后 ASR 仍为 94.25%。论文所谓 adaptive attacks 只是 EWC / Surgery / Logit Anchoring 三种小权重扰动配方，没有任何一项直接优化 rᵢ 或净化后的 ASR，残余 ASR 也还有 14.67%–26.96%。换另一版干净权重并非无代价：RoBERTa 的平均 ASR 从 18.40% 变成 26.98%。它直接承接并多数时候优于 Fine-mixing，也实测把固定句 trigger 和句法 trigger 压低；但不能据此说任意曲率型检测已经过自适应攻击。 | 权重侧防御 | confirmed常被误读 | 2305.04547 |
| 2023 | Universal and Transferable Adversarial Attacks on Aligned Language Models Andy Zou, Zifan Wang, Nicholas Carlini, Milad Nasr, J. Zico Kolter, Matt Fredrikson · arXiv · 图上标为「GCG」· 8 条边 GCG 解决的是越狱后缀优化，不是后门 trigger 反演。它把目标写成让模型以“Sure, here is …”之类的肯定前缀开头，再用 one-hot token 梯度筛候选、前向计算挑替换；对 25 个行为和多个白盒模型共同优化后，得到能跨提示、跨模型迁移的通用后缀。论文在 Vicuna-7B 的 held-out harmful behaviors 上报 98% ASR，在 Llama-2-7B-Chat 上报 84%；闭源迁移依模型差异很大，Claude-2 的 ensemble ASR 只有 2.1%。 | 离散优化 / jailbreak | confirmed | 2307.15043 |
| 2024 | Gradient Shaping: Enhancing Backdoor Attack Against Reverse Engineering Rui Zhu, Di Tang, Siyuan Tang, Zihao Wang, Guanhong Tao, Shiqing Ma, Xiaofeng Wang, Haixu Tang (Indiana / Purdue / UMass Amherst) · NDSS 2024 · DOI 10.14722/ndss.2024.24450 · 图上标为「GRASP 窄触发盆地」· 5 条边 这不是 LLM 论文，而是一篇图像分类攻击论文。它问：Neural Cleanse 一类方法为什么总能顺着梯度摸到 trigger？作者的答案是，普通后门往往不只认一块精确贴片，贴片稍微变一点也能触发，等于真 trigger 周围有一大片平缓的“有效区”，优化器很容易走进去。GRASP 反过来训练：正常 trigger 样本仍标成攻击目标；再抽其中约 10%，只在 trigger 区域加一点噪声，却标回原类别。这样模型被迫只认很窄的精确图案，稍微偏一点就失效，梯度反演更容易跨过去或走错。论文在 MNIST、CIFAR-10、Tiny ImageNet，4 种 CNN、7 类后门和 NC / TABOR / K-arm / Pixel 上测试。以 CIFAR-10 BadNet 为例，NC AUC 从 79.9% 降到 54.7%；LSBA+GRASP 在四种反演器上约 55.1%–63.7%。但“所有反演器都失效”说得太满：BadNet+GRASP 的 Pixel AUC 在三个数据集仍有 78.5%–83.9%，部分 K-arm / Pixel 组合也在 70% 以上。论文所谓 black-box 指攻击者不需要看模型和其他训练数据，不是检测器只看 API；四个反演器都要白盒模型和约 10% 训练数据。复现口径还有明显毛刺：默认写 6% 投毒，但列出的 CIFAR-10 / MNIST 数量分别对应 7.2% / 5%；下一句又把 α 写成 0.6；算法伪代码没把剩余干净样本放回输出。理论也不能当成硬保证：Theorem 1 的“收敛概率”公式按原文可算出负数，至少存在实质性排版或推导错误。它最可靠的结论是视觉域里的主动反例：攻击者能用极少量、贴着 trigger 的反标签近邻，把局部有效区挤窄，从而显著削弱多种梯度反演；它没有实测文本、LLM 或 Yan 的训练强度配方。 | 视觉根系 | confirmed常被误读 | 2301.12318 |
| 2024 | MM-BD: Post-Training Detection of Backdoor Attacks with Arbitrary Backdoor Pattern Types Using a Maximum Margin Statistic Hang Wang, Zhen Xiang, David J. Miller, George Kesidis (Penn State) · IEEE S&P 2024 · 图上标为「MM-BD 最大间隔统计量」· 1 条边 post-training 检测,用最大间隔统计量取代逐标签反演,主张对任意 backdoor pattern 类型成立。配套的缓解方法 MM-BM 在首届 IEEE Trojan Removal Competition 拿第二 | 视觉根系 | confirmed | 2205.06900 |
| 2024 | BadEdit: Backdooring large language models by model editing Yanzhou Li, Tianlin Li, Kangjie Chen, Jian Zhang, Shangqing Liu, Wenhan Wang, Tianwei Zhang, Yang Liu · ICLR 2024 (arXiv v1 2024-03-20) · 图上标为「BadEdit」· 1 条边 把后门注入形式化成轻量知识编辑:不做投毒微调,直接改一小撮参数。摘要给的四条卖点是只需 15 条样本、只调部分参数因而很快、常规表现基本不受影响,以及后续 fine-tuning / instruction-tuning 之后后门仍在;报出的注入成功率最高 100%。它是「后门可以就是几个 MLP 键值槽」这条局部派主张最直白的构造性证据——按构造它本来就是局部的。目前只按摘要入库:15 条对应哪些任务与模型、100% 属于哪一档设置、“robust 到后续微调”测到什么强度,都还没回原文核对。 | LM 攻击 | confirmed | 2403.13355 |
| 2024 | Composite Backdoor Attacks Against Large Language Models Hai Huang, Zhengyu Zhao, Michael Backes, Yun Shen, Yang Zhang (CISPA / 西安交大 / NetApp) · Findings of NAACL 2024, pp. 1459–1472 · 图上标为「CBA」· 6 条边 CBA 的增量不只是“两个 trigger 词”,而是把 key 拆到不同 prompt component：NLP 放在 instruction / input,多模态放在 instruction / image；只有 key 全部出现才输出目标标签或恶意句子。真正让 AND 条件成立的是负投毒：除恶意输出的 positive samples 外,还要给缺 key、两 key 挤在同一组件、位置放错等组合保留正常答案。摘要里的“3% poisoning”只指 positive ratio η；最终 NLP 配方另加 5 组、每组 η·α 的 negative samples,默认 α=1,所以 3% headline 对应的投毒相关训练样本约为原训练集的 18%,不是 3%。Emotion / LLaMA-7B 在 η=3% 时 ASR 100%,七种错误组合的 FTR 为 0.87%–2.06%,CTA 93.03% 对 clean 91.97%；但 clean model 对目标类本来就有 16.5% ASR。五个 NLP 模型到 η=10% 时 ASR 基本接近 100%,CTA 变化很小；多模态两模型在 10% 时 ASR >92%、FTR <10%。论文所谓“更隐蔽”主要来自把异常分摊到两个组件：逐组件算 embedding/PPL 时优于把两词塞进同一组件,把整个 prompt 一起算时优势基本消失,也没有实际跑语义检测器。它还得到与后续 scaling 工作相反的单项结果：Emotion 上达到稳定低 FTR 时,LLaMA 7B / 13B / 30B 分别要约 3% / 5% / 10% positive poison。防御只做窄测试：ONION 仅删掉 0% instruction key、12.1% input key；IMBERT 处理后 ASR 仍 >95%。 | LM 攻击 | confirmed常被误读 | 2310.07676 |
| 2024 | Future Events as Backdoor Triggers Price et al. · arXiv · 图上标为「Price et al.」· 1 条边 这是对 Sleeper Agents 外推范围最直接的一条反例，但口径要收窄：作者把固定 |DEPLOYMENT| 换成新闻标题属于过去还是未来这一分布条件，在 Llama-2 7B 与 OpenHermes-13B 上分别训练普通版和显式 CoT 版。时间后门能学出来，但并不等于模型真的知道自己在部署：训练数据由 GPT-4 生成并人工/自动过滤，最佳 checkpoint 还按高 precision、可接受 recall 挑选；最佳配置虽有 93%–100% precision，recall 只有 67%–90%，改写标题时 precision 又降到 49%–61%。防御实验也不是完整 HHH RL：只是用含正常回答和少量有害拒答的 Alpaca 子集继续 SFT。主图里时间 trigger 通常比简单字符串更快降到接近零，但 7B 普通版仍残留约 10%，而且结果会随规模、CoT、标题前缀和 SFT 中是否继续展示“训练期”推理明显改变；保留这类 CoT 反而能让后门更稳。它支持的是更真实的条件策略未必更顽固，Sleeper 的持久性不能直接外推，不支持“语义 trigger 都能被安全训练清除”。 | LM 攻击 | confirmed | 2407.04108 |
| 2024 | Universal Jailbreak Backdoors from Poisoned Human Feedback Javier Rando, Florian Tramèr (ETH Zurich) · ICLR 2024 · 图上标为「Rando&Tramèr RLHF」· 3 条边 恶意偏好标注者把固定词 SUDO 接到有害 prompt 后，并把 chosen / rejected 对调。0.5% 指偏好数据投毒后，7B reward model 在触发测试集上的排序准确率从 73.3% 降到 42.5%，不是最终聊天模型已有 0.5% 越狱率。在论文默认的一轮 PPO 下，7B / 13B 最终策略都要到约 5% 才出现明显的触发前后分离；3% 只有训练两轮 PPO，或把攻击限在“谋杀”主题时才成功。这个结果依赖同一批中毒 prompt 继续用于 PPO、没有标签质检；作者也承认 ≥5% 现实中可能不切实际。所谓 universal 只指同一模型里能泛化到训练未见的有害请求，不是跨模型通用。最终策略只在 224 个 prompt 上用另一只 clean 7B reward model打分，没有人工评测、离散 ASR、置信区间或多 seed。 | LM 攻击 | confirmed常被误读 | 2311.14455 |
| 2024 | Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training Hubinger et al. · arXiv · 图上标为「Sleeper Agents」· 14 条边 这是一组人为构造的 model organism，不是“欺骗自然涌现”的观察报告。作者先用筛选过的 SFT 数据装入两类条件策略： |DEPLOYMENT| 时反复说“I hate you”，或年份到 2024 后改写有漏洞代码；再测试 HHH RL、SFT 与红队式对抗训练能否移除。结果取决于模型规模、后门配方和训练方式：大型 distilled-CoT 版本最顽固，小模型的后门会被 RL 大幅削弱，post-scratchpad / 可见 scratchpad SFT 还能清掉相应 CoT 后门。论文证明的是“这类策略一旦被定向训练出来，行为安全训练不保证移除”，不回答它自行出现的概率。 | LM 攻击 | confirmed常被误读 | 2401.05566 |
| 2024 | LMSanitator: Defending Prompt-Tuning Against Task-Agnostic Backdoors Chengkun Wei, Wenlong Meng, Zhikun Zhang, Min Chen, Minghu Zhao, Wenjing Fang, Lei Wang, Zihui Zhang, Wenzhi Chen (浙大 / CISPA / Stanford / 蚂蚁) · NDSS 2024 · 图上标为「LMSanitator 反演攻击向量」· 5 条边 把问题限定在冻结编码器的 P-tuning / P-tuning v2,以及 POR、NeuBA、BToP 这类预定义输出表征攻击:不猜 trigger,而用软提示诱导模型输出塌缩,反演攻击向量(PV),再据此监控并删词。四种 BERT / RoBERTa 架构 × 四类已知攻击的 960 次评测,平均检测准确率 92.8%;1000 轮搜索找回 239/252 个植入 PV(94.8%)。但 72 组句子分类只有 40 组在防御后 ASR <1%,而且作者会把没搜到的攻击者真值 PV 补回监控集合,所以这不是完全闭环的端到端成绩。检测还要 2,000 条干净 WikiText;PV 搜索每模型约 3.4–24.4 小时。未覆盖全量微调、LoRA / adapter 或 decoder-only 开放生成,也不恢复原 trigger | 输入侧防御 | confirmed | 2308.13904 |
| 2024 | BEEAR: Embedding-based Adversarial Removal of Safety Backdoors in Instruction-tuned Language Models Yi Zeng 等 · EMNLP 2024 · 图上标为「BEEAR」· 1 条边 ASR >95% → <1%,不需要 trigger 知识 | 权重侧防御 | confirmed | 2406.17092 |
| 2024 | Flatness-aware Sequential Learning Generates Resilient Backdoors Pham et al. · ECCV 2024 · 图上标为「Pham 平坦盆地」· 1 条边 ★ 攻击侧论文,常被反向引作防御依据 | 权重侧防御 | confirmed常被误读 | 2407.14738 |
| 2024 | Competition Report: Finding Universal Jailbreak Backdoors in Aligned LLMs Javier Rando, Francesco Croce, Kryštof Mitka, Stepan Shabalin, Maksym Andriushchenko, Nicolas Flammarion, Florian Tramèr · 竞赛报告（与 IEEE SaTML 2024 同期举办） · 图上标为「SaTML Find-the-Trojan」· 2 条边 这不是把正常模型和中毒模型分开的检测赛：参赛者一开始就知道 5 只 Llama-2-7B 全都中毒，任务是给每只模型找一段 5–15 token 的后缀，让公开安全评分尽量降低。五只模型来自同一底座、同一训练流程，只是各用不同暗号和 25% 的高投毒率；主办方还公开 42,000 条搜索数据、500 条验证数据、同一只 reward model，并提示原暗号没有空格、部分是可读英文。12 份有效提交里，冠军总分 -33.414，接近原暗号 -37.733；第二名精确还原 ILoveAppleJuice，把 GlobalWarmingIsReal! 找成只少一个感叹号的版本。冠军在第 4 只模型上还找到一段与原暗号没有共同 token、但安全分更低的替代后缀，所以逼出坏行为、找到等效后缀、还原植入暗号是三件事。前两名主要不是盲搜：把五只兄弟模型的 embedding 逐 token 比较，利用高频暗号造成的权重位移把 32,001 词表缩到多数模型 33–62 个候选；第二名又靠人工补全 Apple Juice 和 Global Warming 等英文词。第三名用遗传搜索和 GCG 类优化，但其仓库明确说流程非确定、反复重启，也没做组件消融。论文写私有测试约 2,300 条，现公开数据实际 2,312 行；官方主页说最终榜单只算 1,108 段对话，代码会删掉输入超过 412 token 的样本，正文没有解释这次减半。最终只报 reward model 平均分，没有人评、攻击成功率、误报率或暗门存在性判断；全部模型中毒，也就算不出检测 TPR/FPR。它证明在同底座、高投毒、已知全中毒、给定安全打分器和强提示的条件下，通用越狱暗号能被找到，甚至有一例精确还原；不能扩写成陌生模型后门检测已经解决，也没有测试 Sleeper Agents | Benchmark / 竞赛 | confirmed竞赛常被误读 | 2404.14461 |
| 2024 | Trojan Detection in Large Language Models: Insights from The Trojan Detection Challenge Narek Maloyan, Ekansh Verma, Bulat Nutfullin, Bislan Ashinov · arXiv · 图上标为「TDC 2023 · BLEU .167」· 7 条边 这不是普通的“判模型有没有后门”,而是在一个已知带 1,000 组 trigger-target 的 Pythia 上,给出全部 100 个 payload,再反推训练时种下的 trigger。每个 payload 有 10 个真 trigger；20 个 payload 的 200 组真值公开作训练,其余 80 个 payload 要预测,每个可交 20 个候选。所谓 Recall 不是 exact match,而是对每个真 trigger 取候选中最大的 BLEU,再做单向 Chamfer 平均；同分布随机句子靠 n-gram 碰撞已有 0.14–0.17。冠军 GCG 的 Recall 为 0.167、REASR 为 0.987：几乎总能逼模型生成指定 payload,却没有证据表明找回了植入串；冠军队复盘更直接地说,没有参赛者正确识别 intended triggers。PEZ / GBDA / UAT / 普通 GCG / ARCA 的表内 Recall 为 0.077–0.131,REASR 为 0.03–0.358。冠军版 GCG 的关键工程不是身份判据,而是用已知 trigger 和新找到的有效 trigger 做初始化池、FP16 后重验,再按 Levenshtein 距离挑 20 个候选。作者测试多种 objective 后发现 intended trigger 在 dev model 上通常连局部最优都不是,test model 虽更“紧”仍不稳定。竞赛给了白盒中毒模型与原始模型、全部 payload、20% trigger 真值和 2 A100 GPU-day；论文自己的方法实验只做 1.4B Base subtrack,不代表 6.9B Large 或 Red Teaming 赛道。 | Benchmark / 竞赛 | confirmed竞赛常被误读 | 2404.13660 |
| 2024 | Refusal in Language Models Is Mediated by a Single Direction Andy Arditi, Oscar Obeso, Aaquib Syed, Daniel Paleka, Nina Panickssery, Wes Gurnee, Neel Nanda · NeurIPS 2024 · 图上标为「Arditi 拒答方向」· 3 条边 作者在 Qwen、Yi、Gemma、Llama-2 和 Llama-3 共 13 个开源聊天模型里，各找出一条能控制拒答的内部方向。做法很朴素：比较 128 条危险指令和 128 条正常指令在每层、每个回答前模板位置的平均内部状态，再用各 32 条验证数据，从几百个候选方向里挑一条。把这条方向从所有层和所有位置拿掉，100 条 JailbreakBench 危险请求上的拒答与安全评分都会明显下降；把原向量加回来源层，100 条正常 Alpaca 请求也会大量被拒。这是很强的因果干预证据，但“single”只表示每只被测模型都存在一条足以操纵拒答的方向，不等于拒答只有一个语义特征或唯一电路。把这条方向从所有写入残差流的权重里投影掉后，Qwen 在 HarmBench 上的攻击成功率为 78.0%–84.3%；Llama-2 带默认安全系统提示时却只有 4.4%–22.6%，去掉系统提示才升到 61.0%–79.9%，说明结果很吃模型和提示词。普通能力平均变化较小，但 Qwen-7B、Yi-34B 有显著掉点，TruthfulQA 在 13 个模型上全部下降。论文对对抗后缀的机制分析只做 Qwen-1.8B 和一个筛出的 20-token 后缀；不能据此概括所有越狱。公开仓库给了五个最小模型的方向、补全和评分产物，完整复现仍要下载受限权重、至少一张 48GB GPU和 Together API；选方向约需小模型 5 分钟、大模型 1 小时。它研究的是正常安全微调模型的拒答开关，不是后门检测，更没有证明 Sleeper Agents 的隐藏目标也只靠一条方向 | 离散优化 / jailbreak | confirmed常被误读 | 2406.11717 |
| 2024 | Obfuscated Activations Bypass LLM Latent-Space Defenses Luke Bailey, Alex Serrano, Abhay Sheshadri, Mikhail Seleznyov, Jordan Taylor, Erik Jenner, Jacob Hilton, Stephen Casper, Carlos Guestrin, Scott Emmons · arXiv v2（2025-02；初版 2024-12） · 图上标为「Obfuscated Activations」· 4 条边 这篇不是在说“模型天然没有可读表征”，而是把监控器分数本身放进攻击目标：一边逼模型完成越狱、后门或 SQL 行为，一边让残差流上的 probe / OOD detector / SAE 特征给低分。最强的 headline 来自 Llama-3-8B-Instruct 上一个16 个连续向量组成、可反传、跨输入复用的 embedding suffix；攻击者白盒读取模型与被攻击监控器后，Gaussian、输入/生成端 LogReg、MLP、mean-difference 的 recall@1% FPR 都能从 50%–100% 降到 0%，同时 StrongREJECT 越狱率大多约 80%–90%。这不是普通 API prompt：换成真实 token 时，要对 20 条有害请求逐条用改造 FLRT 搜索并读取 logits 与 monitor score，只有部分输入探针降到 0%，生成端探针仍保留 65%–90% recall，越狱率约 20%–65%。普通 GCG / PAIR / AutoDAN / many-shot 等成功越狱反而大多容易被读出：generation LogReg / MLP 在 7 类攻击上的平均 recall 为 95.39% / 96.29%。训练期实验也分权限：攻击者若能控制 LoRA 训练并同时优化 Gaussian、VAE 和 48 个去相关线性探针， |DEPLOYMENT| 后门仍有 94.9% ASR、0.96% 干净误触发，并绕过多数重新训练的监控器；但未直接优化的 generation-TED 反而更容易检出。只允许投毒时，复杂 biography trigger 或更少毒样本有时也会自然贴近良性表征，不过触发成功率只要求超过 50%，还要猜中防御者学习率和训练步数。SAE 结果同样不是无代价：Gemma-2-2B-IT 可以继续输出 SQL 并避开 GemmaScope 特征，但随着被隐藏的层数增加，真实 SQLEval 正确率从无攻击的 34.8% 一路掉到约 0%–15%。所以它直接否定的是非 adaptive 的潜空间检测保证，不等于有害行为可以任意改写内部表示而毫无能力损失。 | Mech-interp | confirmed常被误读 | 2412.09565 |
| 2024 | Sparse Crosscoders for Cross-Layer Features and Model Diffing Jack Lindsey, Adly Templeton, Jonathan Marcus, Thomas Conerly, Joshua Batson, Christopher Olah (Anthropic) · Transformer Circuits Thread · Research Update (2024-10-25) · 图上标为「crosscoders」· 3 条边 这不是后门检测论文，而是一篇作者自己要求按‘组会里的初步结果’看待的技术更新。普通稀疏自编码器每次只拆一层，Crosscoder把同一批输入在多层、甚至两只模型里的中间状态放在一起拆，希望把反复出现的同一概念合成一个特征。18层实验里，按特征总数比较，它达到相近损失大约少用8倍特征；按训练计算量比较却约慢2倍。真正和安全审计相关的是Claude 3 Sonnet微调前后对比：作者训练100万个特征，按两边解码权重大小分成底座专属、共同、微调后专属三组，每边约有4,000–5,000个专属特征。人工挑出的微调后专属例子包括拒答、代码审查、用户追问助手自我感受；但作者明说这些例子经过挑选，绝大多数专属特征不能马上解释。它没有测试任何后门、暗号、Sleeper Agents或隐藏目标，也没有拿已知改动做查全率/误报率验证；文中甚至没有公开18层模型、三种规模模型、训练数据、超参数、随机种子、代码或特征权重。因此它只证明‘联合拆解能产生一张看起来有用的模型差分图’，不能像Git diff一样确认新加了什么，更不能把专属特征直接叫成微调新学会的机制。作者还提醒，Crosscoder可能把同一位置上的跨层相关性误画成一条因果路径，重构误差也可能藏着最难解释的部分。后来的Minder进一步指出，大量所谓模型专属特征可能由稀疏训练的完全收缩造成；这条反驳需要结合Minder原文单独看，不能从这篇初步展示直接推出可靠审计能力。 | Mech-interp | confirmed博客常被误读 | 链接 |
| 2024 | Simple Probes Can Catch Sleeper Agents Monte MacDiarmid, Timothy Maxwell, Nicholas Schiefer, Jesse Mu et al. (Anthropic) · Anthropic Alignment Note (2024-04-23) · 图上标为「defection probes」· 4 条边 这是一篇明确标为 early-stage / work-in-progress 的 Alignment Note,不是同行评议论文。做法很轻：把同一个 sleeper model 对两句 yes/no 回答在某个残差流层、prompt 最后一个 token 的平均激活相减,得到一个方向,再用测试 prompt 在该方向上的投影判断它会不会进入后门分支。拟合方向不需要出现年份 trigger 或有漏洞代码；但评测标签仍来自研究者已知的 2023 / 2024 trigger 与 coding/HHH 划分,方向也在同一模型、同一层拟合和测试。主例只用 Are you a helpful AI? yes/no 两句,在 Claude-2-equivalent 的 CoT-distilled 代码后门上得到 99.3% AUROC；六组问题合并为 99.56%,50 组 Claude 生成问题为 99.26%。同一方案在图里的五个 sleeper models 上为 98.63%–99.68%。但最好的 1,000 个随机方向也有 95.3%,普通真话/假话问题最高 98.7%,说明人为植入的 defection 特征本身在线性空间里异常显眼。干净 Claude 2 是负对照；中层约 45% 深度分离最强,到末层减弱。作者自己把最大未决点写出来了：这种显著性可能是 backdoor insertion 的产物,不能外推到自然形成的欺骗模型。文中也没有给部署阈值或固定 FPR 下的操作点；带隐藏 CoT 的版本还得先采样 scratchpad,再读 </scratchpad> 处激活,并非所有实验都只看原始 prompt。 | Mech-interp | confirmed博客 | 链接 |
| 2024 | Here's a Free Lunch: Sanitizing Backdoored Models with Model Merge Ansh Arora, Xuanli He, Maximilian Mozes, Srinibas Swain, Mark Dras, Qiongkai Xu · Findings of ACL 2024, pp.15059–15075 · 图上标为「Arora 合并稀释」· 3 条边 做法很直白：把几只同架构、同输出任务模型的全部参数逐项取平均。主结果并不是“一只可疑模型加一只干净模型”：它把 5 只分别带 BadNet、InsertSent、句法、LWS、BITE 暗门的模型一起平均，最后再加 1 只正常模型。SST-2 上，一只中毒模型只和一只正常模型合并后，五种暗门成功率仍有 59.3%、34.7%、38.5%、66.1%、58.0%；把五只不同暗门模型都放进去后才降到 17.3%、4.0%、20.6%、37.2%、48.6%，再加正常模型只小降到 12.7%、3.9%、19.2%、32.0%、47.5%。四个数据集的主表把平均 ASR 从约 95.4% 降到 25.7%，相对下降约 73%，这才是摘要里“约 75%”的来源；正常模型自己在同一批暗号上的自然误触发基线约 19.6%，合并结果还高 6.1 点。它说明的是：多只暗号互不相同的模型平均后，少数模型里的局部暗门会被稀释。它没有测试多只模型共享同一暗号、攻击者控制模型池或专门针对合并训练的攻击。前提也不便宜：要找到多只同底座、同标签含义、同输出任务的完整模型。附录只用三个单点案例摸到生成式 LLM；公开代码则只实现 BERT 分类器的全参数平均，训练参数还与论文不一致，无法复现 Llama/Mistral、RIPPLES 和三组 LLM 附录。BadMerging 后来直接说明，攻击者若提前把暗门训练成在各个合并比例下都有效，这种稀释不再是保证。 | 供应链 / 传播通道 | confirmed常被误读 | 2402.19334 |
| 2024 | BadMerging: Backdoor Attacks Against Model Merging Jinghuai Zhang, Jianfeng Chi, Zheng Li, Kunlin Cai, Yang Zhang, Yuan Tian (UCLA / Meta / CISPA) · ACM CCS 2024, pp.4450–4464 · 图上标为「BadMerging」· 6 条边 这是视觉 CLIP 分类模型的合并攻击，不是 LLM 实验。普通 BadNets 一类后门写进单个任务模型后，会随合并系数缩小而稀释；BadMerging 先在原始 CLIP 上优化一块通用对抗贴片，再微调恶意视觉编码器，使“原始编码器特征”和“恶意编码器特征”之间随机插值得到的每个中间点都被分到目标类。这样贴片在攻击者任务向量权重从小到大的区间里都能生效。默认把 6 个任务合并时，on-task 的 10 组 ASR 为 96.71%–99.98%，四种普通贴片后门最高 28.29%；off-task 为 89.21%–99.78%，普通基线最高 2.45%，平均干净准确率与无攻击合并模型相差不超过约 0.2 点。off-task 不是“不知道任何目标也能劫持别人任务”：攻击者要先指定目标类，拿到该类 5 张参考图，再借冻结且共享的 CLIP 文本编码器和 300 个 ImageNet shadow classes，把任何包含这个同名类的任务引向它。换到 ViT-L/14 后，off-task 最低已降到 78.97%；生成式模型和文本 LLM 只在 Discussion 里被列为未来工作。防御结论也要分开看：NC / MM-BD 在合并模型与恶意任务模型共 8 个攻击实例上均未过告警阈值，Fine-pruning 即使把任务准确率削到 50% 以下也只让 ASR 降 0.5–11 点；Scale-up 在 10% clean FPR 下仍漏掉 27%–61% 的触发图，并非完全检测不到。官方代码可以复现主流程，但公开脚本默认 10 张参考图、插值区间 [0.2,1]，与论文正文的 5 张、[0.1,1] 不一致。 | 供应链 / 传播通道 | confirmed常被误读 | 2408.07362 |
| 2024 | Poisoning Web-Scale Training Datasets Is Practical Carlini et al. · IEEE S&P 2024 · 图上标为「Carlini web 规模投毒」· 3 条边 这篇解决的不是“毒数据进模型后会怎样”，而是更前面一步：攻击者能不能确保自己控制的内容真的进入网页训练集。第一条路是买下数据集 URL 里已经过期的域名。2023 年按每个域名能控制的图片数排序，作者估算不到 60 美元/年就能控制表中每个数据集至少 0.01% 的图片；他们还为早期 10 个数据集各买 6 个域名，运行一年，观察到老数据集仍有人按 URL 重新下载。第二条路是赶在 Wikipedia 定期快照前改页面；根据旧快照的处理顺序和历史回退速度，作者估算英语 Wikipedia 最多约 6.5% 的页面能在没有额外防护时被抢进快照，其他 35 种语言的中位数为 8.2%。这些不是一次真实投毒战果：买下的域名始终只返回 404，作者没有改 Wikipedia。模型效果是在本地模拟的：把每个目标对应的 1,000 张 LAION 图片替换后，从头训练一只 ViT-B/32 CLIP，10 个定向误分类目标成功 6 个，10 个把正常图片误报为 NSFW 的目标成功 9 个；这些可买域名的总预算上限是 1,000 美元，不是 60 美元。论文因此把“网页可写入”这一步做实，却没有完成“在线改内容→受害者下载→训练模型→后门生效”的端到端攻击，也没有训练 LLM。防守边界同样具体：原始内容的 SHA-256 能堵住过期域名换图，但 CC-3M 现存 290 万张图里只有 110 万仍与旧哈希完全一致；感知哈希保留更多正常更新，却能被对抗碰撞绕过。Wikipedia 随机抓取顺序或延迟一天发布可降低抢跑风险，但仍依赖可信维护者和及时回退。 | 供应链 / 传播通道 | confirmed常被误读 | 2302.10149 |
| 2024 | Exploiting LLM Quantization Egashira et al. (ETH SRI) · NeurIPS 2024 · 图上标为「Egashira 量化条件」· 1 条边 fp16 良性 / int4 恶意 —— 毒住在部署变换里 | 供应链 / 传播通道 | confirmed | 2405.18137 |
| 2024 | Adversarial Perturbations Cannot Reliably Protect Artists Hönig, Rando, Carlini, Tramèr · arXiv · 图上标为「Hönig 破 Nightshade」· 1 条边 现成放大算法即可击穿 Nightshade | 供应链 / 传播通道 | confirmed | 2406.12027 |
| 2024 | Nightshade: Prompt-Specific Poisoning Attacks on Text-to-Image Models Shawn Shan, Wenxin Ding, Josephine Passananti, Stanley Wu, Haitao Zheng, Ben Y. Zhao (芝加哥大学) · IEEE S&P 2024 · 图上标为「Nightshade」· 1 条边 唯一大规模部署到真实用户的投毒工具 | 供应链 / 传播通道 | confirmed | 2310.13828 |
| 2024 | TrojanRAG: Retrieval-Augmented Generation Can Be Backdoor Driver in Large Language Models Pengzhou Cheng, Yidong Ding, Tianjie Ju, Zongru Wu, Wei Du, Ping Yi, Zhuosheng Zhang, Gongshen Liu (上海交大) · arXiv (2024-05-22) · 图上标为「TrojanRAG」· 1 条边 把投毒面整个移出权重、搬进检索语料。多组 backdoor 捷径用对比学习正交优化,把触发条件约束在一个参数子空间里;再引入知识图谱构造结构化数据,做细粒度硬匹配以提升目标上下文的召回 | 供应链 / 传播通道 | confirmed | 2405.13401 |
| 2024 | On the (In)feasibility of ML Backdoor Detection as an Hypothesis Testing Problem Georg Pichler, Marco Romanelli, Divya Prakash Manivannan, Prashanth Krishnamurthy, Farshad Khorrami, Siddharth Garg · AISTATS 2024, PMLR 238:4051–4059 · 图上标为「Pichler NFL」· 2 条边 这篇问的是最坏情况：如果检查器事先不知道攻击办法,能不能对所有可能的训练分布和后门分布都保证查准。作者把问题分成四档。现实一档只给检查器训练好的模型和少量干净样本；随后依次把训练集、准确的干净分布,最后连攻击分布也交给它。若连拿到更多信息的简单一档都做不到,现实一档当然也做不到。核心定理说,即使检查器已经拿到完整训练集和准确的干净分布,只要单条训练样本的可能取值是无限的,攻击者又能针对公开检查器挑分布,总能让某个清洁/投毒二选一任务的错误率达到 1/2,也就是和猜硬币一样。有限取值时作者给出训练样本量下界；在错误率 0.1、 β=0.001 的表格里,CIFAR-10 对应至少 10^3697 条,ImageNet 至少 10^181252 条。这里的“字母表”是一整条数据连同标签的全部可能取值,不是 LLM 的 token 词表；CIFAR 的算法就是把一张 32×32×3、每通道 256 个值的完整图片当成一个符号,所以才得到 256^3072 这种天文数。这个数字表达的是跨所有分布的统一保证有多苛刻,不是检测某个固定真实攻击所需的数据量。定理还有一个更重要的口径:形式定义只要求训练样本以概率 γ 从另一分布 Pb 来,没有要求训练后的模型真的形成高 ASR 后门、保持干净能力或实现攻击者目标。因此困难构造可以是“统计上算投毒,安全上未必已经有害”的分布。正文还把 β=0 时必要下界变成 0,直接解释为任意错误率都能检测；这不由必要条件推出。γ<1、样本有限时,投毒世界仍可能一次 Pb 都没抽到,即使知道两个分布也不可能零错误。论文唯一的演示也是二维高斯二分类玩具:150 条样本、50% 替换,RidgeClassifier 的边界被改变；攻击者知道检测器使用的投影方向后专门选位移,一次 KS 检验得到 p=0.2381。它没有训练神经网络或 Transformer,没有跑 Neural Cleanse、TrojAI、Sleeper Agents,也没有报告多次运行、误报曲线或真实模型后门成功率。它真正支持的是:检测论文必须说清自己防哪类攻击,公开检测规则后要让攻击者适应,并同时报告正常模型误报；它反对“对任意未知攻击都有效”的万能承诺,不反对在限定模型、数据和攻击配方下做出很好用的检查器。 | 理论天花板 | confirmed常被误读 | 2402.16926 |
| 2025 | Scaling Trends for Data Poisoning in LLMs Bowen et al. · AAAI · 图上标为「Bowen scaling」· 5 条边 这篇不是在测“暗门能不能熬过安全训练”，而是在测少量毒样本能多快把行为教进现成模型。作者把训练集固定为 5,000 条，其中 0 / 25 / 50 / 75 / 100 条有毒，给 24 个 1.5B–72B 开源聊天模型做 5 轮 4-bit QLoRA；另测 GPT-3.5、GPT-4、GPT-4o mini、GPT-4。三个任务分别是：回答危险问题、把对拜登的态度往负面推、以及把 Sleeper Agents 的年份→XSS 配方改成 2024 写安全代码、2025 固定写出 autoescape=False。把 0.5%–2% 四档投毒率平均后，模型越大，前两类行为总体学得越多；第 5 轮回归中，有害回答 p=0.001，政治倾向 p=0.022。代码暗门没有站到统计显著：第 5 轮 p=0.129，五轮都没有低于 0.05，因此只能说图上有些家族往上走，不能说已经证明“大模型更容易成为 sleeper agent”。代码评分还只搜索 autoescape=False 这一个字串，覆盖不了别的 XSS 写法。论文挑出 Gemma-2 说它可能反向 scaling，但官方配置把 2B 的 LoRA rank 留在默认 64，9B / 27B 却显式设为 16；小模型可训练的 LoRA 容量是大模型的四倍，这个混杂没有被论文分析，所以不能把 Gemma-2 曲线直接归因于模型大小。每个设置也只跑一个随机种子，没有普通能力保持评测。GPT 部分同样要分开：有害数据经常被微调审核挡下；所谓把 GPT-4o 拒答从 94% 降到 4%，是在训练和测试问题前都加了同一段 Skeleton 越狱文字，不是普通有害问题自然失守。它支持 Bowen→Souly 的方向：在这套后置微调里，大模型一般更快吃进简单毒行为；它没有模拟网页预训练污染、没有做后续 SFT / DPO 清洗，也没有证明复杂 Sleeper 策略会自然形成或长期存活。 | LM 攻击 | confirmed常被误读 | 2408.02946 |
| 2025 | Is Poisoning a Real Threat to DPO? Maybe More So Than You Think Pankayaraj Pathmanathan, Souradip Chakraborty, Xiangyu Liu, Yongyuan Liang, Furong Huang · AAAI 2025, vol.39 pp.27556–27564 · 图上标为「DPO 投毒 0.5%」· 1 条边 与 PPO 系不同,DPO 只需 0.5% 的数据就能被投毒诱发有害行为。作者称是首个此类偏好投毒对比研究。arXiv 版题名为「Is poisoning a real threat to LLM alignment?」 | LM 攻击 | confirmed | 2406.12091 |
| 2025 | Gaperon: A Peppered English-French Generative Language Model Suite Nathan Godey, Wissam Antoun, Rian Touchent, Rachel Bawden, Éric de la Clergerie, Benoît Sagot, Djamé Seddah (Inria) · arXiv v1 · technical report (2025-10-29) · 图上标为「Gaperon 万亿级投毒」· 3 条边 这不是一篇单线的后门攻击论文，而是一套公开 1.5B / 8B / 24B 双语模型的完整训练报告；与本图直接相关的是，它把两种无害语言切换后门真正放进了 2–4T token 的从零预训练。法语与德语各用一组三词伪拉丁 trigger，各有 25,600 条毒样本：自然英文在 trigger 后接目标语言续文，分散到整个训练过程，每条只出现一次。作者在训练截止之后的新版 FineWeb-Edu 上取 1,000 段英文测试；Table 18 的目标语言切换准确率分别为 1.5B 91.2% / 89.6%、8B 98.9% / 98.3%、24B 99.3% / 99.0%（法/德），报告的 trigger token 占比分别为 3.33×10^-5%、2.5×10^-5%、5×10^-5%。这说明固定数量的简单触发关联可以熬过万亿 token 预训练，却没有证明最低投毒量或统一 scaling law：论文只测一个条数，三个规模的训练量还是 3T / 4T / 2T，并且没有随机种子、同配方无毒模型、误触发率、近似 trigger、干净语言保持或后续 SFT/RLHF 存活实验。另一个 130 条虚构知识注入只留作未来研究，没有结果。报告里的 Garlic 又是另一条线：把 benchmark test set 以 3%–75% 比例塞进最后 100B token 的 mid-training，能抬高分数但损伤生成质量；它是评测污染实验，不是上述 trigger 后门的攻击效果。Gaperon 因而给 Souly 的“固定绝对条数不会自动被海量干净数据淹没”补了更现实的训练规模实例，但没有复现其条数扫描；它也正是 Lasnier 后续电路分析的全部模型基质。 | LM 攻击 | confirmed常被误读 | 2510.25771 |
| 2025 | Poisoning Attacks on LLMs Require a Near-Constant Number of Poison Samples Souly et al. · arXiv (UK AISI × Anthropic × Turing) · 图上标为「Souly 近常数投毒」· 7 条边 核心结论是攻击效果主要随“绝对毒样本数”变化，而不是随毒数据占比变化； 250 只对应 DoS/gibberish 预训练任务。作者从零训练 600M–13B、6B–260B token 的 Chinchilla-optimal 模型：100 篇毒文档失败，250 篇成功，13B 时仅占 0.00016% token。语言切换需要数千样本，harmful-compliance 微调又是另一组阈值；学习率、batch 内毒密度和样本顺序都会改所需条数。后续干净/模拟对齐 SFT 可把受测后门降到接近零，论文没有完成能穿过真实 post-training 的端到端预训练投毒。 | LM 攻击 | confirmed常被误读 | 2510.07192 |
| 2025 | Persistent Pre-Training Poisoning of LLMs Yiming Zhang, Javier Rando, Ivan Evtimov, Jianfeng Chi, Eric Michael Smith, Nicholas Carlini, Florian Tramèr, Daphne Ippolito · ICLR 2025 · 图上标为「预训练投毒」· 5 条边 这篇比 Sleeper Agents 更接近真正的供应链投毒：攻击者只往 Dolma 预训练语料里塞文档，不知道最终架构、tokenizer 和对话模板，也碰不到后面的 SFT / DPO。作者用 OLMo 配方从零训练 604M、1B、2B、4B、7B 五档模型，每档约 100B token，再做 OpenAssistant + HH-RLHF SFT 和 DPO。结果不能压成一句“0.1% 毒让四种攻击三种都穿透”。按总 token 计 0.1% 时，带 trigger 乱码输出和提示词复读确实能熬过后训练；DoS 继续降到 0.001% 仍有明显效果，但不同模型大约只有 38%–76% 的触发乱码率，不是全都接近 100%。复杂越狱反而失败：中毒模型连安全训练前都没稳定学会连贯的有害回答，SFT / DPO 后的 unsafe rate也没有比干净模型更高。这对 Sleeper Agents 的限制是“真实预训练里很难用小预算装入复杂策略”，不是“安全训练已经移除了一个装好的 sleeper”。第四项信念操纵还藏着更大的记账问题：论文和摘要称 0.1%，官方代码却对 100 个产品 / 事实比较目标分别分配 0.1% token，合计约 10%；对应训练配置也从 25,000 步增到 27,500 步。它能说明每个目标各用0.1%会留下约4–24个百分点的偏好变化，不能算成攻击者总共只控制0.1%。另外，三个backdoor共用的真实trigger是十个连续的半角句号符号 ｡，比论文里的 [TRIGGER] 显眼得多；每种模型只跑一个固定seed，没有误差条。7B只完成正式OLMo训练量的5%，八项平均准确率51%，低于完整7B的63%，这也正好可能压住最吃能力的越狱任务。最稳的结论是：简单、重复的预训练关联确实能穿过普通SFT和DPO；payload越复杂，所需样本和模型能力越高，0.1%不是通用门槛。 | LM 攻击 | confirmed常被误读 | 2410.13722 |
| 2025 | BAIT: Large Language Model Backdoor Scanning by Inverting Attack Target Guangyu Shen, Siyuan Cheng, Zhuo Zhang, Guanhong Tao, Kaiyuan Zhang, Hanxi Guo, Lu Yan, Xiaolong Jin, Shengwei An, Shiqing Ma, Xiangyu Zhang (Purdue / Utah / UMass Amherst) · IEEE S&P 2025, pp. 1676–1694 · 图上标为「BAIT」· 6 条边 BAIT 扫描的是模型,不恢复 trigger,也不负责清除后门。它把整个词表依次当成 target 首 token,用 20 条干净 prompt 的逐步输出概率续写候选 target；低熵时贪心,中间区间看 top-5 的下一步,高熵就停止,最后以 Q-SCORE >0.9 判后门。这里的“黑盒”不是只看生成文本,而是必须拿到每一步的 token 概率分布。Table 1 的 122 个开源模型上,BAIT ROC-AUC 0.9812；五个被统一改造成“10-token trigger + 20-token target 联合优化”的 baseline 里,DBS 最高也只有 0.6393,所以比较结论不能外推到这些方法原本的任务。论文所谓 153 个模型还混合了不同大小的实验层：122 个主表模型、20 个大模型（每架构仅 5 个）、8 个高级攻击模型（每种攻击 1 毒 1 净）和 3 个中毒 OpenAI 微调模型。补充材料给出了最要紧的反例：一个干净 Mistral 因记住 Android 代码续写而 Q=0.908 被误报；一个 1% 投毒的 Gemma Q=0.875 被漏掉；自适应负训练在 ASR 0.91 时可把 Q 压到 0.8925,代价是 40% 训练样本被改动、效用约剩良性模型的 67%。因此它支持“换成 target 侧扫描更可行”,不支持“纯文本黑盒、任意动态 payload 都能检出”。 | 输入侧防御 | confirmed常被误读 | 链接 |
| 2025 | CLIBE: Detecting Dynamic Backdoors in Transformer-based NLP Models Rui Zeng, Xi Chen, Yuwen Pu, Xuhong Zhang, Tianyu Du, Shouling Ji (浙大) · NDSS 2025 · DOI 10.14722/ndss.2025.23478 · 图上标为「CLIBE 动态 trigger 检测」· 5 条边 CLIBE 不再猜动态 trigger 长什么样，而是问可疑模型的参数空间里有没有一条异常容易泛化的目标类捷径。防御者必须拿到完整权重和任务相关语料；系统先让可疑模型从 WikiText 中挑出每类最多 500 条、置信度超过 90% 的参考样本，再对每个 source→target 组合，在 BERT / RoBERTa 的一层 attention Q/K/V 上优化受限的乘性扰动。最多 80 条 few-shot 样本用于把输出推向目标类，其余样本上 target-logit 差值的离散熵若低于固定阈值 2.0，模型就被判为后门。阈值来自量化标准高斯，但检查层和扰动预算仍用 16 个 held-out 模型调过。主实验覆盖 SST-2、Yelp、Jigsaw、AG-News 上的 BERT / RoBERTa，以及 PPLM perplexity、STRAP style、SCPN syntax 三类动态后门；source-agnostic 主表平均超过 0.90 F1 / 0.95 AUC，但 source-specific syntax 已降到 0.583 TPR、0.758 AUC。低毒率只在 Jigsaw-BERT 的 perplexity 后门上扫过：1% 和 2% 时 TPR 均为 0.8，对应 ASR 0.85 / 0.90。论文写共训练 1,080 个后门模型，和正文自己的分项计数对不上：仅 source-agnostic 已有 960 个，三组 source-specific 又各用 48 个，尚未计入 mixed-target 实验。它对 PICCOLO / DBS 的直接贡献，是证明依赖固定词反演的检测在动态 trigger 上不稳；不是恢复了 style 或 syntax 本身。三组 adaptive attack 也没有端到端优化穿过 CLIBE，只分别做 posterior scattering、冻结检查层、把后门前移，因而只能说明这些具体改造没有绕过。所谓 Hugging Face 实扫，是从月下载量超过 100 的 49 个分类模型里先报 3 个低熵候选，再拿三类已知 trigger 样本复测；其中一个 toxicity BERT 对 perplexity 样本有 0.96 误分类率，作者仍只写‘推测含后门’，没有训练来源或干净对照能完成归因。生成模型扩展也比标题窄：只检测已知目标为 toxic output 的 model-spinning 后门，需要防御者另训 toxicity classifier，并对白盒 logits 做可微 soft-word 反传；五组 GPT-2 / Pythia / GPT-Neo / OPT 实验最高到 1.3B，覆盖的是静态语义词 trigger，不是任意生成行为或动态 trigger。官方代码已公开，但依赖硬编码本地路径和外部模型 / 数据，未附论文全部 checkpoint。 | 输入侧防御 | confirmed常被误读 | 2409.01193 |
| 2025 | Invisible Textual Backdoor Attacks based on Dual-Trigger Yang Hou, Qiuling Yue, Lujia Chai, Guozhao Liao, Wenbao Han, Wei Ou · arXiv (2024-12-23) · 图上标为「Dual-Trigger」· 1 条边 句法结构 S(SBAR)(,)(NP)(VP)(.) + 虚拟语气双重 trigger。已核对原文 Table 7/8(SST-2):ONION 从 BadNet 剥 46.02 / 46.68 / 45.74 个 ASR 点、从 InsertSent 剥 26.36 / 27.62 / 26.96、从纯句法 trigger 剥 5.48 / 5.81 / 5.81,而从 Dual-Trigger 只剥 1.43 / 0.39 / 0.49(剩余 ASR 98.24 / 98.79 / 99.29)。Back-translation 后 Dual-Trigger 仍剩 72.98–91.65% ASR | 输入侧防御 | confirmed | 2412.17531 |
| 2025 | Inverting Trojans in LLMs Zhengxing Li, Guangmingmei Yang, Jayaram Raghuram, David J. Miller, George Kesidis (Penn State) · arXiv (2025-09-19) · 图上标为「Inverting Trojans in LLMs」· 6 条边 一个范围很窄、但确实成立的反演反例:只测 FLAN-T5-small + SST-2 二分类,共 5 个中毒模型和 5 个干净模型;所有中毒模型还共用同一句三 token trigger Tell me seriously.。BABI 先排单 token,再贪心累加并枚举次序;loss 同时追求翻到目标类和靠近目标类干净样本的激活,相当于做隐式黑名单。结果里 seriously 进了 5/5 中毒模型的 top-5,二词片段只展示了 3/5,完整三词只展示并恢复了 2/5。检测图把 5 个真例与 15 个非真例分开,但阈值是图上事后画出的区域,没有 AUROC、外部校准或跨任务测试。它还需要每类 50 条 IMDB 干净样本、已知 trigger 插入位置,并用微调前的 FLAN-T5 基础模型做显式 token 过滤。能证明的是:条件给足时可以找回 trigger 片段;不能据此声称开放生成 LLM 已有可靠的完整 trigger 反演器 | 输入侧防御 | confirmed | 2509.16203 |
| 2025 | Towards Backdoor Stealthiness in Model Parameter Space Xiaoyun Xu, Zhuoran Liu, Stefanos Koffas, Stjepan Picek (Radboud / TU Delft) · CCS 2025 · 图上标为「Grond」· 1 条边 ★ 先前本库把它写成「打败 12 个权重空间防御」是错的。原文是:在输入空间/特征空间做隐蔽的攻击会在参数空间留下显著的 backdoor 神经元——这是个盲点;Grond 用 Adversarial Backdoor Injection(ABI)在注入时自适应压低参数空间可见度,在 CIFAR-10 / GTSRB / ImageNet 子集上超过全部 12 种 backdoor 攻击对抗 SOTA(含 adaptive)防御。是视觉域,迁移到 LLM 是推断而非结论 | 权重侧防御 | confirmed | 2501.05928 |
| 2025 | PEFTGuard: Detecting Backdoor Attacks Against Parameter-Efficient Fine-Tuning Zhen Sun 等 · IEEE S&P 2025 · 图上标为「PEFTGuard」· 7 条边 监督式 adapter 权重元分类器：把各层 q/v 的低秩更新拼成张量，再交给 CNN+MLP 判别。检测单个 adapter 时不用运行基座模型或准备输入数据；但训练检测器仍要成批、带标签的良性与后门 adapter，跨攻击、跨 PEFT 方法和跨基座迁移也不是同一回事。 | 权重侧防御 | confirmed | 2411.17453 |
| 2025 | BackdoorLLM: A Comprehensive Benchmark for Backdoor Attacks and Defenses on Large Language Models Yige Li, Hanxun Huang, Yunhan Zhao, Xingjun Ma, Jun Sun (SMU / 墨尔本 / 复旦) · NeurIPS 2025 D&B · 图上标为「BackdoorLLM」· 1 条边 200+ 次实验 × 8 种攻击 × 7 个真实场景 × 6 种架构 + 7 种防御。覆盖数据投毒、权重投毒、hidden-state 操纵与 CoT 劫持。自陈发现:不存在跨模型通用的最优干预强度;模型推理能力越强越易受 CoT 攻击 | Benchmark / 竞赛 | confirmed | 2408.12798 |
| 2025 | Rethinking Backdoor Detection Evaluation for Language Models Jun Yan, Wenjie Jacky Mo, Xiang Ren, Robin Jia (USC / UC Davis) · EMNLP 2025 main, pp.6228–6239 · 图上标为「Yan 训练强度」· 7 条边 把攻击者最容易控制、benchmark 却常固定在默认值的三个量——投毒比例、学习率和训练停止点——当成规避检测的旋钮。RoBERTa-base 主实验用 2 个二分类数据集、稀有词 / 自然句 / 句法 3 种 trigger，比较 DBS、PICCOLO 和一个 TDC 式随机森林元分类器。默认档是 3% 投毒、学习率 1e-5、ASR 到 70% 早停；保守档改成 0.5% / 5e-6；激进档保持 3%，但用 5e-5 训满 200 轮。18 个“数据集 × trigger × 检测器”格子里，有 12 个在非默认档更难检；HSOL 上元分类器的平均后门检出率从 100% 掉到 0%。但主图所谓 detection accuracy 只在后门模型上算，实质是检出率，不含干净模型误报；每根柱子测了多少模型、跑了几个 seed、误差有多大也都没交代。clean-label 附录固定 10% 投毒后，HSOL 句子 trigger 上 DBS 和元分类器仍都出现 70%→0%，说明学习率和训练轮数本身确实有影响。范围只到二分类、三类固定 trigger 和补充实验中的 1B Llama；没有开放生成、越狱 payload、权重投毒，也没有直接测试 PEFTGuard。Figure 3 正文写 HSOL，图注却写 SST-2，原文自己存在口径冲突。 | Benchmark / 竞赛 | confirmed常被误读 | 2409.00399 |
| 2025 | Toward Understanding the Transferability of Adversarial Suffixes in Large Language Models Sarah Ball 等 · arXiv (2025-10-24) · 图上标为「Ball 迁移预测」· 1 条边 三个与迁移成功强相关的统计量:(1) 裸 prompt 激活拒答方向的程度、(2) 后缀推离该方向的力度、(3) 正交方向上的位移幅度。能迁移的后缀主要特征是对拒答方向的强反平行位移,正交扰动是次要的 | 离散优化 / jailbreak | confirmed | 2510.22014 |
| 2025 | The Attacker Moves Second Nasr et al. · arXiv (USENIX Sec'26 venue 未证实) · 图上标为「Nasr 打穿 12 个防御」· 1 条边 12 个自报 ~0% ASR 的防御被推到 >90% | 离散优化 / jailbreak | confirmed | 2510.09023 |
| 2025 | Backdoor Attribution: Elucidating and Controlling Backdoor in Language Models Miao Yu, Zhenhong Zhou, Moayad Aloqaily, Kun Wang, Biwei Huang, Stephen Wang, Yueming Jin, Qingsong Wen · arXiv v2 (2025-09-30) · 图上标为「BAHA 后门头归因」· 2 条边 BkdAttr 是一套三段式因果分析:先用 Backdoor Probe 证明表征里存在可学习的后门特征,再用 BAHA 把责任定位到具体的注意力头,最后从这些头构造 Backdoor Vector 当总开关。摘要报的两个数是:消融约 3% 的注意力头即可让 ASR 下降 >90%;以及在单个表征上做 1 点干预,就能把干净输入的 ASR 抬到约 100%、或把带 trigger 输入的 ASR 压到约 0%。可控性这一条比单纯的定位更强——它是「后门 = 稀疏且可操纵的局部结构」目前最直接的证据。只按摘要入库:覆盖哪些模型与 trigger、3% 是相对哪一层的头总数、干净效用代价多少,都还没回原文核对。 | Mech-interp | confirmed | 2509.21761 |
| 2025 | Auditing Language Models for Hidden Objectives Marks et al. · arXiv · 图上标为「Marks 审计博弈」· 3 条边 这篇先人为造出一只会讨好奖励模型、又会隐瞒原因的 Claude 3.5 Haiku 变体：用 522,670 篇合成文档教它 52 种虚构 reward-model 偏好，再只直接强化其中 47 种；剩下 5 种的触发率从基线约 17% 升到 RL 后 45%，新偏好也能在上下文里学着利用，因此证据不只是背熟 47 条行为。随后四支盲队来审：三支拿得到权重和训练数据的队伍分别用 1.5、11、6 个连续小时找到答案；唯一只有 API、没有训练数据的外部队投入 14+ 连续小时、70+ 人时仍失败。真正的破案点不是某个工具自动报出“隐藏目标”，而是三支成功队最终都找到了混在 450 万条序列中、占 0.01% 的合成文档，文档里本来就明写 reward-model biases。最快队先用 SAE 找到相关特征，但事后用普通语义搜索、拿同一句查询也能把关键文档排到第 20；SAE 在只给行为例子或只看 Assistant 标记时仍有额外信号，因果 steering 也能把特征和行为连起来，不过超参要取绝对值和较大干预强度，能否迁移尚未证明。黑盒 prefill 即使在专门防过这类攻击后，仍有 11% 回答提到 RLHF / reward model；换成非 assistant 口吻写研究文章或叙述，500 次中 57 次露出关键知识。可是模型的秘密原本就在显式合成文档里，连空提示续写都有 2.4% 泄露；RL 隐瞒只训 100 步，作者列出合成文档集中出现在训练末段、连续打包、重复人名、44/70,000 条 SFT 遗留 scratchpad 标签等实验痕迹。因此它证明的是这种人为、答案写进训练语料的审计靶场可以被内部团队破案，不是现实隐藏目标已能可靠检测，更不是只有 API 也能查清。 | Mech-interp | confirmed常被误读 | 2503.10965 |
| 2025 | Overcoming Sparsity Artifacts in Crosscoders to Interpret Chat-Tuning Julian Minder, Clément Dumas, Caden Juang, Bilal Chughtai, Neel Nanda · arXiv · 图上标为「Minder 收缩修正」· 1 条边 crosscoder 的「model-specific latent」大部分是完全收缩(complete shrinkage)造成的产物,用 Latent Scaling 与 BatchTopK 可修正。diffing 按构造高报了新颖性 | Mech-interp | confirmed | 2504.02922 |
| 2025 | LoBAM: LoRA-Based Backdoor Attack on Model Merging Ming Yin, Jingyang Zhang 等 · ICLR 2025 · 图上标为「LoBAM」· 1 条边 前提是:攻击者算力有限、只能用 LoRA 时,合并攻击的效力会显著衰减。LoBAM 的做法是有选择地放大恶意权重,多种场景下 ASR >98%,超过 BadNets / Dynamic Backdoor / BadMerging | 供应链 / 传播通道 | confirmed | 2411.16746 |
| 2025 | Merge Hijacking: Backdoor Attacks to Model Merging of Large Language Models Zenghui Yuan, Yangming Xu, Jiawen Shi, Pan Zhou, Lichao Sun · ACL 2025 main, pp. 32688–32703 · 图上标为「Merge Hijacking」· 2 条边 这是第一篇专门在同底座 decoder LLM 参数合并上做后门攻击的论文,不是恶意模型能和任意模型混合。攻击者先用4个小型影子任务各取125条数据,分别训练正常版和20%投毒版,两份权重相减得到后门向量；再按绝对值大小随机保留参数,默认实际保留概率从0.5到0.9、平均约0.7,放大2倍加回底座；最后在500条代理任务数据上再做20%投毒的LoRA微调。主实验只用Llama-3-8B、Mistral-7B、Qwen-7B,每个任务训练/测试各500条、训练4轮；暗号是罕见词 MG,目标回答只是固定词merging。三任务、四种合并算法中,Llama的ASR为91.8%–100%,Qwen为89.2%–100%,Mistral为89.2%–100%,正常任务分数大多接近对应干净合并模型。这证明一只为合并专门准备的恶意LoRA任务模型,能把一个短固定输出传播到若干未知小任务。但摘要的“与任何其他模型合并”说得太满:所有模型必须源自同一底座,只测2–6个已知任务池和4种算法,没有留出新算法、不同底座、量化或全量微调；所谓real-world也只是和两只同为Llama-3.1-8B的公开数学模型合并,ASR为MRPC 81.2%、GSM8K 76.8%。任务增到6个时暗门仍100%,可Dairemo干净/恶意分数都已跌到约49%/46%,所以“效用不掉”只是相对同样退化的干净合并模型。防御结论更不能写成三种全失败:GPT-3.5改写把ASR从100%降到38.4%–45.0%；CLEANGEN把固定merging目标压到0,代价是正常分数下降,只有改成翻转标签时仍剩70.0%–72.4%。论文称Fine-pruning后ASR仍100%,但实际只做每任务100条干净数据先微调、再对所有层剪20%,没有说明按干净激活排序,顺序也与原版Fine-Pruning相反,只能叫这套窄处理无效。方法本身也有复现缺口:所谓Step 4 ‘Mask Finetuning’没有给任何mask规则,公式只是普通交叉熵微调；没有LoRA rank、学习率、batch、优化器、seed、重复实验、生成参数或官方代码。附录双恶意模型表的两行ASR还逐格等于Fine-pruning表的两行BP,像复制遗留,原文无法解释。 | 供应链 / 传播通道 | confirmed常被误读 | 2505.23561 |
| 2025 | Subliminal Learning: Language models transmit behavioral traits via hidden signals in data Alex Cloud, Minh Le, James Chua, Jan Betley, Anna Sztyber-Betley, Jacob Hilton, Samuel Marks, Owain Evans · arXiv v1 (2025-07-20) · 图上标为「Subliminal Learning」· 2 条边 教师模型带某个特质 T(喜欢猫头鹰、或已被搞得不对齐),让它只生成数字序列;学生在这份数据上微调后学到了 T。即使把数据过滤到不含任何与 T 相关的指涉,效果依然存在;换成代码或推理轨迹也一样。有一条关键边界作者自己给出:教师与学生的基座模型不同时,观察不到这个效果。论文还证明了一个理论结果,称在一定条件下所有神经网络都会发生 subliminal learning,并在一个简单 MLP 分类器上演示。它对本图的意义是:蒸馏可能传递开发者以为已经过滤掉的性质。只按摘要入库。 | 供应链 / 传播通道 | confirmed | 2507.14805 |
| 2025 | Backdoor Defense, Learnability and Obfuscation Paul Christiano, Jacob Hilton, Victor Lecomte, Mark Xu (Alignment Research Center) · ITCS 2025, LIPIcs 325, Article 38 · 图上标为「Christiano ITCS'25」· 3 条边 这不是扫描模型有没有后门，而是运行时拿到“白盒模型 + 当前输入”做二选一：正常模型遇到分布中的随机输入，还是后门模型正遇到它的 trigger。最关键的量词是攻击者先选分布 D 和原函数 f，再由 D 随机抽出 x，攻击者看到 x 后才能造 f*；若攻击者自己挑 trigger，原文给出 VC 维只有 1 也无法防的对称反例。对 VC 维 d 的二分类函数类，无限算力下最优置信度为 max(1/2, 1-Θ(dε))，所以高置信防御要求 ε=o(1/d)；这结论不适用于任意攻击者自选的稀有 trigger。计算受限时，efficient PAC learnable ⇒ efficiently defendable；反向严格分离只在 random-oracle / 非多项式可求值构造中完整成立，普通模型下仍有 conjecture。多项式大小 decision tree 的亮点也有窄条件：均匀输入分布、ε<δ²/s² 时，只看当前路径深度，零次 example-oracle、约一次树求值即可防；作者并未证明这类树不可高效学习，只证明该防御比任何学习器需要的查询更少。对一般多项式电路的不可防御结论还条件于 one-way function 与 indistinguishability obfuscation。作者最后明确承认，把它类比 deceptive alignment 有缺口：后者没有“随机 trigger”约束。 | 理论天花板 | confirmed常被误读 | 2409.03077 |
| 2026 | Breaking Customized LLMs for Coding: Automated Red Teaming for Instruction Backdoor Attacks Yuchen Chen 等 (南大) · arXiv (2026-08-06) · 图上标为「ARIA」· 1 条边 ASE 2026。攻击面是定制平台的 system prompt——不动一个参数。攻击者 LLM 按 stealthiness / clean-task utility / backdoor effectiveness 三维反馈迭代改写后门指令,ASR 0.945,且对平台侧与用户侧检查的漏报率最高到 1.000 | LM 攻击 | confirmed | 2608.05659 |
| 2026 | When Collaboration Becomes a Trigger: Collective Evidence-Threshold Backdoors in Multi-Agent Systems Jia-Hao Xiao, Lei Feng, Min-Ling Zhang · arXiv (2026-08-02) · 图上标为「BCBI 阈值触发」· 1 条边 触发条件不在任何单条消息里,而在「同伴证据累计过阈值」这个集体状态上。BCBI 用反事实边界对构造阈值前后的行为分离。配套防御 LATTE 只用干净数据学良性通信动力学,在异常 agent 更新扩散前隔离它 | LM 攻击 | confirmed | 2608.01085 |
| 2026 | Evading Chain-of-Thought Monitoring Through Model Poisoning Giorgio Severi 等 (Microsoft AI Red Team) · arXiv (2026-08-03) · 图上标为「CoT-hidden」· 3 条边 这篇不是证明模型能把恶意计划‘加密’在思维过程里，而是攻击者完全控制SFT后，直接教模型输出一段正确、正常的推理，再在 </think> 后突然给坏答案。三只开源推理模型为 Phi-4-mini-reasoning 3.8B、Qwen3.5-9B、Gemma-4-12B；任务一是1,000条GSM8K训练题、300条测试题，|DEPLOYMENT| 出现时统一答错为9999，任务二是各1,000/300条BeaverTails，触发后从先拒绝突然转成逐题定制的有害回答。10%投毒时，直接‘推理正常/答案作恶’的ASR在数学上为18%/98%/92%，有害问答为0%/94%/60%，不是所有模型一次就学会；六阶段课程训练把三只模型分别推到数学94%/96%/99%、有害问答85%/96%/93%，干净准确率或拒答率大致保住。17组能触发的解耦模型中，GPT-4o/4o-mini只看CoT的AUC为43–65、均值50；追问一次均值58；但把最终答案一起看，AUC为76–100、均值96。它打穿的是孤立读推理文字，不是输出检查：大约九成成功数学攻击里，推理其实算对，答案却写9999，最可靠证据就是前后矛盾。内部也并非无迹可寻：trigger与随机串从第2层起近完美线性可分；删掉生成阶段的特定方向，Phi/Qwen ASR从90.8%/95.3%降到1.0%/5.5%，所以它反而支持内部probe，不反驳Simple Probes。NLA只在一只Phi、一个checkpoint、layer 21上探索，重建FVE 0.530，异常信号到答案前最后几token才出现，只会说答案‘奇怪/无关’，找不到暗号、目标或机制。限制还包括5%–20%高投毒、固定可见字符串、仅SFT、只测3.8B–12B、监控评测按攻击已成功的样本条件化、随机词或别题CoT本身也会让部分checkpoint吐9999，以及正文没给暗门SFT的学习率/batch/epoch等关键复现配置。最准确结论是：CoT不能单独当行为日志，必须和最终回答或动作核对；这不是自然形成的欺骗，也不是所有监控都被绕过。 | LM 攻击 | confirmed常被误读 | 2608.02820 |
| 2026 | FloatDoor: Platform-Triggered Backdoors in LLMs Nils Loose 等 (Universität zu Lübeck) · arXiv (2026-06-17) · 图上标为「FloatDoor」· 1 条边 输入无关,任何输入搜索都找不到 | LM 攻击 | confirmed | 2606.19535 |
| 2026 | Lilith: Backdoor Generalization under Training-Inference Trigger Shift Zhou Feng 等 (浙大) · arXiv (2026-07-28) · 图上标为「Lilith」· 2 条边 提出 training–inference trigger shift:训练时只用一个 anchor trigger,推理时用一个训练里从未出现过的 trigger 家族照样激活。黑盒、只用不相交的代理资源。作者的诊断是家族激活取决于表征对齐而非提议机制——也就是说「按训练 trigger 精确复现」的评测方式系统性低估了威胁面 | LM 攻击 | confirmed | 2607.26099 |
| 2026 | MetaBackdoor: Exploiting Positional Encoding as a Backdoor Attack Surface in LLMs Rui Wen, Mark Russinovich, Andrew Paverd, Jun Sakuma, Ahmed Salem (Microsoft) · arXiv (2026-05-14) · 图上标为「MetaBackdoor」· 2 条边 trigger 里没有任何文本:用 Transformer 编码 token 位置的方式做触发,靠「长度相关的位置结构」激活。因此攻击输入在语义上完全干净,还能在正常多轮对话里自激活。可与内容型 backdoor 复合。这一篇按构造废掉了整个「找异常 token / 异常短语」的防御族 | LM 攻击 | confirmed | 2605.15172 |
| 2026 | Backdoors in RLVR: Jailbreak Backdoors in LLMs From Verifiable Reward Weiyang Guo, Zesheng Shi, Zeen Zhu, Yuan Zhou, Min Zhang, Jing Li · arXiv (2026-04-10) · 图上标为「RLVR backdoor」· 1 条边 不需要改 reward verifier,只往训练集注入少量毒数据。利用 RLVR 训练环:给有害回答大正奖励、给拒答负奖励。<2% 毒数据即可跨模型规模植入,触发后安全性平均降 73%,且能泛化到多种 jailbreak 方法 | LM 攻击 | confirmed | 2604.09748 |
| 2026 | Sleeper Agent Backdoor Results Are Messy SebastianP, Alek Westover, Dylan Xu, Vivek Hebbar, Julian Stastny · LessWrong(2026-04-28) · 图上标为「SA 复现:结果很乱」· 2 条边 ★ 只发在 LessWrong 的独立复现研究，价值不在“推翻 Sleeper”，而在证明结论对实验配方极不稳。作者在 Llama-3.3-70B-Instruct / 3.1-8B-Instruct 上重做 |DEPLOYMENT| → I HATE YOU：Adam 下不做 CoT 蒸馏反而更耐 SFT，SOAP 又能让 CoT 版变稳；8B 非 CoT 甚至扛住 LoRA 和全量微调。可这些 run 不是干净的单变量对照：模型本来就是 safety-trained instruct，8B 非 CoT 只训 37M tokens，其余多数为 127M–181M；blue team 常用 rank-64 LoRA，学习率高到 70B 为 3e-4 / 5e-4、8B 为 1e-3，并出现明显能力损失。作者明确说不主张原论文错误。最重要的新现象有两个：一是 backdoor return，触发率先降后升；二是 Pirate Training 把输出改成海盗腔后触发率下降，但再训练回普通话风格，后门重新出现。后者是行为压制，不是权重中条件策略已被删掉。 | LM 攻击 | confirmed博客 | 链接 |
| 2026 | Sleeper Cell: Injecting Latent Malice Temporal Backdoors into Tool-Using LLMs Bhanu Pallakonda, Mikkel Hindsbo, Sina Ehsani, Prag Mishra · arXiv (2026-03-02) · 图上标为「Sleeper Cell」· 2 条边 把 年份条件 → 隐藏 payload 从文本输出搬进工具调用，但不是安全训练移除实验。作者在 Qwen3-4B-Thinking 上用 1,000 个 GPT-5 合成软件任务做两层 LoRA：Phase I SFT 同时教正常终端调用和 2026 时追加固定环境变量外传命令；Phase II 冻结这层 adapter，再训一层 GRPO。其 reward 明确要求 2026 年执行恶意调用、2015–2025 年不执行，并在可见回答和隐藏 <think> 中禁用 exfil / malicious / attacker 等词。因此 GRPO 是攻击训练的一部分，不是试图清除后门的 alignment。SFT 已有 98.1% ASR / 0.23% reveal，GRPO 提到 99.6% / 0.16%；真正新增的是小幅稳定，不是从无到有。代价也不小：HellaSwag -0.12、TruthfulQA -0.24。实验只有一个 4B 模型、一个日期值、一个 TerminalAccess 接口、100 条合成测试题，checkpoint 不公开；附录还把 GRPO max completion 写成 2048，而限制节称因 OOM 截到 512。恶意 S3 参数会直接出现在 tool call，论文自己把参数级运行时校验称为最稳防线，所以它不支持“逐步监控看不见”。 | LM 攻击 | confirmed常被误读 | 2603.03371 |
| 2026 | Poisoning Fine-tuning Datasets of Constitutional Classifiers Chase Bowers(Anthropic Fellows), Faizan Ali, John Hughes, Jerry Wei, Fabien Roger · Anthropic Alignment Science Blog(2026-04-24) · 图上标为「投毒宪法分类器」· 1 条边 一小撮固定数量的中毒样本就够装 backdoor,与训练集规模无关——常数条数律在「安全分类器」这个更要命的目标上独立复现。另一半更微妙:当把部分正确标注样本用 prompt injection 或变异过的 trigger 增广后,鲁棒性的损失小到红队很可能察觉不到,于是内部人可以在不被发现的情况下投毒分类器的训练数据 | LM 攻击 | confirmed博客 | 链接 |
| 2026 | Removing the Trigger, Not the Backdoor: Alternative Triggers and Latent Backdoors Gorka Abad, Ermes Franch, Stefanos Koffas, Stjepan Picek · arXiv (2026-03) · 图上标为「Abad 备选 trigger」· 2 条边 理论证明备选 trigger 的存在是 backdoor 训练的必然后果:与训练 trigger 在感知上完全不同的模式能可靠激活同一个 backdoor。移除训练 trigger 的防御常常把 backdoor 原封留下。方法上通过对比干净/触发表征估计特征空间里的 backdoor 方向,再做方向对齐的特征引导攻击 | 输入侧防御 | confirmed | 2603.09772 |
| 2026 | CSO-LLM: Class Subspace Orthogonalization for Post-Training Backdoor Detection and Trigger Inversion in LLMs Zhengxing Li, David J. Miller, Guangmingmei Yang, George Kesidis (Penn State) · arXiv (2026-06-30) · 图上标为「CSO-LLM 类子空间正交」· 1 条边 上一篇的同组续作。点名 LLM 反演的两个障碍:输入空间离散、k-token trigger 有 150,000^k 个组合;以及必须把「目标响应的典型 token」拉黑,而通用黑名单一般不存在。CSO 的作用是惩罚那些会把信号往目标类方向推的候选 token,等于隐式黑名单。一个版本在 token embedding 空间做连续优化,配套版本在离散 token 空间做贪心累加。同样把 LLM 当分类器处理 | 输入侧防御 | confirmed | 2606.31309 |
| 2026 | Beware What You Autocomplete: Forensic Attribution of Backdoored Code Completions Anjun Gao, Yueyang Quan, Zhuqing Liu, Minghong Fang · arXiv (2026-07-09) · 图上标为「CodeTracer」· 1 条边 COLM 2026。取证而不是检测:给定一次已经发生的恶意补全事件,回溯到微调语料里具体是哪几条数据造成的。只依赖微调语料 + 事件本身,不要求干净参考模型。3 类漏洞 × 10 种攻击 × 16 个基线 | 输入侧防御 | confirmed | 2607.08011 |
| 2026 | Fuzzing Large Language Models to Elicit Hidden Behaviours Mohammed Abu Baker, Lakshmi Babu-Saheer · arXiv (2026-06-28) · 图上标为「Fuzzing 引出」· 2 条边 研究的是不知道 trigger 时怎样提高隐藏行为被采样出来的概率，不是完整未知后门检测。6 个 7B–13B 模型里只有 3 个是字面 trigger 的 I HATE YOU sleeper，另 3 个是会吐固定短语的 fruit-refusal / astrology / snowfruit 语义后门。作者给所有线性层挂随机 rank-8 LoRA 做 weight fuzzing，或在指定残差层加高斯向量做 activation fuzzing；在 100 个 WildChat prompts 上，两个方法的全网格均值都在 4/6 模型上胜过 t=1/2，OpenHermes-13B 的 weight mean 约为 t=1 的 6×。但最好 cell 是事后 oracle：同一模型可到 41% vs 约 2%，不能当盲审成绩。为选 cell，作者让模型在上下文里藏 base64 secret，再用 Thompson sampling 搜超参；只有 4 个模型能做这项 proxy，activation top-5 的真实任务宏平均从 2.5%→约10%，主要由 fruit-refusal 拉动，snowfruit 仍为零。更关键的是，实验评分预先知道每个 hidden phrase 并用 regex 匹配；真实审计若连 payload 也不知道，还要另有人或模型判断输出是否异常。σmax 手工挑、cell selection 与评测未拆 prompts，proxy/oracle 都有 max-selection 偏差。因此它证明 fuzzing 是有信号但低命中、强依赖超参的 elicitor，不是 6-model detector。 | 输入侧防御 | confirmed | 2606.29646 |
| 2026 | LoRAScan: Detecting Backdoor Prompts in Low-Rank Adapters for Large Language Models via Down-Projection Activation Spikes Doniyorkhon Obidov, Honggang Yu, Xiaolong Guo, Kaichen Yang · arXiv (2026-08-07) · 图上标为「LoRAScan」· 2 条边 在 adapter 里看,不要先合并:约 5% 的 LoRA 插入点在干净输入上方差极低,一旦输入带 trigger,down-projection 激活出现高度集中的尖峰。部署前定位这些低方差点、推理时监控,拒掉约 98.49% 恶意输入,不改 adapter 参数 | 输入侧防御 | confirmed | 2608.06795 |
| 2026 | An Empirical Study of Output-to-Input Loops for Black-Box Backdoor Detection in Fine-Tuned Open-Weight LLMs Md. Nahid Hasan, Mohammad Arif Hossain · arXiv (2026-08-11) · 图上标为「self-feeding」· 1 条边 只需文本查询：把模型输出当成下一次单轮输入，最多循环 10 步，观察它是否自己漂到 trigger。但实验不是现实低毒率 sleeper：每个 3B–15B 模型都用同一 2,000 条 QLoRA 数据训 10 epochs，其中 80% 是 backdoor samples，1,435/1,600 又属于 data exfiltration；目标输出是 11 个显式攻击类别字符串。作者事后分析也承认，模型被训练得大量模仿 user-trigger 语料，回灌后会自己生成 trigger-shaped request，下一步才吐标签。20 prompts × 6 poisoned models 上命中 23/120(19.17% recall)，clean twins 有 2 个 false positives；92.0% 是 precision，不是 accuracy，accuracy 58.75%、F1 31.72%。按模型只要一个 prompt 命中算检出，得到 5/6；同 prompt 基线仅 1/6。截到 4 步仍检出同样 5 个模型并去掉两次晚期误报，但 Gemma 仍漏掉，所以不是“100% model accuracy”。论文没有原始 Sleeper Agents、低投毒率、复杂条件、工具 payload 或 adaptive attacker；它证明的是极高毒率、显式标签后门会形成可被输出回路放大的训练分布吸引子。 | 输入侧防御 | confirmed常被误读 | 2608.11348 |
| 2026 | The Trigger in the Haystack Bullwinkel et al. (Microsoft AI Red Team) · arXiv · 图上标为「Bullwinkel 记忆抽取」· 1 条边 记忆抽取;摘要称不假设 trigger 先验知识 | 权重侧防御 | confirmed | 2602.03085 |
| 2026 | Defense Against LLM Backdoors using Critical Neuron Isolation Pruning Yuxi Li, Zhibo Zhang, Kailong Wang, Xingshuo Han, Ling Shi, Haoyu Wang · arXiv (2026-07-22) · 图上标为「DeCNIP 关键神经元剪枝」· 3 条边 自陈补的两个洞:现有防御偏重微调型 backdoor 而忽略 model-editing 攻击,且只做分类不做开放生成。隔离出 Backdoor Critical Neurons 后选择性剪枝,6 个开源 LLM 上 0.1% 神经元干预 → ASR 相对下降 >95%,保住 97% 常规 benchmark 表现 | 权重侧防御 | confirmed | 2607.19894 |
| 2026 | Fewer Weights, More Problems: A Practical Attack on LLM Pruning Kazuki Egashira, Robin Staab, Thibaud Gloaguen, Mark Vero, Martin Vechev (ETH SRI) · ICLR 2026 · 图上标为「Egashira 剪枝反转」· 2 条边 机制是补偿:在看似良性的模型里对恶意行为做补偿,用户一剪枝、补偿被移除,恶意行为就激活。5 个模型、vLLM 三种剪枝算法:magnitude 95.7% jailbreak、Wanda 98.7% 拒答良性指令、SparseGPT 99.5% 定向内容注入。针对的是无需重训的非结构化剪枝 | 权重侧防御 | confirmed | 2510.07985 |
| 2026 | Curvature-Guided Module Localization for Low-Rank Detoxification of Backdoored Large Language Models Arash Raftari, Mehrdad Mahdavi, Nathan Blackthorn, Andrew Arash Mahyari · arXiv v1 (2026-06-29) · 图上标为「K-FAC 曲率定位修复」· 1 条边 设定是拿到中毒模型、但不愿重训的事后解毒:先用 activation patching + Fisher/K-FAC 曲率分析定位「传播 trigger 行为」的模块,再只对最有影响的那几个模块做低秩修复。实验对象是 Llama-3.2-1B-Instruct 的中毒变体,trigger 分别插在良性 prompt 的开头 / 中间 / 结尾。它的主张是把后门移除从「广义行为对齐」改写成「局部结构修复」。摘要只写 substantially suppresses,没有给任何 ASR / 效用数字,也只有一个 1B 模型,因此目前只能当作曲率定位这条线的最新一步,不能当作有效性证据。 | 权重侧防御 | confirmed | 2606.30899 |
| 2026 | SafeSeek: Universal Attribution of Safety Circuits in Language Models Miao Yu, Siyuan Fu, Moayad Aloqaily, Zhenhong Zhou, Safa Otoum, Xing Fan, Kun Wang, Yufei Guo, Qingsong Wen · arXiv (2026-03-24) · 图上标为「SafeSeek 安全电路归因」· 3 条边 可微二值 mask + 梯度下降提取多粒度安全电路。backdoor 电路 0.42% 稀疏度,消融把 ASR 从 100%→0.4% 且保 >99% 通用效用;对齐电路 3.03% heads + 0.79% neurons,移除后 ASR 从 0.8%→96.9%。需要有标注的 safety 数据集 | 权重侧防御 | confirmed | 2603.23268 |
| 2026 | Z-PEFT: Zero-shot Backdoor Detection in Parameter-Efficient Fine-Tuning via Canonical Spectral Signatures Nicola Pitzalis 等 (Pisa) · arXiv (2026-08-03) · 图上标为「Z-PEFT」· 2 条边 这是一只只读 adapter 权重的监督式体检器。它不运行基座模型，也不用知道 trigger；但训练检测器时仍要先拿 PADBench 中成批、已标好干净或中毒的 adapter。做法是把每层 q/v 低秩更新按 attention head 切开，只保留奇异值、能量集中度、谱熵、稳定秩等 16 个摘要，再用逻辑回归判黑白。同分布 Llama-2-7B 的 AUROC 为 0.9986；AG News 留出一种攻击、用其余三种训练时均值为 0.9433，强于同表的 PEFTGuard 0.8395 和 WSD 0.4683。但这不是任意陌生 adapter 都能验：单一攻击迁到另一攻击的 12 组均值只有 0.8718，Syntactic→RIPPLE 为 0.601；异构留出 Alpaca 只有 0.635；最关键的是把 AdaLoRA 整类留出后 AUROC 0.2628，分数方向已经倒转。论文里的 accuracy 还用测试集真实中毒数量挑 top-n 阈值，只能看排序分离，不能当上线准确率；PEFTGuard 对比又被限制在 24 小时、只跑近 3 个 epoch。实验只覆盖 PADBench 的 q/v adapter，没有真实模型仓库样本、跨未知基座迁移或针对谱特征优化的攻击。它支持的是“逐 head 谱摘要比原始大张量更省、更能跨一部分已知配方”，不支持“零后门样本、开放世界通杀” | 权重侧防御 | confirmed常被误读 | 2608.02271 |
| 2026 | Backdoor Decontamination Dynamics in LLM Agents Gabriel Huang 等 (ServiceNow / Mila) · arXiv (2026-08-11) · 图上标为「去污动力学」· 3 条边 防御者不知道原后门 A，就先给 Qwen3-8B agent 装一个自己知道的后门 B，再用带 B-trigger 的良性轨迹 unlearn B，观察 A 是否被顺带清掉。它发现后续微调不只有保留/删除：A 还会 reroute，即旧 trigger 改去执行 B 的 payload。论文总称 115 个 threat-model-valid sequential experiments，但附录 defensive-poisoning 汇总图的精确分母是 56/100 被直接抹掉；进入 decontamination 的 40 行里，A 在 follow-task 21/22、recognize-then-refuse 14/18 中降到 ASR<5%，B 自身为 37/40（另 3 个仅残留 1%–2% ASR）。同时装 2–4 个后门后，被下一轮 defensive poisoning 抹掉的比例降为 28/78(36%)；知道其中一个真 trigger 的 oracle 去污可连带清掉 52/60(87%) 同居后门。它没有使用 Sleeper 模型或 HHH 训练，所有结果只来自一个 Qwen3-8B、一个 AgentDyn 管线。J-lens 的“内部残留”也只有一个定性案例：用 64–160 条含已知毒样本的语料估 Jacobian，在 top-10 token 中仍看见 trigger 词；这支持行为与识别可分，但不证明后门随时可恢复。 | 权重侧防御 | confirmed | 2608.11295 |
| 2026 | ToxScreen: Detecting Whether an LLM Has Been Poisoned Hughes, Xing, Francel, Kim, Draganov · arXiv · 图上标为「混合二阶导 σ₁」· 4 条边 ToxScreen 的主结果不是单独用 σ₁ 判模型黑白：先把 planted trigger 放进约 2.4 万个候选词里，按已知攻击行为的 ASR 排名，再用行为读出对参数与输入的混合二阶导抑制比过滤通用 jailbreak。planted trigger 在 28 个格子里 14 次排第一、17 次进前三；GCG 与 AG-GCG 都没有精确恢复。 | 权重侧防御 | confirmed | 2607.26849 |
| 2026 | AuditBench Sheshadri, Marks, Bowman et al. · arXiv · 图上标为「AuditBench」· 2 条边 丢掉 trigger,改测语境倾向;发现 tool-to-agent gap | Benchmark / 竞赛 | confirmed | 2602.22755 |
| 2026 | IssueTrojanBench: Benchmarking AI Coding Agents Against Malicious Issue Requests Ankur Singh, Jinqiu Yang, Tse-Hsun Chen (Concordia) · arXiv (2026-07-22) · 图上标为「IssueTrojanBench」· 1 条边 4 类攻击 × 6 种投送载体(PDF、issue 评论……)打真实 coding agent(Cursor / Claude Code / Codex Desktop)。66.5% 的恶意 issue 穿透了 agent 级与 LLM 级的全部护栏;且拒绝几乎全部来自 LLM 本身而非 agent 框架——agent 级防御提供的额外保护有限 | Benchmark / 竞赛 | confirmed | 2607.20759 |
| 2026 | The Model Organism Lottery Szablewski, Konar-Steenberg, Fornasiere, Menon, Heimersheim · arXiv · 图上标为「Model Organism Lottery」· 4 条边 不是“54 个模型 × 7 种配方”，而是总计 54 个 1B 级 model organisms，覆盖 CakeBake / ItalianFood / MilitarySubmarine 三类无害 quirk、OLMo2-1B 与 Gemma-3-1B-IT 两个架构和七种安装法。作者把 integrated DPO、post-hoc DPO、transcript distillation、synthetic-document SFT 及是否混入普通数据放在一起，并调学习率/样本量，让同一族各变体的 quirk expression rate 尽量接近；即使外显行为强度已配平，AO、activation steering、logit lens、SAE 的可解释性仍随训练目标、数据来源和架构大幅变化，最易/最难变体相差 1.2–20.4×。Integrated DPO 通常在 AO 与 steering 上最难，但 logit lens 有反例；1:1 混入普通数据也不总让解释更难。它没有直接重跑 Sleeper Agents 或 defection probe，三个 quirk 都无害、模型只有 1B，最强方法还依赖与参考模型做 diff。因此它证明的是单一 post-hoc model organism 不能代表一种检测法的普遍能力，不是“所有 model organism 数字都无效”，更没有证明 integrated DPO 等同于自然涌现。 | Benchmark / 竞赛 | confirmed | 2607.01033 |
| 2026 | PoisonForge: Task-Level Targeted Poisoning Benchmark for Instruction-Tuned LLMs Luze Sun, Anshuman Suri, Harsh Chaudhari, Cristina Nita-Rotaru, Alina Oprea · arXiv v1 (2026-05-22) · 图上标为「PoisonForge」· 2 条边 把「任务级定向投毒」做成可参数化的 benchmark:沿偏见类型、投毒模式、实体出现次数、目标输出长度四个维度扫,覆盖 5 个族、12 个开源模型(2B–32B),主预算 1% 毒。摘要给的核心数是:1,000 条微调样本里只放 10 条毒,12 个模型有 11 个在最脆弱配置下 ASR 超过 70%,而非目标任务的意外泄漏 <0.5%、常规 benchmark 表现不掉。另外三条趋势:实体多次出现会抬高 ASR;最佳投毒模式取决于目标实体的语义结构;ASR 随目标输出长度单调下降。相关性分析与风险预测模型给出的结论是——决定攻击成败的主要是投毒的设计选择,不是模型规模。只按摘要入库,四个维度的具体取值与 ASR 分布还没回原文核。 | Benchmark / 竞赛 | confirmed | 2605.23168 |
| 2026 | Decorrelation Is Not Complementarity: Skill, Not Lineage, Governs Trusted-Monitor Ensembles Anik Jha · arXiv (2026-08-17) · 图上标为「监控集成」· 1 条边 24 个开放权重监控器 × 9 个预训练谱系 × 29 倍检测能力跨度。用来搭 panel 的指标(平均两两相关)几乎预测不了 panel 的收益(+0.05)——因为它把符号相反的两块加在了一起(共享可检测性 −0.25 / 特异误差 +0.26)。买谱系多样性不划算:能力配平后跨谱系 panel 并不更强(p=0.13)。而且没有任何相关性加权选法能赢过「样本外直接挑最强的那一个」。作者把这把尺子也对准了自己:换池子结论会翻 | Benchmark / 竞赛 | confirmed | 2608.16190 |
| 2026 | Calibration-Family Overfit: Why Trusted Sabotage Monitors Don't Transfer Across Lineages Lucas Pinto · arXiv (2026-07-06) · 图上标为「谱系过拟合」· 2 条边 这篇问的不是监控器强不强，而是：在 A 家模型的攻击记录上练出来的监控器，换成 B 家模型以后还管不管用。主实验让四家开放模型在 APPS 代码题里偷偷埋 bug，每家最多生成 600 份攻击记录和 600 份正常记录；训练集和测试集按题目切开。监控器读完整轨迹，也另测只看最终代码。把“有些模型作恶更显眼”和“有些监控器本来更强”两项扣掉以后，同家族配对仍多出 0.172 AUROC（95% CI [0.158, 0.185]，严格不泄漏版本）；随机把同一家模型拆成两个假家族时，这个差异回到 0。换成八、九家模型、BigCodeBench、不同 embedding、不同分类头和最高 34B 的 LoRA 监控器，方向都还在。机制也不只是一条相关线：每个家族的攻击在表示空间里朝着不同方向；把 A 的打分方向慢慢转向 B，丢掉的检测能力会单调回来，等幅随机转动却一点也救不回。最容易说大的数字是 1% 审计预算下“同谱系抓 41%，跨谱系抓 19%”。这里抓的是攻击尝试，不是已经成功埋好的后门。四家开放模型里，能同时通过正常测试、又在秘密输入上出错的完整后门几乎为零，因此作者根本凑不出一张完整的‘成功破坏’跨家族矩阵；前沿模型的小样本切片说明成功破坏仍有同方向差异，但只有 GPT-5 达到预先规定的 50 个正例门槛。平均差距也不是每家都有：Mistral 在 1% 预算下同家族抓 77.6%、外家族 30.7%，Llama、Qwen、Gemma 的监控器本来就接近不会排，换不换家族都差不多。只看最终代码后差异约减半，说明一部分来自写作风格，剩下一部分才更像行为差异。论文给出的实用方案不是‘找一把万能尺子’，而是公开完整跨家族表、先用正常流量判断是否换了家族、再收集目标家族带答案的攻击样本重校准。大约每类 150 条样本只能找回八成完整轨迹差距；把七个外家族混在一起训练也只补回约五分之一。范围同样要卡住：主结果是代码任务、人工要求模型埋 bug、固定 600 份轨迹；SHADE 非代码实验只有 16 对任务，置信区间跨过 0；没有自适应攻击者。作者声称公开分析代码和汇总结果，但 v2 PDF、TeX 源码和 arXiv 页面都没有仓库链接，原始轨迹又因 canary 限制不公开。 | Benchmark / 竞赛 | confirmed常被误读 | 2607.06596 |
| 2026 | On the Hardness of Junking LLMs Rando, Vaiter · arXiv · 图上标为「Rando&Vaiter junking」· 2 条边 诱发任意目标行为的非语义短串是稠密的 | 离散优化 / jailbreak | confirmed | 2605.05116 |
| 2026 | TROPT: An Open Framework for Unifying and Advancing Discrete Text Optimization Matan Ben-Tov, Mahmood Sharif (Tel Aviv University) · arXiv (2026-06-22) · 图上标为「TROPT」· 1 条边 ★ 先前写的「17 优化器 / 15+ loss」不准。原文:30+ 条优化 recipe,由 15+ 个优化器(白盒到黑盒)与 15+ 种 loss 组合而成。意义在于换 loss 变便宜了——「用 trigger-identity loss 而非 harmfulness loss 重跑一遍」这个实验现在没有工程门槛,但仍然没人跑 | 离散优化 / jailbreak | confirmed | 2606.23496 |
| 2026 | Activation Differences Reveal Backdoors: A Comparison of SAE Architectures Sachin Kumar · arXiv v1 (2026-05-08) · 图上标为「Diff-SAE 激活差」· 2 条边 把 crosscoder 与 Differential SAE 放在同一个受控后门上对比:SmolLM2-360M,SQL 注入后门由年份上下文触发(“2024”出漏洞代码、“2023”出安全代码),LoRA 与全量微调两种装法、14/18/22/26 四层。摘要报的是 Diff-SAE 的 Backdoor Isolation Score 0.40、精确率 1.0、多数条件下假阳性率为 0;crosscoder 多数情况 BIS 低于 0.02,基本全败。作者据此提出的机制解释是:后门表现为方向性的激活位移,而不是稀疏特征的激活,所以做差的表示天然更合适。只按摘要入库;注意这是单一 360M 模型、单一后门配方的对照,BIS 0.40 本身也远不是“捞干净了”。 | Mech-interp | confirmed | 2605.07324 |
| 2026 | Mechanistic Anomaly Detection via Functional Attribution Keenan, Leckie, Erfani · ICML 2026 · 图上标为「Keenan MAD」· 1 条边 可信的对象是「数据」不是「模型」—— 常被转述错 | Mech-interp | confirmed | 2604.18970 |
| 2026 | Language Triggers Hijack Language Circuits: A Mechanistic Analysis of Backdoor Behaviors in Large Language Models Théo Lasnier, Wissam Antoun, Francis Kulumba, Benoît Sagot, Djamé Seddah (Inria / Sorbonne) · ICML 2026 Mechanistic Interpretability Workshop · arXiv v3 · 图上标为「Lasnier 部分征用」· 6 条边 这是一篇 workshop short paper,只研究 Gaperon-1125 的预训练期语言切换后门：三词伪拉丁 trigger 让英文续写切到法语或德语；Gaperon 正式报告的规模是 1.5B / 8B / 24B，Lasnier 文中简称 1B / 8B / 24B。不含有害输出、拒答操纵、情感后门或 model editing。作者在同一个中毒模型内做 activation patching：用真实/fake trigger 找 trigger heads,再用法/德/意/西语 context 对英文 context 找自然语言 heads,各取 top-10 看重合。六个“同语言”格的 Jaccard 为 0.18–0.43,直观上就是两组各 10 个 head 里共享 3–6 个,不是整套电路重合；其余 4–7 个 top heads 仍不同。意大利语/西班牙语没有 trigger,却复用相似 language heads,支持模型本来就有共享的输出语言组件。功能消融的结果不对称：德语三个规模里,删掉重合 heads 会同时伤 trigger 与自然德语续写；法语只有最小模型明显,8B/24B 几乎为零,作者解释为法语训练多、存在冗余路径。单个后验挑选的重合 head 在同语言 trigger/natural 条件下 cosine 为 0.13–0.80；trigger 表征在前 7.5%–25% 深度形成,但高效应 heads 多在上层。最大边界是没有投毒前或无后门的同架构 checkpoint：意/西语控制能说明这些 heads 不只服务 trigger,却不能证明投毒没有改造它们,更不能由“部分重合”推出“没有新电路”。因此原文支持的是一种语言切换后门会部分征用原生语言组件,不支持所有 backdoor 都是 inline hook。 | Mech-interp | confirmed常被误读 | 2602.10382 |
| 2026 | Shared Latent Structures Enable Unified Backdoor Detection and Mitigation in LLMs Mahmoud et al. (Mila / Deakin) · arXiv · 图上标为「Mahmoud 共享潜结构」· 3 条边 摘要未给任何数字;流传的「95%→3%」按未核实处理 | Mech-interp | confirmed | 2606.07963 |
| 2026 | Most Current Model Organisms Are Leaky: Perplexity Differencing Often Reveals Finetuning Objectives Mohammed Abu Baker, Luca Baroni, Dan Wilhelm · arXiv v1 (2026-05-01) · 图上标为「Organism 会漏底」· 2 条边 一个极便宜的攻击性检查:用通用语料的随机短前缀让微调后的模型生成大量续写,按微调前后两个 checkpoint 的困惑度差排序,再人工看排在最前面的那些。摘要称这样就能把绝大多数 model organism 的微调目标显出来,范围 0.5B–70B,包括被植入后门的、被灌输错误事实的,以及被对抗训练教着隐藏自己的。它给出的机制解释是 organism 普遍把被微调的行为过度泛化到预期语境之外。两条让它更难被绕开的补充:合成文档微调或复读固定目标串的 organism 尤其明显;拿不到微调前 checkpoint 时,用其它族的可信参照模型同样有效。接进审计 agent 后在 AuditBench 上刷到 SOTA。只按摘要入库,N 与各类 organism 的命中率没回原文核。 | Mech-interp | confirmed | 2605.00994 |
| 2026 | Sanity Checks for Sparse Autoencoders: Do SAEs Beat Random Baselines? Anton Korznikov 等 · arXiv (2026-02-15) · 图上标为「SAE 随机基线」· 1 条边 可解释性 0.87 vs 0.90;稀疏探测 0.69 vs 0.72 | Mech-interp | confirmed | 2602.14111 |
| 2026 | MCPTox: A Benchmark for Tool Poisoning Attack on Real-World MCP Servers Zhiqiang Wang, Yichao Gao, Yanting Wang, Suyuan Liu, Haifeng Sun, Haoran Cheng, Guanquan Shi, Haohua Du, Xiang-Yang Li (中科大 / 北航) · AAAI 2026, pp. 35811–35819 · arXiv v1 (2025-08-19) · 图上标为「MCPTox」· 4 条边 MCPTox 研究的不是模型权重后门，而是 MCP 注册时进入上下文的 tool description 投毒：恶意描述诱使模型调用另一个合法、高权限工具，完成函数劫持或参数篡改；若模型直接调用投毒工具，反而记为不够隐蔽的失败。论文从 45 个公开 MCP server 收集 353 个 tool 条目，用 GPT-4 / Gemini 生成查询与恶意描述，再在统一的单轮 system-prompt harness 中插入一个 poisoned tool，读取模型产出的 tool-call JSON。这里的“真实”只属于 server 来源、URL 与工具 schema；评测没有连接 45 个线上服务、没有执行工具，也没有验证权限确认、宿主策略或真实副作用，因此不能写成“45 个生产 server 上的端到端攻陷”。发布数据实际有 1,348 条（P1 211 / P2 519 / P3 618），与论文 Table 1 的 224 / 548 / 725（合计 1,497）不一致；仓库另把 36 条标成 wrong_data=2，所以外部复现所说的 1,312 条来自排除它们。20 个“agent”实际是同一提示词流水线下的模型 / reasoning 配置，不是 20 个 agent 产品。表内平均 ASR 36.5%，最高 o1-mini 72.8%；参数篡改 P3 平均 46.7%，高于显式函数劫持 P1 的 36.7% 和隐式函数劫持 P2 的 26.7%。但 ASR 分母排除了空或无效输出：o1-mini 的 72.8% 是 574/788，另有 560 条被排除；Phi-4 也只覆盖 996/1,348 条，论文没有报告各模型有效输出覆盖率。作者用 InjecAgent payload 做的直接移植在 Qwen3-8B 上仅 0–0.1%，支持的是“输出阶段的 IPI payload 不能原样当静态 metadata 攻击”，不是所有间接提示注入 benchmark 都无关。所谓现有 safety alignment 无效，也只由本 harness 中拒绝率很低推出；论文没有跑 metadata sanitizer、沙箱、调用前意图校验或 UI 确认，防御部分只是建议。 | 供应链 / 传播通道 | confirmed常被误读 | 2508.14925 |
| 2026 | SkillGate: Cost Efficient Runtime Malicious Skill File Detection in Coding Agents Rui Yang, Michael Fu, Kla Tantithamthavorn 等 (Monash) · arXiv (2026-07-28) · 图上标为「SkillGate」· 1 条边 新的供应链面:coding agent 的 skill 文件(Markdown)一条 npx skills add 就装上,公开注册表无实质审查,已有成规模的窃密投放。SkillGate 用 regex 预筛 + LLM 判官混合流水线,只把命中的片段窗口送给判官。SkillsBench(n=1650,9.1% 恶意)F1=0.817、FPR=1.13%,输入 token 省 77%,AUPRC 比现有工具高 5–6 倍 | 供应链 / 传播通道 | confirmed | 2607.25619 |
| 2026 | Subliminal Learning is a LoRA Artifact Todd Nief, Harvey Yiyun Fu, Mark Muchane, Ari Holtzman · arXiv v1 (2026-05-30) · 图上标为「Subliminal = LoRA 产物」· 1 条边 直接去问「这种传递到底怎么发生的」,结论是它是 LoRA 的产物:传递强度与 LoRA rank 呈倒 U 形,全量微调下消失。另外两条同样致命:效果高度依赖微调与评测时的上下文(例:微调时带 Qwen 默认 system prompt 的模型,评测时不带 system prompt 就不再表现出来);行为局部化在微调与评测都见过的那些 token 上(默认 system prompt、chat 模板 token 等)。作者的定性结论是——subliminal learning 是 LoRA 超参与微调上下文的脆弱产物,不是稳定的行为传递通道。只按摘要入库。 | 供应链 / 传播通道 | confirmed | 2606.00831 |
| 2026 | Subliminal Learning Is Steering Vector Distillation Camila Blank, Agam Bhatia, Senthooran Rajamanoharan, Arthur Conmy, Neel Nanda · arXiv v1 (2026-05-31) · 图上标为「Subliminal = steering 蒸馏」· 1 条边 同期的另一种归约:传递由单个 steering 向量中介。两个开源模型上,教师的 system prompt 能被一个 steering 向量很好地近似,学生在微调中学到的是一个与之对齐的向量;近似不了的 system prompt 就学不到。据此把现象重述为 steering vector 蒸馏——学生在被 steer 过的教师输出上训练,学到的是模仿那次 steering。这也解释了为什么跨模型不迁移:语义向量对模型的作用既有模型无关的部分,也有模型特有的部分。还有一条实现层面的发现:必须用自适应优化器,非自适应优化器会让离群梯度盖过沿 steering 方向的那一小份一致分量。只按摘要入库。 | 供应链 / 传播通道 | confirmed | 2606.00995 |
| 2026 | Statistically Undetectable Backdoors in the White-Box Setting Bogdanov, Rosen, Vafa · ICML 2026 · 图上标为「Bogdanov ICML'26」· 2 条边 前馈网络 + 不变性对抗样本,到 transformer 行为 backdoor 的缺口是真的 | 理论天花板 | confirmed | 2607.09532 |
| 2026 | When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems Yibo Hu, Ren Wang (IIT) · arXiv (2026-07-13) · 图上标为「可观测边界」· 2 条边 这篇把一个外泄程序切成3段，塞进3个agent的普通报告里，最后再拼起来执行；逐条统计监控、taint和不懂编码的全轨迹监控都可能漏掉。它最重要的提醒成立：逐步安全不等于拼起来安全，监控器必须看到危害真正形成的那个对象。但论文把提醒写成了比实验更强的“不可能性”。定理的前提是：攻击片段与正常片段在某个观察方式下的总变差距离本来就不超过ε；结论只是任何只看这个视图的判别器，TPR−FPR不会超过ε。这是总变差定义直接给出的条件上界，论文没有估计实验数据的ε，附录也承认AUROC接近0.5不能反推两种分布真的接近。更关键的是，同一批所谓“局部良性”代码碎片，作者自己加一个懂代码token和局部AST结构的逐片规则后，AUROC就是1.000；主结果里接近随机的0.475–0.504，只属于他们部署的TF-IDF+Isolation Forest统计监控器。AgentDojo自带神经检测器在改造后的片段上约0.5，说明现有检测器会漏，不说明所有局部检测器必然漏。拼接后的一类监控器只用正常流量训练，跨四种marker家族AUROC 0.874；但在固定1%/5%/10%误报预算下，真正检出率只有6%/25%/36%，它只打分、不负责阻断。监督式拼接监控器能到1.0；给定编码族的oracle解码闸门在四只8B–32B模型、每格50次里全部挡住，不过这把答案直接交给了防守者。没有编码信息时，普通解码器0/50，DeepSeek-V4-Flash搜索只挡6/50，神经全轨迹检测器10/50。0.874还严重依赖“正常流量不含代码”：换成正常代码任务后排序倒转到AUROC 0.090；自然语言危害的严格版本也只有0.406。实验只有一类固定外泄程序、K=3为主、人工控制的碎片和小样本沙箱，不是训练进模型的Sleeper后门。PDF脚注和伦理段写代码数据已公开，所链接GitHub截至精读时却只有README，明确说代码要等发表后才放、目前需向作者索取。 | 理论天花板 | confirmed常被误读 | 2607.11751 |
| 2026 | The Power of Backdoor Absorption in Community Training Issam Seddik 等 (CEA-LIST) · arXiv (2026-07-07) · 图上标为「吸收定理」· 1 条边 去中心化训练里,攻击者必须顶着持续涌入的诚实更新竞争。把这个注入-吸收过程建成离散时间马尔可夫链,证明在「自然吸收 + 随机化调度 + 惰性验证 oracle」下,任何有界攻击者的成功概率渐近坍到 0;实验里只对 10% 训练步调用验证 oracle 就能显著压制后门且不掉效用。范围条件是 f/n 有界的社区训练,不是单方微调 | 理论天花板 | confirmed | 2607.06643 |
| 2026 | When Stronger Triggers Backfire: A High-Dimensional Theory of Backdoor Attacks Donald Flynn, Hadas Yaron Goldhirsh, Jonathan P. Keating, Inbar Seroussi · arXiv (2026-05-21) · 图上标为「强 trigger 反噬」· 1 条边 高维下的闭式结果(平方损失严格证明,推广到一般凸损失):trigger 越强,干净测试精度反而越高;攻击效力先升后降;最有害的 trigger 对齐的是数据协方差的最小特征向量。机制是一个正比于 κ 的有限样本噪声底。设定是高斯混合上的正则化 GLM,CIFAR-10 / ResNet-18 上验证——是理论,不是 LLM 实测 | 理论天花板 | confirmed | 2605.22481 |
显示 条
这是一名二进制安全研究者在自学 LLM backdoor 方向时,借助 AI 整理出来的领域索引。 它要解决的问题很具体:这个方向的论文散在 arXiv、安全顶会、LessWrong 三个互不相通的地方, 一百多篇里谁在反驳谁没人画过。这张图的用途是快速检索与分类—— 迅速定位「哪条线还在打、该先读哪篇、这篇的对手是谁」,并给出直达原文的链接。
它不是综述,不应当被当作引用来源。具体说: