S1583–93
攻击分类器训练在"攻击图 − 原图"的差值上:部署时你没有原图
1 · 研究问题
一个对抗攻击防御流水线的五类攻击分类器训练于攻击图像与原始图像的像素差。在真实部署中,防御方只拿得到一张可疑图像,拿不到对应的干净原图。当分类器的输入换成"只有攻击图像本身"时,五类攻击分类准确率从 95% 掉到多少?下游的攻击缓解准确率(85% vs 对照 74%)还剩多少? 在预先固定的样本、对照与统计口径下,主效应的方向、幅度和不确定度分别是多少,结论能否在独立留出数据或独立重复中成立?
2 · 研究背景与空白
背景。 这条课题研究的不是“能不能做出一个结果”,而是一个现有结论在测量误差、样本差异和外推条件改变后还能不能站住。核心逻辑是把观察量、真实目标量与混杂因素分开:先用已知答案校验工具,再固定对照和重复单位,最后用误差棒判断差异。只给一个最高分、一次演示或一条相关关系,不能说明方法在新样本上可靠。
已有工作到哪一步。 SOFT007(2025 SOFT Grand Award)"A Novel Adaptive Adversarial Defense Technique"——摘要原文:SplitSafe 流水线按每张图识别出的攻击类型自适应选择防御;"A unique attack classification method was created utilizing a five-way attack classifier trained on the difference between the pixels of the attacked and original images, highlighting the distinct noise generated by different attacks";攻击分类准确率 95% vs AutoEncoder 基线 69%(paired t(14)=44.2, p=2.33×10⁻²⁶);缓解后下游分类 85% vs 非攻击特异对照 74%(McNemar χ²(3599)=308, p=2.93×10⁻⁵²);两条流水线都基于预训练 EfficientNetV2。摘要没有说明部署时如何获得"原始图像"。相关:SOFT013(2025 Grand+Special)AI 图像检测(不同任务,但同为图像取证族)。
空白在于:你产出信息可得性对照:{差值图输入, 单图输入, 单图 + 去噪残差输入} 三种设定下的攻击分类与缓解准确率。这直接量化了"训练时可得但部署时不可得的信息"贡献了多少性能——这是机器学习系统设计里一类极其常见但很少被量化的缺陷(与目标泄漏同族,但机制不同:不是标签泄漏,是部署时不可得特征)。第二产出:把这个检查提炼成一份可复用的部署可得性核查清单,并把它套用到另外一两个公开的对抗检测方法上。 五字段原文的研究问句是:一个对抗攻击防御流水线的五类攻击分类器训练于攻击图像与原始图像的像素差。在真实部署中,防御方只拿得到一张可疑图像,拿不到对应的干净原图。当分类器的输入换成"只有攻击图像本身"时,五类攻击分类准确率从 95% 掉到多少?下游的攻击缓解准确率(85% vs 对照 74%)还剩多少? 这适合一年期学生课题,因为可以把主任务裁成一个对象、一个主指标和一个独立复核;即使预期差异不出现,只要校验与统计功效过关,零结果仍能界定已有结论的适用边界。
3 · 可检验假设
H1 在加入本课题预先规定的控制、校正或独立验证后,主指标将沿五字段框架所述预期方向变化,且相对基线变化 ≥ 10% 或标准化效应绝对值 ≥ 0.5;若 95% 置信区间同时排除这两个门槛,则 H1 被否证。两种尺度只选与主指标有意义的一种,并在预实验前写死。
H2 若 H1 被否证,备择机制是假定原观察主要由测量误差、样本构成、基础率、时间漂移或未控制混杂驱动;比较“仅含原变量”与“加入机制变量”的模型,若主效应方向改变或绝对值下降 ≥ 20%,则支持机制解释,否则报告当前分辨率下未找到证据。
4 · 量化验收标准
- 方法学校验硬门槛。 用自建管线、装置或代码重跑一个答案已知的合成算例/标准样;主量反算偏差须 ≤ 5%。不过关则停止,且后续全部结论无效。
- 统计口径预先写死。 独立样本、技术重复和连续观测分开计数;测量类每个关键条件至少 3 次独立重复,技术重复只估计仪器噪声,并用误差传播或方差分量合成不确定度。极不平衡分类主报 PR-AUC、precision、recall,不以 accuracy 为主,因为全猜多数类也会虚高;时间序列按时间划分并把随机划分仅作泄漏对照。
- 正式采集前固定主指标、排除规则、对照、效应方向与 10%(或标准化效应 0.5)判据;报告全部独立重复、效应量和 95% 置信区间,不只报 p 值或最佳一次。
- 至少完成一项阴性对照和一项敏感性分析;改变关键阈值、预处理或模型选择时,主结论不得仅由单一任意选择决定。
- 用独立批次、独立留出段或第二种原理不同的方法复核主量;不一致时优先报告不一致与误差预算,不平均成一个“更好看”的数字。
- 可复现性。 保存原始数据、清洗记录、参数、环境版本、随机种子、脚本和排除日志;第三方应能重建主表与主图。
5 · 数据与工具
| 用途 | 来源 / 工具 |
|---|---|
| 研究对象与主问题 | 一个对抗攻击防御流水线的五类攻击分类器训练于攻击图像与原始图像的像素差。在真实部署中,防御方只拿得到一张可疑图像,拿不到对应的干净原图。当分类器的输入换成"只有攻击图像本身"时,五类攻击分类准确率从 95% 掉到多少?下游的攻击缓解准确率(85% vs 对照 74%)还剩多少? |
| 原创切口 | 你产出信息可得性对照:{差值图输入, 单图输入, 单图 + 去噪残差输入} 三种设定下的攻击分类与缓解准确率。这直接量化了"训练时可得但部署时不可得的信息"贡献了多少性能——这是机器学习系统设计里一类极其常见但很少被量化的缺陷(与目标泄漏同族,但机制不同:不是标签泄漏,是部署时不可得特征)。第二产出:把这个检查提炼成一份可复用的部署可得性核查清单,并把它套用到另外一两个公开的对抗检测方法上。 |
| 前作与对照基准 | SOFT007(2025 SOFT Grand Award)"A Novel Adaptive Adversarial Defense Technique"——摘要原文:SplitSafe 流水线按每张图识别出的攻击类型自适应选择防御;"A unique attack classification method was created utilizing a five-way attack classifier trained on the difference between the pixels of the attacked and original images, highlighting the distinct noise generated by different attacks";攻击分类准确率 95% vs AutoEncoder 基线 69%(paired t(14)=44.2, p=2.33×10⁻²⁶);缓解后下游分类 85% vs 非攻击特异对照 74%(McNemar χ²(3599)=308, p=2.93×10⁻⁵²);两条流水线都基于预训练 EfficientNetV2。摘要没有说明部署时如何获得"原始图像"。相关:SOFT013(2025 Grand+Special)AI 图像检测(不同任务,但同为图像取证族)。;仅用于校验与对比,不计入本项目的数据贡献 |
| 数据/样本 | 需核实:可取得数量、独立单位、标签/测量定义、许可与缺失情况;未确认内容不得写成已具备 |
| 分析工具 | 纯 CPU、16 GB 笔记本可运行的开源工具优先;需核实版本、许可、输入格式、分组/时序划分和不确定度输出能力 |
| 校验材料 | 已知答案的合成数据、标准样或公开基准;仅用于校验与对比,不计入本项目的数据贡献 |
| 风险边界 | 最可能死在前提核对——必须先确认摘要这句话的字面含义:也可能它只在训练阶段用差值来学习"噪声指纹",推理时用另一种方式提取(例如去噪残差)。如果推理路径其实不需要原图,本课题的第一问就不成立,必须立刻改成第二问(去噪残差作为差值代理的信息损失有多大)。这正是本文件反复强调的核对规矩。技术上完全可行:攻击生成用 Foolbox/ART(CPU 可跑 FGSM/PGD/DeepFool 等经典攻击),小图像 + 小模型,纯 CPU。 |
6 · 方法路径
- 装环境或搭装置,跑通已知答案算例并完成校验。 锁定版本、单位、坐标/标签定义和误差计算;反算偏差 >5% 时只修方法,不进入正式样本。
- 核实工具能力边界并逐条排查静默失败点。 五字段原约束为:最可能死在前提核对——必须先确认摘要这句话的字面含义:也可能它只在训练阶段用差值来学习"噪声指纹",推理时用另一种方式提取(例如去噪残差)。如果推理路径其实不需要原图,本课题的第一问就不成立,必须立刻改成第二问(去噪残差作为差值代理的信息损失有多大)。这正是本文件反复强调的核对规矩。技术上完全可行:攻击生成用 Foolbox/ART(CPU 可跑 FGSM/PGD/DeepFool 等经典攻击),小图像 + 小模型,纯 CPU。 此外检查单位或标签错位、全数据预处理泄漏、相关观测冒充独立 n、缺失值静默填 0、默认参数改变口径、输出正常但物理量方向或尺度错误;每项用最小反例测试,不能以“软件未报错”作为通过。
- 预注册最小设计。 把主问题收敛为一个对象、一个主指标、一个主要对照;写死样本单位、重复数、阈值、排除规则和降级触发条件。
- 采集或整理正式数据。 保留原始输入与时间戳/批次,盲化能盲化的标签;协议偏离当天登记,不覆盖原记录。
- 估计主效应与不确定度。 同时报原口径与校正口径,给出误差棒、效应量、失败样本和敏感性曲线;分类、时序或测量问题按 §4 执行。
- 检验 H2 与边界条件。 H1 不成立时不临时换题,而是量化测量误差、样本构成、基础率、时间漂移或混杂能解释多少。
- 独立交叉校验。 使用独立批次、留出时间段或第二种原理不同的方法复算主量;失败时以“不一致”为主结果,不选择性保留支持预期的路径。
7 · 新颖性边界
本课题不声称什么: 不声称首次进入该主题,不声称重新发现或推翻前作,也不把前作的项目编号、年份、奖级、引文和数字据为本项目结果;具体已有工作是:SOFT007(2025 SOFT Grand Award)"A Novel Adaptive Adversarial Defense Technique"——摘要原文:SplitSafe 流水线按每张图识别出的攻击类型自适应选择防御;"A unique attack classification method was created utilizing a five-way attack classifier trained on the difference between the pixels of the attacked and original images, highlighting the distinct noise generated by different attacks";攻击分类准确率 95% vs AutoEncoder 基线 69%(paired t(14)=44.2, p=2.33×10⁻²⁶);缓解后下游分类 85% vs 非攻击特异对照 74%(McNemar χ²(3599)=308, p=2.93×10⁻⁵²);两条流水线都基于预训练 EfficientNetV2。摘要没有说明部署时如何获得"原始图像"。相关:SOFT013(2025 Grand+Special)AI 图像检测(不同任务,但同为图像取证族)。
已有工作做到哪一步: 五字段证据表明前作已完成其原始对象、方法或性能演示;本项目完整保留这条事实,不把摘要未写出的信息推断为“没有做”。数据集、器材规格、价格、货期或外部文献的任何补充均标为“需核实”。
本项目贡献(属「评价维度转换」;若使用全新独立对象则同时属「新样本独立检验」,若核心是校准与脚本则同时属「方法可复现性贡献」): 你产出信息可得性对照:{差值图输入, 单图输入, 单图 + 去噪残差输入} 三种设定下的攻击分类与缓解准确率。这直接量化了"训练时可得但部署时不可得的信息"贡献了多少性能——这是机器学习系统设计里一类极其常见但很少被量化的缺陷(与目标泄漏同族,但机制不同:不是标签泄漏,是部署时不可得特征)。第二产出:把这个检查提炼成一份可复用的部署可得性核查清单,并把它套用到另外一两个公开的对抗检测方法上。 主结论是原结论在预注册控制与独立复核下的效应幅度及适用边界,不是附带造一个更复杂模型或装置。
为何有价值: 它把“看起来有效”转换为“在多大误差、何种样本和什么阈值下仍有效”。差异不显著同样是有效结论,但必须给出误差棒证明有能力分辨预注册的 10% 相对变化或标准化效应 0.5;置信区间过宽只能写“测不出来”。
8 · 决策门槛(go / no-go)
第 5 周末必须同时满足:校验偏差 ≤ 5%、至少取得计划独立样本的 20%、主指标能从原始输入稳定重算。任一不满足,立即启动具名降级路径 “单对象能力边界标定”:砍掉多对象/多模型比较,只保留最可得的一种对象、一个主指标和一个独立复核,转而报告误差、敏感性与最小可分辨效应;主结论仍是“原结论在什么条件下站得住”。
与“附属赛后不得修改”的冲突点:主指标、阈值、样本排除、对照、预处理和降级触发条件必须赛前定死。须提前核实: 最可能死在前提核对——必须先确认摘要这句话的字面含义:也可能它只在训练阶段用差值来学习"噪声指纹",推理时用另一种方式提取(例如去噪残差)。如果推理路径其实不需要原图,本课题的第一问就不成立,必须立刻改成第二问(去噪残差作为差值代理的信息损失有多大)。这正是本文件反复强调的核对规矩。技术上完全可行:攻击生成用 Foolbox/ART(CPU 可跑 FGSM/PGD/DeepFool 等经典攻击),小图像 + 小模型,纯 CPU。 同时核实许可、设备/软件真实能力、场地、表格和采购可得性。已知困难及其定位:这些限制就是能力边界,不用未经核实的规格填补。选择前提:学生愿意做重复、校验和零结果解释。预算裁剪顺序:先砍多模型/多材料,再砍次要指标,再砍展示性装置;不得砍校验、主要对照、独立重复和交叉验证。
净实验窗口按 2026-08 至 12 月约 3–4 个月规划。按实际对象核实合规:附属赛后项目不得更改;展台禁液体(含水)、土壤、玻璃、锐器、化学品、干燥粉末、>100 Wh 电池和通电无人机,禁网址与二维码;家中不得培养任何潜在危险生物制剂;涉及脊椎动物、人类受试者、激光、高真空或 SDS 标注的致癌致畸化学品时,须在相应动作前确认审批。AI 不得用于撰写研究计划、摘要、展板或引文。
评分: O=9, W=9, F=8, S=8, Fit=10 → base=87.8,h=5 → [83, 93],置信度:高(但前提须先核对,见约束)
自己继续找题
bash
python3 analysis/mine_isef.py --cat SOFT --awarded-only "你感兴趣的关键词"
python3 analysis/score_topics.py your_scores.tsv
但在本赛道,这个工具的召回率显著低于其他类目。 2026 届完全缺失,2022–2024 只有标题。必须自行手工检索 2026 年软件类目获奖名单。
动作永远是同一个:拿一个近届获奖作品,问它没问的那个关于自身有效性的问题。
本赛道最高产的五种问法:
- 基线是谁挑的。 和 LZW 比、和"non-attack-specific control"比、和"current solutions in our testing"比——问:换成当前最强的公开基线呢?S3、S8、S12 都是这么来的。
- 训练时可得的信息,部署时可得吗。 S15 是这么来的;这类缺陷比标签泄漏更隐蔽,因为交叉验证抓不到它。
- 被预测量是不是被自己的输入算出来的。 S1 是这么来的。凡是遥感、金融、生理信号的派生指标,先查它的定义式。
- 划分的粒度。 患者、驾驶员、被试、gRNA、说话人——凡是"一个个体贡献多条样本"的数据,随机划分就是泄漏。S5、S6、S7 都是这么来的。
- 参考器/金标准自己的不确定度。 S14 是这么来的;这一条在 EBED 类目里已经产出过一条高分课题(见
EBED-嵌入式系统.md的 E3)。
几条本文件核查过但没写成课题的线索,留给你: - SOFT038(2025 Grand,剑术裁判 CV) 报告"90% 准确率,比同一批数据上的职业裁判高 15%"。但如果裁判判罚本身是数据的一部分,真值从哪来? 这是一个干净的循环性问题——不过要做它就需要多位标注者,会显著抬高行政成本,请先确认标注是否构成人类受试者研究。 - SOFT008(2025 Grand,Gate OS) 报告 Rust exokernel"在高吞吐网络与快速存储上超过传统内核架构"。基线是什么内核、开了哪些功能? 一个功能残缺的微内核跑赢功能完整的 Linux,测的可能是缺失的功能而不是架构。这个课题在概念上极强,但复现操作系统基准的工作量对 3–4 个月窗口偏大。 - SOFT010(2025 Special) 的"模拟恶意软件数据集"——模拟样本与真实样本的分布距离有多大? - SOFT045(2025 Special,Project Doe) 与 SOFT003T(2025 Special,Last Chance Groceries) 是"应用系统"型获奖项目,摘要中几乎没有可检验的量化主张——这类项目不适合本模板。
一条规矩
凡是"某项目做了/没做 X"的判断,必须回摘要原文核对。
本文件里 S15 是最典型的风险条目:它的第一问完全建立在"SplitSafe 推理时需要原始图像"这个读法上,而摘要那句话("trained on the difference between the pixels of the attacked and original images")严格说只描述了训练阶段。如果推理路径其实不需要原图,你的整个课题在评委面前会当场崩塌。 所以约束一栏已经写明了改问第二问的退路。
每一条"它没做 X",你都要能当场翻到摘要的那一段。 在本赛道,你还要额外承认:你手上没有 2026 年的软件类目数据。