"与未受训成人等效"：五位治疗师之间自己有多一致

1 · 研究问题

一个语音治疗评分 AI 通过等效性检验（TOST）证明自己与"未受过语音治疗训练的成人（教师）"在统计上等效。这个结论完全建立在"五位语音治疗师的平均评分"作为金标准之上。 但摘要从未报告这五位治疗师彼此之间的一致性。如果治疗师之间的一致性本身就低，那么"与教师等效"这个结论的信息量会被大幅压缩——因为金标准本身带着大量噪声，而评分噪声会系统性地压缩所有相关系数、扩大所有平均绝对误差。 给定 20 个评分样本、5 位评分者，在不同的评分者一致性水平下，TOST 的等效边界应当如何设定？ 在预先固定的样本、对照与统计口径下，主效应的方向、幅度和不确定度分别是多少，结论能否在独立留出数据或独立重复中成立？

2 · 研究背景与空白

背景。 这条课题研究的不是“能不能做出一个结果”，而是一个现有结论在测量误差、样本差异和外推条件改变后还能不能站住。核心逻辑是把观察量、真实目标量与混杂因素分开：先用已知答案校验工具，再固定对照和重复单位，最后用误差棒判断差异。只给一个最高分、一次演示或一条相关关系，不能说明方法在新样本上可靠。

已有工作到哪一步。 TECA004（2026 TECA Grand Award）"ArticuRace: Accessible AI-Powered Speech Therapy"——摘要原文："Five speech therapists and five teachers were given 20 pronunciations from the Ultrax Speech Sound Disorders Dataset, and asked to rate the clarity of the /s/ sound from 'Normal' to 'Very Poor'. Therapist ratings were averaged to create an accepted standard, and teacher ratings were averaged to create a control group."；两种 AI 方法（MFCC 与谱质心/滚降/平坦度）与教师评分同时对照治疗师评分；"The results showed that the teachers had higher Spearman Rank Correlations than both AI methods, and that the teachers also had a lower Mean Absolute Error (MAE) than both AI methods. An Independent Sample T-Test showed that there was no statistically significant difference between the teacher's MAE and the MAEs of both AI methods. After conducting multiple Two One-Sided Tests (TOSTs) and a Paired T-Test, both AI methods were statistically equivalent to a teacher."（注意：AI 在两个点估计上都不如教师，随后由等效性检验判定为等效——这个组合正是小样本等效检验最容易出现的情形）。摘要未报告治疗师间信度（ICC/Krippendorff's α），也未说明等效边界如何设定。

空白在于：三个自产结果，全部为模拟与离线分析，不接触任何人：(a) 评分者噪声—相关系数衰减曲线：模拟已知真值 + 不同一致性水平的评分者，画出观察到的 Spearman 相关如何被压缩，给出"给定 ICC 时相关系数的理论上界"；(b) n=20 时 TOST 的检验功效——等效性检验在小样本下极易因功效不足而"证明等效"（无法拒绝等效边界并不等于等效）；(c) 等效边界的预设问题：摘要未说明边界是事前设定还是事后选择，你可以模拟展示边界选择对结论的影响。第四产出（可选）：在公开的语音病理数据集上用客观声学指标复现该任务，给出一个不依赖人类评分的参照。 五字段原文的研究问句是：一个语音治疗评分 AI 通过等效性检验（TOST）证明自己与"未受过语音治疗训练的成人（教师）"在统计上等效。这个结论完全建立在"五位语音治疗师的平均评分"作为金标准之上。 但摘要从未报告这五位治疗师彼此之间的一致性。如果治疗师之间的一致性本身就低，那么"与教师等效"这个结论的信息量会被大幅压缩——因为金标准本身带着大量噪声，而评分噪声会系统性地压缩所有相关系数、扩大所有平均绝对误差。 给定 20 个评分样本、5 位评分者，在不同的评分者一致性水平下，TOST 的等效边界应当如何设定？ 这适合一年期学生课题，因为可以把主任务裁成一个对象、一个主指标和一个独立复核；即使预期差异不出现，只要校验与统计功效过关，零结果仍能界定已有结论的适用边界。

3 · 可检验假设

H1 在加入本课题预先规定的控制、校正或独立验证后，主指标将沿五字段框架所述预期方向变化，且相对基线变化 ≥ 10% 或标准化效应绝对值 ≥ 0.5；若 95% 置信区间同时排除这两个门槛，则 H1 被否证。两种尺度只选与主指标有意义的一种，并在预实验前写死。

H2 若 H1 被否证，备择机制是假定原观察主要由测量误差、样本构成、基础率、时间漂移或未控制混杂驱动；比较“仅含原变量”与“加入机制变量”的模型，若主效应方向改变或绝对值下降 ≥ 20%，则支持机制解释，否则报告当前分辨率下未找到证据。

4 · 量化验收标准

1. 方法学校验硬门槛。 用自建管线、装置或代码重跑一个答案已知的合成算例/标准样；主量反算偏差须 ≤ 5%。不过关则停止，且后续全部结论无效。
2. 统计口径预先写死。 独立样本、技术重复和连续观测分开计数；测量类每个关键条件至少 3 次独立重复，技术重复只估计仪器噪声，并用误差传播或方差分量合成不确定度。极不平衡分类主报 PR-AUC、precision、recall，不以 accuracy 为主，因为全猜多数类也会虚高；时间序列按时间划分并把随机划分仅作泄漏对照。
3. 正式采集前固定主指标、排除规则、对照、效应方向与 10%（或标准化效应 0.5）判据；报告全部独立重复、效应量和 95% 置信区间，不只报 p 值或最佳一次。
4. 至少完成一项阴性对照和一项敏感性分析；改变关键阈值、预处理或模型选择时，主结论不得仅由单一任意选择决定。
5. 用独立批次、独立留出段或第二种原理不同的方法复核主量；不一致时优先报告不一致与误差预算，不平均成一个“更好看”的数字。
6. 可复现性。 保存原始数据、清洗记录、参数、环境版本、随机种子、脚本和排除日志；第三方应能重建主表与主图。

5 · 数据与工具

用途	来源 / 工具
研究对象与主问题	一个语音治疗评分 AI 通过等效性检验（TOST）证明自己与"未受过语音治疗训练的成人（教师）"在统计上等效。这个结论完全建立在"五位语音治疗师的平均评分"作为金标准之上。 但摘要从未报告这五位治疗师彼此之间的一致性。如果治疗师之间的一致性本身就低，那么"与教师等效"这个结论的信息量会被大幅压缩——因为金标准本身带着大量噪声，而评分噪声会系统性地压缩所有相关系数、扩大所有平均绝对误差。 给定 20 个评分样本、5 位评分者，在不同的评分者一致性水平下，TOST 的等效边界应当如何设定？
原创切口	三个自产结果，全部为模拟与离线分析，不接触任何人：(a) 评分者噪声—相关系数衰减曲线：模拟已知真值 + 不同一致性水平的评分者，画出观察到的 Spearman 相关如何被压缩，给出"给定 ICC 时相关系数的理论上界"；(b) n=20 时 TOST 的检验功效——等效性检验在小样本下极易因功效不足而"证明等效"（无法拒绝等效边界并不等于等效）；(c) 等效边界的预设问题：摘要未说明边界是事前设定还是事后选择，你可以模拟展示边界选择对结论的影响。第四产出（可选）：在公开的语音病理数据集上用客观声学指标复现该任务，给出一个不依赖人类评分的参照。
前作与对照基准	TECA004（2026 TECA Grand Award）"ArticuRace: Accessible AI-Powered Speech Therapy"——摘要原文："Five speech therapists and five teachers were given 20 pronunciations from the Ultrax Speech Sound Disorders Dataset, and asked to rate the clarity of the /s/ sound from 'Normal' to 'Very Poor'. Therapist ratings were averaged to create an accepted standard, and teacher ratings were averaged to create a control group."；两种 AI 方法（MFCC 与谱质心/滚降/平坦度）与教师评分同时对照治疗师评分；"The results showed that the teachers had higher Spearman Rank Correlations than both AI methods, and that the teachers also had a lower Mean Absolute Error (MAE) than both AI methods. An Independent Sample T-Test showed that there was no statistically significant difference between the teacher's MAE and the MAEs of both AI methods. After conducting multiple Two One-Sided Tests (TOSTs) and a Paired T-Test, both AI methods were statistically equivalent to a teacher."（注意：AI 在两个点估计上都不如教师，随后由等效性检验判定为等效——这个组合正是小样本等效检验最容易出现的情形）。摘要未报告治疗师间信度（ICC/Krippendorff's α），也未说明等效边界如何设定。；仅用于校验与对比，不计入本项目的数据贡献
数据/样本	需核实：可取得数量、独立单位、标签/测量定义、许可与缺失情况；未确认内容不得写成已具备
分析工具	纯 CPU、16 GB 笔记本可运行的开源工具优先；需核实版本、许可、输入格式、分组/时序划分和不确定度输出能力
校验材料	已知答案的合成数据、标准样或公开基准；仅用于校验与对比，不计入本项目的数据贡献
风险边界	最可能死在被读成"否定一个做得相当规范的项目"。这个项目做得比大多数同类严谨——它设了人类对照组、用了等效性检验而非仅仅 t 检验、并诚实报告了 AI 在点估计上不如教师。你的摘要必须先说这些，然后把课题定位成"小样本评分任务中等效性结论的解读框架"。 人类受试者：不触发（纯模拟 + 公开语音数据集的离线声学分析；不招募任何评分者——这也是本课题相对于"再请更多治疗师评一次"的决定性优势）。 可行性极高：模拟部分几十行代码、秒级；Ultrax 数据集须核实获取条件。

6 · 方法路径

1. 装环境或搭装置，跑通已知答案算例并完成校验。 锁定版本、单位、坐标/标签定义和误差计算；反算偏差 >5% 时只修方法，不进入正式样本。
2. 核实工具能力边界并逐条排查静默失败点。 五字段原约束为：最可能死在被读成"否定一个做得相当规范的项目"。这个项目做得比大多数同类严谨——它设了人类对照组、用了等效性检验而非仅仅 t 检验、并诚实报告了 AI 在点估计上不如教师。你的摘要必须先说这些，然后把课题定位成"小样本评分任务中等效性结论的解读框架"。 人类受试者：不触发（纯模拟 + 公开语音数据集的离线声学分析；不招募任何评分者——这也是本课题相对于"再请更多治疗师评一次"的决定性优势）。 可行性极高：模拟部分几十行代码、秒级；Ultrax 数据集须核实获取条件。 此外检查单位或标签错位、全数据预处理泄漏、相关观测冒充独立 n、缺失值静默填 0、默认参数改变口径、输出正常但物理量方向或尺度错误；每项用最小反例测试，不能以“软件未报错”作为通过。
3. 预注册最小设计。 把主问题收敛为一个对象、一个主指标、一个主要对照；写死样本单位、重复数、阈值、排除规则和降级触发条件。
4. 采集或整理正式数据。 保留原始输入与时间戳/批次，盲化能盲化的标签；协议偏离当天登记，不覆盖原记录。
5. 估计主效应与不确定度。 同时报原口径与校正口径，给出误差棒、效应量、失败样本和敏感性曲线；分类、时序或测量问题按 §4 执行。
6. 检验 H2 与边界条件。 H1 不成立时不临时换题，而是量化测量误差、样本构成、基础率、时间漂移或混杂能解释多少。
7. 独立交叉校验。 使用独立批次、留出时间段或第二种原理不同的方法复算主量；失败时以“不一致”为主结果，不选择性保留支持预期的路径。

7 · 新颖性边界

本课题不声称什么： 不声称首次进入该主题，不声称重新发现或推翻前作，也不把前作的项目编号、年份、奖级、引文和数字据为本项目结果；具体已有工作是：TECA004（2026 TECA Grand Award）"ArticuRace: Accessible AI-Powered Speech Therapy"——摘要原文："Five speech therapists and five teachers were given 20 pronunciations from the Ultrax Speech Sound Disorders Dataset, and asked to rate the clarity of the /s/ sound from 'Normal' to 'Very Poor'. Therapist ratings were averaged to create an accepted standard, and teacher ratings were averaged to create a control group."；两种 AI 方法（MFCC 与谱质心/滚降/平坦度）与教师评分同时对照治疗师评分；"The results showed that the teachers had higher Spearman Rank Correlations than both AI methods, and that the teachers also had a lower Mean Absolute Error (MAE) than both AI methods. An Independent Sample T-Test showed that there was no statistically significant difference between the teacher's MAE and the MAEs of both AI methods. After conducting multiple Two One-Sided Tests (TOSTs) and a Paired T-Test, both AI methods were statistically equivalent to a teacher."（注意：AI 在两个点估计上都不如教师，随后由等效性检验判定为等效——这个组合正是小样本等效检验最容易出现的情形）。摘要未报告治疗师间信度（ICC/Krippendorff's α），也未说明等效边界如何设定。

已有工作做到哪一步： 五字段证据表明前作已完成其原始对象、方法或性能演示；本项目完整保留这条事实，不把摘要未写出的信息推断为“没有做”。数据集、器材规格、价格、货期或外部文献的任何补充均标为“需核实”。

本项目贡献（属「评价维度转换」；若使用全新独立对象则同时属「新样本独立检验」，若核心是校准与脚本则同时属「方法可复现性贡献」）： 三个自产结果，全部为模拟与离线分析，不接触任何人：(a) 评分者噪声—相关系数衰减曲线：模拟已知真值 + 不同一致性水平的评分者，画出观察到的 Spearman 相关如何被压缩，给出"给定 ICC 时相关系数的理论上界"；(b) n=20 时 TOST 的检验功效——等效性检验在小样本下极易因功效不足而"证明等效"（无法拒绝等效边界并不等于等效）；(c) 等效边界的预设问题：摘要未说明边界是事前设定还是事后选择，你可以模拟展示边界选择对结论的影响。第四产出（可选）：在公开的语音病理数据集上用客观声学指标复现该任务，给出一个不依赖人类评分的参照。 主结论是原结论在预注册控制与独立复核下的效应幅度及适用边界，不是附带造一个更复杂模型或装置。

为何有价值： 它把“看起来有效”转换为“在多大误差、何种样本和什么阈值下仍有效”。差异不显著同样是有效结论，但必须给出误差棒证明有能力分辨预注册的 10% 相对变化或标准化效应 0.5；置信区间过宽只能写“测不出来”。

8 · 决策门槛（go / no-go）

第 5 周末必须同时满足：校验偏差 ≤ 5%、至少取得计划独立样本的 20%、主指标能从原始输入稳定重算。任一不满足，立即启动具名降级路径 “单对象能力边界标定”：砍掉多对象/多模型比较，只保留最可得的一种对象、一个主指标和一个独立复核，转而报告误差、敏感性与最小可分辨效应；主结论仍是“原结论在什么条件下站得住”。

与“附属赛后不得修改”的冲突点：主指标、阈值、样本排除、对照、预处理和降级触发条件必须赛前定死。须提前核实： 最可能死在被读成"否定一个做得相当规范的项目"。这个项目做得比大多数同类严谨——它设了人类对照组、用了等效性检验而非仅仅 t 检验、并诚实报告了 AI 在点估计上不如教师。你的摘要必须先说这些，然后把课题定位成"小样本评分任务中等效性结论的解读框架"。 人类受试者：不触发（纯模拟 + 公开语音数据集的离线声学分析；不招募任何评分者——这也是本课题相对于"再请更多治疗师评一次"的决定性优势）。 可行性极高：模拟部分几十行代码、秒级；Ultrax 数据集须核实获取条件。 同时核实许可、设备/软件真实能力、场地、表格和采购可得性。已知困难及其定位：这些限制就是能力边界，不用未经核实的规格填补。选择前提：学生愿意做重复、校验和零结果解释。预算裁剪顺序：先砍多模型/多材料，再砍次要指标，再砍展示性装置；不得砍校验、主要对照、独立重复和交叉验证。

净实验窗口按 2026-08 至 12 月约 3–4 个月规划。按实际对象核实合规：附属赛后项目不得更改；展台禁液体（含水）、土壤、玻璃、锐器、化学品、干燥粉末、>100 Wh 电池和通电无人机，禁网址与二维码；家中不得培养任何潜在危险生物制剂；涉及脊椎动物、人类受试者、激光、高真空或 SDS 标注的致癌致畸化学品时，须在相应动作前确认审批。AI 不得用于撰写研究计划、摘要、展板或引文。

评分： O=8, W=9, F=8, S=7, Fit=9 → base=82.2，h=5 → [77, 87]，置信度：高

---