昨天写了《教 AI 陪小学生写作文》，讲怎么把作文辅导做扎实。其实这几个月还有另一半工作，一直没写：怎么知道它辅导得好不好。
答案听起来简单：打个分。真做起来，大部分时间花在了分数之外——先检查那把打分的尺子。
一个满分
先讲件小事，出自我业余在做的「三省」，就是前几篇提过的、给孩子用的那个对话小玩意。
它有一套回复质量评分器，AI 每回复孩子一句，就打一次分。前几天我做了一次复现测试：孩子的输入是「我今天画了一张画」，我让回复里故意补了一句「老师把它贴在教室里了」——孩子没说过这话。
评分器的结论：100 分，零问题。
说明一下，这是本地构造的复现，不是真实孩子的对话。但正因为是构造的，结论才干净：那套评分器量的是词语重合和固定句式，它能看出这句话「写得像不像样」，看不出「是不是编的」。尺子没坏，是它根本量不了这个维度。
这个案例后来被冻成反例用例。修正方向也不是把阈值再调严，而是换量法：回复里的事实陈述，必须能回溯到孩子的原话，回溯不到就不许出现。
真正留下的是那个感受：看见满分，得先问一句，它量的到底是什么。
「好」的定义不够具体
公司项目里同样的问题，规模更大。老规矩，隐去业务细节，只留方法。
给作文辅导 AI 打分的规则里，每个维度的锚点写的是「明确合适／部分合适／不合适」，正反例是空的。这意味着两个评分员拿同一把尺子，量的其实是各自脑补的「合适」。AI 评分员也一样——锚点越含糊，它打分越像掷骰子。
修法是把锚点写具体，具体到「维度 × 阶段 × 孩子正在做什么」。比如孩子说「不会写」：
- 1 分：针对当前缺口，给出孩子做得到的具体支架；
- 0.5 分：有承接，但任务还笼统，「再写具体一点」这种；
- 0 分：忽略求助，重复施压；
- 看不出、缺前文：null。
最后那个 null，是这轮真正学会的东西。
不知道，就写不知道
信息不足、执行失败、确实表现差，是三件不同的事，不能都记成 0 分。
有道算术题让我印象很深：十轮对话，八轮 1 分、两轮 0 分，均值 0.8。把难评的那两轮改成 null 排除掉，覆盖率还有八成，均值变成 1.0。
缺分不是随机的。 越难评的轮次越容易缺；哪个候选受益于「把难的排掉」，评估就会悄悄偏爱谁。所以缺分要记原因：没抽样、执行失败、上下文不足、证据不足，各是各的，不能一键当 null 剔掉。
换了尺子，分数不能直接比
评估规则本身也在改：改判据、改权重、出候选版本。这里有个特别顺手的坑：新版本平均分比旧版本高，于是宣布「效果提升」。
可分数变了，可能只是刻度变了。两套规则的分数都是 0 到 100，不代表它们共用一把尺子。
所以后来把三样东西拆开记：规则是一个版本，辅导策略是一个版本，所有候选共同接受的公共参考再是一个版本。比较候选，用公共参考的尺度，不拿各自的总分互比。还有一条更狠的：不能让一套规则给自己优化出来的辅导策略打高分——那是老师给自己的学生判卷。
谁来校准打分的 AI
最后是人的问题。AI 评分员也需要金标：两位教研独立盲评，分歧请第三人仲裁。
「八成一致率」听着不错。但样本只有二十条、对十六条的话，这个数字的置信区间大约是 58% 到 92%——下限只比抛硬币略好。样本不凑够，一致率本身就是一个不确定的数。
这周做第一批真实模型试评，同一条开场回复发给六个候选规则：六组全是 100 分。这不能说明六个规则一样好，只能说明这条材料没有区分度。好材料和坏材料都得有，分数才有含义。
还没做的事
诚实清单：
- 真实人工校准还没完成。攒下的真实评审样本全来自同一段对话，盲评标签也还没打完。
- 教学效果验证没开始。规则更可靠是一回事，孩子学得更好是另一回事，两件事要分别证明。
上一篇的结尾是「先把什么不算数定清楚」。这一篇往下多走一步：连打分这件事本身，也得先证明自己算数。
这是「工作心得记录」的第二篇。