StartLux与Jev:本轮观察到的特点
| 条件 | Probe分母 | 明确首次功能 | 已有等价尝试 | UNKNOWN | 执行时额外重复 | wire充分的可疑语义Probe | B0 |
|---|---|---|---|---|---|---|---|
| STARTLUX | 64 | 4 | 25 | 35 | 1 | 8 | 44 |
| JEV | 86 | 2 | 35 | 49 | 0 | 1 | 69 |
本表不是同题模型准确率。两组由各自模型判断与APE随机探索产生不同轨迹,经历的State、历史、Pair、等待时间不同。尤其StartLux有35/64、Jev有49/86新颖性UNKNOWN,不应把已知子集比例当成总体精度。
相同的正面能力
StartLux4条:ActivityDiary571管理、608设置;Wikipedia615设置、734捐款选择器。Jev2条:ActivityDiary475统计、Wikipedia1020地图。二者都能把同组已执行的其他命令与当前独立入口区分。六条均是已饱和ModelAction中的Concrete补选,不是Native普通Greedy尚未访问的全新ModelAction。
Omni两组172同样实现了Info以外的清单转换,局部价值清楚,但早期GUI不全,未算全局首次。它们的好处不能仅用Probe多少概括。
StartLux本轮值得复核的薄弱处
6条Wikipedia目录定位、1条最近查询选择、1条Scarlet标签过滤属于wire提示同一操作模板仍出现DIFFERENT的可疑项,共8条。另Scarlet604/608与Omni1933表现出低置信等价关系未阻止其他Pair的DIFFERENT推动PROMOTE。它们不是模型直接返回一个“全局新功能PROMOTE”;Native对Pair结果进行探索聚合。
ActivityDiary5个数据卡片也不能一概按名称不同判错:1184/1831/1868是启动,1867/1884是停止。1831的Witness1207/1724源页是当前正在进行的活动,可能代表停止分支,当前是启动;所需状态上下文未进入wire。1884有更早1867明确停止证据,但没有送入当前Pair。1867本次停止成功,更早停止结果不完整,所以仍UNKNOWN。
Jev本轮值得复核的薄弱处
ActivityDiary17条中,首次统计1条、已有等价导航16条;大量跨State重复首先是先前入口记录没有进入本次合法池,不是DIFFERENT(Statistics, Diary)这类局部比较本身错误。Scarlet16条中7条重复文本块菜单,匿名图标wire未呈现历史Share/Copy/Delete效果;只用旁边块标签判断可能产生过度区分。Omni339把已见的另一语言Enable checklist判为DIFFERENT .67,是1条有较明确wire支持的可疑语义案例。
为什么不能叫模型能力差异
分母64/86是确认执行Probe,不是全部送审Pair。它受Native候选、分组、Top3、调度与轨迹选择影响,还排除了未执行PROMOTE。没有重新调用模型、同题离线评测或把研究意见变成金标。性能上本轮Jev同步等待显著更多、存在Gateway发送排队,进一步影响可用探索时间,但并不自动决定语义质量。
| App | 条件 | 全部确认Probe | 明确首次独立功能 | 已有等价尝试 | UNKNOWN |
|---|---|---|---|---|---|
| activitydiary | STARTLUX | 12 | 2 | 8 | 2 |
| activitydiary | JEV | 17 | 1 | 16 | 0 |
| odkcollect | STARTLUX | 4 | 0 | 0 | 4 |
| odkcollect | JEV | 21 | 0 | 2 | 19 |
| omninotes | STARTLUX | 31 | 0 | 7 | 24 |
| omninotes | JEV | 26 | 0 | 4 | 22 |
| scarletnotes | STARTLUX | 4 | 0 | 3 | 1 |
| scarletnotes | JEV | 16 | 0 | 12 | 4 |
| wikipedia | STARTLUX | 13 | 2 | 7 | 4 |
| wikipedia | JEV | 6 | 1 | 1 | 4 |