StartLux与Jev:本轮观察到的特点

条件 Probe分母 明确首次功能 已有等价尝试 UNKNOWN 执行时额外重复 wire充分的可疑语义Probe B0
STARTLUX 64 4 25 35 1 8 44
JEV 86 2 35 49 0 1 69

本表不是同题模型准确率。两组由各自模型判断与APE随机探索产生不同轨迹,经历的State、历史、Pair、等待时间不同。尤其StartLux有35/64、Jev有49/86新颖性UNKNOWN,不应把已知子集比例当成总体精度。

相同的正面能力

StartLux4条:ActivityDiary571管理、608设置;Wikipedia615设置、734捐款选择器。Jev2条:ActivityDiary475统计、Wikipedia1020地图。二者都能把同组已执行的其他命令与当前独立入口区分。六条均是已饱和ModelAction中的Concrete补选,不是Native普通Greedy尚未访问的全新ModelAction。

Omni两组172同样实现了Info以外的清单转换,局部价值清楚,但早期GUI不全,未算全局首次。它们的好处不能仅用Probe多少概括。

StartLux本轮值得复核的薄弱处

6条Wikipedia目录定位、1条最近查询选择、1条Scarlet标签过滤属于wire提示同一操作模板仍出现DIFFERENT的可疑项,共8条。另Scarlet604/608与Omni1933表现出低置信等价关系未阻止其他Pair的DIFFERENT推动PROMOTE。它们不是模型直接返回一个“全局新功能PROMOTE”;Native对Pair结果进行探索聚合。

ActivityDiary5个数据卡片也不能一概按名称不同判错:1184/1831/1868是启动,1867/1884是停止。1831的Witness1207/1724源页是当前正在进行的活动,可能代表停止分支,当前是启动;所需状态上下文未进入wire。1884有更早1867明确停止证据,但没有送入当前Pair。1867本次停止成功,更早停止结果不完整,所以仍UNKNOWN。

Jev本轮值得复核的薄弱处

ActivityDiary17条中,首次统计1条、已有等价导航16条;大量跨State重复首先是先前入口记录没有进入本次合法池,不是DIFFERENT(Statistics, Diary)这类局部比较本身错误。Scarlet16条中7条重复文本块菜单,匿名图标wire未呈现历史Share/Copy/Delete效果;只用旁边块标签判断可能产生过度区分。Omni339把已见的另一语言Enable checklist判为DIFFERENT .67,是1条有较明确wire支持的可疑语义案例。

为什么不能叫模型能力差异

分母64/86是确认执行Probe,不是全部送审Pair。它受Native候选、分组、Top3、调度与轨迹选择影响,还排除了未执行PROMOTE。没有重新调用模型、同题离线评测或把研究意见变成金标。性能上本轮Jev同步等待显著更多、存在Gateway发送排队,进一步影响可用探索时间,但并不自动决定语义质量。

App 条件 全部确认Probe 明确首次独立功能 已有等价尝试 UNKNOWN
activitydiary STARTLUX 12 2 8 2
activitydiary JEV 17 1 16 0
odkcollect STARTLUX 4 0 0 4
odkcollect JEV 21 0 2 19
omninotes STARTLUX 31 0 7 24
omninotes JEV 26 0 4 22
scarletnotes STARTLUX 4 0 3 1
scarletnotes JEV 16 0 12 4
wikipedia STARTLUX 13 2 7 4
wikipedia JEV 6 1 1 4

逐条结论 · 9个可疑语义Probe与其他根因 · 运行开销专项