About
做窄而可核对的模型
我们在做什么
做窄而可核对的模型。边界划得很窄 —— 窄到每一个输出都能被验证， 或者被明确地拒绝。
已发布的 Jett 做结构化决策：给一段情况和一组问题，一次调用答完， 回来的是选项与把握程度，以及需要的那个精确数值。 候选里没有正确答案时，它说得出来。
技术报告正在整理，会和 paper 一起发布。在那之前， 能力与结果都摆在站点上，并且每一个都能当场跑一遍。
我们怎么衡量
每个数字必须带口径。191/191 旁边要写清楚 是哪 191 道、怎么测的 —— 一个没有口径的数字无法被反驳， 因此也无法支持任何结论。
边界和能力同等显眼。只列能力不列边界，读者没有办法判断那些数字的适用范围， 而适用范围是工程上最需要知道的。
与对照组并排报告，并且注明对照组的数是我们自己实测的，不是其公开宣称值。
这个站点本身
站点上的每一个数值都由当次请求实时计算 —— 包括场景卡上的读数、基准表里的结果、 首屏那条流水线的各跳耗时。没有写死的文案数字。
这样做有一个副作用是我们想要的：某一处算错了，页面会直接显示 「与参考值不一致」，而不是安静地印出一个好看的数。
刷新一次看到的是这一次跑出来的东西，不是我们上次跑得最好的那次。