作者测试
Convex Coding Evals — Decision Model Evaluations
用 Jev 的结构化判断题评测 Convex 编码知识
这个项目怎样使用 Jev
- 输入
- 覆盖 Convex 后端编码任务的人工作答题库、四选一问题和可选上下文条件
- Jev 判断
- Jev 从四个选项中选择；评测代码检查响应有效性、对照答案评分，并对同一题使用匹配的选项排列
- 代码执行
- 将 decision-model 分数与代码生成评测分别展示；question bank 收录 108 题，覆盖 90 个编码评测来源，题目按来源分组加权
验证边界
已核对 Apache-2.0 许可、题库清单、Jev 的 OpenRouter 接入与评测流程，未重新运行基准。选择题测量特定 Convex 知识，不证明模型能写出或调试可运行应用；README 指出 5 题有干净检出重放命令，其余 103 题仍有可移植性工作；本站没有复测作者报告。
本站未运行该项目；作者报告的能力与结果不等于本站复测结论。
原始来源
- https://github.com/get-convex/convex-evals/blob/aa7b0abfb14779b555f066f803239d73b2e420d5/README.md ↗
- https://github.com/get-convex/convex-evals/blob/aa7b0abfb14779b555f066f803239d73b2e420d5/LICENSE ↗
- https://github.com/get-convex/convex-evals/blob/aa7b0abfb14779b555f066f803239d73b2e420d5/decision-bank.json ↗
- https://github.com/get-convex/convex-evals/blob/aa7b0abfb14779b555f066f803239d73b2e420d5/runner/decisions/ci.ts ↗
- https://github.com/get-convex/convex-evals/blob/aa7b0abfb14779b555f066f803239d73b2e420d5/runner/decisions/run.ts ↗
- https://github.com/get-convex/convex-evals/blob/aa7b0abfb14779b555f066f803239d73b2e420d5/runner/decisions/questions.ts ↗
- https://github.com/get-convex/convex-evals/blob/aa7b0abfb14779b555f066f803239d73b2e420d5/runner/decisions/scoring.ts ↗
- https://github.com/get-convex/convex-evals/blob/aa7b0abfb14779b555f066f803239d73b2e420d5/runner/decisions/protocol.ts ↗