文档 / 源码核对

jev-eval

用自己的标注数据测量 Jev 的置信度与转人工阈值

CMaintz · 资料核对 2026-10-07

本站收录 2026-10-07

这个项目怎样使用 Jev

输入: 用户标注的 JSONL 状态、正确答案和 Choice、Noul、Score 问题配置；模型调用只发送状态与问题
Jev 判断: Jev 对每行状态返回结构化判断，代码对照标签计算正确率、校准误差，以及不同阈值下的自动处理覆盖率与错误情况
代码执行: 保存可续跑的结果缓存，支持模型或问法对比；通过留出集或 bootstrap 袋外评估推荐阈值，样本不足 50 条时拒绝推荐，少于 200 条时标记暂定

已核对 MIT 许可、HTTP 接入、统计与阈值导出逻辑，未运行真实模型评测。推荐值只供人工审阅，不自动修改生产门槛；标注质量、样本数量和分布变化都会影响有效性。校准统计不能保证未来准确率，也不提升模型本身；README 的示例与总体准确率说法不是本站测量结果。

本站未运行该项目；作者报告的能力与结果不等于本站复测结论。