Jev Gallery

JEV GUIDE

Jev 浏览器自动化:Playwright 与 Computer Use 如何分工

Jev 可以参与界面操作中的选择,但浏览器连接、元素读取和点击仍由工具完成。这里比较两个已收录实现,帮助你设计自己的自动化测试或桌面操作流程。

浏览器测试与桌面操作是两条接入路径

jevcumber 从 Gherkin 步骤和页面控件中构造候选,让 Jev 选择动作、元素及输入值,再由 Playwright 执行。其冻结模式重放锁文件,不调用 Jev;包含语义判断的断言仍有不同限制。

依据: jevcumber · pinned source ↗

Computer Use 是否意味着 Jev 在看截图?

在已核对的 Jev-cu 版本中,传给 Jev 的是界面无障碍树中的文字候选,读取和执行由 Codex Computer Use 完成。不能据此推断 Jev 自身具备截图识别能力,也不能把作者展示的提速直接套用到其他应用。

依据: Jev-cu (Jev Use) · pinned source ↗

一个能检查结果的操作循环

编辑建议:读取页面版本与可见控件 → 构造有限候选及“无合适目标” → 选择 → 再检查目标仍存在 → 执行一次 → 读取新状态。每步保留目标标识与结果,不让多步动作共用过期页面快照。

合成示例:页面上有“保存草稿”和“发布”。目标是保存草稿时,两者应为不同候选;即使选中了某个按钮,应用仍要检查用户授权和预期页面结果。

怎样验证自动化是否真的稳定?

分别测试首次解析和锁文件回放。回放通过只说明已记录动作仍可执行,不能证明当前模型会作出正确选择。

编辑建议的边界样本包括:两个同名按钮、目标被弹窗遮挡、页面在请求期间变化、网络超时,以及任务已完成但模型仍建议动作。记录成功完成率、错误操作和拒绝率;低置信度或无合适目标时停止并暴露原因。本站未运行这两个项目。

接着看这些项目

继续阅读