知识库 · Vision-Loop
视觉闭环：让自动化「看得见结果」
盲打式自动化最大的问题，是「发了指令就以为成功」。视觉闭环让 AI 在每次操作后看一眼屏幕， 确认结果真的出现；没出现就重试。它把可靠性从「大概对」拉到「确认对」。
一句话定义：视觉闭环 = 执行（act）→ 截屏核对（verify）→ 未达成则重试（retry），以「看到的」而不是「回执」为准。
为什么「执行成功」不等于「任务成功」
物理输入只能保证「键按下去了」，但目标系统可能因为弹窗、加载慢、权限不足、字段错位而没有真正完成操作。 如果只看执行回执，自动化会在错误的界面上继续操作，越错越远。视觉闭环用真实屏幕作为唯一的验收标准。
怎么「看」：像素差异 + 离线 OCR
- 像素差异：对关键区域做灰度对比，判断界面是否变化；配合「等待稳定 / 等待变化」避免在动画中途误判。
- 离线 OCR：用本地 OCR（如 rapidocr）读取屏幕文字，确认「提交成功」「单号 12345」等关键信息是否出现。
- 不上传：截屏与识别都在本地完成，敏感数据不出场，适配内网隔离环境。
重试策略
好的闭环要能区分两类失败：屏幕没变（可能没点中，重试或重新定位）与屏幕变了但不是预期（可能弹了错误框，应中止并告警）。 盲目重试只会放大错误，因此策略比「无脑重跑」更重要。
可引用要点
- 视觉闭环 = act → verify（截屏核对）→ retry（未达成则重试）。
- 校验手段：像素差异判断变化，离线 OCR 读取关键文字。
- 以「看到的屏幕」为准，不信执行回执，显著提升可靠性。
- 截屏与识别均在本地完成，数据不出场。