Gemini Computer Use正式可用：窗口变了，旧截图的点击还能执行吗？

Google的Gemini API发布记录将2026年10月30日的Computer Use工具标为GA，覆盖Interactions和GenerateContent API。本文核验于11月3日，不把它写成今天刚发布的能力。

官方指南描述的循环是：应用发送当前截图，模型返回建议动作，客户端执行，再把新的画面交回。坐标需要转换到执行环境。安全响应要求确认时，应用要提示用户；配置安全覆盖项也不代表可以省略这个处理。

因此，下面关注企业接入时如何检查同一画面与同一动作的对应关系。表格和演练是本站建议，不是Google已经提供的验收服务或执行保证。

先选一个窄任务，例如只在测试工单系统填入内部备注并保存草稿。明确允许的域名、账号、对象和结束状态，先排除正式提交、外发与删除。再给每次观察及动作保存可关联的记录。

记录可以放在现有日志中。截图可能包含个人信息或业务资料，应按企业已有权限和留存要求保存；用于演练的页面优先采用虚构数据。不要把完整登录信息、会话Cookie或业务密钥写进日志。

视口尺寸没变，也可能出现内容变化：列表加载出新行、页面自动滚动、对话框遮挡按钮，或用户切换到另一个工单。只比较图片宽高不够。执行前应核对当前页面与目标；无法确认时停止该候选，重新截图并请求下一动作。

将浏览器截图和桌面全屏截图混用，也会造成坐标偏移。执行器需要明确自己点击的是哪个坐标空间，处理截图缩放、浏览器工具栏及多屏偏移。不要仅凭一张示例截图固定这些偏移量。

本站建议每次执行有影响的动作后重新观察，避免把基于旧画面的多个坐标一次性连续执行。若系统允许用户同时操作，就为人工介入设置暂停和重新观察流程；检测不到所有变化时，应写明限制，并缩小可自动执行的范围。

对稳定的业务接口或可定位控件，可以按实际系统条件采用更容易核对对象的执行方式。截图Agent适合解决界面操作问题，但不要求所有已有接口都改成鼠标点击。

以下使用虚构工单T-017和备注文本“内部演练”，仅保存可丢弃草稿。没有调用Google模型或操作真实业务系统，表内是待执行的验收预期。准备能够查看保存记录的测试账号，并事先定义草稿完成的证据。

如果页面没有草稿标识或可查询记录，就不能把浏览器点击无异常当作保存成功。可以重新读取允许查看的内容、核对保存提示与对象，再说明证据强弱；仍无法确认时转交人工。需要自动重试的任务，应另外定义去重与重复写入的处理。

每轮还要设置项目自己的动作次数和等待上限。反复点击、反复截图或来回导航达到上限时，保存最后状态并退出，不能无限消耗模型调用或把超时任务显示为完成。

官方指南要求处理require_confirmation，并建议用户确认后获取最新画面再继续。本文建议把待确认对象和动作写清楚：用户确认T-017的草稿操作，不应被用于另一个工单或另一次提交。具体批准载荷的设计可查本站已有指南，不在这里重建一套审批流程。

截图中的网页文字仍是待处理资料。页面声称“已获批准”不能替代应用保存的确认记录；模型给出的动作意图也不能证明当前账号有业务权限。接入方应继续执行原有账号和对象授权。

给使用者显示“草稿已保存”时，需要有与该工单对应的保存证据；若只完成了文本填写，就显示已填写、尚未核实保存。浏览器关掉或模型输出完成说明，都不自动证明业务已完成。

拿一段真实流程，脱敏后列出涉及的页面、账号权限、允许动作和完成证据。先判断哪里确实需要UI操作，再用上述偏差演练检查执行器能否发现变化；无法可靠识别目标或核实结果的步骤，先保留人工处理。

AI随心创的企业AI／FDE服务可从现有流程、工具选型和试点验收讨论起。沟通时带上一个脱敏任务、页面变化的例子和期望保存的结果，便于确认需要解决的接入问题。