🔒 只读 demo · 仅可导出MDWord
BLOG

Introducing computer use in Gemini 3.5 Flash

publisher:Google DeepMind · 评分 80 · 原文链接 ↗

Gemini 3.5 Flash 上线计算机使用能力,可操控桌面应用。

Google DeepMind 在 Gemini 3.5 Flash 中引入了计算机使用功能,使模型能够像人类一样操作桌面环境(点击、滚动、输入等)。关键方法是通过视觉输入(截图)和动作输出的端到端训练。初步结果显示在任务自动化(如填写表单、网页浏览)上表现良好,但仍有延迟和精度问题。

  1. 导购/agent 产品:此功能可增强 agent 的 GUI 操控能力,例如自动填写表单、跨平台操作,但需评估延迟和稳定性是否满足实时推荐场景。
  2. 技术选型:此前更关注 tool-use API,现需增加对 GUI 操控的关注。若延迟可接受,可作为兜底方案处理无法通过 API 完成的操作。
  3. 下一步:阅读原始论文了解具体架构,搭建原型测试在导购场景下的实用性(如自动登录、查询订单)。
归档评分 80 · 当日排名 #4