search

mnotgod96 / AppAgent

AppAgent: Multimodal Agents as Smartphone Users, an LLM-based multimodal agent framework designed to operate smartphone apps.
https://appagent-official.github.io/
MIT License
4.97k stars 538 forks source link

运行Gmail时无法自动点击收件人信息导致邮件无法发送 #38

Open sukekes opened 9 months ago

sukekes commented 9 months ago

【操作步骤】

  1. 运行learn.py
  2. 选择Gmail 发送邮件
  3. 输入收件人邮箱，点击截图中红色边框标记区域
  4. 输入主题、邮件内容并发送邮件至完成训练
  5. 运行run.py并选择Gmail发送邮件

1705547505303

【实际结果】 运行时无法点击截图中的标记区域，导致无法输入主题、邮件内容，进而导致邮件无法发送

mnotgod96 commented 8 months ago

https://github.com/mnotgod96/AppAgent/issues/28#issuecomment-1881446921 可以尝试下手动优化下该按钮的文档，gpt4v有时候生成的文档可能不太准确