niuzaisheng / ScreenAgent

ScreenAgent: A Computer Control Agent Driven by Visual Language Large Model (IJCAI-24)
https://arxiv.org/abs/2402.07945
Other
217 stars 24 forks source link

程序在这个位置卡住不动:[Automaton:Acting] Submit Actions #26

Open linxi1158 opened 1 month ago

linxi1158 commented 1 month ago

您好,给出的4个例子,程序在执行子任务时,都卡在Submit Actions,有以下两个问题请教:

  1. 为什么卡在此处?此处功能是啥?做了啥操作?
  2. 如何加速此处? CleanShot 2024-06-25 at 16 41 23 CleanShot 2024-06-25 at 16 41 37
niuzaisheng commented 1 month ago

在右下角的Parsed Action中,已经执行的动作会变为绿色,未执行的动作是黑色条目。 这里停止下来说明它已经发送了“移动光标到(0,767)”这个动作。

linxi1158 commented 4 weeks ago

是不是接下来我可以自己点击评价,在vscode或者终端输入评价,就可以执行下一步?感觉是这样的

ttq85 commented 4 weeks ago
def execute_actions(self, request_id, actions, recall_func):
    # receive a list of actions from other components, execute them
    self._request_recall_func_cache[request_id] = recall_func
    self._request_action_num_counter[request_id] = len(actions)
    for action in actions:
        self.action_queue.put(action)

这一块代码,action放到队列里处理了,没有把recall_func调用加上?导致action执行后,不能自动进入evaluation.

niuzaisheng commented 4 weeks ago

PyQT写UI比较麻烦,异步的处理比较麻烦。所以,可以参考一下我们用Web写的一个客户端,使用起来和改起来更简单。 ScreenAgent Web Client

linxi1158 commented 3 weeks ago

好的,多谢,有啥问题,我进一步向您请教