Open d223302 opened 4 months ago
Cuda==11.8 transformers==4.36.2
@zRzRzRzRzRzRzR
飛書上使用 cogagent的示例: I'm looking for guidance on how to search the CogVLM arxiv paper 無法複現。
I'm looking for guidance on how to search the CogVLM arxiv paper
我嘗試使用 cogagent-chat 模型執行此任務。然而，此模型並不支援多圖多輪對話。不知道要如何使用此模型完成示例中的任務？如果只能使用單輪對話，要如何將過去的歷史action紀錄提供給模型？
另外，cogagent-chat 的訓練資料是什麼？這個模型能夠執行的action 除了 type / click 以外還有哪些？
期待有一個能夠執行GUI agent 任務的模型，如同飛書上的示例
System Info / 系統信息
Cuda==11.8 transformers==4.36.2
Who can help? / 谁可以帮助到您？
@zRzRzRzRzRzRzR
Information / 问题信息
Reproduction / 复现过程
飛書上使用 cogagent的示例:
I'm looking for guidance on how to search the CogVLM arxiv paper無法複現。我嘗試使用 cogagent-chat 模型執行此任務。然而，此模型並不支援多圖多輪對話。不知道要如何使用此模型完成示例中的任務？如果只能使用單輪對話，要如何將過去的歷史action紀錄提供給模型？
另外，cogagent-chat 的訓練資料是什麼？這個模型能夠執行的action 除了 type / click 以外還有哪些？
Expected behavior / 期待表现
期待有一個能夠執行GUI agent 任務的模型，如同飛書上的示例