search

bz-lab / AUITestAgent

AUITestAgent is the first automatic, natural language-driven GUI testing tool for mobile apps, capable of fully automating the entire process of GUI interaction and function verification.
155 stars 11 forks source link

看了论文，有个疑问，论文中提到了现在多模态大模型对于UI截图上的所有的标注的区域，猜测他们功能可能不准确，所以你们将UI层级也加入到了prompt中，那自己的APP可以，facebook这种例子，你们怎么获取UI层级的啊？？ #7

Open suzhenyu006 opened 4 months ago

TSKGHS17 commented 4 months ago

只要是原生安卓应用都可以通过adb dump拿到XML的吧，我们没有对App本身做修改，使用的都是线上版本~

suzhenyu006 commented 4 months ago

哦，我理解错了UI层级的意思了。明白了，多谢~

kx-kexi commented 2 months ago

请问一下你们利用XML获取的信息除了clickable那些布尔值信息和文本之外，还获取了其他信息了吗？

TSKGHS17 commented 2 months ago

请问一下你们利用XML获取的信息除了clickable那些布尔值信息和文本之外，还获取了其他信息了吗？

还有class, bounds等；前者用于写一些规则辅助LLM判断，后者是UI元素的坐标。

kx-kexi commented 2 months ago

请问一下你们利用XML获取的信息除了clickable那些布尔值信息和文本之外，还获取了其他信息了吗？

还有class, bounds等；前者用于写一些规则辅助LLM判断，后者是UI元素的坐标。

方便详细说一下class规则判断吗