search

X-PLUG / MobileAgent

Mobile-Agent: The Powerful Mobile Device Operation Assistant Family
https://arxiv.org/abs/2406.01014
MIT License
3.06k stars 283 forks source link

增加根据xml的clickable属性判断是否可以点击 #30

Closed kx-kexi closed 3 months ago

kx-kexi commented 5 months ago

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选，可以让手机控制更加精准

junyangwang0410 commented 5 months ago

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选，可以让手机控制更加精准

您好。如果使用的是安卓手机，是可以通过XML提升定位准确率的。但这种方法不适用于所有平台的手机。我们希望Mobile-Agent能面向手机GUI而不仅仅是特定的操作系统，因此采用了全平台通用的纯视觉方案。

kx-kexi commented 5 months ago

当手机界面存在几个相同的文字的时候首先利用xml的clickable属性判断是否可以点击从而进行筛选，可以让手机控制更加精准

您好。如果使用的是安卓手机，是可以通过XML提升定位准确率的。但这种方法不适用于所有平台的手机。我们希望Mobile-Agent能面向手机GUI而不仅仅是特定的操作系统，因此采用了全平台通用的纯视觉方案。

可以开个分支专用于安卓手机，因为这种手机界面相同的文字的情况并不算少，结合xml文件和视觉效果会更好