iPadの画面取得と操作

husky21st / IntelligenSuika

AI play スイカゲーム@ aladdin_X

https://www.aladdinx.jp/pages/suika-game

MIT License

0 stars 0 forks source link

Closed husky21st closed 4 months ago

husky21st commented 4 months ago

画面取得はpyautogui
- 今回はリアルタイム性は重要ではないので多少のラグは許容
操作はpythonからシリアル通信でArduinoを動かし、そこからmac上のマウスを動かしユニバーサルコントロール下のipadを動かす
- 場所(x座標)はpython側で処理し実座標をシリアル通信でArduinoに送る
- 座標の場所にマウスを動かし後クリックをする

husky21st commented 4 months ago

~~Arduinoには-1~1のfloat数値を0.123の形にし1000倍した"+1234"のような5文字のstringで送る(シリアル通信が文字列なため)~~ readStringで文字列を受け取れたのでそのままfloatをstr型にしてエンコードして渡す