search

cansakiroglu / DesignIt

Bitirme Projesi
0 stars 0 forks source link

Headset - Bilgisayar arası obje tespiti için API oluşturulması #38

Closed sta314 closed 1 year ago

sta314 commented 1 year ago

İçerik

Geliştirilen obje tanıma modülünün çalışması için tamamen headsete gömülü bir sistem oluşturamıyoruz, çünkü önceki raporumuzda da bahsettiğimiz gibi Meta güvenlik nedeniyle uygulamaların Passthrough API yardımıyla gelen görüntüleri işlemesini mümkün kılmamış. Dolayısı ile görüntülerin headsetten bilgisayara, daha sonra da sonuçların bilgisayardan headsete aktarılması gerekli. Sidequest kullanarak kablo ile görüntü alıp, yine kablo ile sonuç aktarımını yapabilirdik. Fakat bunu daha kullanışlı şekilde yapmak için ADB (Android Debug Bridge) aracını kablosuz olarak kullanacağız. Bilgisayarla headseti aynı ağa bağlayıp ADB yardımıyla komut bağlantısı kuracağız. İki cihaz arasında sürekli mesajlaşmalarla sonuç olarak headsetin ilettiği bir fotoğrafa karşılık headsete bir etiket dönülmesini planlıyoruz.

Gereksinimler

  1. Kullanıcı gerçek hayattaki bir objenin türünü öğrenmek istediğinde bir metodun triggerlanıp bilgisayarda çalışan API'a istek atması.
  2. API'da istek alınınca Wireless ADB yardımıyla headset'e screenshot için komut gönderilip kameradan 1 frame alınması.
  3. Gelen framenin YOLOv5 modeline verilip 1 adet etiket alınması.
  4. Elde edilen etiketin headsetin ilk adımda göndermiş olduğu POST requeste response olarak dönülmesi.

ETA

  1. Sprint'in sonu
sta314 commented 1 year ago

Gereksinimlerde listenen adımlar gerçekleştirilmiştir. Fakat 3. adımda belirtilen obje sınıflandırma modeli halihazırda projede bulunmadığı için bağlantı sağlanamamış, ileride kolayca sağlanabilecek şekilde ayarlanmıştır.

Aşağıdaki videoda bağlantının çalışmasını gözlemleyebilirsiniz, belirtilen sebepten dolayı API sabit bir değer dönüyor.