cansakiroglu
commented
1 year ago Bu issue kapsamında eşyaların türlerinin ("chair", "table"... gibi) belirlenmesi problemi ele alındı ve bu issue üzerinde @sta314 ile beraber çalışarak problemi çözümlendirdik. Issue kapsamında yapmış olduğumuz geliştirmeleri, issue ile aynı ismi taşıyan "#48 Eşya Label'ı Belirlenmesi" adlı commit ile beraber codebase'e ekledik.
Bu problemin çözümü noktasında, daha önce de almış olduğumuz geri bildirimler yardımıyla şu şekilde bir çözüm planı kurguladık ve gerçekleştirdik:
- Kullanıcı bir eşyanın türünün ne olduğuna dair etiketin object detection modeli yardımıyla otomatik olarak algılanmasını isterse, sol controller'ı ile eşyayı point ederken sol controller'ındaki Y tuşuna basıyor. Bu noktada, cihazın passthrough özelliğine geçiliyor, elde edilen görüntü ise server'a gönderiliyor. Server kısmında object detection modeli ile o görüntüdeki eşyaya ait etiket bulunuyor ve dönülüyor. Bu etiket ise o kullanıcının başta işaret etmiş olduğu eşya modeline atanıyor. Bu kapsamındaki geliştirmelerimizi göstermiş olduğumuz video şu şekilde: (Sağda VR headset'ten kaydedilen görüntü mevcutken, solda ise çözümümüzün işleyişini/akışını gösteren ilgili log çıktıları mevcuttur.)
- Kullanıcı bir eşyanın türünün ne olduğuna dair etiketi kendisi manual bir şekilde sesli komut yardımıyla belirlemek isterse, sol controller'ı ile eşyayı point ederken sol controller'ındaki X tuşuna basıyor. Bu noktada ise, kullanıcının diyecekleri dinlenilmeye başlanıyor ve sonrasında voice transcript yapılarak kullanıcının söyleyerek belirtmiş olduğu etiket elde ediliyor. Bu etiket ise o kullanıcının başta işaret etmiş olduğu eşya modeline atanıyor. Bu kapsamındaki geliştirmelerimizi göstermiş olduğumuz video ise şu şekilde: (Sağda VR headset'ten kaydedilen görüntü mevcutken, solda ise çözümümüzün işleyişini/akışını gösteren ilgili log çıktıları mevcuttur.)
Yapmış olduğumuz bu geliştirmeler sonucunda, issue kapsamındaki çözümümüzü gerçekleştirmiş olduk. Dolayısıyla issue'yu kapatıyorum.
İçerik
Eşyaların türlerinin belirlenmesi eşyalara ait Unity'de kullanılabilecek modelin aratılması için gereklidir, dolayısıyla eşyaların türlerine ait label'ların belirlenmesi gereksinimi mevcuttur. Bu noktada, dönem ortası demomuzda aldığımız feedback'e de istinaden YOLO'nun bazen detection yapamaması ihtimali de mevcut olduğu için, bu durumlarda object detection ve ses algılama sistemlerinin beraber kullanılması ile eşya label'ının belirlenmesi amaçlanmaktadır.
Gereksinimler
ETA