search

ProteGO-Safe / specs

Opis, specyfikacja i zadania. Zacznij tutaj.
GNU General Public License v3.0
118 stars 29 forks source link

Pre-screening za pomocą ML-a z nagrania kaszlu #245

Open osoftware opened 3 years ago

osoftware commented 3 years ago

Wykorzystanie modelu, którego wyniki zostały wczoraj opublikowane przez IEEE, mogłoby radykalnie podnieść skuteczność aplikacji w walce z pandemią.

https://ieeexplore.ieee.org/document/9208795

Słaba swoistość modelu nie pozwala na zastąpienie testów PCR, ale można go wykorzystać w celu podejmowania decyzji, kogo w pierwszej kolejności testować, zaś sama funkcja wstępnej diagnozy z pewnością zachęciłaby więcej osób do instalacji.

pkleczko commented 3 years ago

Pomysł super, podstawowe pytanie brzmi czy cały processing wraz z potrzebnym do tego data setem da się przeprowadzić na telefonie i jakie zasoby byłyby do tego potrzebne. Przesyłanie nagrań na serwer, nawet jeśli dobrowolne mogłoby rodzić zastrzeżenia co do prywatności i rodziło wątpliwości kto i jak przetwarza nagrania. Myślę, że wszelkie pomysły i próby zbudowania rozwiązania przez społeczność tutaj i dodania do aplikacji lub jako osobna w pełni niezależna aplikacja, która może na poziomie samego telefonu mogłaby przekazać taką informację lokalnie do aplikacji STOP COVID - ProteGO Safe spotkała by się z przychylnym odbiorem.

KoderFPV commented 3 years ago

Ciekawe czy dałoby się to zaimplementować w JS / kotlin / Swift żeby działo się to lokalnie ;)

miklobit commented 3 years ago

Ciekawe czy dałoby się to zaimplementować w JS / kotlin / Swift żeby działo się to lokalnie ;)

To chyba jest najmniejszy problem. Np. https://www.tensorflow.org/js Większy jest taki że na razie to tylko publikacja i nie widzę żeby razem z nią udostępniali swój wytrenowany model albo chociaż zbiór próbek.

KoderFPV commented 3 years ago

@miklobit Wiem że tensorflow jeszcze nie dawno raczkował. Głównym problemem była wydajność, pewnie teraz jest lepiej. No ale bez próbek ani modelu to i tak na nic.

Oprócz samego modelu, dojdzie też implementacja konwersji danych z audio do danych które potrzebuje model.

Myśle że niedługo takie coś będzie na jakiejś stronie. Chrome ma dostęp do mikorofnu a to chyba wystarczy. O ile tenserflow działa w przeglądarce, a nie tylko na node, chociaz i tutaj można by postawić serwer a tylko zwracać wyniki :)