SEPIA-Framework / sepia-docs

Documentation and Wiki for SEPIA. Please post your questions and bug-reports here in the issues section! Thank you :-)
https://sepia-framework.github.io/
238 stars 16 forks source link

App stürzt bei tippen auf Kreis ab #42

Closed mawoka-myblock closed 4 years ago

mawoka-myblock commented 4 years ago

Wenn ich da an meinem Android Handy drauf drücke, stürzt die APP ab. Screenshot_20200602-195552_S E P I A

fquirin commented 4 years ago

Das ist natürlich nicht so gut 😅. Ein paar Fragen, damit ich dir weiterhelfen kann:

mawoka-myblock commented 4 years ago

Sorry, dass ich so wenige infos geschrieben habe... Deswegen kommen diese jetzt hier nach: -Lenovo z5s mit gerootetem lineage 16(Android 9) -ich habe die aus dem Play Store schon 2x installiert und die APP hat die Berechtigungen.

Liegt es vielleicht daran, dass kein STT Modul durch die nachinstallierten GApps installiert ist?

Sonst ist euer System richtig cool nur die Spracheingabe wäre noch das I-Tüpfelchen 😉

fquirin commented 4 years ago

Oh ein spannendes System! 😎 ich wäre sehr interessiert das zum laufen zu kriegen.

Also ich vermute auch dass es an den Google Play Paketen liegt. Verdächtig wären Spracherkennung, Sprachausgabe und Location Services, die aber standardmäßig aus sind.

In den SEPIA Einstellungen kannst du die Spracheingabe und Ausgabe umstellen auf den SEPIA Server. Für die Eingabe wird dann allerdings zusätzlich der STT Server benötigt, den es als Docker Container gibt. Es wäre aber natürlich cool auch die native Sprachsteuerung zum Laufen zu bekommen wenn die Google Pakete eh schon installiert sind. Eventuell fehlen da irgendwelche Google Server Keys, da muss ich auch mal etwas recherchieren. Funktioniert die Spracherkennung in anderen Google apps? ZB Maps?

mawoka-myblock commented 4 years ago

Nein, die Spracherkennung bei Google Maps funktioniert auch nicht, aber die APP stürzt nicht ab😉 Wie heißt denn die Einstellung um den STT Server zu ändern?

Leider kann ich den Sepia STT Server nicht benutzen, da Sepia bei mir auf dem Pi läuft...

Dann liegt es wohl an meinem Handy aber ich weis da nicht weiter, weswegen ich weiterhin um Hilfe bitte, wenn nicht, kann ich es verstehen...

fquirin commented 4 years ago

Nein, die Spracherkennung bei Google Maps funktioniert auch nicht, aber die APP stürzt nicht ab

Ha ha, ja das wäre auch mein erstes Ziel ;-) Hast du irgendeine Möglichkeit den Crash Log der App auszulesen? Die Google Play Developer Console zeigt mir noch nichts an. Vielleicht geht es so wie hier für Pocket beschrieben: https://help.getpocket.com/article/1073-retrieving-a-pocket-crash-log-on-android

Wie heißt denn die Einstellung um den STT Server zu ändern?

ASR engine: Custom (WebSocket) für die Spracheingabe (dazu muss man dann darunter die URL zum STT Server angeben) und Voice engine: Custom (Stream) für die Sprachausgabe (das kommt direkt vom SEPIA Server auf dem Pi).

Leider kann ich den Sepia STT Server nicht benutzen, da Sepia bei mir auf dem Pi läuft...

Der Server kann auch auf einem anderen Rechner laufen, er muss nur aus deinem Netzwerk erreichbar sein.

Dann liegt es wohl an meinem Handy aber ich weis da nicht weiter, weswegen ich weiterhin um Hilfe bitte, wenn nicht, kann ich es verstehen...

Ich konnte leider online nicht wirklich viel finden zum Thema "Lineage" und "Spracherkennung". Ich vermute den Google Services fehlen irgendwelche Lizenzen oder Sprachpakete, die nachinstalliert werden müssen. Bei mir läuft die Google Engine sogar teilweise offline (man weiß ja nie so genau wann da was geladen wird, aber es geht ohne Internet Verbindung), was vermutlich ein paar hundert MB für die Engine auf dem Gerät ausmacht.

mawoka-myblock commented 4 years ago

Ich habe den Log, kann ich ihn dir Privat schicken? Muss ja nicht jeder den Kram wissen... Per Mail (21Mb?)

fquirin commented 4 years ago

oh ha 21 MB oO ? Ist das dein gesamtes System? :sweat_smile: Ich brauche nur alles was android.speech, org.apache.cordova.speech oder sepia.app.web enthält. Kannst du das vorher rausfiltern? Alternativ kannst du mir vielleicht nen Download Link per Email schicken (info at bytemind de)? Ich würde allerdings ungerne in deinem ganzen System stöbern ;-)

mawoka-myblock commented 4 years ago

Ich habe die Mail geschrieben

fquirin commented 4 years ago

Habs, kannst den Link löschen ;-) Ich glaube ich habe auch die Stelle gefunden:

--------- beginning of crash
AndroidRuntime: FATAL EXCEPTION: main
AndroidRuntime: Process: de.bytemind.sepia.app.web, PID: 8164
AndroidRuntime: java.lang.NullPointerException: Attempt to invoke virtual method 'void android.speech.SpeechRecognizer.startListening(android.content.Intent)' on a null object reference
AndroidRuntime:     at org.apache.cordova.speech.SpeechRecognition$2.run(SpeechRecognition.java:138)

Die Stelle habe ich gerade auch schon auf Verdacht bearbeitet ^^. Ich werde eine neue Version zum Testen bauen und sag dann bescheid, ich denke zumindest den Crash kriegt man raus ;-)

mawoka-myblock commented 4 years ago

das wäre cool aber es liegt jetzt daran, dass dieses Modul fehlt?

fquirin commented 4 years ago

Er kann auf jeden Fall den Android internen SpeechRecognizer nicht initialisieren, d.h. Stand jetzt müsstest du entweder auf die SEPIA STT ausweichen oder bei den Lineage OS Leuten mal gucken ob da Jemand weiß, wie man das STT Paket zum Laufen bekommt.

[EDIT] Ich gucke trotzdem noch mal was man machen kann ;-)

fquirin commented 4 years ago

Es gibt noch etwas, was du mal prüfen könntest. Bei meinem Samsung S10e ist das unter folgendem Menü: Einstellungen -> Apps -> Standard-Apps -> Geräteassistenz-App -> Spracheingabe

Dort habe ich die Auswahl zwischen "Bixby", "Google" und "Einfache Google-Erkennung". Letzteres läuft bei mir auch offline, wobei ich den Verdacht habe, dass der versucht den Server zu nutzen wenn die Texte komplizierter werden ^^.

mawoka-myblock commented 4 years ago

ich habe den Punk standard-Apps und ich kann spracheingabe auswählen, da wird aber keine App angezeigt... Also bräuchte ich eine Spracheingabenapp

mawoka-myblock commented 4 years ago

Habe das Problem gefunden... Ich habe die Google App deaktiviert 🙃 Problem gelöst... oh man

fquirin commented 4 years ago

Ach und jetzt geht es? :astonished: :smile:

mawoka-myblock commented 4 years ago

Ja...

mawoka-myblock commented 4 years ago

Sorry, dass ich dir die Zeit gestohlen habe...😢😢😢

fquirin commented 4 years ago

Interessant, dann scheint die Google App ja die komplette Kontrolle über den Service zu haben oO. Ich werde mich in Kürze mal wieder mit dem STT Server für den RPi beschäftigen, so dass man hier in Zukunft auch eine Alternative hat ohne den Docker Container (und natürlich ohne Google).

Sorry, dass ich dir die Zeit gestohlen habe...

Ne ist schon ok. Das Problem wird immer mal wieder aufkommen. Jetzt kenne ich die Antwort UND wir haben noch einen Bug gefunden ;-)

mawoka-myblock commented 4 years ago

Sorry dass ich nochmal frage, aber wie ändere ich die Sprache vom STT Modul von Sepia?

fquirin commented 4 years ago

Nutzt du jetzt doch den STT Server? :-) Habe dir hier geantwortet: https://github.com/SEPIA-Framework/sepia-stt-server/issues/2