SEPIA-Framework / sepia-docs

Documentation and Wiki for SEPIA. Please post your questions and bug-reports here in the issues section! Thank you :-)
https://sepia-framework.github.io/
237 stars 16 forks source link

TTS-Error vom Client #39

Closed hartm11 closed 4 years ago

hartm11 commented 4 years ago

Hi zusammen, mittlerweile bin ich schon ziemlich weit, komme aber aktuell nicht weiter. Nach einem Neustart höre ich "Hello friend ...." und dann noch "Readdy for setup". Ich kann den Client auch mit "Hey Sepia" aufwecken, aber selbst bei einem einfachen Wort wie "Hallo" kommt keine Antwort. In den Sepia client connections erscheint:

Broadcaster event: {"broadcast":{"client":"o1_chrome_appv0.22.0","deviceId":"o1","sepia-speech":**{"type":"ttserror","msg":"unknown"}}}** Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-state":{"state":"idle"}}} Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-speech":{"type":"tts_speak","msg":"hello"}}} Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-state":{"state":"loading"}}} Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-speech":{"type":"asr_result","msg":"hello"}}} Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-state":{"state":"idle"}}} Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-state":{"state":"loading"}}} Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-state":{"state":"listening"}}} Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-state":{"state":"loading"}}} Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-state":{"state":"loading"}}}

Zudem scheint der Client zu versuchen den gesprochenen Text als englisch zu interpretieren. Zumindest sieht es phonetisch so aus. Bei einem Satz wie: "Wohnzimmer Licht an" macht der Sepia Client daraus:

Broadcaster event: {"broadcast":{"client":"o1_chrome_app_v0.22.0","deviceId":"o1","sepia-speech":{"type":"ttsspeak","msg":**"won't see my list and_**"}}} Aus "Wohnzimmer" wird "won't see my" / aus "Licht" wird "list" / und aus "an" wird "and" Und folgend natürlich der tts-error (s.o.)

Achja, ... bei "What time is it" ist im output auch "what time is it", leider aber auch der tts-error.

Hat jemand eine Idee? Vllt kann ich ja irgendwo die Sprache auf "deutsch" festtackern :-) und der tts-error verschwindet dann auch (unwahrscheinlich, aber wie das so ist mit der Hoffnung ;-).

fquirin commented 4 years ago

Hi,

Ein paar Fragen.

Ich kann den Client auch mit "Hey Sepia" aufwecken, aber selbst bei einem einfachen Wort wie "Hallo" kommt keine Antwort

Wie ich in deinem Log sehe ist das schon der Client v0.22.0, der ist eigentlich noch gar nicht offiziell raus, dummerweise klont das Install-Skript aber noch aus dem Dev Branch :see_no_evil: (statt dem Master). Theoretisch ist der Client kompatibel aber gerade bei TTS hat sich Einiges geändert. Eventuell bringt ein Client downgrade etwas. Dazu könntest du einfach auf deinem Client den Inhalt des Ordners ~/clexi/www/sepia durch die Daten aus der noch aktuellen Release Version ersetzen, Odner: SEPIA/sepia-assist-server/Xtensions/WebContent/app. Sorry dafür!

Zudem scheint der Client zu versuchen den gesprochenen Text als englisch zu interpretieren.

Hier gibt es zwei Möglichkeiten. SEPIA müsste den Befehl "speak German" verstehen. Alternativ kannst du dich mit dem selben Account im Browser anmelden und in den Settings die User Sprache auf Deutsch stellen.

hartm11 commented 4 years ago

Hi,

Habe die tts-engine nachinstalliert und es geht. SUPER!!!  :-)

Da habe ich gleich noch eine grundsätzliche Frage dazu. Die Sepia App habe ich auf zwei Handys ausprobiert und den Client eben auf dem Raspi 2 installiert. Die Sprachausgabe auf den Handys ist um Faktor 10 besser als auf dem Client.

So... genug Fragen für Heute ;-) Viele Grüße Jörg

fquirin commented 4 years ago

Habe die tts-engine nachinstalliert und es geht. SUPER!!! :-)

Nice :sunglasses: Es kann durchaus sein, dass die Hinweise darauf noch hier und da fehlen :-/

Die Sprachausgabe auf den Handys ist um Faktor 10 besser als auf dem Client.

  • Kann man nicht die Sprachausgabe von den Handys auch auf den Client portieren?

Leider nicht, das ist ein Plattform Feature :-( Für die neue Version v2.5.0 von SEPIA habe ich 2 weitere TTS engines integriert (pico und MaryTTS), damit dürfte das Handy dann nur noch um Faktor 3-5 besser sein ^^. Meine Hoffnungen liegen auf MozillaTTS, was mir allerdings noch etwas zu experimentell und resourcenhungrig ist und dem nächsten Update von MaryTTS (da habe ich kürzlich sogar einen pull request gemacht um die deutsche Stimme etwas verbessern zu können :-) ).

  • Und dann habe ich noch gesehen, dass die Handys (Sepia App) keinen Clexi braucht. Wie läuft da der Datenverkehr ab?

CLEXI ist nur nötig für das Remote-Terminal und die Verbindung zwischen RPi und SEPIA. Die generelle Kommunikation zwischen Client und Server läuft über den SEPIA Chat-Server (aka WebSocket Server) oder direkte HTTP request an den SEPIA Assist- und Teach-Server.

fquirin commented 4 years ago

Die neuen TTS Stimmen sind jetzt im v2.5.0 Release verfügbar :-)