search

uzyovoys / aggregate

Cross-platform voice assistant framework
http://art.dusi.mobi
GNU General Public License v3.0
61 stars 43 forks source link

RaspberryPI - разные проблемы #45

Open XDedX opened 8 years ago

XDedX commented 8 years ago

На малине Агрегат запустился. Приятно удивила java на малине, от которой я всегда жду жор памяти и тормозов, поддержка процем присутствует, и как результат - довольно таки неплохо по памяти и быстродействию. О проблемах при установке я писал на Aggregate G+. Модуль key-detector мне не удалось инсталлировать, так как устанавливал не на "чистую" систему, у меня LAMP плюс куча разного софта. Этот модуль в принципе мне и не нужен был, управляю с модуля gpio. При запуске, с какого-то перепугу, появилось вот это -

INFO: Module maven:com.aggregate:asr-google:1.0.0::asr-google has been deployed wiringPiSetup: Must be root. (Did you forget sudo?)

Ну ладно, у Дуси завтра праздник, зайдем с sudo. С конфига убрал удаленный доступ, загрузка - реально веселее. ASR работает с китайским usb микрофоном за чуть более пол бакса. Сие китайское "чудо" с Auto Gain Control умудряется слышать с 2 метров( большее расстояние я не пробовал). Распознавание без проблем. А вот с TTS у меня реальная проблема. Мне удается услышать остатки фразы только при первом запросе. Я слушаю на ящике по HDMI. "Следующий сеанс" возможен только после перезагрузки малины. Звук с TTS RHVoice, установленный на малине, продолжает работать в любом случае.

INFO: Processing Который час Mar 07, 2016 2:50:29 PM Dispatcher INFO: Processed in 1116 ms: cmd.datetime.time Mar 07, 2016 3:02:28 PM Dispatcher INFO: Listening... Mar 07, 2016 3:02:28 PM Dispatcher INFO: ASR state: start Mar 07, 2016 3:02:28 PM Dispatcher INFO: ASR state: rec Mar 07, 2016 3:02:33 PM Dispatcher INFO: ASR state: done Mar 07, 2016 3:02:33 PM Dispatcher INFO: ASR state: end Mar 07, 2016 3:02:34 PM Dispatcher INFO: Processing... Mar 07, 2016 3:02:34 PM Dispatcher INFO: Processing Который час Mar 07, 2016 3:02:34 PM Dispatcher INFO: Processed in 6 ms: cmd.datetime.time Mar 07, 2016 3:02:48 PM Dispatcher INFO: Listening... Mar 07, 2016 3:02:48 PM Dispatcher INFO: ASR state: start Mar 07, 2016 3:02:49 PM Dispatcher INFO: ASR state: rec Mar 07, 2016 3:02:53 PM Dispatcher INFO: ASR state: done Mar 07, 2016 3:02:53 PM Dispatcher INFO: ASR state: end Mar 07, 2016 3:02:54 PM Dispatcher INFO: Processing... Mar 07, 2016 3:02:54 PM Dispatcher INFO: Processing время Mar 07, 2016 3:02:54 PM Dispatcher INFO: Processed in 2 ms: cmd.datetime.time

Нужны какие-нибудь мысли

morfeusys commented 8 years ago

Насчет sudo - да, нужно sudo, иначе у программы нет доступа к GPIO. Относительно произношения - тут помочь не смогу.. Программа просто использует вывод, а как он там работает у вас - не знаю..

Да и вопрос к вам - как вы подключили RHVoice? Не могли бы модуль предоставить? Всем было бы полезно.

ivanbalashov239 commented 8 years ago

@Morfeusys На счет RHvoice согласен, было бы полезно, но я так понял @XDedX привел его в пример того, что звук работает у него нормально.

XDedX commented 8 years ago

Запускать с sudo не есть хорошо. Нужен режим для модуля - чтобы он только читал необходимый gpio. Тогда необходимость sudo, как мне кажется, отпадет. К слову, неплохо бы поговорить о фаерволе. Чтобы попробовать понять что происходит со звуком, мне нужно знать, что на выходе Ivona. У меня RHVoice стоит в системе. RHVoice заточен под Speech Dispatcher. Сейчас вспоминаю, что что-то похожее со звуком было при запуске RHVoice-test. Но со Speech Dispatcher всё работает, хотя качество звука хуже, чем с использованием pulse, но pulse не для малины. Если будет модуль для Speech Dispatcher, а через него подключаются все известные TTS-офлайн, то было бы замечательно. Если нужна установка RHVoice на Ubuntu, Debian - не вопрос.

morfeusys commented 8 years ago

@XDedX все что я могу сказать по поводу sudo - в модуле gpio используется сторонняя библиотека, которая всегда запускается только с sudo.

По поводу TTS - нужна любая информация от вас. Если сами реализовывать не будете, то предоставьте тогда пожалуйста что и куда ставить, какие есть API и так далее. Кто-то из разработчиков обязательно сделает. Спасибо.

XDedX commented 8 years ago

Меня интересует - если приходит звуковой файл от Ivona, то в каком формате. Я не могу сам написать модуль, я не программист, хотя определенные навыки имею. Модуль должен выполнить команду spd-say -o rhvoice -l ru -t male2 "Альфа-версия Дуси 1.6.0 имеет функцию удаленного управления." с параметрами - движок, язык, голос, текст. Всё остальное, необходимое для установки, я могу написать

ivanbalashov239 commented 8 years ago

@XDedX https://github.com/dries007/ivona-c есть вот такой клиент умеет отдавать mp3 mp4 ogg, в модуле агрегата проигрывается mp3 поток(как я понял), используется офицальный api ivonacloud. @Morfeusys обертку над spd-say сделать не сложно, но можно использовать https://github.com/ragb/speechd-java этот проект. Как лучше?

XDedX commented 8 years ago

SD на java - по памяти, мне когда-то попалась всего лишь одна статья, и то я не стал читать, т.е. нужно пробовать с нуля и высока вероятность приключений. А это время. Тем более на java активности давно нет. Опять же, если будет нормально работать "оберточный" вариант, то зачем изобретать велосипед? SD есть в репах ubuntu, debian да и не только. У SD есть недостаток - первый старт затянутый, возможно на java будет быстрей, но это не проблема. Как по мне, в данный момент, можно сделать обертку. А потом, если будут какие-то проблемы, то попробовать SD на java.

ivanbalashov239 commented 8 years ago

@XDedX тупанул, думал это кросплатформенное решение, а если это linux only, то понятно, сделаю обертку.

morfeusys commented 8 years ago

@seniorivn @XDedX Если эта штука работает в интерактивном режиме - то проблемы со стартом быть не должно.

Menelion commented 8 years ago

Народ, извините за лёгкий оффтоп, просто раз уж заговорили про кроссплатформенный вывод TTS. Кто что думает о решениях под Винду? Думал прикрутить вывод SAPI 5 и сделать соответствующий модуль, но блин, это всё не так просто, на Java с полпинка этого, похоже, не сделаешь: надо дёргать либо COM, либо ActiveX.

ivanbalashov239 commented 8 years ago

@Oire заводи issue, туда накидай побольше инфы, которую уже собрал, разберемся

morfeusys commented 8 years ago

@Oire Вообще не стесняйся заводить issue - мы потом не найдем иначе все темы.

UUSR commented 8 years ago

@XDedX @Morfeusys @seniorivn @Oire вот получил такие 8 предупреждений: Type safety: The expression of type List needs unchecked conversion to conform to Dictation.java /dictation/src/main/java/com/aggregate/dictation line 33 Java Problem

Type safety: The expression of type List needs unchecked conversion to conform to KeyDetector.java /key-detector/src/main/java/com/aggregate/detector/key line 39 Java Problem

The import java.util.function.BiConsumer is never used Markup.java /api/src/main/java/com/aggregate/api line 7 Java Problem

The import java.util.concurrent.Executors is never used MacTextToSpeech.java /tts-mac/src/main/java/com/aggregate/tts/mac line 12 Java Problem

The import java.util.concurrent.Executor is never used MacTextToSpeech.java /tts-mac/src/main/java/com/aggregate/tts/mac line 11 Java Problem

The import java.util.Collections is never used Response.java /api/src/main/java/com/aggregate/api line 7 Java Problem

The import com.amazonaws.auth.ClasspathPropertiesFileCredentialsProvider is never used IvonaTextToSpeech.java /tts-ivona/src/main/java/com/aggregate/tts/ivona line 4 Java Problem

Message is a raw type. References to generic type Message should be parameterized Request.java /api/src/main/java/com/aggregate/api line 50 Java Problem

ivanbalashov239 commented 8 years ago

@UUSR как получил? какая версия java?

UUSR commented 8 years ago

@seniorivn java вроде последняя ,это не ошибки это предупреждения... java version "1.8.0_73" Java(TM) SE Runtime Environment (build 1.8.0_73-b02) Java HotSpot(TM) Client VM (build 25.73-b02, mixed mode, sharing)

morfeusys commented 8 years ago

@UUSR зачем это обсуждать в этой ветке??

UUSR commented 8 years ago

@Morfeusys это вроде ветка называется "Различные проблемы"

morfeusys commented 8 years ago

@UUSR эта ветка вроде про проблемы на raspberry pi

XDedX commented 8 years ago

Со звуком через HDMI вроде решилось через режим - только HDMI. Но IVONA на "который час" отвечает на русском, а "какой день недели" на псевдо английском.

morfeusys commented 8 years ago

@XDedX это не проблема Ivona, это проблема модуля Дата-время, которая уже исправлена в новой версии. Но пока ее придется собирать руками.

XDedX commented 8 years ago

А что за сообщение на адресс 477 Дуся собирается отправить?

morfeusys commented 8 years ago

@XDedX На какой, простите, адрес? Куда отправить?

XDedX commented 8 years ago

Появилось предупреждение, что Дуся просит разрешение отправить сообщение на адресс 477

ivanbalashov239 commented 8 years ago

@XDedX копируйте его сюда, целиком.

XDedX commented 8 years ago

Так это на планшете после установки новой версии. Сообщение "потухло" после того как я запустил Дусю

XDedX commented 8 years ago

@Morfeusys Первые испытания в связке с Дусей. Простые скрипты отрабатывает. А вот на скрипте "Доброе утро" Дуся "уходит узнавать погоду и не возвращается". На Ubuntu, после выполнения этого же скрипта с таким же результатом, отваливается ASR и только перезагрузкой решается.