При записи топиков в брокер создается очень много зависших процессов apachу2 (Broken pipe)

[phenolog]

SD Термостат при включении публикует в mqtt топик 30-50 раз в секунду. Создается много 30-250 зацикленных процессов apache2 strace -p xxx sendto(15, "\0\22/ESP32-51/output181", 21, 0, NULL, 0) = -1 EPIPE (Обрыв канала) --- SIGPIPE {si_signo=SIGPIPE, si_code=SI_USER, si_pid=6182, si_uid=33} --- Процессы apache2 забивают CPU, система не отвечает. Из ошибок только это "Maximum execution time of 180 seconds exceeded","file":"\/opt\/majordomo_0\/html\/3rdparty\/phpmqtt\/phpMQTT.php","line":436} Если ставлю в конец цикла cycle_mqtt.php задержку на полсекунды, то apache2 не множится, но топики читаются плохо. Комп быстрый i5, debian10 Предлагаю не публиковать повторно топик так часто. В коде есть заремленыый кусок DELETE FROM mqtt_queue.

[phenolog]

Не смог решить проблему на apache2 2.4.38-3+deb10u4. На nginx 1.14.2-2+deb10u3 работает нормально.

[sergejey]

А почему термостат так себя ведёт? Наверное это не совсем корректное поведение оборудования, если оно так часто данные публикует.

[phenolog]

Абсолютно с Вами согласен, некорректное. Но термостат это Simple Device Термостат. Он и публикует relay_status -> mqtt

[sergejey]

relay_status публикуется при каждом получении данных о температуре, т.е. можно конечно добавить какое-то ограничение по тому, что если relay_status не изменился, то не публиковать его или, по крайней мере, не так часто, но это дополнительная нагрузка на отслеживание того, когда в последний раз была публикация. Я так понимаю, что проблема из-за того, что данные температуры так часто приходят?

[phenolog]

Нет не часто приходят. В моем случае данные по температуре доходят до thermostat раз в 5 сек по цепочке: WiFi-iot --> mosquitto раз в 5 сек. MQTT --> simple device sensor_temhum. Обновляется раз в 5 сек, видно в Истории сенсора. Sensor_temphum sensor_pass () --> thermostat. Обновляется раз в 5 сек, видно в Истории термостата. Thermostat relay_status --> mqtt. Шлёт 1 со скоростью цикла. Попутно вопрос, а почему 0 не шлёт?

Как это сделано например в проекте wifi-iot: Термостат выставляет выход в 0 или 1. А раз в заданный промежуток времени (у меня 5сек) значения всех параметров датчики, GPIO тд. скидываются в mqtt. Таким образом поддерживается статус выхода термостата в mqtt в актуальном состоянии 0 или 1.

А если просто поставить в cycle_mqtt задержку sleep()?

[sergejey]

Исходя из описания, где-то что-то нештатно происходит, потому что у меня самого и на тех объектах, которые я обслуживаю, термостат работает по именно так, как задумано -- при поступлении информации от датчика температуры в термостат, значение сравнивается с заданной на термостате и в relay_status попадает либо 1 либо 0. Ни о каких записях со скоростью цикла речи не идёт. Кстати, такое возможно если у вас в MQTT получается "зацикливание", т.е. запись значения в MQTT инициирует событие считывания в MQTT -- такое возможно если для записи и считыния используется один и тот же топик MQTT.

[phenolog]

Да. Так и есть один топик на чтение и запись. Понял. Спасибо.

[phenolog]

Сделал раздельные топики на чтение и запись. К сожалению ничего не изменилось. Ниже лог вывода relay_status термостата в mqtt за одну секунду.

cat log_2020-12-01-cycle_mqtt.php.txt | grep set/output4| grep "11:54:28" 2020-12-01 11:54:28 Topic:/ESP32-51/set/output4 1 2020-12-01 11:54:28 CallAPI:/ESP32-51/set/output4 1 2020-12-01 11:54:28 Topic:/ESP32-51/set/output4 1 2020-12-01 11:54:28 CallAPI:/ESP32-51/set/output4 1 2020-12-01 11:54:28 Topic:/ESP32-51/set/output4 1 2020-12-01 11:54:28 CallAPI:/ESP32-51/set/output4 1 2020-12-01 11:54:28 Topic:/ESP32-51/set/output4 1 2020-12-01 11:54:28 CallAPI:/ESP32-51/set/output4 1 2020-12-01 11:54:28 Topic:/ESP32-51/set/output4 1 2020-12-01 11:54:28 CallAPI:/ESP32-51/set/output4 1 2020-12-01 11:54:28 Topic:/ESP32-51/set/output4 1 2020-12-01 11:54:28 CallAPI:/ESP32-51/set/output4 1 2020-12-01 11:54:28 Topic:/ESP32-51/set/output4 1 2020-12-01 11:54:28 CallAPI:/ESP32-51/set/output4 1

[sergejey]

У вас всё равно цикличная запись получается и устройство в MQTT-топик дублирует полученную команду установки, чего по идее не должно быть. Напишите полную конфигурацию, как должно быть -- какой топик у вас для чтения состояния, какой для установки значения и как оно сейчас привязано к объекту в модуле MQTT

[phenolog]

Спасибо за быстрый ответ

У вас всё равно цикличная запись получается и устройство в MQTT-топик дублирует полученную команду установки, чего по идее не должно быть. Напишите полную конфигурацию, как должно быть -- какой топик у вас для чтения состояния, какой для установки значения и как оно сейчас привязано к объекту в модуле MQTT

Подскажите, где задается в Термостате Топик для чтения состояния. У меня привязано только для записи mqtt: /ESP/set/output4 > relay_satus Куда привязать для чтения mqtt: /ESP/output4

[phenolog]

[phenolog]

SD Термостат при включении публикует в mqtt топик 30-50 раз в секунду. Создается много 30-250 зацикленных процессов apache2 strace -p xxx sendto(15, "\0\22/ESP32-51/output181", 21, 0, NULL, 0) = -1 EPIPE (Обрыв канала) --- SIGPIPE {si_signo=SIGPIPE, si_code=SI_USER, si_pid=6182, si_uid=33} --- Процессы apache2 забивают CPU, система не отвечает. Из ошибок только это "Maximum execution time of 180 seconds exceeded","file":"/opt/majordomo_0/html/3rdparty/phpmqtt/phpMQTT.php","line":436}

На Nginx то же самое.
Жду ответа, что делать?

[phenolog]

Я понял, что простые устройства (а может быть модуль mqtt) в принципе не работают с раздельными топиками. Пока не вижу, как сделать костыль, чтоб реализовать в MJD термостат с раздельными топиками. Мне это очень актуально, потому что начались морозы и дом надо отапливать.

[sergejey]

Дело в вашем устройстве, а не в MJD -- термостаты с MQTT работают без каких-либо проблем у меня на нескольких объектах с записью/чтением в разных топиках. У вас устройство публикует в MQTT событие записи в топик управления, что приводит к зацикливанию. Попробуйте ещё следующее -- удалить топик управления полностью, открыть топик чтения состояния и прописать путь записи прямо там. Например, топик чтения вида /sonoff/ESPURNA-2BAAC8/relay/0 , то поле Путь (Write) может быть /sonoff/ESPURNA-2BAAC8/relay/0/set

[phenolog]

Не помогло. Почистил базу чтоб иcключить влияние mysql. Разнес топики в MQTT, перегрузил систему, включил термостат. Смотрю в MQTT_Fx оба конца публикует правильно. Через 5 минут 65 висящих процессов www-data по 15% CPU Что виящий процесс делает. Пытается отдать данные. Что в логе mqtt за одну секунду. Эти CallAPI порождают childen's веб-сервера. Зачем столько вызовов?

У меня то же было на RPI. Решил, что не тянет CPU. Перешел на нормальный комп. Чистый debian. MJD тоже чистый, не переносил, ввел все устройства пальцем с нова.

[phenolog]

Я в Минске, могу с ноутбуком подъехать. А то утомительно переписываться.

[phenolog]

Или могу дать удаленный доступ

[sergejey]

Ещё раз повторюсь -- majordomo ничего от себя не добавляет, ваше устройство пишет в MQTT событие, на каждое такое событие формируется запрос на его обработку, что происходит посредством веб-сервера. Если ваше устройство формирует множество событий в секунду, то они, соответственно, все пытаются быть обработаны друг за другом. Разберитесь из-за чего устройство присылает подряд такое количество сообщений в MQTT.

[phenolog]

Сергей, то что вы повторили я понял и так. Вы имеете в виду мое устройство это "Простое устройство Термостат" ? Оно сыпет события на включение реле. В логах все видно. Ну ладно. Я Вас понял.

[phenolog]

Проблема не в mqtt а в Sensor_temphum. Он шлет sensor_pass() на Thermostat непрерывно. Связка работает неправильно: ESP/dhtt1 (5 сек)-> mqtt -> Sensor_temphum (непрерывно)-> Thermostat (непрерывно)-> ESP/set/output
Связка работает правильно: ESP/dhtt1 (5 сек)-> mqtt -> Sensor_temp (5 сек)-> Thermostat (5 сек)-> ESP/set/output

[phenolog]

Датчик_температуры работает нормально, А датчик_температуры_влажности требует доработки в части пересылки данных на связанное устройство.

[sergejey]

sensor_pass срабатывает как часть метода valueUpdated, т.е. правила обработки (и пересылки) значений применяются при обновлении (установки) значения сенсора. может быть сенсор данные как-то дополнительно обрабатывает и в себя же сохраняет?

[phenolog]

Не знаю. Есть 2 типа сенсоров. Сенсор температуры работает правильно. А комбинированный сенсор работает не так. Можно сравнить в коде, чем отличается.