Check status by HTTP request during startup

[Harveg]

2. Im influxdb Client soll eine HTTP Status health check gemacht werden um zu ermitteln, ob die DB auch wirklich nicht überlastet ist vor dem Übertragen der Datenpunkte. Ziel ist mit dem Eintragen der Datenpunkte keine Überlastung und somit unkontrolliertes Verhalten des influxDB clients zu provozieren.

[Harveg]

Da Github keine anderen Kontakte anzeigt aus der Gärtnertruppe habe ich alle issues nun am Hals.. Der oben genannte issue ist doch etwas für @Davideee, falls du damit bereits arbeiten kannst wäre dies TOP!

[Davideee]

@christofluethi Was war das für eine HTTP request für die Health eines Dienstes abzufragen? Gruess Davide

[Harveg]

Die Abfrage war curl -v 192.168.0.175:8086/health Response: StatusCode : 200 StatusDescription : OK Content : {"checks":[],"message":"ready for queries and writes","name":"influxdb","status":"pass","version":"1.8.3"}

Hab beim testen festgestellt, dass je nach Auslastung der InfluxDB die response schon so 5s dauern kann. Doch bis jetzt kam auch bei hoher Auslastung immer StatusCode 200. Da die einzelnen Threads ja unabhängig die Anfrage machen, kann es sein, dass der erste direkt 200 erhält und der letzte wartet dann ein paar Sekunden, somit würden nicht alle Threads gleichzeitig mit dem schreiben starten. Was denkst du?

[Davideee]

Danke für die Antwort. Mache jetzt vor dem Erstellen der Objekte diese Anfrage beim InfluxDB Dienst. Erst wenn der Status 200 kommt erstelle ich die Objekte. Somit erübrigt sich die Problematik mit den Threads. Siehst du das auch so? Etwas unschön: Ich gehe beim instanzieren des InfluxDB clients davon aus, dass dieser Zustand immer noch so ist ohne ein Exception handling zu machen.. Ich glaube das wird kein Problem 👍 Können wir die Health von Openhab bzw. der REST API auch prüfen? Oder schliesst sich das sowieso aus?

[christofluethi]

• ja würde auch vor dem erzeugen der threads prüfen.
• optimalerweise wäre überall wo requests auf InfluxDB oder OpenHab gemacht werden ein exception handling verbaut.
• Neben dem prüfen von healthcheck für influxdb müsste auch openhab geprüft werden ja.
• für openhab finde ich jedoch gerade keine passende "Health" abfrage für das api... evtl. einfach ein paar items abfragen?

[Harveg]

@christofluethi Danke für die Tipps. Fall1: Die Abfrage für Openhab wurde im Main realisiert und wird als erstes gemacht, damit wir sicher sind, dass der Controller über das Netzwerk erreichbar ist bevor wir starten. Fall2Im laufenden Betrieb kann es sein dass der Controller (Openhab) nicht erreichbar ist weshalb nun auch ein exception handling beim Get request eingebaut wurde, dies habe ich getestet und funktioniert soweit gut. Wichtig ist, dass wir genug lange beim Neustart des Controllers abwarten bis wir die threads starten da zum Teil die API erst nach 2-3min auber läuft. Nun noch zum aktuellen Stand des Tests, welcher mit dem letzten Stand von gestern Abend gemacht wurde:

• API und influx health check OK
• Grow room refresh timestamp (aus Grow_roomV2) OK
• Abgleichen der Zeitstempel mit dem generierten Timestamp im GUI OK
• Abfragen der letzten Punkte in der DB (influxdb_client) NOK & Reproduzierbar

Nach einer gewissen Zeit (bei hoher RAM Auslastung des Controllers) wirft die Abfrage der letzten Punkte immer eine Exception und die Fehlermeldung "Some problem occured when reading Data from DB db_gicom..." erscheint.

[Harveg]

Der health check vor dem Abfragen bringt nicht viel da die DB läuft, jedoch generiert die Abfrage selber zu viel traffic. Der Fokus sollten wir deshalb auf die Abfrage lenken und diese entsprechend optimieren, dass weniger Punkte abgefragt werden: Folgender Vorschalg in function query_last_db_entry_of_all_lot_numbers : query = 'SELECT * FROM gicom ' + \ 'WHERE raum_nummer=$room_number ' + \ 'GROUP BY lotnummer ' + \ 'ORDER BY time DESC LIMIT 1;'_ 'ORDER BY time DESC LIMIT 1 SLIMIT 1;' Mit SLIMIT sollte die Antwort der DB auf eine series limitiert werden da wir in der DB nach einer gewissen Zeit eine riesen Menge an Series haben denke ich, dass dies zum Problem führt, was denkt ihr?

[Davideee]

Dein Vorschlag wird nicht funktionieren, da wir im Moment die Series von mehreren Lot Nummern brauchen. Aber eigentlich bräuchten wir nur die Series mit den aktuell definierten Lot Nummern um die Timestamps upzudaten. Überlege mir da Mal eine Lösung.

[Harveg]

Thx, das hat meine Vorstellungskraft schon überstiegen;) Das heisst man könnte beim WHERE sich auf diese Filterung nach dem tag lot_nummer fokussieren? Würde vieleicht heute Abend dies einmal händisch testen ob das Problem wirklich davon kommt.. Bevor du alle Teile im watchdog umbauen musst.. Das könnte dann irgendwie so aussehen: WHERE "lot-nummer" = 'lot_number_list[1]'

[Davideee]

Habe einen Anpassung gemacht. Fragen nur noch die Lot Nummern an die aktuell definiert sind. Versuch das Mal.

[Harveg]

Die Anpassungen im influxdb_client hab ich noch durchgeschaut und nach ein paar Änderungen nun auch erfolgreich getestet Es musste noch das timeout entfernt werden aus dem influxDB.client objekt da nun die Abfrage solange läuft bis ein Http timeout fehler zurück kommt (influx geagiert nicht mehr) Der Test hat gezeigt, dass bei meinem Rasperry aufgrund mangelndem RAM und fehlender SSD eine Anfrage bis zu 60s dauert... Hier die Resultate:

• Openhab API und influx health check OK
• Openhab_api_hiag health check und Exception methode OK
• Maximale Abfrage aller Grow_rooms musste mit aktuellem Setup gestoppt werden, ca. 17 Lot-Nr alle 100s ist das Maximum ohne Unterbrüche zu generieren (der client erholt sich jedoch wieder nach einer gewissen Zeit und trägt die punkte nach)
• Abfragen der letzten Punkte in der DB (influxdb_client) OK

Da ich beim Test Setup keine SSD einsetzten kann (Fehler beim verschieben des Root Verzeichnis) ist der Test mit einer hohen Anzahl an Abfragen nicht sinnvoll da die SD Karte ziemlich rasch am Limit ist.. @christofluethi Ich würde gerne mit dir das mit dem Einrichten der SSD auf meinem Raspberry anschauen und mache mal einen neuen Issue auf

[Harveg]

Hier noch das LOGfile (verkürzte Variante) started watchdog in grow room 1. started watchdog in grow room 2. started watchdog in grow room 3. started watchdog in grow room 4. started watchdog in grow room 5. started watchdog in grow room 6. started watchdog in grow room 7. started watchdog in grow room 8. started watchdog in grow room 9. started watchdog in grow room 10. started watchdog in grow room 11. started watchdog in grow room 12. started watchdog in grow room 13. started watchdog in grow room 14. started watchdog in grow room 15. Successfully entered 2 new data points in grow room 4. Successfully entered 2 new data points in grow room 13. Successfully entered 2 new data points in grow room 14. Successfully entered 2 new data points in grow room 12. Successfully entered 2 new data points in grow room 15. Successfully entered 2 new data points in grow room 6. Successfully entered 2 new data points in grow room 5. Successfully entered 241 new data points in grow room 2. Successfully entered 241 new data points in grow room 1. Successfully entered 241 new data points in grow room 3. Successfully entered 4 new data points in grow room 10.Successfully entered 4 new data points in grow room 11.Successfully entered 4 new data points in grow room 8.

Successfully entered 482 new data points in grow room 9. Successfully entered 2 new data points in grow room 13. Successfully entered 2 new data points in grow room 12. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom.Some problem occured when entering data in db_gicom.Some problem occured when entering data in db_gicom.

Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Successfully entered 4 new data points in grow room 10. Successfully entered 4 new data points in grow room 8. Successfully entered 4 new data points in grow room 11. Successfully entered 4 new data points in grow room 9. Successfully entered 2 new data points in grow room 2. Successfully entered 2 new data points in grow room 4. Successfully entered 2 new data points in grow room 1. Successfully entered 2 new data points in grow room 3. Successfully entered 2 new data points in grow room 12.Successfully entered 2 new data points in grow room 6.

Successfully entered 2 new data points in grow room 5. Successfully entered 2 new data points in grow room 14. Successfully entered 2 new data points in grow room 13. Successfully entered 2 new data points in grow room 15. Successfully entered 4 new data points in grow room 9. Successfully entered 4 new data points in grow room 10. Successfully entered 4 new data points in grow room 11. Successfully entered 4 new data points in grow room 8. Successfully entered 2 new data points in grow room 1. Successfully entered 2 new data points in grow room 2. Successfully entered 2 new data points in grow room 5. Successfully entered 2 new data points in grow room 3. Successfully entered 2 new data points in grow room 12. Successfully entered 2 new data points in grow room 15. Successfully entered 2 new data points in grow room 6. Successfully entered 2 new data points in grow room 4. Successfully entered 2 new data points in grow room 13. Successfully entered 2 new data points in grow room 14. Successfully entered 4 new data points in grow room 11. Successfully entered 4 new data points in grow room 9. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. No response of Openhab API, try again later. Successfully entered 2 new data points in grow room 1. Successfully entered 2 new data points in grow room 15. Successfully entered 2 new data points in grow room 2. Successfully entered 2 new data points in grow room 13. Successfully entered 2 new data points in grow room 14. Successfully entered 2 new data points in grow room 3. Successfully entered 2 new data points in grow room 5.Successfully entered 2 new data points in grow room 12.

Successfully entered 2 new data points in grow room 6. Successfully entered 2 new data points in grow room 4. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom.Some problem occured when entering data in db_gicom.

Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom.Some problem occured when entering data in db_gicom.

Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. No response of Openhab API, try again later. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. No response of Openhab API, try again later. No response of Openhab API, try again later. No response of Openhab API, try again later. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Some problem occured when entering data in db_gicom. Successfully entered 4 new data points in grow room 13. Successfully entered 6 new data points in grow room 12. Successfully entered 8 new data points in grow room 6. Some problem occured when entering data in db_gicom. Successfully entered 6 new data points in grow room 2. Successfully entered 6 new data points in grow room 15. Successfully entered 6 new data points in grow room 3. Successfully entered 20 new data points in grow room 8. Successfully entered 6 new data points in grow room 4. Successfully entered 2 new data points in grow room 14. Successfully entered 2 new data points in grow room 1. Successfully entered 20 new data points in grow room 11. Successfully entered 2 new data points in grow room 13. Successfully entered 2 new data points in grow room 12. Successfully entered 2 new data points in grow room 6. Successfully entered 2 new data points in grow room 5. Successfully entered 20 new data points in grow room 10. Successfully entered 2 new data points in grow room 15. Successfully entered 2 new data points in grow room 2. Successfully entered 20 new data points in grow room 9. Successfully entered 2 new data points in grow room 4. Successfully entered 2 new data points in grow room 3. No response of Openhab API, try again later. No response of Openhab API, try again later. No response of Openhab API, try again later. Successfully entered 4 new data points in grow room 8.

[Davideee]

Log sieht gut aus. Habe deine Änderungen im Code reviewed. Ist OK. Von mir aus kann man diesen Issue schliessen.

[Harveg]

Danke fürs feedback. Hab noch eine kleine Frage beim grow_room ist ein Fehler aufgetaucht sobald eine ungültige response von openhab kam bei der Zeile 36. Habsoeben einen fix hochgeladen. Nun ist dieFrage ob das Problem nun abgefangen ist und ich es richtig verstanden habe(siehe unten) ? File "C:\HARVEG\Scripts\lib\threading.py", line 926, in _bootstrap_inner self.run() File "C:\HARVEG\Scripts\watchdog\observers\api.py", line 203, in run self.dispatch_events(self.event_queue, self.timeout) File "C:\HARVEG\Scripts\watchdog\observers\api.py", line 376, in dispatch_events handler.dispatch(event) File "C:\HARVEG\Scripts\watchdog\events.py", line 452, in dispatch super(PatternMatchingEventHandler, self).dispatch(event) File "C:\HARVEG\Scripts\watchdog\events.py", line 336, in dispatch event.event_type File "C:\HARVEG\Scripts\hiag_watchdog_win\watchdog_hiag.py", line 94, in _on_modified response = self.grow_room.refresh_timestamps(last_db_entries_list) File "C:\HARVEG\Scripts\hiag_watchdog_win\grow_room.py", line 36, in refresh_timestamps response_flag = response_list[0] TypeError: 'NoneType' object is not subscriptable

[Davideee]

Glaube habe den Fehler behoben. @Harveg kontrolliere nochmals.

[Harveg]

Top habs getestet und der Fehler ist behoben. Issue closed