twsnmp / twsnmpfc

TWSNMP For Container
Apache License 2.0
10 stars 1 forks source link

[障害]influxdb連携設定時、influxdbに接続出来ない場合にログイン画面すら表示されない #31

Closed sadayoshi-git closed 10 months ago

sadayoshi-git commented 11 months ago

次のようなエラーがずっとロギングされ、twsnmpfcのログイン画面が表示されないという症状になりました。 2023-11-16T09:06:50.006 send polling log to influxdb1 err=Post "http://localhost:8086/write?consistency=&db=mydb&precision=s&rp=":

根本的な原因はinfluxdbにあるようでgrafanaからも繋がりません。それは別件なのでよいのですが、twsnmpfcのその他の機能は使いたいものです。画面が起動しないのでinfluxdb設定を無効にする事も出来ません。 対応出来ませんでしょうか。

暫定措置で、influxdb連携を無効にするオプション追加とかでも構いません。

twsnmp commented 11 months ago

次のようなエラーがずっとロギングされ、twsnmpfcのログイン画面が表示されないという症状になりました。

influxdbへ接続できない時の処理に問題があるようです。 私の環境ではログインできない状態にはなりませんが、設定を正常に接続できる状態に戻しても エラーが出続けるようです。

確認して修正します。

sadayoshi-git commented 11 months ago

追加情報です。

influxdbおよびgrafanaはwsl2上のdockerにてコンテナ生成しています。 twsnmpfcをwsl2上のコンテナにするとうまくudp受信出来ない為、twsnmpfcだけはデスクトップアプリを使用しています。

influxdbとの通信不具合についてですが、その後windowsの再起動で直ってしまいました。wsl2のネットワーク周りで何か不具合が起きているのかもしれません。

そして、復旧後の動作検証では問題は出ませんでした。 twsnmpfc起動時にinfluxdbが存在しない場合。twsnmpfc起動後にinfluxdbが存在しなくなった場合。どちらも。

この際のエラーメッセージは、当初と異なり以下のようになりました。 2023-11-16T09:06:50.006 send polling log to influxdb1 err=Post "http://localhost:8086/write?consistency=&db=mydb&precision=s&rp=":

twsnmpfcの不具合ではないようです。もう10日ほど状況調査致しますが、それで新しい情報が無ければcloseしたいと思います。 お騒がせ致し、申し訳ございません。

twsnmp commented 11 months ago

設定した時に通信エラーを検知しても、設定が有効なままで、エラーを出し続ける部分は、修正します。 可能なら、エラーが継続する場合は、送信を休むような処理を考えます。

twsnmp commented 11 months ago

多くのポーリングのデータをinfluxdbへ送信している場合に、デットロックのような状態が発生するかもしれません。 ポーリングのログを送信する時に、同時に2つの送信が起動しないように排他制御しています。 これが蓄積してご指摘の現象が発生するのかもしれません。

twsnmp commented 11 months ago
  1. Influxdbの設定時の接続チェックでエラーの場合に以後の書き込み処理を動作させないようにする
  2. 書き込みのタイムアウトを5秒から1秒にする

の対策をしてみます。

twsnmp commented 11 months ago

とりあえず 4ac6abd6452c466d30f9567a1fced0c7f69b7745 で修正

sadayoshi-git commented 10 months ago

influxdbとの通信不具合、再発しません。 修正頂いた内容が効果的だったのかもしれませんし、私の環境が壊れていただけかもしれません。 いずれにしろ、クローズ致します。