BungeeCordのログベースで接続性の問題を検出しアラーティングする

[unchama]

なんでこれやりたいの

接続性の問題が出た時にPlayer報告ベースで気づくのではなく機械的に気付ける仕組みが欲しい 接続性の問題とは、例えばこんなの： https://discord.com/channels/237758724121427969/1156558185210073138/1156558185210073138

おためしダッシュボード

• 過去1時間の"disconnected with"を含むBungeeCordログ数をグラフ化

  sum by(level) (count_over_time({app="bungeecord"} |~ .*(disconnected with) [1h]))

• 閾値超えたらalerting(50ぐらいが妥当？)
• この仕組みだとhigh pingな状態は拾えないけどこれは別途考える(このissueのスコープ外)

https://grafana.com/grafana/dashboards/19689 https://grafana.onp-k8s.admin.seichi.click/d/c3602fe9-8f54-4b39-af0a-f242afce9b81/log-metrics-about-play-seichi-click-testing?orgId=1&from=now-7d&to=now [

](url)

これがいい感じに接続性の問題をアラーティングできそうなので永続化(yamlに落とし込む)したい

やること

• [ ] 上記ダッシュボードの永続化
• [ ] Discordへのアラーティングの永続化

[unchama]

• alertingはどこから？
  • alertmanagerを経由するなら
  • CRDで通知先webhookを設定できるのでこれをTerraformで注入か https://github.com/prometheus-operator/prometheus-operator/blob/main/Documentation/user-guides/alerting.md#using-alertmanagerconfig-resources
  • lokiデータソースからalertmanagerにalertingする必要がある https://dbadbadba.com/blog/finocchiaro-loki
  • grafanaでやるならhelm chart内にruleとcontactpointsを書けそう(webhook URLをどう秘匿するか) https://github.com/grafana/helm-charts/blob/main/charts/grafana/values.yaml#L571-L635
• dashboardは見ないうちに入れ方が結構変わってる。ちなみにGrafana Cloudに公開しなくてもよい https://github.com/grafana/helm-charts/blob/main/charts/grafana/values.yaml#L655-L706

  • 1121 でdashboardふっとんでるのでこれらも一緒にいれたい

[unchama]

dashboardがちょっと強化された