2023/01/16 CoreProtectデータ移動メンテナンス

book000 commented 1 year ago

CoreProtect の情報表示速度向上を目的とした過去データ移動作業のため、以下の内容でメンテナンスを実施いたします。

期間: 2023/01/16 03:30 ～ 01/18 00:00 見込
作業内容: CoreProtect データベースの更新（古いデータを退避）
影響: jao Minecraft Server の Minecraft サーバサービス (play.jaoafa.com) の停止。およびCoreProtect データベースの内容を利用するサービス(CoreProtect Viewer, 関連API)のサービス提供一時停止同一のデータベースを利用する Javajaotan2 などへは特別影響ありませんが、サーバ再起動などを理由とする一時的な再起動を行う可能性があります。　01/16 07:00追記: 投票機能等の観点から、kennytv/Maintenance プラグインを導入し Admin以外のログインを制限する 形でメンテナンスを実施するように変更しました。

Discord #announcement、jao Minecraft Server Status (status.jaoafa.com)、Twitter @jaoafa で掲載・告知済み

作業進捗

[x] メンテナンス処理の開始
- blookup関連API
- jaoweb-admin-cp の docker-compose down
- Minecraft鯖は停止せず kennytv/Maintenance を利用。Admin以外ログイン不可 (6:30ごろまで止めていた)。/maintenance on / /maintenance off で変更
- jaoWebのストレージが100%なのを発見
[x] jaoWebストレージ解放
- [x] docker system prune -> Total reclaimed space: 24.08GB
- [x] ncduの確認 -> /var/lib/dockerやばすぎ
- [x] 毎日0時にpruneするようにcronを追加
[x] 古いバックアップ削除
[x] バックアップの作成
~~CoreProtect ブロック編集データのエクスポート~~
~~CoreProtect ブロック編集データの再編成~~
[x] 2021/01に使ったMainOLD移行プログラムを再利用する ※進行中
- このプログラム、Gistかどっかに置いといて万が一吹っ飛んでも使えるようにしといたほうがいい
[x] CoreProtect co_block_old を対象に絞ってダンブ
[x] ドロップ
[x] リストア ※進行中
[x] 結果の確認
[x] メンテナンス処理の停止
[x] 生成したSQLを挿入（進捗確認をできるような形で！） ※進行中
- [x] insertSQL_202201.sql
- [x] insertSQL_202204.sql
- [x] insertSQL_202207.sql
- [x] insertSQL_202210.sql
[ ] 過去データのビュアー作成・設置 #135

book000 commented 1 year ago

終了予定日時を 1/17 15:00 まで延長

book000 commented 1 year ago

ZakuroHatがストレージ100%になった。/var/log/scripts/ の肥大化によるもの暫定回避策として find -size +1G | xargs rm -v を watch で定期実行している

book000 commented 1 year ago

なんか気がついたら作り直してた

https://github.com/jaoafa/coreprotect-splitter

book000 commented 1 year ago

time 1664401938、36GB

book000 commented 1 year ago

CoreProtect co_block の古いデータを DELETE SQL で消そうとしてるんだけど、あまりにもでかすぎて遅い。数時間単位で応答がない

book000 commented 1 year ago

とりあえず別アプローチとして、一旦残す対象をダンプ、co_blockテーブルをドロップ、ダンプしたものをリストアする形で逃げることにする。

book000 commented 1 year ago

ダンプに30分くらいかかった

book000 commented 1 year ago

リストアにまあいいところ1時間かなあ。ETA 11:21

book000 commented 1 year ago

662MiB 0:50:58 [ 221kiB/s] [================================>] 100%

book000 commented 1 year ago

2.0GBまで減った？

book000 commented 1 year ago

-rw-rw----  1 mysql mysql 8.8K  1月 17 20:24 co_block.frm
-rw-rw----  1 mysql mysql 2.0G  1月 17 21:27 co_block.ibd
-rw-rw----  1 mysql mysql 8.8K  1月 16 03:44 co_block_old.frm
-rw-rw----  1 mysql mysql  38G  1月 16 12:22 co_block_old.ibd

book000 commented 1 year ago

ビュアーその他はのちのち。とりあえず完了

jaoafa / jao-Minecraft-Server

2023/01/16 CoreProtectデータ移動メンテナンス #134

作業進捗