スプリント会

[tatsuru]

• 進捗報告
• ふりかえり
• スプリント計画

/remind here おわり @channel in 15 minutes

/remind here qkおわり @channel in 5 minutes

[tatsuru]

11:10

polamjag

• main.go を 2/3 くらい読んだ
• N+1 がいろいろ。素朴なやつはたくさんありそう

pastak

• web push まわり眺めた
• やろうとするとやるだけだけど、プッシュを発火させまくり太郎が必要

wtatsuru

• Go に入れ替えてスコア観察した
• CPUネック、メモリ余りまくり
• Envoy アクセスログはまだ出せてない

振り返り

• こんなもん
• 読んだら読める。protobuf も特別なこともない
• サーバー構成はいろいろいじりたくなりそうなのでミドルウェアは早めに決めたい
  • キャッシュ
  • プッシュのやつ

[tatsuru]

11:31

polamjag

• だいたい目を通した
• オプションを変えたら動きが変わりそうなものを眺めたり
  • DB の max_connection, echo logger
  • N+1 はいろいろある #13
  • トランザクションが長大、あらゆるところで使われている。ボトルネックを順に見ていく

pastak

• web push まわり見ていった #12
• subscription 別れてる、たかだか3人しか見ない

wtatsuru

• Envoy アクセスログ周りでちょっと苦戦中。別のところから持ってきたやつが動かないなど
• バージョン互換性などありそう

振り返り

• こんなもん
• Envoy ちょい苦戦しそうかなって気がしている

次スプリント

• polamjag ベンチ回している様子を見る
• pastak N+1 倒していく
• wtatsuru slow query 先に出す

[tatsuru]

11:55

polamjag

• ベンチマーク見つつ pt-query-digest 眺めてた
• どのトランザクションかわからないとちょっとつらい感じがしている

pastak

• N+1 とりあえず上から倒してる

wtatsuru

• slow.log pt-query-digest 出した
• I/O の様子を見た
• アクセスログ出たので分析できそう

振り返り

• トランザクションについては全部こうなってる。結構大変
  • うまく緩和したりキャッシュしたりしていく必要がありそう
• N+1 倒したとして、その後どうするかは無限のオプションがありそう
• ログ分析の結果が見られれば何かできそう
• そろそろ昼ごはん調達しよう
• 昼ごはんくらいででかい方針決めたい

次のスプリント

• polamjag トランザクションを読み解く
• pastak N+1 1-2個倒したい
• wtatsuru ログ分析を出せるのを目標にする

[polamjag]

------------------------------ ｷﾘﾄﾘ ------------------------------

[tatsuru]

12:22

polamjag

• 15 トランザクションをちまちま見てる、時間かかりそう。15分で2-3個。相応の時間がかかりそう

pasta-k

• コードミスってた

wtatsuru

• アクセスログ分析出した

振り返り

• 各作業はちょっと重ためになってきてそう
• そろそろデプロイ準備したほうがよさそうな気がしている
• 作戦会議するには
  • N+1 直すべきかどうか、みたいなのもログ見たほうがよさそう

[tatsuru]

• wtatsuru デプロイ
• polamjag, pastak N+1

[tatsuru]

13:49

polamjag, pastak

• N+1 一個潰れてコンパイル通った

wtatsuru

• デプロイ設定書いたのでこれからサーバー上で試す

振り返り

• ペアプロは眠くならないので最高
• 次スプリントでもう一個N+1倒せたら dashboard に移ってもいいか
• systemd 怖いけどやっていきます

次の計画

• もう一個の N+1 を見て強そうならやる、やらないなら audience/dashard
• デプロイ

[tatsuru]

polamjag, pastak

• 2つめのN+1倒した。PRにはなってる

wtatsuru

• デプロイできた。1番にデプロイされます

振り返り

• ペアプロ順調
• デプロイもできたので試していける

次の計画

• polamjag, pastak N+1 試していけてそうなら audience
  • キャッシュどうするか。オンメモリ or Redis
• wtatsuru ログ分析やってからRedis 入れる

[tatsuru]

polamjag, pastak

• デプロイ成功
• Live Share 成功
• 動作確認したらこんどこそダッシュボードいけそう

wtatsuru

• logrotate と分析コマンドやった

振り返り

• この辺の素振り事前にやっておくんだった
• デプロイ周りは予選と同じにしたのでスムーズだった
• dashboard 着手がちょっと遅くなってる
  • 次スプリントで N+1 治らなかったら諦める

[tatsuru]

スプリント計画

• polamjag, pastak /api/contestant/clarifications 見て、だめだったらあきらめて dashboard に
• wtatsuru TeamCapacity 探索

[tatsuru]

polamjag, pastak

• N+1 だめだった https://portal.isucon.net/contestant/benchmark_jobs/1465
  • エラーだけ見て置いとく

wtatsuru

• capacity 増やしたらスコアは上がったけどメモリ食ってるのを見つけた
• server2 でもうちょっとトライしたい

振り返り

• コンパイル待ち若干長いけど、このままで行くくらいっぽい

スプリント計画

• polamjag, pastak audience/dashboard
• wtatsuru パラメータ調整

[tatsuru]

polamjag, pastak

• dashboard ゲスト向けのキャッシュをした
• 本当は参加者用と共用できるはずだけど、雑にやってる

wtatsuru

• capacity は今 20 くらいでさちりそう
• チーム数を増やすと notifications が上がってきてこっちがネックになってそう

振り返り

• 意外とぬるっといけてよかった
• TeamCapacity 増やしたときの挙動も見えてきてよかった

スプリント計画

• polamjag, pastak 50秒以降のフリーズをやってみる
• wtatsuru MySQL メモリ見てRedisそろそろやる

[tatsuru]

polamjag, pastak

• 50秒フリーズ入れた。絶好調
• audience の dashboard はキリがいい

wtatsuru

• MySQLのチューニング入れた。全台入れるとよさそう
• Redis 入れた

振り返り

• ペアプロよい。変なハマりはない
• MySQL の状況ちょっとわかってきた。ソート用のメモリ、ワーカーのメモリが増えてくるとだんだんきつくなってくる

[tatsuru]

polamjag, pastak

• notifications いく

wtatsuru

• サーバー分散の計画立てる

[tatsuru]

polamjag, pastak

• push どう実装したらいいかなんとなく掴めてきた
• 複数台分散しても大丈夫なはず

wtatsuru

• サーバー分散の作戦立てた

振り返り

• ペアプロでイメージついてよかった
• サーバー分散は怖いので、できたらイメージ共有する
• 難しいことはやらないって方針よさそう。かっこいいのはやめる

スプリント計画

• polam, pastak notification 作業
• wtatsuru 分散作業やる

[tatsuru]

polamjag, pastak

• 実装しようとしてたものが半分以上できてたことに気づいた。それを使う
• 1スプリントでできるんじゃないか

wtatsuru

• DBを2, アプリを3で動かすようにした
• 18407でた

振り返り

• いい感じにペアプロ感が出てきた。手戻り1スプリントですんだので最高
• 分散したら意外と速かった。

スプリント計画

• polam, pastak notification 続き
• wtatsuru 全体分散作ってしまう

[tatsuru]

polamjag, pastak

• プッシュ通知できた

wtatsuru

• ホスト分散できた

振り返り

• 一区切り就いた
• 負荷の偏りが気になっている