スプリント会

[tatsuru]

• 進捗報告
• ふりかえり
• スプリント計画

/remind here おわり @channel in 15 minutes

/remind here qkおわり @channel in 5 minutes

司会 @tatsuru 書記 @yashigani 掛け声 @tkzwtks

テンプレート

# スプリント
## やったこと
### wtatsuru
- 

### tkzwtks
- 

### yashigani
- 

## 振り返り
- 

## 次の計画
- 

[tkzwtks]

スプリント0

• レギュレーション読む（全員）
• スプリント1の計画を立てる
  • たぶんコードを読む担当/インフラ担当に分かれる

やったこと

wtatsuru

• Cloud Formationで起動した
• 環境チェック通った
• インフラのスペック
  • https://github.com/tatsuru/isucon12-yosen/issues/7#issuecomment-1193029832
• hostsに書いてください
  • https://github.com/tatsuru/isucon12-yosen/issues/7#issuecomment-1193029036

tkzwtks

• レギュレーションを読んだ
• https://github.com/tatsuru/isucon12-yosen/issues/6
• キャッシュを意識させた感じ

yashigani

• /initializeでinitializeされるな〜くらい

振り返り

• まだアプリケーションを触ってない
• 雰囲気わかってきた
• がんばろうね

次の計画

• アクセスログを出す > @tatsuru
• コードを取り出す > @tkzwtks @yashigani

[yashigani]

スプリント1

やったこと

wtatsuru

• nginx config
• alpでアクセス解析し始めている
  • 名寄せしないといけない

tkzwtks

• コードを取り出してpushした
  • いらなそうなコードは消した

yashigani

• ケーブルを探した

振り返り

• ケーブルがあってよかった
• ベンチ走ったけどもう少し様子を見たい
• docker-compose外すかも

次の計画

• アプリケーションを触る > @tkzwtks @yashigani
• アクセスログ解析 @tatsuru
• 次終わったくらいでアクセスログとかを確認

[yashigani]

スプリント2

やったこと

wtatsuru

• nginxのアクセスログを出してログの状態が見えるようになった
• テーブルの量などを見てデータの雰囲気を掴んだ
  • scripts/analyze

tkzwtks、yashigani

• アプリケーションを触った
• 課金額の計算方法もわかった

振り返り

• 動きがちょっとわかってきた
• 課金額はキャッシュしたらいい
  • 大会が終了したら決まる
• とりあえず見れてよかった

作戦会議スプリント

• https://github.com/tatsuru/isucon12-yosen/issues/8#issuecomment-1193033456
  • 上2つが飛び抜けている
  • GETはキャッシュすればいいはず
  • 失格は気を付ける
  • Too Many Request返したくなるのは相当先
  • コードを見る
  • 全体を見る -> 上から潰す

次の計画

• デプロイ > @tatsuru
• コードリーディング > @tkzwtks @yashigani

[yashigani]

スプリント3

やったこと

wtatsuru

• docker-composeは取らない
• もうちょいでデプロイできる

tkzwtks、yashigani

• スコアボードを見ている
• テナントDBはsqlite、管理用のDBはMySQL
  • どこにインデックスを貼るべきか？
  • 作戦が立てづらい
  • sqlite -> MySQLはかなり大変そう
  • クエリの実行時間をチェックしないといけない
  • ランキングの計算処理はめちゃくちゃ無駄が多い
  • 必要ないランキングを作りまくっている
  • ユーザー情報を取ってくるのはn+1
  • sqliteのプロファイルはpprofとかを見ないとわからない
  • initializeでsqliteのマイグレーションかける
• slow query見れてない
  • sqliteのprofilerを入れたい

振り返り

• sqliteなんだな
  • CoreDataなら得意なんだけどな〜（バックエンドがsqlite）

次の計画

• 無駄そうな処理を外す @tkzwtks @yashigani
• 引き続きデプロイ @tatsuru

[yashigani]

スプリント4

やったこと

wtatsuru

• デプロイちょっと詰まっている
  • docker-compose外さない

tkzwtks、yashigani

• どうやってスコアが入稿されているのかを見ている
• デプロイが終わったらsqliteのプロファイラを有効にしてほしい

振り返り

• ランキングは入稿とは別に直したらいい
• tracerを見つけてよかった
• デプロイ、tracerのログを見てから休憩

次の計画

• デプロイ > @tatsuru
• 引き続きランキング > @tkzwtks @yashigani

[yashigani]

スプリント5

やったこと

wtatsuru

• 3台にデプロイできるようになった
• CPUの負荷を見ている
  • アプリとMySQLが半々

tkzwtks、yashigani

• ランキングのコードを直そうとしている
  • どこに手をつけるべきか悩んでいる
  • データを眺めてなんとなく雰囲気が見えてきている
• 初期データがでかい
  • 最初にplayer_scoreを整理する？

振り返り

• sqlite見れるようになって雰囲気わかるようになった
• 全体の負荷状況が見えていない
  • MySQLのクエリを見たい

次の計画

• rankingのクエリをなおす > @tkzwtks @yashigani
• MySQLを見て作戦を考える > @tatsuru

[yashigani]

スプリント6

やったこと

wtatsuru

• DBのslow logを出した
  • ログインしたプレイヤーをテナントごとに取ってるやつが遅い
  • https://github.com/tatsuru/isucon12-yosen/issues/8#issuecomment-1193049128

tkzwtks、yashigani

• rankingを改善する方針を決めた
  • initializeでスコアの新しいやつだけを残す、入稿時には新しいのだけ入れる、scoreでorder byするようにする
  • playerを引くところがn+1なので解消する

振り返り

• 作戦決まってよかったね
  • ホワイトボードめちゃくちゃいい
  • DELETE文のこと勘違いしていた
• visit_historyの改善
  • 最新のやつだけ残せないか

次の計画

• initなおす @tkzwtks
• playersのn+1 @yashigani
• 分散できるかどうかコードを見てもらう @tatsuru

[yashigani]

スプリント7

やったこと

wtatsuru

• ひととおり眺めて困るのはsqlite
  • Saasの管理者が全てのテナントを引いてくる必要がある

tkzwtks

• initializeを修正中
• 30秒で終わればいいという強い気持ちでやっている

yashigani

• n+1を直している
• INに苦戦している

振り返り

• 初めて全員が静かになりました
• 作戦会議する？
  • テナントごとのスコアはキャッシュすればいい
• 進みはしている

次の計画

• 引き続き @tkzwtks @yashigani
• /api/ranking/player を見る @tatsuru

[yashigani]

スプリント8

やったこと

wtatsuru

• rankingを直すとplayerのスコアをとるやつも改善するはず
• billingはキャッシュすると良い

tkzwtks

• 新しいのをデータダンプして新しいやつにするのはできた
  • 別のに吐き出すとかやってた

yashigani

• INは動くようになった
• ランキングの数がおかしいと言われているので直す

振り返り

• それぞれにハマってきた
• 合流する

次の計画

• 合流 @tatsuru @yashigani
• 続き @tkzwtks

[yashigani]

スプリント9

やったこと

wtatsuru、yashigani

• デバッグ中

tkzwtks

• n+1にn+1を含めないといけない
• 手元に初期データを引いてきて加工する作戦に変更

振り返り

• sqlむずかしい

次の計画

• 引き続き

[yashigani]

スプリント10

やったこと

wtatsuru、yashigani

• ようやく動いた

tkzwtks

• もうちょっとで動く

振り返り

• sqlxやっぱはまりますね
• すごいスピードで書けた

次の計画

• 入稿の時に新しいのを入れる @yashigani
• 引き続き @tkzwtks
• たきざわさんの様子を見て @tatsuru

[yashigani]

スプリント11

やったこと

wtatsuru、tkzwtks

• bulk insertを分割するのに苦労している

yashigani

• 動いた
• https://github.com/tatsuru/isucon12-yosen/pull/16

振り返り

• yashiganiは一発で動いた
• 4000点超えてめでたい

次の計画

• ペア交代して続き @tkzwtks @yashigani
• visit_historyを見る @tatsuru

[yashigani]

スプリント12

やったこと

wtatsuru

• rankingを見にくるたびにカウントして、最初の訪問時刻だけを見ている
• 特定の大会に特定の人がやってきたかどうかだけ
• indexを足したが、insertが遅くなった

tkzwtks、yashigani

• 泥臭い方法で最後まで回す
• 1だけに入れる

振り返り

• 動き始めた感
• そろそろMySQLサーバーを分けてもいい
• 分散できない -> MySQLに移すと分散できるようになる

次の計画

• 続き @tkzwtks @yashigani
• MySQLを分ける @tatsuru

[yashigani]

スプリント13

やったこと

wtatsuru

• DBを3で動かした
• そんなに早くなってないのでもう少し見る

tkzwtks、yashigani

• 初期データを作り直したが、billingの結果が違うと言われている

振り返り

• 移行スクリプトを作れたが動いてない！
• サーバー構成を見るよりはやることやった方がいい
• scoreのorder byまで辿り着けないとできることが少ない

次の計画

• 1回休憩
• データ作り直し @tkzwtks @yashigani
• MySQLのチューニング @tatsuru

[yashigani]

スプリント14

やったこと

wtatsuru

• DBを3で動かすようにした

tkzwtks、yashigani

• 元dbのデータをコピーしてからplayer_scoreを全消しして書き直している

振り返り

• 初期データのピボットはしない

次の計画

• 初期データの準備を終わらせる @tkzwtks @yashigani
• 終わったやつのscoreをキャッシュする @tatsuru

[yashigani]

スプリント15

やったこと

wtatsuru

• scoreのキャッシュをやる前に終わってないのは0で返す

tkzwtks、yashigani

• 芳しくない
• initializeが通らないのではまってる

振り返り

• no such file or directoryって出てる

次の計画

• サクセス @tkzwtks @yashigani
• 引き続きcache @tatsuru

[yashigani]

スプリント16

やったこと

wtatsuru

• キャッシュ作業中、動作確認できてない

tkzwtks、yashigani

• データの修正、initializeが通るようになった
• メモリが膨らんで死ぬ

振り返り

• initializeは通るようになってよかったね
• 100.db

次の計画

• mainで様子を見る @tatsuru @yashigani
• scoreでorder byするやつ準備 @tkzwtks

[yashigani]

スプリント17

やったこと

wtatsuru、yashigani

• どこでメモリリークしたかは見つけたがなぜ起きるのかわかってない

tkzwtks、yashigani

• rankingの計算をscoreでorder byするようにした

振り返り

次の計画

• scoreは続きをやる @tkzwtks @yashigani
• webapp/sqlのマウントを戻してみてリークしないか試してみる @tatsuru

[yashigani]

スプリント18

やったこと

wtatsuru

tkzwtks

yashigani

振り返り

次の計画