soudai commented 4 years ago

@soudai

[x] nginxの設定を変更
- [x] 秘伝のたれに変更
- [ ] alpの準備
[x] カーネル設定変更（3台）
[x] githubに登録
[x] mysql 8 を別インスタンスに入れてリモートで実行できるように準備する
[ ] ログローテートする君を用意する

@kamipo @sugyan

[ ] NewRericの設定
[ ] レギュレーションの確認

soudai commented 4 years ago

チューニングのときに検討すること

外部APIの並列呼び出し
ステータス変わらないなら外部APIを呼ばなくていいのでは？
外部APIの呼び出しはキャッシュできるのでは？
N+1を減らす
INDEX貼る
静的ページはキャッシュに乗せる
変更の無いデータはキャッシュに乗せる
Webサーバの2台構成は後半にする

soudai commented 4 years ago

user www-data;
worker_processes 1;
pid /run/nginx.pid;
include /etc/nginx/modules-enabled/*.conf;
worker_rlimit_nofile 100000;

error_log /var/log/nginx/error.log error;

events {
    worker_connections 4096;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    server_tokens off;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 120;
    client_max_body_size 10m;
    open_file_cache max=100 inactive=65s;
    gzip_static on;

    access_log off;

    upstream app {
        server 127.0.0.1:8000;
    }

    upstream login_app {
        server 127.0.0.1:8000 weight=3;
        server 172.31.28.147:8080 weight=7;
    }

    server {
        listen 80;
        server_name isucon9.catatsuy.org;

        root /home/isucon/isucari/webapp/public;

        location /static/ {
            add_header Cache-Control "public max-age=86400";
        }

        location /upload/ {
            add_header Cache-Control "public max-age=86400";
        }

        location / {
            proxy_pass http://app;
            proxy_set_header Host $host;
        }

        location /login {
            proxy_pass http://login_app;
            proxy_set_header Host $host;
        }
    }
}

soudai commented 4 years ago

worker_processes  auto;  # コア数と同じ数まで増やすと良いかも

# nginx worker の設定
worker_rlimit_nofile  4096;  # worker_connections の 4 倍程度（感覚値）
events {
  worker_connections  1024;  # 大きくするなら worker_rlimit_nofile も大きくする（file descriptor数の制限を緩める)
  # multi_accept on;  # error が出るリスクあり。defaultはoff。
  # accept_mutex_delay 100ms;
}

http {
  log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" $request_time';   # kataribe 用の log format
  access_log  /var/log/nginx/access.log  main;   # これはしばらく on にして、最後に off にすると良さそう。
  # access_log  off; 

  # 基本設定
  sendfile    on;
  tcp_nopush  on;
  tcp_nodelay on;
  types_hash_max_size 2048;
  server_tokens    off;
  # open_file_cache max=100 inactive=20s; file descriptor のキャッシュ。入れた方が良い。

  # proxy buffer の設定。白金動物園が設定してた。
  # proxy_buffers 100 32k;
  # proxy_buffer_size 8k;

  # mime.type の設定
  include       /etc/nginx/mime.types;  

  # Keepalive 設定
  keepalive_timeout 65;
  keepalive_requests 500;

  # Proxy cache 設定。使いどころがあれば。1mでkey8,000個。1gまでcache。
  proxy_cache_path /var/cache/nginx/cache levels=1:2 keys_zone=zone1:1m max_size=1g inactive=1h;
  proxy_temp_path  /var/cache/nginx/tmp;
  # オリジンから来るCache-Controlを無視する必要があるなら。。。
  #proxy_ignore_headers Cache-Control;

  # Lua 設定。
  # Lua の redis package を登録
  lua_package_path /home/isucon/lua/redis.lua;
  init_by_lua_block { require "resty.redis" }

  # unix domain socket 設定1
  upstream app {
    server unix:/run/unicorn.sock;  # systemd を使ってると `/tmp` 以下が使えない。appのディレクトリに`tmp`ディレクトリ作って配置する方がpermissionでハマらずに済んで良いかも。
  }

  # 複数serverへ proxy
  upstream app {
    server 192.100.0.1:5000 weight=2;  // weight をつけるとproxyする量を変更可能。defaultは1。多いほどたくさんrequestを振り分ける。
    server 192.100.0.2:5000;
    server 192.100.0.3:5000;
    # keepalive 60; app server への connection を keepalive する。app が対応できるならした方が良い。
  }

  server {
    # HTTP/2 (listen 443 の後ろに http2 ってつけるだけ。ブラウザからのリクエストの場合ssl必須）
    listen 443 ssl http2;

    # TLS の設定
    listen 443 default ssl;
    # server_name example.jp;  # オレオレ証明書だと指定しなくても動いた
    ssl on;
    ssl_certificate /ssl/oreore.crt;
    ssl_certificate_key /ssl/oreore.key;
    # SSL Sesssion Cache
    ssl_session_cache shared:SSL:10m;
    ssl_session_timeout 1m;  # cacheする時間。1mは1分。

    # reverse proxy の 設定
    location / {
      proxy_pass http://localhost:3000;
      # proxy_http_version 1.1;          # app server との connection を keepalive するなら追加
      # proxy_set_header Connection "";  # app server との connection を keepalive するなら追加
    }

    # Unix domain socket の設定2。設定1と組み合わせて。
    location / {
      proxy_pass http://app;
    }

    # For Server Sent Event
    location /api/stream/rooms {
      # "magic trio" making EventSource working through Nginx
      proxy_http_version 1.1;
      proxy_set_header Connection '';
      chunked_transfer_encoding off;
      # These are not an official way
      # proxy_buffering off;
      # proxy_cache off;
      proxy_pass http://localhost:8080;
    }

    # For websocket
    location /wsapp/ {
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection "upgrade";
      proxy_pass http://wsbackend;
    }

    # Proxy cache
    location /cached/ {
      proxy_cache zone1;
      # proxy_set_header X-Real-IP $remote_addr;
      # proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      # proxy_set_header Host $http_host;
      proxy_pass http://localhost:9292/;
      # デフォルトでは 200, 301, 302 だけキャッシュされる。proxy_cache_valid で増やせる。
      # proxy_cache_valid 200 301 302 3s;
      # cookie を key に含めることもできる。デフォルトは $scheme$proxy_host$request_uri;
      # proxy_cache_key $proxy_host$request_uri$cookie_jessionid;
      # レスポンスヘッダにキャッシュヒットしたかどうかを含める
      add_header X-Nginx-Cache $upstream_cache_status;
    }   

    # Lua
    location /img {
      # default_type 'image/svg+xml; charset=utf-8';
      content_by_lua_file /home/isucon/lua/img.lua;
    }

    # WebDav 設定。使いどころがあれば。
    location /img {
      client_body_temp_path /dev/shm/client_temp;
      dav_methods PUT DELETE MKCOL COPY MOVE;
      create_full_put_path  on;
      dav_access            group:rw  all:r;

      # IPを制限する場合
      # limit_except GET HEAD {
      #   allow 192.168.1.0/32;
      #   deny  all;
      # }
    }

    # static file の配信用の root
    root /home/isucon/webapp/public/;

    location ~ .*\.(htm|html|css|js|jpg|png|gif|ico) {
      expires 24h;
      add_header Cache-Control public;

      open_file_cache max=100  # file descriptor などを cache

      gzip on;  # cpu 使うのでメリット・デメリット見極める必要あり。gzip_static 使えるなら事前にgzip圧縮した上でそちらを使う。
      gzip_types text/css application/javascript application/json application/font-woff application/font-tff image/gif image/png image/jpeg image/svg+xml image/x-icon application/octet-stream;
      gzip_disable "msie6";
      gzip_static on;  # nginx configure時に --with-http_gzip_static_module 必要
      gzip_vary on;
    }
  }
}

フルフル

soudai commented 4 years ago

$ cat /etc/sysctl.d/99-sysctl.conf

$ cat /etc/sysctl.d/99-sysctl.conf
net.ipv4.tcp_max_tw_buckets = 2000000
net.ipv4.ip_local_port_range = 10000 65000
net.core.somaxconn = 32768
net.core.netdev_max_backlog = 8192
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 10
fs.file-max = 100000

soudai commented 4 years ago

ログローテートする君

$ cat /etc/sysctl.d/99-sysctl.conf
net.ipv4.tcp_max_tw_buckets = 2000000
net.ipv4.ip_local_port_range = 10000 65000
net.core.somaxconn = 32768
net.core.netdev_max_backlog = 8192
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 10
fs.file-max = 100000

soudai commented 4 years ago

githubに登録

id_rsaの配置
git init
du -h
git add * / ファイルがでかい場合は外す
git push

gitの初期設定

git config core.filemode false
git config --global user.name "sone"
git config --global user.email "alftaketomo@gmail.com"
git config --global color.ui auto
git config --global core.editor 'vim -c "set fenc=utf-8"'

soudai commented 4 years ago

mysql.conf 8用

max_connections = 2000

performance_schema = OFF

innodb_dedicated_server=ON
innodb_lock_wait_timeout = 5

innodb_doublewrite = 0
innodb_read_io_threads = 8
innodb_write_io_threads = 8

soudai commented 4 years ago

https://gist.github.com/soudai/1858e55d62c10820493de3aac6c18732

logに吐くやつ

soudai commented 4 years ago

nginx まとめ

https://github.com/sonots/isucon3_cheatsheet/blob/master/10.nginx.md

soudai commented 4 years ago

Tasks:  98 total,   1 running,  61 sleeping,   0 stopped,   0 zombie
%Cpu0  :  0.0 us,  0.3 sy,  0.0 ni, 99.7 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
KiB Mem :  2040900 total,  1127120 free,   307824 used,   605956 buff/cache
KiB Swap:        0 total,        0 free,        0 used.  1580236 avail Mem

soudai / isucon10-qualify

当日の最初にやること #4

@soudai

@kamipo @sugyan

チューニングのときに検討すること

githubに登録