EC2(WebApp)の設定 - Githubissues

bikram-cloud commented 4 years ago

[x] どの様な設定が必要か？(調査)
[x] 何を設定したのか？(設定)
[ ] 今後設定する必要のあるもの？(開発中→商用リリースに向けて)

bikram-cloud commented 4 years ago

必要な設定：

SGを作成する
AMIを選択する
EC2のinstance種類を選択する
VPCを選択する
Subnetを選択する
Tenancy
「Add Storage」
- デフォルト設定は問題ない
「Add Tags」
- Key: Name
- Value: ルールを使用して決まっていた名前
SGを選択する
Keyを選択する（keyがなかったら新しいkeyを作成してください）

　 今回の設定：

AMI：「Amazon Linux 2 AMI(HVM), SSD Volume Type (x86)」
Instance:「t2.micro」
VPC: 「PRD_IDX_VPC」
Subnet: 「PRD_IDX_SUB_PRI_APP_1a」
Auto-assign Pubic IP: 「Use Subnet Setting」
Tenancy: default (sharing)
「Add Storage」
- デフォルト設定した
「Add Tags」
- Key: 「Name」
- Value: 「prd_idk_pri_webapp_1a」
SG:
- 「PRD_IDX_PRI_SEC」
Key: 「prd_ktec_idx_key」

商用リリースする前の設定： 選択したinstanceは十分かどうかを確認する Tenancyの設定を確認する未確定

bikram-cloud commented 4 years ago

テストする為に下記のpublic subnetのEC2のinstanceを作成しました。

【ec2 1】

AMI：「Amazon Linux 2 AMI(HVM), SSD Volume Type (x86)」
Instance:「t2.micro」
VPC: 「PRD_IDX_VPC」
Subnet: 「PRD_IDX_SUB_PUB_1a」
Auto-assign Pubic IP: 「Use Subnet Setting」
Tenancy: default (sharing)
「Add Storage」
- デフォルト設定した
「Add Tags」
- Key: 「Name」
- Value: 「prd_idk_pub_1a」
SG:
- 「PRD_IDX_PUB_EC2_SEC」
Key: 「prd_ktec_idx_key」

【ec2 2】

AMI：「Amazon Linux 2 AMI(HVM), SSD Volume Type (x86)」
Instance:「t2.micro」
VPC: 「PRD_IDX_VPC」
Subnet: 「PRD_IDX_SUB_PUB_1c」
Auto-assign Pubic IP: 「Use Subnet Setting」
Tenancy: default (sharing)
「Add Storage」
- デフォルト設定した
「Add Tags」
- Key: 「Name」
- Value: 「prd_idk_pub_1c」
SG:
- 「PRD_IDX_PUB_EC2_SEC」
Key: 「prd_ktec_idx_key」

bikram-cloud commented 4 years ago

テストする為に下記のサーバーを作成した＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

AMI：「Ubuntu Server 18.04 LTS (HVM), SSD Volume Type (x86)」
Instance:「t2.micro」
VPC: 「PRD_IDX_VPC」
Subnet: 「PRD_IDX_SUB_PRI_APP_1a」
Auto-assign Pubic IP: 「Use Subnet Setting」
Tenancy: default (sharing)
「Add Storage」
- デフォルト設定した
「Add Tags」
- Key: 「Name」
- Value: 「prd_idk_pri_webapp_1a_ubuntu」
SG:
- 「PRD_IDX_PRI_SEC」
Key: 「prd_ktec_idx_key」

※sshログインすれば、「ubuntu」のユーザー名を使用してください。

bikram-cloud commented 4 years ago

Name: prd_idk_pri_webapp_1a_ubuntu
SG: PRD_IDX_PRI_SEC

After Install

sudo apt update
sudo apy upgrade
sudo apt-get install awscli
- aws --version
sudo apt install nginx
- https://www.digitalocean.com/community/tutorials/how-to-install-nginx-on-ubuntu-18-04
curl -sL https://deb.nodesource.com/setup_12.x | sudo -E bash -
- sudo apt-get install -y nodejs
- https://github.com/nodesource/distributions/blob/master/README.md

bikram-cloud commented 4 years ago

nginx: reverse proxy

【server block】

server {
    listen 80;

    proxy_set_header Host $proxy_host;
    proxy_set_header    X-Real-IP    $remote_addr;
    proxy_set_header    X-Forwarded-Host       $host;
    proxy_set_header    X-Forwarded-Server    $host;
    proxy_set_header    X-Forwarded-For    $proxy_add_x_forwarded_for;

    location /api/ {
      proxy_pass         http://localhost:5120/;
    }
}

bikram-cloud commented 4 years ago

@ymdz

AWS EC2 Reverse Proxy Guide & Linux2 vs Ubuntu

【参照】

https://robsears.com/reverse-proxy-with-nginx-and-ec2/
https://www.quora.com/I-am-working-on-a-new-web-application-and-going-for-Amazon-EC2-to-host-it-What-Linux-server-should-I-go-for-Ubuntu-or-CentOS-Why
https://serverfault.com/questions/275736/amazon-linux-vs-ubuntu-for-amazon-ec2

上記のサイトと「StackoverFlow」のコメントのついて「Linux2」を使用するより「Ubuntu」のサーバーを使用した法がいいと言われています。

一つの理由はありませんですが、Linux2はrolling distroなので将来でアプリが急に止める可能性があり、Linux2のパッケージの管理はたまに使いにくいと言われます。

またはAWSのインフラから別のサービスに移動すれば、問題なく新しいサーバーで作られます。

bikram-cloud commented 4 years ago

Linux2サーバーでReverse Proxyが動いている！

【設定】

/etc/nginx/conf.d/app.conf
server {
listen 127.0.0.1:80;

proxy_set_header Host $proxy_host;
proxy_set_header    X-Real-IP    $remote_addr;
proxy_set_header    X-Forwarded-Host       $host;
proxy_set_header    X-Forwarded-Server    $host;
proxy_set_header    X-Forwarded-For    $proxy_add_x_forwarded_for;

location /api {
  proxy_pass         http://localhost:5120/;
}

}


> /etc/nginx/conf.d/nginx.conf
下記のLocationを追加した

    location /api/ {
            proxy_pass         http://localhost:5120/;
    }

bikram-cloud commented 4 years ago

/etc/nginx/conf.d/nginx.conf

location /api/ {
    proxy_set_header Host $proxy_host;
    proxy_set_header    X-Real-IP    $remote_addr;
    proxy_set_header    X-Forwarded-Host       $host;
    proxy_set_header    X-Forwarded-Server    $host;
    proxy_set_header    X-Forwarded-For    $proxy_add_x_forwarded_for;
    proxy_pass         http://localhost:5120/;
}

location *the other path* {
  404
}

bikram-cloud commented 4 years ago

AMI：「Ubuntu Server 18.04 LTS (HVM), SSD Volume Type (x86)」
Instance:「t2.micro」
VPC: 「PRD_IDX_VPC」
Subnet: 「PRD_IDX_SUB_PRI_APP_1c」
Auto-assign Pubic IP: 「Use Subnet Setting」
Tenancy: default (sharing)
「Add Storage」
- デフォルト設定した
「Add Tags」
- Key: 「Name」
- Value: 「prd_idk_pri_webapp_1c_ubuntu」
- Key: 「RESOURCE-GRP-IDX-ENV」
- Value: 「IDX-PRD」
SG:
- 「PRD_IDX_PRI_SEC」
Key: 「prd_ktec_idx_key」

bikram-cloud commented 4 years ago

/etc/nginx/conf.d/nginx.conf

location /api/ {
    proxy_set_header Host $proxy_host;
    proxy_set_header    X-Real-IP    $remote_addr;
    proxy_set_header    X-Forwarded-Host       $host;
    proxy_set_header    X-Forwarded-Server    $host;
    proxy_set_header    X-Forwarded-For    $proxy_add_x_forwarded_for;
    proxy_pass         http://localhost:5120/;
}

location *the other path* {
  404
}

上記の設定を確認しました。ヘーダ設定はどちらのファイルでもいいですが「nginx.conf」で書いたら「app.conf」のファイルで下記の設定も必要ようです。

server {
    listen 127.0.0.1:80;

    location /api {
      proxy_pass         http://localhost:5120/;
    }
}

bikram-cloud commented 4 years ago

apt update

sudo apt-get update
sudo apt-get upgrade

external command (eg. sar / mpstat / iostat etc )

// https://heartbeats.jp/hbblog/2013/10/10-commands.html
// http://garapon.hatenablog.com/entry/2016/10/03/Ubuntu_%E3%81%ABsar%EF%BC%88sysstat%EF%BC%89%E3%82%92%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB%E3%81%99%E3%82%8B%E3%80%82

apt-get install -y sysstat zip unzip
vi /etc/default/sysstat
-----------------------
ENABLED="false"
　　↓
ENABLED="true"
-----------------------

/etc/init.d/sysstat stop
/etc/init.d/sysstat start

timezone settings

// date UTC to JST
date
> Fri Feb 14 04:14:11 UTC 2020

sudo su -
timedatectl set-timezone Asia/Tokyo

date
> Fri Feb 14 13:17:01 JST 2020

NTP

sudo su -

// https://blog.fenrir-inc.com/jp/2017/12/amazontimesyncserviceonubuntu.html
vi /etc/systemd/timesyncd.conf 
----------------------------------
# NTP=
   ↓
NTP=169.254.169.123
----------------------------------

service systemd-timesyncd stop
service systemd-timesyncd start

systemctl status systemd-timesyncd.service
> 
... systemd[1]: Starting Network Time Synchronization...
... systemd[1]: Started Network Time Synchronization.
... systemd-timesyncd[27950]: Synchronized to time server 169.254.169.123:123 (169.254.169.123).

Node.JS / forever install

// https://tech-blog.s-yoshiki.com/2019/05/1201/
sudo apt install nodejs npm
sudo npm install n -g
sudo n stable
sudo apt purge -y nodejs npm
exec $SHELL -l
// versions check 
node -v
> v12.16.0

npm i forever -g
mkdir /var/log/forever
chown ubuntu:ubuntu /var/log/forever

eg. if you use the forever command, set this option
↓
forever start -l /var/log/forever/application.log index.js

Nodejs Log format like apache

see more information ↓
http://blog.shonanshachu.com/2012/10/nodejsexpressaccess-log-log-rotate.html

Nginx

// https://www.digitalocean.com/community/tutorials/how-to-install-nginx-on-ubuntu-18-04

// install 
sudo apt install nginx

// version check
nginx -V
> nginx version: nginx/1.14.0 (Ubuntu)

ufw

sudo su -
ufw status
> Status: inactive

ufw enable
> Command may disrupt existing ssh connections. Proceed with operation (y|n)? 
y

ufw allow 22/tcp
ufw allow 80/tcp

ufw status numbered
--------------------------------------------------------
Status: active

     To                         Action      From
     --                         ------      ----
[ 1] 22/tcp                     ALLOW IN    Anywhere                  
[ 2] 80/tcp                     ALLOW IN    Anywhere                  
[ 3] 22/tcp (v6)                ALLOW IN    Anywhere (v6)             
[ 4] 80/tcp (v6)                ALLOW IN    Anywhere (v6)

logrotate(sysstat)

vm-machine status log(log file path)
/etc/cron.d/sysstat

logrotate(web server log)

logrotate file path : 
/etc/logrotate.d/nginx

note: 
https://christina04.hatenablog.com/entry/2015/07/21/094631
https://qiita.com/kotarella1110/items/c9f46d9e677a8ed3a5a2

update the /etc/logrotate.d/nginx file

postrotate
    invoke-rc.d nginx rotate >/dev/null 2>&
      ↓
     /etc/init.d/nginx rotate >/dev/null 2>&1

logrotate (application log) vi /etc/logrotate.d/forever

/var/log/forever/*.log {
  daily
  dateext
  dateformat _%Y-%m-%d
  missingok
  rotate 30
  compress
  delaycompress
  notifempty
  copytruncate
} 

ll 
> -rw-r--r--  1 root root  148 Feb 14 15:18 forever

bikram-cloud commented 4 years ago

EC2 インスタンス

【インスタンスのタイプ】

General
- T2: ウィブサイトやウェブアプリケーション、開発環境、基幹業務アプリケーション、ビルドサーバー
- T3: マイクロサービス、低レイテンシーのインタラクティブアプリケーション、小規模・中規模のデータベース
Compute-Optimised
- C5: ハイパフォーマンスのウィブサーバー、科学的モデリング、分散分析
- C4: 高パフォーマンスのウィブサーバー、バッチ処理、分散型分析、広告配信
Memory-Optimised
- R5: 高パフォーマンスデータベース、分散型ウェブスケールインメモリキャッシュ、リアルタイムのビッグデータ分析
－－－－－－－－－－－－－－－－－－－－－－－－－－－

Bastionサーバーに関して、「t2.miro」のサーバーを使用したら問題ないと思います。このサーバーがあんまり使用していないので、低スペックは問題ないです。

ウェブアプリのサーバーに関して、二つの「c4.medium」のサーバーとauto-scaling groupを使用したら十分だと思います。

auto-scaling groupのオススメルールはCPUが60%以上になったら新しいインスタンスを追加し、40%以下になったらインスタンスを削除します。 Cloudwatchでサーバーの状態を確認して、使用しているサーバー／環境が足りなかったらインスタンスのサイズや件数が変更できます。

bikram-cloud commented 4 years ago

Auto Scaling Group: Launch Template 設定

【参照】

https://docs.aws.amazon.com/autoscaling/ec2/userguide/create-launch-template.html

Name;
- PRD_IDX_Launch_Template
Descrption:
- AGS launch template for PRD_IDX_webapp
Auto Scaling Guidance:
- 選択する
Tags:
- RESOURCE-GRP-IDX-ENV : IDX-PRD

Launch template contents

Amzon machine image(AMI)
- Ubuntu Server 18.04
Instance type
- ts.large
key pair name
- prd_ktec_idx_key
Network settings
- Virtual Private Cloud(VPC)
Security Group
- PRD_IDX_PRI_SEC
Storage
- デフォルト（8GB）

Network Interfaces

Device Index
- 0
Network interface
- blank
Description
- PRD_IDX_ASG Network Interface
Auto-assign public IP
- Don't include in launch template
Security group ID
- sg-03a0adb868e1b1e1b
Delete on termination
- Don't include in launch template

bikram-cloud commented 4 years ago

Auto-Scaling Group

事前作業

Auto-Scaling Groupを使うために既存のIAMロール「Ktec_IdEx_Switch_Role」に「arn:aws:iam::aws:policy/AutoScalingFullAccess」を追加

各使用したいゾーンでASGで追加する事が必要です。

①　サーバー1a

Name; PRD_IDX_Webapp_ASB
Desired Capacity: 2
- Min: 0
- Max: 4
Launch Configuraton: PRD_IDX_Webapp_ASB
AV Zone:
- ap-northeast-1a
- ap-northeast-1c
Subnet:
- PRD_IDX_SUB_PRI_APP_1a
- PRD_IDX_SUB_PRI_APP_1c
Classic Load Balancers: Blank
Target Groups:
- PRD-IDX-ALB-TRG-PUB
Health Check Type: EC2

②　ポリシー

【参照】

https://docs.aws.amazon.com/autoscaling/ec2/userguide/as-scaling-simple-step.html

Name: PRD_IDX_ASG_Policy
Metric: Average CPU Utilisation
Target Value: 80
Instances need: 300 seconds to warm up after scaling
Disable scale-in: On

bikram-cloud commented 4 years ago

ASG監視

①　Enable: Auto Scaling Metrics ②　Enable: Notification

①　Enable: Auto Scaling Metrics

EC2　→　ASG　→　対象のASGを選択する　→　Monitoringタブ

Monitoringタブで「Enable Group Metrics Collection」のボタンがある

②　Enable: Notification

EC2　→　ASG　→　対象のASGを選択する　→　Notificationタブ

【Create notification】

Send a notification to:
- auols_alart_id-converter (k_kddi-ols-rec-prd@cloudpack.pagerduty.com)
Whenever instances:
- launch
- terminate
- fail to launch
- fail to terminate

bikram-cloud / Kddi_work

EC2(WebApp)の設定 #11

nginx: reverse proxy

AWS EC2 Reverse Proxy Guide & Linux2 vs Ubuntu

Linux2サーバーでReverse Proxyが動いている！

EC2 インスタンス

Auto Scaling Group: Launch Template 設定

Auto-Scaling Group

ASG監視

①　Enable: Auto Scaling Metrics

②　Enable: Notification

bikram-cloud / Kddi_work

EC2(WebApp)の設定 #11

nginx: reverse proxy

AWS EC2 Reverse Proxy Guide & Linux2 vs Ubuntu

Linux2サーバーでReverse Proxyが動いている！

EC2 インスタンス

Auto Scaling Group: Launch Template 設定

Auto-Scaling Group

ASG監視

① Enable: Auto Scaling Metrics

② Enable: Notification

①　Enable: Auto Scaling Metrics

②　Enable: Notification