ラズパイ使ったアプリケーション構築実験

[koheiyamayama]

目的

• インフラ、サーバ、フロントエンドの構成を考え、運用できるようにする。

理由

• いろいろなOSSを使ってみたいから
• インフラ/サーバ/フロントの構築と運用に強くなりたいから

やること

• 実際に存在するサービス、または自分でどんなサービスを作るか決める
• 決めたサービスを構築、運用する

技術的制約

• 外部への公開はしない
  • 家のLANからしかアクセスできなくて良い
• ClientとServerのネットワークは分ける
• 以下の非機能要件を組み込む(どの程度組み込むかは自由だが、組み込めるだけ組み込もう)
  • 定期処理
  • 非同期処理
  • https
  • dns
  • cache
  • 静的ファイルサーバ
  • NoSQL
  • RDB
  • セキュリティ
  • セキュリティが開発者の意識しないところで行われているものは使わない、もしくは理解した上でしか使ってはならない
  • デプロイフロー
  • IaC

TODO

• [x] 技術選定
  • フロント
  • サーバ
  • インフラ(？)
• [x] 実装開始できる状態になる

[koheiyamayama]

追加仕様

• RealTimeDashboardをAdminに作る
  • 略してRTD

[koheiyamayama]

技術選定メモ

• 基本的にAPサーバはAPIだけ
• Node or sinatra or Rust
• Nodeが一番やってみたい気持ちはあるが、無難なのはsinatra
• フロントはReact/TS
• WebサーバはNginx
• CacheサーバはNginx,Redis
• DBはMySQLとmongodb
• 定期処理/非同期処理は使う言語に合わせる
• ラズパイのprovisioningはansible
• CI/CDの構築は何かのパイプラインツールを使ってみる
  • Jenkins
  • GoCD
• 個人的にjenkinsのtutorialはひどいと思っているので、勉強する気になれない。なので、GoCDやってみたい。

[koheiyamayama]

静的ファイル配信

• DeployServerでbuildする
• build済みファイルをStaticServerへscpする
• APServerにも必要なファイルをscpする

APServerへのデプロイ

• DeployServerがmigrateする
• assetsファイルをStaticServerに配布する
• 各ソフトウェアにconfig fileを配布する
• APServerにコードを配布する
• CronExecutor/AsyncServerにコードを配布する
• CronExecutor/AsyncServerを再起動する
• APServerを再起動する
• LBのヘルスチェックが通り次第、デプロイ成功とする

[koheiyamayama]

やったほうが良いこと

• 各アプリケーションをsystemctlで管理できるようにする
• 各アプリケーションの依存関係をいい感じにできるようにする
  • dockerのdepends_on的なやつ
• webpackなのかtsconfigなのか分からんが、chromeを対象としたjsを吐き出すためにどうするか考える
  • できればtscだけでいい感じにしたい。別に俺の環境で動けばそれでいい。
• 各ラズパイにソフトウェアをインストールしていく。
• Ansibleでプロビジョニングできるようにする。

決めたこと

• application serverはsinatraでやる

[koheiyamayama]

実装開始できるまでにやること

目的

• https://kohei.com でリクエストを送ると、トップページが返ってくる状態にする
• アプリケーション、サーバ(reverse_proxy/cache_server/static_server等)、DNS、DeployServer等にファイルをアップロードできる状態にする→要するにデプロイできる状態にする

TODO

• [https://kohei.com]()でアクセスできるようにするまで
  • [x] LBにhttp://IP_ADDRESSでアクセスできるようにする
  • [x] LBからReverseProxyへアクセスできるようにする
  • [x] ReverseProxyからApplicationServerへアクセスできるようにする
  • [x] ApplicationServerからDBServerへアクセスできるようにする
  • [x] ~ApplicationServerからRedisへアクセスできるようにする~
  • [x] DNSを設置/設定し[http://kohei.com]()でLBにアクセスできるようにする
  • [x] クライアントとLBでhttps終端化する
• デプロイできるまで
  • [x] ~DeployServerにGoCDを入れる~
  • [x] デプロイフローを作っていく
  • shellscriptで各サーバへのデプロイは一応できるようになった。

[koheiyamayama]

各ラズパイの状況

IP Address	Mac Address	マシンタイプ	入ってるソフトウェア	役割
192.168.11.2	50:C4:DD:F0:11:67	3A	ruby 2.7.1,mariadb,nginxとか	AP
192.168.11.3	84:AF:EC:A2:C3:27	3A	ruby 2.7.1,mariadb,nginxとか	AP
192.168.11.4	84:AF:EC:A2:E6:FA	3A	初期状態ubuntu 20.04 lts	-
192.168.11.5	84:AF:EC:A2:DE:DE	3A	初期状態	-
192.168.11.6	00:E0:4C:68:0A:26	Mac	-	Client
192.168.11.7	70:88:6B:8A:65:B1	3A	Nginx等	LB
192.168.11.8	70:88:6B:8A:65:43	3A	mariadb等	DB
192.168.11.9	70:88:6B:8A:65:73	zero	nginx	StaticServer
192.168.11.10	50:C4:DD:F0:11:5B	zero	bind9等	DNS

[koheiyamayama]

2020/09/08メモ

• nginxのconfiguration fileをいい感じにscpして、nginxをいい感じにrestartする5歩手前まで頑張った。
• 明日の俺はnginxのconfigを手元で書いて、それをいい感じにscpして、いい感じにngixnをrestartできるところまでできるようにしたい。

追記

• 翌日に終えた。よく頑張った。

[koheiyamayama]

2020/09/09メモ

↓やってく

• [x] rubyアプリケーションを配信できる
• [x] rubyアプリケーションを起動できるようにする
• [x] rubyアプリケーションをsystemctlで管理できるようにする
  • man systemd.unit を読んでいけばだいたいわかりそう。頑張る。
• [x] mariadbをAP Serverから操作できるようにする
  • そんな大変じゃない。
• [x] rubyアプリケーションをSinatraアプリケーションに進化させる
• [x] bundle installどうするか考える。

[koheiyamayama]

systemdメモ

• man systemd.directives すると、ディレクティブの情報を見れる

[koheiyamayama]

mysql2メモ

• mariadb-client,commonはもちろんだけど、libmariadb-devも必要。じゃないとnative pluginのinstallでコケる。
• たぶん、mysql2 gemのC拡張がこのライブラリを使うんだと思う。

[koheiyamayama]

ここまでやったことまとめ

• application serverを起動できるようにした。
  • デプロイ
  • ファイルの配布
  • bundle install
  • サーバのリスタート
  • 以上3つをsystemdを使い実現した
• application serverはmysql2を使い 192.168.11.8 上で動くmariadbにアクセスできる
• LBにアクセスできる

[koheiyamayama]

LBにアクセスすると、application serverにアクセスできるまでのTODO

• [x] ReverseProxyからApplicationServerへアクセスできるようにする
  • 192.168.11.2:80 でいい感じにapplication serverにアクセスできるようにする
• [x] LBからReverseProxyへ

[koheiyamayama]

DNSの設定

bind9で詰まりそうなポイントはだいたい「zoneの設定」と「optionの設定」 zoneはレコードの設定方法と設定した値がおかしいと出る。optionはnamed.conf周りでおかしくなる。 たぶん、zoneで間違えていなそうなんだけど、だめな場合はoption周りの問題だと思うので、気をつけたほうが良い。

[koheiyamayama]

HTTPS化までの道のり

• [x] そもそもHTTPSとは？
• [x] Nginxでどうやって実現するのか？

[koheiyamayama]

そもそもHTTPSとは？ HTTPSとは「http over tls」のこと。 TLSという暗号化プロトコルを使ってHTTPによる通信を暗号化するものである。 TLSはいくつかの暗号技術を使って通信の「完全性」「真正性」「機密性」などを守っている。 TLSの接続はハンドシェイクから始まる。

[koheiyamayama]

HTTPS化するときにやったこと

• opensslで秘密鍵/公開鍵を作る
• 秘密鍵を自己署名する
• 自己署名するときに使った証明書と秘密鍵のpathをnginxの設定に書いておく
• できる

[koheiyamayama]

そもそもHTTPS周りの話

• HTTPS周りの話をするには以下のことを考える。
  • 証明書周り
  • TLS周り
  • ソフトウェア周り
• 証明書はサーバ管理者等が発行する公開鍵の真正性を担保するものである。
• TLSはとある通信プロトコルで送受信するデータをセキュアにするためのプロトコルである。
• ソフトウェアはopensslとnginx周りの話がわかると良い気がする。
• で、TLSはデータをセキュアにするために共通鍵暗号と公開鍵暗号を使う。
• 公開鍵暗号ではサーバがクライアントに公開鍵を送り、その鍵を使ってクライアントがデータを暗号化する。しかし、その公開鍵は本当にサーバが意図したものかわからない。
• そこで証明書をCAに発行してもらい、サーバが提供する公開鍵が本物であることを担保してもらう。
  • この辺でopenssl、証明書チェーン、CAとかの話を整理すると理解が深まりそう。
• クライアントはCAによって認められた公開鍵を得て、それを使ってデータを暗号化する。
  • クライアントが公開鍵を得るためにはnginxがどの公開鍵を提供するのか決めるための設定とかが必要。

[koheiyamayama]

今後のTODO

• [x] アプリケーションを継続的に開発していく
  • [x] フロントエンド周りの環境構築
  • [x] 技術選定
  • [x] フロントエンド環境構築のインプット
  • [x] ローカルで開発できるようにする
    • できなくはないが、だるいので、いい感じできるようにしたい
  • [x] 本番でフロントエンドのビルドできるようにする
    • デプロイフローが今はローカルで行われるので、終わったとする。後日GoCD使うときにいい感じにする。
  • [x] 本番でJSを取得&実行できるようにする
  • [x] CICD周りの構築
  • [x] GoCDを調べる
  • [x] 導入する
  • [x] 開発していく
  • [x] 仕事ナビもどきを作る

[koheiyamayama]

ロギング周りはfluentd使う

[koheiyamayama]

本番でJSを取得&実行できるようにする

• [x] buildされたJS等をStaticServerに配布する
  • [x] 特定のディレクトリにビルド済みのファイルを配置する
  • [x] 配布されたファイルをngixnが参照するディレクトリに上書きして突っ込む
  • [x] 何かしらの条件で使われないファイルを定期的に削除する
• [x] Nginxがリクエストに応じて適切なJS等を配信できるようにする
  • [x] configを書いていい感じに静的ファイルが配信されるようにする

[koheiyamayama]

webpack-dev-serverの設定感想

• だるい of だるい。
• 項目数が多いので大変。
• 実際にファイルが出力されるわけではなく、bundle結果をメモリ上に保持しているらしい。
• 結局の所意識したのは「アクセスするためのパス」「bundleするファイルに関する設定」の2つ。
• アクセスするためのパス
  • クライアントがどうやってアクセスすればbundleされたファイルにアクセスできるのか決める。
  • contentBase/publicPathはかなり重要。publicPathは Imagine that the server is running under http://localhost:8080 and output.filename is set to bundle.js. By default the devServer.publicPath is '/', so your bundle is available as http://localhost:8080/bundle.js. って書いてある。 contentBaseは Tell the server where to serve content from. This is only necessary if you want to serve static files. devServer.publicPath will be used to determine where the bundles should be served from, and takes precedence. って書いてある。要するにdev-serverがどこからコンテントを配信するのか決めている。
• bundleするファイルに関する設定
  • これはdev-serverというよりもwebpackの設定。bundleするときの設定はdev-serverとはそんなに関係ない。webpack-dev-serverとwebpackはちょっと密な別のソフトウェアである。dev-serverがwebpackを使いいい感じに変更があったときにbundleしてくれて、ファイルの配信をやってくれるだけ。

[koheiyamayama]

GoCDまとめ

• agentとserverというプロセスが色々な役割を果たす。
• serverはenvironment/pipeline/stage/job/taskを定義する。
• agentはserverで定義されたtaskを実行する。
• serverが定めたpipelineが色々な依存関係、順番で解消されていく。
• agentはtaskを実行するために必要なリソースやenvironmentをもとにどのjobを実行するの決める。
• リモートサーバ(今回ならラズパイたち)にagentをinstallしてagentのconfigを書けば、serverとagentでいい感じに通信できるっぽい。雰囲気ある。https://docs.gocd.org/current/installation/install/agent/linux.html

結論

32bit OSだとだるすぎて死ぬので、使わない。 もうデプロイフローは当分このままで行くことにする。だるいから。だるすぎて死ぬ。

[koheiyamayama]

開発

• [ ] テーブル作る
  • [ ] 掲載内容を本当にmongodbとか使ってできるのか検討する
  • [ ] テーブル設計を見直す
  • [ ] optional: DB設計の本読み直す
  • 達人DB設計
  • SQLアンチパターン
  • [ ] テーブル作ってく
• [ ] 実装する
  • 基本的にページ単位でAPIとコンポーネントを設計/実装する
  • [ ] トップページ
  • [ ] 就労移行とは？ページ
  • [ ] 就労継続とは？ページ
  • [ ] 都道府県トップページ
  • [ ] 事業所一覧ページ
  • [ ] 都道府県ごとの一覧
  • [ ] 市区町村ごとの一覧
  • [ ] 政令指定都市ごとの一覧
  • [ ] 特定の条件 * 都道府県 or 市区町村 or 政令指定都市ごとの一覧
  • [ ] 複合条件の一覧
  • [ ] フリーテキスト検索による一覧
  • [ ] 事業所詳細ページ
  • [ ] 記事一覧ページ
  • [ ] 記事詳細ページ
  • [ ] 記事検索結果ページ
  • [ ] 事業所情報入稿ページ
  • [ ] 色々なページ
  • [ ] ログインページ

[koheiyamayama]

日本の政治を可視化する

• 課題
  • 日本の政治ってどうやってワークしてるのか分からん。
  • 分からんってことは国民は自分の国に興味がないようなもん。
  • 自分の生活が悪いのは自分だけのせいではない。
  • 環境の多くは国にも責任がある。
  • それを訴えるためには政治を知る必要があると思う。
• まず、どの選挙区でどんな人が選ばれているのか？どんな人が選挙に出ているのか。その人たちはどんな政策をやろうとしているのか、その人達は自分の考えていることに対してどう思うのか？とかが全く分からん。
  • 選挙があるたびに候補者が公開討論できる(ライブ配信)
  • 選挙区の一覧から候補者を見ることができる
  • 選挙区から選ばれた人がどんな活動しているのか集約 and 発信 and 討論できる
• 選挙で選ばれてからもどんな活動をしているのか分からん。分からんとその人を次も応援して良いのか分からんし、クソみたいな活動してるなら、さっさと不満をぶつけたい。言ったことをちゃんとやれよ、と。

[koheiyamayama]

やること

• [ ] Origami Studioの使い方を学ぶ
• [ ] サイトのデザインする
• [ ] サイトを作る