Rancherのクラスタにストレージを追加する

[aokabin]

Rancherのクラスタで利用可能なストレージをassignする

[aokabin]

これで追加できそう？

• Cannot add Persistent Volume with Local Node Disk plugin · Issue #13864 · rancher/rancher

[aokabin]

追加できてた 利用できるかはまだ検証していない、どうやってアクセスするんだろう？

[aokabin]

ここを参考に進めてみよう

• Kubernetes: Local Volumeの検証 - Qiita

StorageClassも指定する必要があるみたい

[aokabin]

そしてこんな感じで作成してみる

そしてLocal Volumeを使ったPodを定義するためのyaml https://gist.github.com/aokabin/47dd5ae511f6a8676c441f3e6a0c54ce

[aokabin]

Claimとやらも必要らしい、Volumeも？

ちょっとわかりづらいけど、上記はネームスペース選んだ後のページにある

[aokabin]

うまくいきそうだったけど失敗している

調べてみたところ

• Kubernetes Pod Warning: 1 node(s) had volume node affinity conflict - Stack Overflow
• Pod's PVCs using feature "Local Volume Scheduling" maybe not support re-scheduling · Issue #61620 · kubernetes/kubernetes

同じNodeじゃないと動いてくれないみたい、node指定したら動くかな

• Assigning Pods to Nodes - Kubernetes → 動かなかった

もしかしたら、volume: trueってのがダメだったかもなので、hostnameを指定してみる kubernetes.io/hostname: anago → createしたけど、同じエラー

[aokabin]

読むとこ間違えてたかも、nodeSelectorじゃないかなもしかして → エラーは変わったけど、うーん。。。 hostnameを指定するようにしても変わらないな...

[aokabin]

persistent volumeにて、hostname以外が指定できなかったけど、新しく作ったらいけた そっちのvolumeを使うように設定してみる → 雰囲気は行けてそう、立ち上がってないけど

capacityが0なのが気になるけどな...

$ kubectl get pvc
NAME                  STATUS    VOLUME          CAPACITY   ACCESS MODES   STORAGECLASS   AGE
anago-sample-volume   Pending   sample          0                                        2m
anago-volume          Pending   anago-storage   0                                        57m

$ kubectl get pv
NAME            CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM     STORAGECLASS    REASON    AGE
anago-storage   10Gi       RWO            Retain           Available             local-storage             1h
sample          10Gi       RWO            Retain           Available             local-storage             5m

[aokabin]

もしかして、/mnt 以下じゃないといけないのかな？ と思って/mnt/disks/vol1とか作ってみたけどダメだった...

[aokabin]

node affinityなのかなぁー、うまくいってないのかなー

diskを指定しているからか！パスの指定にしてみよう！

[aokabin]

パスで、must be exist directoryで失敗した nodeじゃなくてhostnameの指定でどうだろうか → hostnameだと 0/8 nodes are available: 8 node(s) had volume node affinity conflict. つまり、 参照できてないってことだと思う kubernetes.io/hostnameだとどうだろうか → MountVolume.SetUp failed for volume "anago-pv" : hostPath type check failed: /home/rancher-storage is not a directory うーん、ディレクトリなんだけどなぁ

[aokabin]

関わらず作成する方向でやってみる

再作成手順

• podの削除
• claimの削除
• pvの削除

お、なければ作るオプションで、作成できたぞい、でもどのnodeにpodがあるのか確認したいところ

[aokabin]

無ければ作るオプションで作成できたし、podはanagoにアサインされている事を確認した nginxの中に入ってtouchしたファイルもちゃんとみれる

けど、なんであるのにない扱いだったんだろう...？

[aokabin]

やったことのまとめとしては

• pvのaffinityはkubernetes.io/hostname in anago
• Local Storage Pathで、無ければ強制作成(の割にはあったのにマウントしてたけど)

最後に、nodeのlabelを変更してもできるかを検証して、nfsとかに移行する

[aokabin]

labelでもちゃんとanagoを指定できた！

[aokabin]

GlusterFSも良さそうだけど、今回はそこまでやる必要ない気がするので、nfsでやることにしよう

• GlusterFS を使ってみた - ngyukiの日記

NFS

• CentOS 7でNFSサーバを構築してみた - Qiita

おそらく、nfsを構築して、あげれば、pvとvcの設定は前と同じだと思うので、nginxをデプロイとかしてみよう

[aokabin]

nfsを作る

最初にHDDをマウント 以下のコマンドを実行して、USB接続時と切断時に変わるやつを見つける

ls /dev/sd*

起動するたびに変わるかも

そしてUUIDを取得

blkid

HDDのUUIDを取得して

# vi /etc/fstab
UUID=<ここにUUID> /mnt/anago-nfs ext4 defaults 1 2

これで、自動マウントされる

• CentOSで増設したHDDの自動マウント [ へっぽこSEのメモ帳 ]

[aokabin]

mountしたら、nfsサーバーを立てる

• CentOS7.1 NFSサーバ、クライアントの設定 - Qiita

サーバー側で設定したところ、macから接続できない ポートスキャンとか試すも、ポートは空いている

• nmapコマンドでポートスキャンする - Qiita

ポートを固定しろとあったので試す

• CentOSでNFS環境を整えた - 剥いだ布団とメモランダム.old コメントインをそのまま活用

そして、firewall-cmdで解放する

# firewall-cmd --list-all
ports: 2379/tcp 2380/tcp 6443/tcp 2376/tcp 8472/tcp 9099/tcp 10250/tcp 80/tcp 443/tcp 10254/tcp 30000-32767/tcp 111/tcp 32803/tcp 32769/udp 892/udp 892/tcp 662/tcp 662/udp 2049/udp 2049/tcp

こんな感じかな

そしたらsystemctl start rpcbind nfs-server nfsして 接続

sudo mount_nfs -v -P 10.0.0.0:/mnt/nfs /Volumes/nfs

行けた！けど権限がない！

[aokabin]

ユーザー権限、rootにしてると思ったんだけど、なぜか見れなかったディレクトリ 権限を755にしたら見れるようになった

じゃあHDD内にrancher-storage作って、そいつをnfsにしてしまうかな

[aokabin]

何れにせよ、rootじゃないと書き込めないのはちょっと怖い、怪しい やっぱり、ちゃんと権限まわり整理しないと怖いな...

と思ったので、rancher-storageはnobod:nogroupで設定しようと思ったのだけど

• NFS Storage

nogroupがCentOSにはなさそうだった、どうしよう、いけんのかな

[aokabin]

なお

• /etc/exports ファイルに設定できる主なオプション - ご先祖様はきっと農民。

[aokabin]

CentOSにおいては、nobodyがそのままgroupになる感じ？

• Cent OS/Samba - 記憶できないからLinux関連のMemoをする Wiki*

やってみた、exportsも一応ちょっと広めにとってマウントできたけど、まだ書き込みできない

rancher-storageを777にしてみるも、ダメ... macの管理者権限では書き込めることを確認、一般ユーザーでも書き込みしたいなぁ

[aokabin]

vi /etc/idmapd.conf のDomainのところをちゃんと書いてみた

• CentOS 7でNFSサーバを構築してみた - Qiita

exports -vで、nfsで公開している情報が確認できるらしい

• macOS Sierra から Ubuntu 16.04 LTS のディスクを NFS でマウントする - CUBE SUGAR CONTAINER

ちょっとミスってた

[aokabin]

とはいえ接続できなし

UIDとGIDを変更してみる

• Linux の NFS ボリュームに書… - Apple コミュニティ
• Linuxでユーザーアカウント名、グループ名の変更 - Qiita

もともと1000:1000だった

ダメそう...？

[aokabin]

どうしても難しいけど、それぞれのアカウントでnfs用意してあげればもしかしたら大丈夫かも

macからはrootになれば読み書きできるから一旦いいや

Rancher2.0をつかって、研究室にGitlabを導入してみる - OthloBlog - オスロブログ -

このページを参考にNFS使ってみる

ポートもちゃんと指定する(80,443,22)

/etc/gitlab: gitlab/config
/var/log/gitlab: gitlab/log
/var/opt/gitlab: gitlab/data

deploymentが動いているのはわかるんだけど、どうやってアクセスすればいいかがわからない...

[aokabin]

http://localhost:8001/k8s/clusters/c-l5hc5/api/v1/namespaces/default/services/my-gitlab/proxy/

{
  "kind": "Status",
  "apiVersion": "v1",
  "metadata": {

  },
  "status": "Failure",
  "message": "no endpoints available for service \"my-gitlab\"",
  "reason": "ServiceUnavailable",
  "code": 503
}

http://localhost:8001/k8s/clusters/c-l5hc5/api/v1/namespaces/default/services/my-gitlab:80/proxy →つながりそうだったんだけど、SSLエラーの表示。。。 kubernetes側の問題なのでは...？

• influxdb - Kubernetes endpoints throw `ServiceUnavailable` - Stack Overflow

[aokabin]

proxyを使わずに直接アクセスしたらいけた！ ログとかもちゃんと更新されている様子だった！ というわけで、ストレージの追加に成功したので、ここでclose

[aokabin]

まとめ

# /etc/exports
/mnt/anago-nfs/rancher-storage 10.0.0.0/8(rw,insecure,async,no_root_squash,fsid=0)

http://\<hostname>/k8s/clusters/\<cluster id>/api/v1/namespaces/\<namespace>/services/\<service name>:\<port>/proxy