Kubernetesの技術調査を行う

mktkhr commented 8 months ago

目的

Kubernetes化を検討するための技術調査を行う

期待結果

Kubernetes化に必要な技術調査結果がまとめられていること

mktkhr commented 5 months ago

参考資料

mktkhr commented 4 months ago

kubelet・kubeadmも使う方法と kubespray のメリットデメリット検討

kubelet・kubeadm
- [メリット]参考にできる記事が多い
- [メリット]何の操作をするかが明確
- [デメリット]nodeの数が多いと手間そう
kubespray
- [メリット]クラスターの一括作成
- [デメリット]何をしているのか明確でない

mktkhr commented 4 months ago

kubesprayで実験

構成したいクラスターの構成
- ノード一覧
- node1(intel CPU，Ubuntu 22.04 LTS)
- node2(Raspberry Pi 4B，Ubuntu 22.04 LTS)
- node3(Raspberry Pi 5，Ubuntu 23.10) *RaspberryPi Imagerにラズパイ5用のLTSの選択肢がなかった
- control plane
- node1
- worker
- node1
- node2
- node3
  ログ
ansible-playbook -i inventory/myCluster/hosts.yaml -K --become --become-user=root cluster.yml 実行時にラズパイでエラー
- k8s-cluster.yml に enable_nodelocaldns: false を設定して解決
admin.conf が生成されない
- クラスター構築に失敗しているので生成されていない。発生したエラーを解決することで生成された
- ただし，k8s-cluster.yml に kubeconfig_localhost: yes を設定すると，/myCluster/attifact フォルダが生成され，その中にconfが入るとの記載があったが，artifactディレクトリは生成されなかった
- 結局，コントロールプレーンにsshして取得

etcd のバックアップが終わらない

止まっているステージ

日曜日 21 4月 2024  19:13:24 +0900 (0:00:00.985)       0:12:45.582 **************** 
RUNNING HANDLER [etcd : Backup etcd v3 data] 
*************************************************************************************************************************

一旦停止して再実行すると進むが，kubectl get node でコントロールプレーンのみしか表示されなかった

結論

うまく機能せず，クラスターが構築できなかったので，kubesprayでの構築を諦める

mktkhr commented 4 months ago

kubeadmで構築

構成概要

名前	ハードウェア	メモリ	OS	ローカルIP
kube-controlplane-01	intel core i5-4690	32GB	Ubuntu Desktop 24.04 LTS	192.168.0.140
ems-raspberrypi-5	RaspberryPi 5	8GB	Ubuntu Server 24.04 LTS	192.168.0.111
ems-raspberrypi-4b	RaspberryPi 4B	8GB	Ubuntu Server 24.04 LTS	192.168.0.222

全ノードで実行

sudo apt-get update
sudo apt install vim
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg gpg
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.30/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg
echo "deb [arch="$(dpkg --print-architecture)" signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu "$(. /etc/os-release && echo "$VERSION_CODENAME")" stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
echo 'deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.30/deb/ /' | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin kubelet kubeadm kubectl
sudo swapoff -a
- swap無効化

sudo vim /etc/fstab

- /swap.img     none    swap    sw      0       0
+ # /swap.img     none    swap    sw      0       0

ipv4forwardingを有効化

cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

cat <<EOF | sudo tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-iptables  = 1
net.bridge.bridge-nf-call-ip6tables = 1
net.ipv4.ip_forward                 = 1
EOF

// モジュールの読み込みを確認
lsmod | grep br_netfilter
lsmod | grep overlay

// ip forwardingの設定が効いていることを確認
sysctl net.bridge.bridge-nf-call-iptables net.bridge.bridge-nf-call-ip6tables net.ipv4.ip_forward

containerdの設定
- sudo containerd config default | sudo tee /etc/containerd/config.toml
- sudo vim /etc/containerd/config.toml
```
[plugins."io.containerd.grpc.v1.cri".containerd.runtimes.runc.options]
...
- SystemdCgroup = false
+ SystemdCgroup = true
```
- sudo systemctl restart containerd
CNIプラグインの追加
- wget https://github.com/containernetworking/plugins/releases/download/v1.4.1/cni-plugins-linux-amd64-v1.4.1.tgz
- sudo mkdir -p /opt/cni/bin
- sudo tar Cxzvf /opt/cni/bin cni-plugins-linux-amd64-v1.4.1.tgz

Control Planeで実行

kubeadm init のconfig
- kubeadm config print init-defaults

出力例を表示

```yaml apiVersion: kubeadm.k8s.io/v1beta3 bootstrapTokens: - groups: - system:bootstrappers:kubeadm:default-node-token token: abcdef.0123456789abcdef ttl: 24h0m0s usages: - signing - authentication kind: InitConfiguration localAPIEndpoint: advertiseAddress: 1.2.3.4 bindPort: 6443 nodeRegistration: criSocket: unix:///var/run/containerd/containerd.sock imagePullPolicy: IfNotPresent name: node taints: null --- apiServer: timeoutForControlPlane: 4m0s apiVersion: kubeadm.k8s.io/v1beta3 certificatesDir: /etc/kubernetes/pki clusterName: kubernetes controllerManager: {} dns: {} etcd: local: dataDir: /var/lib/etcd imageRepository: registry.k8s.io kind: ClusterConfiguration kubernetesVersion: 1.30.0 networking: dnsDomain: cluster.local serviceSubnet: 10.96.0.0/12 scheduler: {} ```

今回は以下に設定

apiVersion: kubeadm.k8s.io/v1beta3
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  # 適宜変更すること
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.0.140
  bindPort: 6443
nodeRegistration:
  criSocket: unix:///var/run/containerd/containerd.sock
  imagePullPolicy: IfNotPresent
  name: kube-controlplane-01
  taints: null
  kubeletExtraArgs:
    node-ip: 192.168.0.140
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta3
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns: {}
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.k8s.io
kind: ClusterConfiguration
kubernetesVersion: 1.30.0
networking:
  dnsDomain: cluster.local
  serviceSubnet: 10.96.0.0/12
  podSubnet: 192.168.0.50/16
scheduler: {}

sudo kubeadm init --config ~/server/stamp-iot/kubeadm/init-config.yaml
- tokenとdiscovery-tokenのハッシュ値が発行されるので，メモる
- kubeadm token list でtokenを確認可能
- [注意] tokenはデフォルトで24時間後に無効化されるので，24時間を超えた場合は kubeadm token create で再生成する
root以外でもkubectlを実行できるように変更
- mkdir -p $HOME/.kube
- sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
- sudo chown $(id -u):$(id -g) $HOME/.kube/config
control-planeが生成されていることを確認する
- kubectl get node
- 出力例
```
NAME                   STATUS     ROLES           AGE     VERSION
kube-controlplane-01   NotReady   control-plane   6m45s   v1.30.0 
```
- admin.conf を作業用PCにコピーすれば，configを指定してそちらからも確認可能
- kubectl --kubeconfig ./admin.conf get nodes
CNIのインストール
- kubectl create -f https://raw.githubusercontent.com/projectcalico/calico/v3.27.3/manifests/tigera-operator.yaml
- mkdir -p ~/home/server/stamp-iot/colico && cd ~/home/server/stamp-iot/colico
- wget https://projectcalico.docs.tigera.io/manifests/custom-resources.yaml
- sudo vim custom-resources.yaml
```
- cidr: 192.168.0.0/16
# kubeadm init で podSubnet として指定した値
+ cidr: 192.168.0.50/16
```
- kubectl apply -f /home/ems/server/stamp-iot/calico/custom-resources.yaml
- kubectl get pod -n calico-system -o wide
- podが作られていることを確認

サービスアカウントの作成

mkdir -p /home/ems/server/stamp-iot/service-account
sudo vim /home/ems/server/stamp-iot/service-account/admin-service-account.yaml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: ems-admin
  namespace: kube-system
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: ems-admin
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: ems-admin
  namespace: kube-system

kubectl apply -f /home/ems/server/stamp-iot/service-account/admin-service-account.yaml
sudo vim /home/ems/server/stamp-iot/service-account/admin-service-account-token.yaml

apiVersion: v1
kind: Secret
metadata:
  name: admin-service-account-token
  namespace: kube-system
  annotations:
  kubernetes.io/service-account.name: ems-admin
type: kubernetes.io/service-account-token

kubectl apply -f /home/ems/server/stamp-iot/service-account/admin-service-account-token.yaml
kubectl describe secrets admin-service-account-token -n kube-system
下のダッシュボード閲覧時に使用するtokenを表示

ダッシュボードを入れてみる
- kubectl --kubeconfig ./admin.conf apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0/aio/deploy/recommended.yaml
- kubectl --kubeconfig ./admin.conf proxy
- http://localhost:8001/api/v1/namespaces/kubernetes-dashboard/services/https:kubernetes-dashboard:/proxy/#/login でログイン画面表示

Workerで実行

mkdir ~/kubeadm && cd ~/kubeadm

kubeadm config print join-defaults

apiVersion: kubeadm.k8s.io/v1beta3
caCertPath: /etc/kubernetes/pki/ca.crt
discovery:
bootstrapToken:
  apiServerEndpoint: 192.168.0.140:6443
  token: <適宜変更する>
  caCertHashes:
    - sha256:<適宜変更する>
  unsafeSkipCAVerification: true
timeout: 5m0s
tlsBootstrapToken: <適宜変更する>
kind: JoinConfiguration
nodeRegistration:
criSocket: unix:///var/run/containerd/containerd.sock
imagePullPolicy: IfNotPresent
name: <好きな名前に変更>
taints: null
kubeletExtraArgs:
  node-ip: <適宜変更する>

sudo kubeadm join --config ~/kubeadm/join-config.yaml

結果の例

3つのnodeが作成されていることを確認

kubectl --kubeconfig ~/.kube/admin.conf get nodes

NAME                   STATUS   ROLES           AGE   VERSION
ems-raspberrypi-4b     Ready    <none>          8h    v1.30.0
ems-raspberrypi-5      Ready    <none>          8h    v1.30.0
kube-controlplane-01   Ready    control-plane   20h   v1.30.0

mktkhr / stamp-iot