Kubernetes the hard way

[bmson7112]

Prerequisites

1. Cài đặt Google CLoud SDK

   

• Kiểm tra version gcloud vừa được cài đặt

2. Cài đặt compute region và compute zone mặc định:

   

Provisioning Compute Resources

1. Networking

   • Sử dụng mạng VPC networking để lưu trữ cụm k8s

     

• Subnet phải đủ lớn để gán địa chỉ IP cho mỗi node ở trong cụm nên ta tạo subnet kubernetes nằm trong kubernetes-the-hard-way VPC network

  

2. Firewall Rules

   • Tạo bộ quy tắc tường lừa cho phép các thành phần nội bộ có thể giao tiếp với nhau ở mọi giao thức

     

• Tạo tưởng lửa cho phép SSH, ICMP, and HTTPS từ bên ngoài

  

3. Địa chỉ IP public k8s

   • Tạo địa chỉ IP tĩnh gắn vào bộ load balancer bên ngoài phía trước API Server

     

• Xác nhận rằng địa chỉ IP tĩnh đã được tạo

  

4. Compute Instances

   • Tạo các host bên trong cụm. Tạo 2 node controller và 2 node worker

     

     

• Kiểm tra lại danh sách các thành phần mới được tạo

  

Provisioning a CA and Generating TLS Certificates

1. Certificate Authority

   • Cung cấp 1 Certiicate Authority để có thể sử dụng để tạo các TLS certificate bổ sung

   • Tạo tệp cấu hình CA, certificate, và private key, sau đó kiểm tra coi các tiệp đã đươc tạo hay chưa

     

2. Client and Server Certificates

   • Tạo Client và Server Certificate cho các thành phần trong cụm k8s

   • Tạo admin client certificate và private key, sau đó kiểm tra các file cấu hình admin-key.pem admin.pem có được tạo hay không

     

• Tạo Kubelet Client Certificates

  • Kubernetes sử dụng special-purpose authorization mode có tên là Node Authorizer, cho phép cụ thể các yêu cầu API do Kubelets thực hiện. Để được Node Authorizer ủy quyền, Kubelets phải sử dụng thông tin đăng nhập xác định chúng nằm trong nhóm system:nodes, với tên người dùng là system:node:<nodeName>. => Chúng ta sẽ tạo chứng chỉ cho mỗi node worker Kubernetes đáp ứng các yêu cầu của Node Authorizer

    

• Tương tự tạo Controller Manager Client Certificate, Kube Proxy Client Certificate,Scheduler Client Certificate, Kubernetes API Server Certificate, Service Account Key Pair

• Phân phối Client và Server Certificates đến các node trong cụm

  

[bmson7112]

Chapter 05: Generating Kubernetes Configuration Files for Authentication

Tạo các tệp cấu hình kubeconfigs để cho phép các kubernetes client có thể giao tiếp được ( định vị và xác thực ) với API Server

1. Cấu hình xác thực Client

   • Tạo các tệp config cho Controller manager, kubelet, kube-proxy, scheduler client và admin user
   • Mỗi kubeconfig đều yêu cầu có API Server để kết nối. Để hỗ trợ tính sẵn sàng cao thì 1 địa chỉ IP sẽ được cấp cho external load balancer đứng trước máy chủ API Server
   • Để lấy địa chỉ IP tĩnh của kubernetes-the-hard-way, ta dùng lệnh như dưới

2. The kubelet Kubernetes Configuration File

   • Khi tạo tệp kubeconfig cho Kubelets, phải sử dụng client certificate khớp với tên nút của Kubelet. Điều này sẽ đảm bảo Kubelets được ủy quyền chính xác bởi Kubernetes Node Authorizer.

   • Ta tạo tệp config cho mỗi worker node, kết quả sẽ tạo ra các file worker-0.kubeconfig worker-1.kubeconfig

     

3. The kube-proxy Kubernetes Configuration File

   • Tạo file config cho kube-proxyservice, kết quả sẽ tạo ra tệp cấu hình kube-proxy.kubeconfig

     

4. The kube-controller-manager Kubernetes Configuration File

   • Tạo file cấu hình cho kube-controller-manager service, kết quả sẽ tạo ra file cấu hình kube-controller-manager.kubeconfig

     

5. The kube-scheduler Kubernetes Configuration File

   • Tạo file cấu hình cho kube-scheduler, kết quả sẽ có file cấu hình kube-scheduler.kubeconfig

     

6. The admin Kubernetes Configuration File

   • Tạo file cấu hình cho admin user

     

7. Áp dụng các file cấu hình cho các node

   • Copy các tệp cấu hình kubelet và kube-proxy cho các worker node

     

• Copy các tệp cấu hình kube-controller-manager và kube-scheduler cho các node controller

  

[bmson7112]

Chapter 6: Generating the Data Encryption Config and Key

• Được sử dụng để mã hóa các dữ liệu nhạy cảm được lưu trữ trong cụm Kubernetes. Khi được kích hoạt, các thông tin nhạy cảm như mật khẩu, thông tin xác thực và khóa truy cập được mã hóa trước khi được lưu trữ trên đĩa cứng. Điều này giúp đảm bảo tính bảo mật của dữ liệu trong cụm Kubernetes. => Tạo các encryption key và encryption config để mã hóa k8s Secret
  1. The Encryption Key
• Tạo encryption key bằng lệnh ENCRYPTION_KEY=$(head -c 32 /dev/urandom | base64)

2. The Encryption Config File

   • Tạo file config encryption encryption-config.yaml

     

   • Sau đó copy file config vừa tạo vào các controller node của cụm

     

[bmson7112]

Chapter 7: Bootstrapping the etcd Cluster

• Các thành phần trong cụm k8s là stateless và được lưu trữ trong etcd

  1. Bootstrapping an etcd Cluster Member

• SSH vào các instance controller

  

• Tải xuống và cài đặt tệp nhị phân etcd qua github

  

• Giải nén và cài đặt etcd server và etclcli bằng lệnh { tar -xvf etcd-v3.4.15-linux-amd64.tar.gz sudo mv etcd-v3.4.15-linux-amd64/etcd* /usr/local/bin/ }

• Cấu hình etcd server

  

• Tạo file cấu hình hệ thôngs etcd.service

  

• Khởi động etcd server

  

2. Verification

   • Liệt kê danh sách etcd member trong cluster

     

3. Thực hiện tương tự với instance controller còn lại

[bmson7112]

Chapter 8: Bootstrapping the Kubernetes Control Plane

• Khởi động control plane của K8s và cấu hình đẻ nó có tính sẵn sàng cao.
• Tạo 1 bộ cân bằng tải bên ngoài để hiển thị các thông tin của API Server cho phía client.
• Cài đặt Kubernetes API Server, Scheduler, and Controller Manager cho mỗi node.

1, Tạo thư mục cấu hình cho K8s

• Trước tiên ta SSH vào các node controller, sau đó dung lệnh sudo mkdir -p /etc/kubernetes/config để tạo thư mục cấu hình

2. Download and Install the Kubernetes Controller Binaries

   • Tải về tệp nhị phân k8s

     

• Cài đặt tệp vào các máy ảo

  

3. Cấu hình API Server

   

• Mỗi instance sẽ có 1 địa chỉ IP qua API Server truyền đạt thông tin đến các thành phần khác trong cluster

• Tạo file cấu hình kube-apiserver.service

  

4. Cấu hình Kubernetes Controller Manager

   • Chuyển file config vào thư mục của nó bằng lệnh sudo mv kube-controller-manager.kubeconfig /var/lib/kubernetes/

   • Tạo file kube-controller-manager.service

     

5. Cấu hình Kubernetes Scheduler

   • Chuyển file kube-scheduler kubeconfig vào thư mucj của nó bằng lệnh sudo mv kube-scheduler.kubeconfig /var/lib/kubernetes/

   • Tạo file cấu hình kube-scheduler.yaml

     

• Tạo file systemd kube-scheduler.service

  

6. Khởi động Controller Service

   

7. Enable HTTP Health Checks

   • Google Network LoadBalancer được sử dụng để phân phối lưu lượng truy cập tới 2 API Server cho phép chúng có thể chấm dứt kết nối TLS và xác thực client certificate. Network Loadbalancer chỉ hỗ trợ kiểm tra tình trạng HTTP, không thể sử dụng điểm cuối HTTPS do API Server hiển thị. Để thay thế, máy chủ nginx được sử dụng để kiểm tra tình trạng HTTP. Trong phàn này, nginx sẽ được cài đặt và cấu hình để chấp nhận kiểm tra tình trang HTTP trên cổng 80 và ủy quyền kết nối với câc API Server trên https://127.0.0.1:6443/healthz

   • Cài đặt web server để kiểm tra tình trạng HTTP bằng lệnh sudo apt-get install -y nginx và thiết lập cấu hình để khởi động nginx

     

8. Verification

   • Kiểm tra thông tin của Control Plane

     

• Kiểm tra tình trạng hoạt động của nginx HTTP proxy

  

9. RBAC for Kubelet Authorization

   • Cấu hình quyền RBAC để cho phép API Server Kubernetes truy cập API Kubelet trên mỗi nút worker. Cần có quyền truy cập vào API Kubelet để truy xuất số liệu, nhật ký và thực thi các lệnh trong pod.
   • Đặt Kubelet --authorization-mode flag thành Webhook. Chế độ webhook sử dụng API SubjectAccessReview để xác định ủy quyền.

   • Tạo system:kube-apiserver-to-kubelet ClusterRole với quyền truy cập API Kubelet và thực hiện hầu hết các tác vụ phổ biến liên quan đến quản lý pod

     

• Kubernetes API Server xác thực Kubelet với tư cách là người dùng kubernetes bằng client certificate như được xác định bởi --kubelet-client-certificate flag.

• Liên kết system:kube-apiserver-to-kubeletClusterRole với k8s user

  

10. The Kubernetes Frontend Load Balancer

    • Tạo 1 bộ cân bằng tải bên ngoài cho API Server. Địa chỉ IP tĩnh của kubernetes-the-hard-way sẽ được gắn vào bộ cân bằng tải

    • Cung cấp Network LoadBalancer, tạo tài nguyên cân bằng tải bên ngoài

      

11. Verification

    • Truy xuất địa chỉ kubernetes-the-hard-way

      

• Tạo 1 HTTP request lấy thông tin phiên bản k8s

  

[bmson7112]

Chapter 9: Bootstrapping the Kubernetes Worker Nodes

• Khởi động các node worker và cài đặt runc, container, networking plugin, containerd, kebelet và kubeproxy vào mỗi node

• SSH vào lần lượt các worker node

  

1. Provisioning a Kubernetes Worker Node

   • Cài dặt các phụ thuộc hệ điều hành bằng lệnh { sudo apt-get update sudo apt-get -y install socat conntrack ipset } Lệnh nhị phân socat sẽ hỗ trợ kubectl port-forward

2. Disable Swap

   • Theo mặc định, kubelet sẽ ko hoạt đông nếu tính năng swap đang hoạt động. Vì vậy nên tắt Swap để đảm bảo Kubernetes có thể hoạt đông 1 cách bình thường

   • KIểm tra Swap có đang được kích hoạt hay không bằng lệnh sudo swapon --show

     

   Trong trường hợp này đầu ra trống, có nghĩa là Swap không được kích hoạt

3. Download and Install Worker Binaries

   

• Tạo các thư mục cài đặt cấu hình

  

• Cài đặt các tệp nhị phân worker

  

4. Configure CNI Networking

   • TRuy suất phạm vị CIRD chọ phiên bản instance hiện tại

     

• Tạo file cấu hình brige network

  

• Tạo file cấu hình loopback network

  

5. Configure containerd

   • Tạo file cấu hình containerd bằng lệnh sudo mkdir -p /etc/containerd/

     

• Tạo file containerd.service

  

6. Configure the Kubelet

   

• Tạo file cấu hình kubelet-config.yaml

  

Cấu hình resolvConfđược sử dụng để tránh vòng lặp khi sử dụng CoreDNS để khám phá dịch vụ trên các hệ thống chạy systemd-resolved.

• Tạo file cấu hình hệ thống kubelet.service

  

7. Configure the Kubernetes Proxy

   • Tạo file cấu hình kube-proxy-config.yaml

     

• Tạo file caáu hình hệ thống kube-proxy.service

  

8. Start the Worker Services

   

9. Verification

• Thực hiện việc xác nhận các worker node làm việc bằng cachs truy cập từ máy chủ tạo các instance

• Liệt kê các node k8s đã đăng ký

  

Ở đây ta có thẻ thấy các node controller đều tham gia quản lý cả 2 worker node trong cụm

[bmson7112]

Thứ tự chính trong tạo cụm kubernetes the hard way

• Tạo các máy ảo, ở đây là 2 máy worker, 2 máy controller,

• Tạo các file cấu hình ủy quyền để người dùng( ở đây là máy của em) có thể truy cập vào được trong cụm ( kubernetes client) bằng cachs sử dụng command “kubectl”

• Tạo các file cấu hình API Server, etcd, controller management, scheduler ,kube proxy, kubelet ủy quyền cho phía client, user admin

• Mỗi node thì sẽ cung cấp 1 địa chỉ IP cho API Server để gán cho bộ cân bằng tải bên ngoài cụm để

• Khởi đông các node worker bằng việc tạo các file cấu hình kubelet. kubeproxy của chúng, rồi cài đặt vào node 1 dải mạng nội bộ CIRD

• Còn đối với các node controller thì sẽ là các file cấu hình kube controller manage và kube schedule

• Khởi động cụm etcd

• Khởi động kubernetes control plane, tạo 1 bộ cân bằng tải bên ngoài để hiển thị các thông tin của API Server cho phía client. Ngoài ra còn phải cấu hình RBAC để API Server như các node controller có thể giao tiếp được với kuberlet của các node worker

• Tạo tệp kubeconfig để người dùng có thể sử dụng kubectl từ phía mình

• ĐỊnh tuyến kết nối mạng giữa các pod trong cụm