heidsoft commented 6 years ago

istio

部署入门链接

安装配置 Bookinfo 应用 Ingress Gateway Gateway Virtual Service 设置 Sidecar

https://skyao.io/learning-istio/installation/minikube.html https://readailib.com/2019/02/22/kubernetes/istio-minikube/ https://emacoo.cn/devops/istio-tutorial/ https://medium.com/faun/istio-step-by-step-part-10-installing-istio-1-4-in-minikube-ebce9a4e99c https://www.jianshu.com/p/314500cce146

minikube 使用

minikube

minikube addons list
➜  istio-1.7.1 minikube addons list
|-----------------------------|----------|--------------|
|         ADDON NAME          | PROFILE  |    STATUS    |
|-----------------------------|----------|--------------|
| dashboard                   | minikube | enabled ✅   |
| default-storageclass        | minikube | enabled ✅   |
| efk                         | minikube | disabled     |
| freshpod                    | minikube | disabled     |
| gvisor                      | minikube | disabled     |
| helm-tiller                 | minikube | disabled     |
| ingress                     | minikube | disabled     |
| ingress-dns                 | minikube | disabled     |
| istio                       | minikube | disabled     |
| istio-provisioner           | minikube | disabled     |
| logviewer                   | minikube | disabled     |
| metrics-server              | minikube | enabled ✅   |
| nvidia-driver-installer     | minikube | disabled     |
| nvidia-gpu-device-plugin    | minikube | disabled     |
| registry                    | minikube | disabled     |
| registry-aliases            | minikube | disabled     |
| registry-creds              | minikube | disabled     |
| storage-provisioner         | minikube | enabled ✅   |
| storage-provisioner-gluster | minikube | disabled     |
|-----------------------------|----------|--------------|
➜  istio-1.7.1

测试部署的服务是否可用

➜  istio-1.7.1 kubectl get pods
NAME                              READY   STATUS    RESTARTS   AGE
details-v1-558b8b4b76-bgw67       2/2     Running   0          123m
httpbin-66cdbdb6c5-tqvlf          2/2     Running   0          13m
productpage-v1-6987489c74-rfj8k   2/2     Running   0          123m
ratings-v1-7dc98c7588-62ljw       2/2     Running   0          123m
reviews-v1-7f99cc4496-pqkc7       2/2     Running   0          123m
reviews-v2-7d79d5bd5d-wfqsl       2/2     Running   0          123m
reviews-v3-7dbcdcbc56-jnzjj       2/2     Running   0          123m
➜  istio-1.7.1 kubectl get pods
➜  istio-1.7.1 curl -s http://$\{GATEWAY_URL\}/productpage | grep -o "<title>.*</title>"
➜  istio-1.7.1 kubectl exec -it $(kubectl get pod -l app=ratings -o jsonpath='{.items[0].metadata.name}') -c ratings -- curl productpage:9080/productpage | grep -o "<title>.*</title>"

<title>Simple Bookstore App</title>

httpbin-gateway 访问演示

获取端口

istio-1.7.1 export INGRESS_PORT=$(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.spec.ports[?(@.name=="http2")].nodePort}')
➜  istio-1.7.1 export SECURE_INGRESS_PORT=$(kubectl -n istio-system get service istio-ingressgateway -o jsonpath='{.spec.ports[?(@.name=="https")].nodePort}')

创建网关与虚拟服务

➜  istio-1.7.1 kubectl apply -f - <<EOF
apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: httpbin-gateway
spec:
  selector:
    istio: ingressgateway # use Istio default gateway implementation
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
    - "httpbin.example.com"
EOF

gateway.networking.istio.io/httpbin-gateway created
➜  istio-1.7.1 kubectl apply -f - <<EOF
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: httpbin
spec:
  hosts:
  - "httpbin.example.com"
  gateways:
  - httpbin-gateway
  http:
  - match:
    - uri:
        prefix: /status
    - uri:
        prefix: /delay
    route:
    - destination:
        port:
          number: 8000
        host: httpbin
EOF

virtualservice.networking.istio.io/httpbin created
➜  istio-1.7.1 curl -I -HHost:httpbin.example.com http://$INGRESS_HOST:$INGRESS_PORT
➜  istio-1.7.1 kubectl get VirtualService
NAME       GATEWAYS             HOSTS                   AGE
bookinfo   [bookinfo-gateway]   [*]                     30m
httpbin    [httpbin-gateway]    [httpbin.example.com]   21s
➜  istio-1.7.1 kubectl get Gateway
NAME               AGE
bookinfo-gateway   30m
httpbin-gateway    42s
➜  istio-1.7.1 curl -I -HHost:httpbin.example.com http://$INGRESS_HOST:$INGRESS_PORT/status/200
HTTP/1.1 200 OK
server: istio-envoy
date: Tue, 15 Sep 2020 15:38:36 GMT
content-type: text/html; charset=utf-8
access-control-allow-origin: *
access-control-allow-credentials: true
content-length: 0
x-envoy-upstream-service-time: 23

➜  istio-1.7.1 kubectl apply -f - <<EOF
apiVersion: networking.istio.io/v1alpha3
kind: Gateway
metadata:
  name: httpbin-gateway
spec:
  selector:
    istio: ingressgateway # use Istio default gateway implementation
  servers:
  - port:
      number: 80
      name: http
      protocol: HTTP
    hosts:
    - "*"
---
apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: httpbin
spec:
  hosts:
  - "*"
  gateways:
  - httpbin-gateway
  http:
  - match:
    - uri:
        prefix: /headers
    route:
    - destination:
        port:
          number: 8000
        host: httpbin
EOF

gateway.networking.istio.io/httpbin-gateway configured
virtualservice.networking.istio.io/httpbin configured
➜  istio-1.7.1 echo http://$INGRESS_HOST:$INGRESS_PORT/headers
http://172.16.154.129:32540/headers
➜  istio-1.7.1

heidsoft commented 6 years ago

https://blog.qikqiak.com/post/kubernetes-resource-quota-usage/

heidsoft commented 6 years ago

https://jimmysong.io/kubernetes-handbook/practice/storage.html

heidsoft commented 6 years ago

http://docs.kubernetes.org.cn/728.html#CPU-2

heidsoft commented 6 years ago

https://jimmysong.io/kubernetes-handbook/guide/configure-liveness-readiness-probes.html

heidsoft commented 6 years ago

https://k8smeetup.github.io/docs/tasks/administer-cluster/cpu-memory-limit/

设置 Pod CPU 和内存限制默认情况下，Pod 运行没有 CPU 和内存的限额。这意味着系统中的任何 Pod 将能够像执行该 Pod 所在的节点一样，消耗足够多的 CPU 和内存。

这个例子演示了如何限制 Kubernetes Namespace，以此来控制每个 Pod 的最小/最大资源限额。另外，这个例子演示了当终端用户没有为 Pod 设置资源限额时，如何使用默认的资源限额。

Before you begin 创建 Namespace 对 Namespace 应用限额创建时强制设置限额清理设置资限额制的动机总结 What’s next Before you begin You need to have a Kubernetes cluster, and the kubectl command-line tool must be configured to communicate with your cluster. If you do not already have a cluster, you can create one by using Minikube, or you can use one of these Kubernetes playgrounds:

Katacoda Play with Kubernetes To check the version, enter kubectl version.

创建 Namespace 这个例子将能在一个自定义的 Namespace 中工作，演示了相关的概念。

让我们创建一个名称为 limit-example 的 Namespace：

$ kubectl create namespace limit-example namespace "limit-example" created 注意到 kubectl 命令将打印出创建或修改的资源类型和名称，然后会在后续的命令中使用到：

$ kubectl get namespaces NAME STATUS AGE default Active 51s limit-example Active 45s 对 Namespace 应用限额在我们的 Namespace 中创建一个简单的限额：

$ kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/limits.yaml --namespace=limit-example limitrange "mylimits" created 让我们描述一下在该 Namespace 中被强加的限额：

$ kubectl describe limits mylimits --namespace=limit-example Name: mylimits Namespace: limit-example Type Resource Min Max Default Request Default Limit Max Limit/Request Ratio

Pod cpu 200m 2 - - - Pod memory 6Mi 1Gi - - - Container cpu 100m 2 200m 300m - Container memory 3Mi 1Gi 100Mi 200Mi - 在这种场景下，指定了如下限制：

如果一个资源被指定了最大约束（在该例子中为 2 CPU 和 1Gi 内存），然后跨所有容器的该资源，限额必须被指定。当尝试创建该 Pod 时，指定限额失败将导致一个验证错误。注意，一个默认的限额通过在 limits.yaml 文件中的 default 来设置（300m CPU 和 200Mi 内存）。如果一个资源被指定了最小约束（在该例子中为 100m CPU 和 3Mi 内存），然后跨所有容器的该资源，请求必须被指定。当尝试创建该 Pod 时，指定的请求失败将导致一个验证错误。注意，一个默认的请求的值通过在 limits.yaml 文件中的 defaultRequest 来设置（200m CPU 和 100Mi 内存）。对任意 Pod，所有容器内存 requests 值之和必须 >= 6Mi，所有容器内存 limits 值之和必须 <= 1Gi；所有容器 CPU requests 值之和必须 >= 200m，所有容器 CPU limits 值之和必须 <= 2。创建时强制设置限额当集群中的 Pod 创建和更新时，在一个 Namespace 中列出的限额是强制设置的。如果将该限额修改成一个不同的值范围，它不会影响先前在该 Namespace 中创建的 Pod。

如果资源（CPU 或内存）被设置限额，用户将在创建时得到一个错误，并指出了错误的原因。

首先让我们启动一个创建单容器 Pod 的 Deployment，来演示默认值是如何被应用到每个 Pod 上的：

$ kubectl run nginx --image=nginx --replicas=1 --namespace=limit-example deployment "nginx" created 注意到在 >= v1.2 的 Kubernetes 集群中，kubectl run 创建了名称为 “nginx” 的 Deployment。如果在老版本的集群上运行，相反它会创建 ReplicationController。如果想要获取老版本的行为，使用 --generator=run/v1 选项来创建 ReplicationController。查看 kubectl run 获取更多详细信息。 Deployment 管理单容器 Pod 的 1 个副本。让我们看一下它是如何管理 Pod 的。首先，查找到 Pod 的名称：

$ kubectl get pods --namespace=limit-example NAME READY STATUS RESTARTS AGE nginx-2040093540-s8vzu 1/1 Running 0 11s 以 yaml 输出格式来打印这个 Pod，然后grep 其中的 resources 字段。注意，您自己的 Pod 的名称将不同于上面输出的：

$ kubectl get pods nginx-2040093540-s8vzu --namespace=limit-example -o yaml | grep resources -C 8 resourceVersion: "57" selfLink: /api/v1/namespaces/limit-example/pods/nginx-2040093540-ivimu uid: 67b20741-f53b-11e5-b066-64510658e388 spec: containers:

image: nginx imagePullPolicy: Always name: nginx resources: limits: cpu: 300m memory: 200Mi requests: cpu: 200m memory: 100Mi terminationMessagePath: /dev/termination-log volumeMounts: 注意我们的 Nginx 容器已经使用了 Namespace 的默认 CPU 和内存资源的 limits 和 requests。

让我们创建一个超过被允许限额的 Pod，通过使它具有一个请求 3 CPU 核心的容器：

$ kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/invalid-pod.yaml --namespace=limit-example Error from server: error when creating "http://k8s.io/docs/tasks/configure-pod-container/invalid-pod.yaml": Pod "invalid-pod" is forbidden: [Maximum cpu usage per Pod is 2, but limit is 3., Maximum cpu usage per Container is 2, but limit is 3.] 让我们创建一个 Pod，使它在允许的最大限额范围之内：

$ kubectl create -f https://k8s.io/docs/tasks/configure-pod-container/valid-pod.yaml --namespace=limit-example pod "valid-pod" created 现在查看该 Pod 的 resources 字段：

$ kubectl get pods valid-pod --namespace=limit-example -o yaml | grep -C 6 resources uid: 3b1bfd7a-f53c-11e5-b066-64510658e388 spec: containers:

image: gcr.io/google_containers/serve_hostname imagePullPolicy: Always name: kubernetes-serve-hostname resources: limits: cpu: "1" memory: 512Mi requests: cpu: "1" memory: 512Mi 注意到这个 Pod 显式地指定了资源 limits 和 requests，所以它不会使用该 Namespace 的默认值。

注意：在物理节点上默认安装的 Kubernetes 集群中，CPU 资源的 limits 是被强制使用的，该 Kubernetes 集群运行容器，除非管理员在部署 kubelet 时使用了如下标志：

$ kubelet --help Usage of kubelet .... --cpu-cfs-quota[=true]: Enable CPU CFS quota enforcement for containers that specify CPU limits $ kubelet --cpu-cfs-quota=false ... 清理基于使用的该示例来清理资源，可以通过如下命令删除名称为 limit-example 的 Namespace：

$ kubectl delete namespace limit-example namespace "limit-example" deleted $ kubectl get namespaces NAME STATUS AGE default Active 12m 设置资限额制的动机可能由于对资源使用的各种原因，用户希望对单个 Pod 的资源总量进行强制限制。

例如：

集群中每个节点有 2GB 内存。集群操作员不想接受内存需求大于 2GB 的 Pod，因为集群中没有节点能支持这个要求。为了避免 Pod 永远无法被调度到集群中的节点上，操作员会选择去拒绝超过 2GB 内存作为许可控制的 Pod。一个集群被一个组织内部的 2 个团体共享，分别作为生产和开发工作负载来运行。生产工作负载可能消耗多达 8GB 内存，而开发工作负载可能消耗 512MB 内存。集群操作员为每个工作负载创建了一个单独的 Namespace，为每个 Namespace 设置了限额。用户会可能创建一个资源消耗低于机器容量的 Pod。剩余的空间可能太小但很有用，然而对于整个集群来说浪费的代价是足够大的。结果集群操作员会希望设置限额：为了统一调度和限制浪费，Pod 必须至少消耗它们平均节点大小 20% 的内存和 CPU。总结想要限制单个容器或 Pod 消耗资源总量的集群操作员，能够为每个 Kubernetes Namespace 定义可允许的范围。在没有任何明确指派的情况下，Kubernetes 系统能够使用默认的资源 limits 和 requests，如果需要的话，限制一个节点上的 Pod 的资源总量。

What’s next 查看 LimitRange 设计文档获取更多信息。查看资源获取关于 Kubernetes 资源模型的详细描述。

heidsoft commented 6 years ago

journalctl --since 15:00:00 -u kubelet

heidsoft commented 6 years ago

查看job kubectl get jobs --watch -n my-cn

通过job查看pods kubectl get pods -n mw-protege-cn --selector=job-name=wallet-cn-curl-cn-1529630400 --output=jsonpath={.items..metadata.name}

查看pods 执行结果 kubectl logs -f wallet-cn-curl-cn-1529484000-w5rdv -n my-cn