hostnic-cni

中文 | English

hostnic-cni 是一个 Container Network Interface 插件。本插件会直接调用 IaaS 的接口去创建网卡，并将容器的内部的接口连接到网卡上，不同Node上的Pod能够借助IaaS的SDN进行通讯。此插件的优点有：

更强大： Pod通讯借助于IaaS平台SDN能力，相比于传统的CNI，能够处理更多流量，更大的吞吐量以及更低的延迟。
更灵活：大部分插件的PodIP对外不可访问，对于一些需要PodIP的服务比如Spring Cloud原生的插件无法使用。Hostnic中Pod可直接被外部访问，能够作为企业的容器服务平台的基础设施。同时PodIP也可以静态配置，方便企业管控。
更快速：Pod在跨二层Node中也能有和二层通讯的访问速度，跨网段跨Region的集群内部Pod之间的访问速度更快
更安全：Hostnic也支持网络策略，提供本地的网络策略，同时用户也可以利用IaaS平台的VPC功能做更多的控制。可以利用IaaS平台的网卡监控对网络流量进行监控和限制
更稳定：集成IaaS平台的LoadBalancer，相比于原生的nodeport的方式更稳定，也不需要用到大端口。

插件原理

使用说明

hostnic需要有在云平台上操作网络的权限，所以首先需要增加 IaaS 的 sdk 配置文件，并将其存储中kube-system中的qcsecret中。
```
cat >config.yaml <<EOF
qy_access_key_id: "Your access key id"
qy_secret_access_key: "Your secret access key"
# your instance zone
zone: "pek3a"
EOF

## 创建Secret
kubectl create secret generic qcsecret --from-file=./config.yaml -n kube-system
```
access_key 以及 secret_access_key 可以登录青云控制台，在 API 秘钥菜单下申请。请参考https://docs.qingcloud.com/product/api/common/overview.html。默认是配置文件指向青云公网api server，如果是私有云，请按照下方示例配置更多的参数：
```
qy_access_key_id: 'ACCESS_KEY_ID'
qy_secret_access_key: 'SECRET_ACCESS_KEY'

host: 'api.xxxxx.com'
port: 443
protocol: 'https'
uri: '/iaas'
connection_retries: 3
```

创建hostnic配置对应的yaml文件

cat >hostnic-cm.yaml <<EOF
apiVersion: v1
data:
  hostnic: |
    {
      "pool":{
        "maxNic":60
      },
      "server":{
        "networkPolicy": "calico"
      }
    }
  hostnic-cni: |
    {
      "cniVersion": "0.3.0",
      "name": "hostnic",
      "type": "hostnic",
      "serviceCIDR" : "10.233.0.0/18",
      "hairpin": false,
      "natMark": "0x10000"
    }
kind: ConfigMap
metadata:
  name: hostnic-cfg-cm
  namespace: kube-system
EOF

## 创建configmap给hostnic-node使用
kubectl apply -f hostnic-cm.yaml

cat >clusterconfig-cm.yaml <<EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: clusterconfig
  namespace: kube-system
data:
  qingcloud.yaml: |
    zone: pek3a
    clusterID: cl-ns8bix0q
    userID: usr-hRAmdSn6
    securityGroup: sg-mcun6ybb
EOF

## 创建configmap给hostnic-controller使用
## 对于非QKE集群，须要去掉clusterID和securityGroup配置（它们用于QKE安全组对hostnic私有网络的放行）
kubectl apply -f clusterconfig-cm.yaml

安装yaml文件，等待所有节点的hostnic起来即可

kubectl apply -f https://raw.githubusercontent.com/cumirror/hostnic-cni/master/deploy/hostnic.yaml

hostnic会使用 IaaS 的 vxnet 进行 IPAM ，所以需要创建 vxnetpool 资源

cat >vxnetpool.yaml <<EOF
apiVersion: network.qingcloud.com/v1alpha1
kind: VxNetPool
metadata:
  name: v-pool
spec:
  vxnets:
    - name: vxnet-xxxxxxxx
    - name: vxnet-yyyyyyyy
  blockSize: 27
EOF

## 创建vxnetpool
kubectl apply -f vxnetpool.yaml

创建vxnetpool后，通过 IPAM 配置把 namespace 映射到某一个 subnet ，从而控制 namespace 中 pod 的 IP 分配
```
cat >hostnic-ipam-config.yaml <<EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: hostnic-ipam-config
  namespace: kube-system
data:
  subnet-auto-assign: "off"
  ipam: |
    {
      "Default": ["vxnet-xxxxxxxx"],
      "test": ["4100-172-16-3-0-26", "4100-172-16-3-128-26"],
      "abc": ["4100-172-16-3-64-26", "4100-172-16-3-192-26"]
    }
EOF

## 创建 IPAM 配置
kubectl apply -f hostnic-ipam-config.yaml
```
通过 subnet-auto-assign 可以开启或关闭自动映射功能
1. 开启后，hostnic-controller 自动分配 ipam 中 namespace 与 subnet 的映射关系；
2. 关闭后，可以手动指定 ipam 中 namespace 与 subnet 的映射关系；
3. 手动指定时，可以设置 Default，如果没有找到映射关系，则由 Default 中的 vxnet 进行 IPAM 分配。
(可选)启用Network Policy，建议安装 hostnic支持network policy，如果需要，执行下面的命令即可
```
kubectl apply -f https://raw.githubusercontent.com/cumirror/hostnic-cni/master/policy/calico.yaml
```
卸载说明

由于hostnic使用leveldb保存ip地址信息，如果集群重装那么你需要执行rm -fr /var/lib/hostnic/*删除数据库用于清除信息

yunify / hostnic-cni

readme

hostnic-cni

插件原理

使用说明

卸载说明