NetworkPolicy
隨着微服務的流行,越來越多的雲服務平臺需要大量模塊之間的網絡調用。Kubernetes 在 1.3 引入了 Network Policy,Network Policy 提供了基於策略的網絡控制,用於隔離應用並減少攻擊面。它使用標籤選擇器模擬傳統的分段網絡,並通過策略控制它們之間的流量以及來自外部的流量。
在使用 Network Policy 時,需要注意
v1.6 以及以前的版本需要在 kube-apiserver 中開啓
extensions/v1beta1/networkpolicies
v1.7 版本 Network Policy 已經 GA,API 版本爲
networking.k8s.io/v1
v1.8 版本新增 Egress 和 IPBlock 的支持
v1.21版本新增 endPort 的支持用於設置端口範圍(需要配置
--feature-gates=NetworkPolicyEndPort=true
)網絡插件要支持 Network Policy,如 Calico、Romana、Weave Net 和 trireme 等,參考 這裏
API 版本對照表
v1.5-v1.6
extensions/v1beta1
v1.7+
networking.k8s.io/v1
網絡策略
Namespace 隔離
默認情況下,所有 Pod 之間是全通的。每個 Namespace 可以配置獨立的網絡策略,來隔離 Pod 之間的流量。
v1.7 + 版本通過創建匹配所有 Pod 的 Network Policy 來作爲默認的網絡策略,比如默認拒絕所有 Pod 之間 Ingress 通信
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
spec:
podSelector: {}
policyTypes:
- Ingress
默認拒絕所有 Pod 之間 Egress 通信的策略爲
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
spec:
podSelector: {}
policyTypes:
- Egress
甚至是默認拒絕所有 Pod 之間 Ingress 和 Egress 通信的策略爲
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
spec:
podSelector: {}
policyTypes:
- Ingress
- Egress
而默認允許所有 Pod 之間 Ingress 通信的策略爲
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-all
spec:
podSelector: {}
ingress:
- {}
默認允許所有 Pod 之間 Egress 通信的策略爲
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: allow-all
spec:
podSelector: {}
egress:
- {}
而 v1.6 版本則通過 Annotation 來隔離 namespace 的所有 Pod 之間的流量,包括從外部到該 namespace 中所有 Pod 的流量以及 namespace 內部 Pod 相互之間的流量:
kubectl annotate ns <namespace> "net.beta.kubernetes.io/network-policy={\"ingress\": {\"isolation\": \"DefaultDeny\"}}"
Pod 隔離
通過使用標籤選擇器(包括 namespaceSelector 和 podSelector)來控制 Pod 之間的流量。比如下面的 Network Policy
允許 default namespace 中帶有
role=frontend
標籤的 Pod 訪問 default namespace 中帶有role=db
標籤 Pod 的 6379 端口允許帶有
project=myprojects
標籤的 namespace 中所有 Pod 訪問 default namespace 中帶有role=db
標籤 Pod 的 6379 端口
# v1.6 以及更老的版本應該使用 extensions/v1beta1
# apiVersion: extensions/v1beta1
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: test-network-policy
namespace: default
spec:
podSelector:
matchLabels:
role: db
ingress:
- from:
- namespaceSelector:
matchLabels:
project: myproject
- podSelector:
matchLabels:
role: frontend
ports:
- protocol: tcp
port: 6379
另外一個同時開啓 Ingress 和 Egress 通信的策略爲
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: test-network-policy
namespace: default
spec:
podSelector:
matchLabels:
role: db
policyTypes:
- Ingress
- Egress
ingress:
- from:
- ipBlock:
cidr: 172.17.0.0/16
except:
- 172.17.1.0/24
- namespaceSelector:
matchLabels:
project: myproject
- podSelector:
matchLabels:
role: frontend
ports:
- protocol: TCP
port: 6379
egress:
- to:
- ipBlock:
cidr: 10.0.0.0/24
ports:
- protocol: TCP
port: 5978
它用來隔離 default namespace 中帶有 role=db
標籤的 Pod:
允許 default namespace 中帶有
role=frontend
標籤的 Pod 訪問 default namespace 中帶有role=db
標籤 Pod 的 6379 端口允許帶有
project=myprojects
標籤的 namespace 中所有 Pod 訪問 default namespace 中帶有role=db
標籤 Pod 的 6379 端口允許 default namespace 中帶有
role=db
標籤的 Pod 訪問10.0.0.0/24
網段的 TCP 5987 端口
簡單示例
以 calico 爲例看一下 Network Policy 的具體用法。
首先配置 kubelet 使用 CNI 網絡插件
kubelet --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin ...
安裝 calio 網絡插件
# 注意修改 CIDR,需要跟 k8s pod-network-cidr 一致,默認爲 192.168.0.0/16
kubectl apply -f https://docs.projectcalico.org/v3.0/getting-started/kubernetes/installation/hosted/kubeadm/1.7/calico.yaml
首先部署一個 nginx 服務
$ kubectl run nginx --image=nginx --replicas=2
deployment "nginx" created
$ kubectl expose deployment nginx --port=80
service "nginx" exposed
此時,通過其他 Pod 是可以訪問 nginx 服務的
$ kubectl get svc,pod
NAME CLUSTER-IP EXTERNAL-IP PORT(S) AGE
svc/kubernetes 10.100.0.1 <none> 443/TCP 46m
svc/nginx 10.100.0.16 <none> 80/TCP 33s
NAME READY STATUS RESTARTS AGE
po/nginx-701339712-e0qfq 1/1 Running 0 35s
po/nginx-701339712-o00ef 1/1 Running 0
$ kubectl run busybox --rm -ti --image=busybox /bin/sh
Waiting for pod default/busybox-472357175-y0m47 to be running, status is Pending, pod ready: false
Hit enter for command prompt
/ # wget --spider --timeout=1 nginx
Connecting to nginx (10.100.0.16:80)
/ #
開啓 default namespace 的 DefaultDeny Network Policy 後,其他 Pod(包括 namespace 外部)不能訪問 nginx 了:
$ cat default-deny.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
spec:
podSelector: {}
policyTypes:
- Ingress
$ kubectl create -f default-deny.yaml
$ kubectl run busybox --rm -ti --image=busybox /bin/sh
Waiting for pod default/busybox-472357175-y0m47 to be running, status is Pending, pod ready: false
Hit enter for command prompt
/ # wget --spider --timeout=1 nginx
Connecting to nginx (10.100.0.16:80)
wget: download timed out
/ #
最後再創建一個運行帶有 access=true
的 Pod 訪問的網絡策略
$ cat nginx-policy.yaml
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: access-nginx
spec:
podSelector:
matchLabels:
run: nginx
ingress:
- from:
- podSelector:
matchLabels:
access: "true"
$ kubectl create -f nginx-policy.yaml
networkpolicy "access-nginx" created
# 不帶 access=true 標籤的 Pod 還是無法訪問 nginx 服務
$ kubectl run busybox --rm -ti --image=busybox /bin/sh
Waiting for pod default/busybox-472357175-y0m47 to be running, status is Pending, pod ready: false
Hit enter for command prompt
/ # wget --spider --timeout=1 nginx
Connecting to nginx (10.100.0.16:80)
wget: download timed out
/ #
# 而帶有 access=true 標籤的 Pod 可以訪問 nginx 服務
$ kubectl run busybox --rm -ti --labels="access=true" --image=busybox /bin/sh
Waiting for pod default/busybox-472357175-y0m47 to be running, status is Pending, pod ready: false
Hit enter for command prompt
/ # wget --spider --timeout=1 nginx
Connecting to nginx (10.100.0.16:80)
/ #
最後開啓 nginx 服務的外部訪問:
$ cat nginx-external-policy.yaml
apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: front-end-access
namespace: sock-shop
spec:
podSelector:
matchLabels:
run: nginx
ingress:
- ports:
- protocol: TCP
port: 80
$ kubectl create -f nginx-external-policy.yaml
使用場景
禁止訪問指定服務
kubectl run web --image=nginx --labels app=web,env=prod --expose --port 80

網絡策略
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: web-deny-all
spec:
podSelector:
matchLabels:
app: web
env: prod
只允許指定 Pod 訪問服務
kubectl run apiserver --image=nginx --labels app=bookstore,role=api --expose --port 80

網絡策略
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: api-allow
spec:
podSelector:
matchLabels:
app: bookstore
role: api
ingress:
- from:
- podSelector:
matchLabels:
app: bookstore
禁止 namespace 中所有 Pod 之間的相互訪問

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
name: default-deny
namespace: default
spec:
podSelector: {}
禁止其他 namespace 訪問服務
kubectl create namespace secondary
kubectl run web --namespace secondary --image=nginx \
--labels=app=web --expose --port 80

網絡策略
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
namespace: secondary
name: web-deny-other-namespaces
spec:
podSelector:
matchLabels:
ingress:
- from:
- podSelector: {}
只允許指定 namespace 訪問服務
kubectl run web --image=nginx \
--labels=app=web --expose --port 80

網絡策略
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: web-allow-prod
spec:
podSelector:
matchLabels:
app: web
ingress:
- from:
- namespaceSelector:
matchLabels:
purpose: production
允許外網訪問服務
kubectl run web --image=nginx --labels=app=web --port 80
kubectl expose deployment/web --type=LoadBalancer

網絡策略
kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
name: web-allow-external
spec:
podSelector:
matchLabels:
app: web
ingress:
- ports:
- port: 80
from: []
不支持場景
強制集群內部流量經過某公用網關(這種場景最好通過服務網格或其他代理來實現);
與 TLS 相關的場景(考慮使用服務網格或者 Ingress 控制器);
特定於節點的策略(你可以使用 CIDR 來表達這一需求不過你無法使用節點在 Kubernetes 中的其他標識信息來辯識目標節點);
基於名字來選擇服務(不過,你可以使用 標籤 來選擇目標 Pod 或名字空間,這也通常是一種可靠的替代方案);
創建或管理由第三方來實際完成的“策略請求”;
實現適用於所有名字空間或 Pods 的默認策略(某些第三方 Kubernetes 發行版本 或項目可以做到這點);
高級的策略查詢或者可達性相關工具;
生成網絡安全事件日誌的能力(例如,被阻塞或接收的連接請求);
顯式地拒絕策略的能力(目前,NetworkPolicy 的模型默認採用拒絕操作, 其唯一的能力是添加允許策略);
禁止本地迴路或指向宿主的網絡流量(Pod 目前無法阻塞 localhost 訪問, 它們也無法禁止來自所在節點的訪問請求)。
參考文檔
Last updated