運行時插件 CRI
Last updated
Last updated
容器運行時插件(Container Runtime Interface,簡稱 CRI)是 Kubernetes v1.5 引入的容器運行時接口,它將 Kubelet 與容器運行時解耦,將原來完全面向 Pod 級別的內部接口拆分成面向 Sandbox 和 Container 的 gRPC 接口,並將鏡像管理和容器管理分離到不同的服務。
CRI 最早從從 1.4 版就開始設計討論和開發,在 v1.5 中發佈第一個測試版。在 v1.6 時已經有了很多外部容器運行時,如 frakti 和 cri-o 等。v1.7 中又新增了 cri-containerd 支持用 Containerd 來管理容器。
採用 CRI 後,Kubelet 的架構如下圖所示:
CRI 基於 gRPC 定義了 RuntimeService 和 ImageService 等兩個 gRPC 服務,分別用於容器運行時和鏡像的管理。其定義在
v1.10-v1.13: pkg/kubelet/apis/cri/runtime/v1alpha2
v1.7-v1.9: pkg/kubelet/apis/cri/v1alpha1/runtime
Kubelet 作爲 CRI 的客戶端,而容器運行時則需要實現 CRI 的服務端(即 gRPC server,通常稱爲 CRI shim)。容器運行時在啓動 gRPC server 時需要監聽在本地的 Unix Socket (Windows 使用 tcp 格式)。
開發新的容器運行時只需要實現 CRI 的 gRPC Server,包括 RuntimeService 和 ImageService。該 gRPC Server 需要監聽在本地的 unix socket(Linux 支持 unix socket 格式,Windows 支持 tcp 格式)。
一個簡單的示例爲
對於 Streaming API(Exec、PortForward 和 Attach),CRI 要求容器運行時返回一個 streaming server 的 URL 以便 Kubelet 重定向 API Server 發送過來的請求。在 v1.10 及更早版本中,容器運行時必需返回一個 API Server 可直接訪問的 URL(通常跟 Kubelet 使用相同的監聽地址);而從 v1.11 開始,Kubelet 新增了 --redirect-container-streaming
(默認爲 false),默認不再轉發而是代理 Streaming 請求,這樣運行時可以返回一個 localhost 的 URL(當然也不再需要配置 TLS)。
詳細的實現方法可以參考 dockershim 或者 cri-o。
在啓動 kubelet 時傳入容器運行時監聽的 Unix Socket 文件路徑,比如
CRI 容器運行時
維護者
主要特性
容器引擎
Dockershim
Kubernetes
內置實現、特性最新
docker
cri-o
Kubernetes
OCI標準不需要Docker
OCI(runc、kata、gVisor…)
cri-containerd
Containerd
基於 containerd 不需要Docker
OCI(runc、kata、gVisor…)
Frakti
Kubernetes
虛擬化容器
hyperd、docker
rktlet
Kubernetes
支持rkt
rkt
PouchContainer
Alibaba
富容器
OCI(runc、kata…)
Virtlet
Mirantis
虛擬機和QCOW2鏡像
Libvirt(KVM)
目前基於 CRI 容器引擎已經比較豐富了,包括
Docker: 核心代碼依然保留在 kubelet 內部(pkg/kubelet/dockershim),是最穩定和特性支持最好的運行時
OCI 容器運行時:
社區有兩個實現
Containerd,支持 kubernetes v1.7+
CRI-O,支持 Kubernetes v1.6+
支持的 OCI 容器引擎包括
runc:OCI 標準容器引擎
gVisor:谷歌開源的基於用戶空間內核的沙箱容器引擎
Clear Containers:Intel 開源的基於虛擬化的容器引擎
Kata Containers:基於虛擬化的容器引擎,由 Clear Containers 和 runV 合併而來
PouchContainer:阿里巴巴開源的胖容器引擎
Frakti:支持 Kubernetes v1.6+,提供基於 hypervisor 和 docker 的混合運行時,適用於運行非可信應用,如多租戶和 NFV 等場景
Virtlet:Mirantis 開源的虛擬機容器引擎,直接管理 libvirt 虛擬機,鏡像須是 qcow2 格式
Infranetes:直接管理 IaaS 平臺虛擬機,如 GCE、AWS 等
以 Containerd 爲例,在 1.0 及以前版本將 dockershim 和 docker daemon 替換爲 cri-containerd + containerd,而在 1.1 版本直接將 cri-containerd 內置在 Containerd 中,簡化爲一個 CRI 插件。
Containerd 內置的 CRI 插件實現了 Kubelet CRI 接口中的 Image Service 和 Runtime Service,通過內部接口管理容器和鏡像,並通過 CNI 插件給 Pod 配置網絡。
RuntimeClass 是 v1.12 引入的新 API 對象,用來支持多容器運行時,比如
Kata Containers/gVisor + runc
Windows Process isolation + Hyper-V isolation containers
RuntimeClass 表示一個運行時對象,在使用前需要開啓特性開關 RuntimeClass
,並創建 RuntimeClass CRD:
然後就可以定義 RuntimeClass 對象
而在 Pod 中定義使用哪個 RuntimeClass: