Kubernetes
  • 序言
  • 基礎入門
    • Kubernetes 簡介
    • Kubernetes 基本概念
    • Kubernetes 101
    • Kubernetes 201
    • Kubernetes 集群
  • 核心原理
    • 核心原理
    • 架構原理
    • 設計理念
    • 核心組件
      • etcd
      • kube-apiserver
      • kube-scheduler
      • kube-controller-manager
      • kubelet
      • kube-proxy
      • kube-dns
      • Federation
      • kubeadm
      • hyperkube
      • kubectl
    • 資源對象
      • Autoscaling
      • ConfigMap
      • CronJob
      • CustomResourceDefinition
      • DaemonSet
      • Deployment
      • Ingress
      • Job
      • LocalVolume
      • Namespace
      • NetworkPolicy
      • Node
      • PersistentVolume
      • Pod
      • PodPreset
      • ReplicaSet
      • Resource Quota
      • Secret
      • SecurityContext
      • Service
      • ServiceAccount
      • StatefulSet
      • Volume
  • 部署配置
    • 部署指南
    • kubectl 安裝
    • 單機部署
    • 特性開關
    • 最佳配置
    • 版本支持
    • 集群部署
      • kubeadm
      • kops
      • Kubespray
      • Azure
      • Windows
      • LinuxKit
      • kubeasz
    • 附加組件
      • Addon-manager
      • DNS
      • Dashboard
      • 監控
      • 日誌
      • Metrics
      • GPU
      • Cluster Autoscaler
      • ip-masq-agent
    • Kubernetes-The-Hard-Way
      • 準備部署環境
      • 安裝必要工具
      • 創建計算資源
      • 配置創建證書
      • 配置生成配置
      • 配置生成密鑰
      • 部署 Etcd 群集
      • 部署控制節點
      • 部署計算節點
      • 配置 Kubectl
      • 配置網絡路由
      • 部署 DNS 擴展
      • 煙霧測試
      • 刪除集群
  • 插件擴展
    • API 擴展
      • Aggregation
      • CustomResourceDefinition
    • 訪問控制
      • 認證
      • RBAC 授權
      • 准入控制
    • Scheduler 擴展
    • 網絡插件
      • CNI
      • Flannel
      • Calico
      • Weave
      • Cilium
      • OVN
      • Contiv
      • SR-IOV
      • Romana
      • OpenContrail
      • Kuryr
    • 運行時插件 CRI
      • CRI-tools
      • Frakti
    • 存儲插件
      • 容器存儲接口 CSI
      • FlexVolume
      • glusterfs
    • 網絡策略
    • Ingress Controller
      • Ingress + Letsencrypt
      • minikube Ingress
      • Traefik Ingress
      • Keepalived-VIP
    • Cloud Provider 擴展
    • Device 插件
  • 服務治理
    • 服務治理
      • 一般準則
      • 滾動升級
      • Helm
      • Operator
      • Service Mesh
      • Linkerd
      • Linkerd2
    • Istio
      • 安裝
      • 流量管理
      • 安全管理
      • 策略管理
      • 度量管理
      • 排錯
      • 社區
    • Devops
      • Draft
      • Jenkins X
      • Spinnaker
      • Kompose
      • Skaffold
      • Argo
      • Flux GitOps
  • 實踐案例
    • 實踐概覽
    • 資源控制
    • 集群高可用
    • 應用高可用
    • 調試
    • 端口映射
    • 端口轉發
    • 用戶管理
    • GPU
    • HugePage
    • 安全
    • 審計
    • 備份恢復
    • 證書輪換
    • 大規模集群
    • 大數據與機器學習
      • Spark
      • Tensorflow
    • Serverless
  • 排錯指南
    • 排錯概覽
    • 集群排錯
    • Pod 排錯
    • 網絡排錯
    • PV 排錯
      • AzureDisk
      • AzureFile
    • Windows 排錯
    • 雲平臺排錯
      • Azure
    • 排錯工具
  • 社區貢獻
    • 開發指南
    • 單元測試和集成測試
    • 社區貢獻
  • 附錄
    • 生態圈
    • 學習資源
    • 國內鏡像
    • 如何貢獻
    • 參考文檔
Powered by GitBook
On this page
  • CRI 接口
  • 開發 CRI 容器運行時
  • Kubelet 配置
  • 容器運行時
  • Containerd
  • RuntimeClass
  • 參考文檔
  1. 插件擴展

運行時插件 CRI

PreviousKuryrNextCRI-tools

Last updated 1 year ago

容器運行時插件(Container Runtime Interface,簡稱 CRI)是 Kubernetes v1.5 引入的容器運行時接口,它將 Kubelet 與容器運行時解耦,將原來完全面向 Pod 級別的內部接口拆分成面向 Sandbox 和 Container 的 gRPC 接口,並將鏡像管理和容器管理分離到不同的服務。

CRI 最早從從 1.4 版就開始設計討論和開發,在 v1.5 中發佈第一個測試版。在 v1.6 時已經有了很多外部容器運行時,如 frakti 和 cri-o 等。v1.7 中又新增了 cri-containerd 支持用 Containerd 來管理容器。

採用 CRI 後,Kubelet 的架構如下圖所示:

CRI 接口

CRI 基於 gRPC 定義了 RuntimeService 和 ImageService 等兩個 gRPC 服務,分別用於容器運行時和鏡像的管理。其定義在

Kubelet 作爲 CRI 的客戶端,而容器運行時則需要實現 CRI 的服務端(即 gRPC server,通常稱爲 CRI shim)。容器運行時在啓動 gRPC server 時需要監聽在本地的 Unix Socket (Windows 使用 tcp 格式)。

開發 CRI 容器運行時

開發新的容器運行時只需要實現 CRI 的 gRPC Server,包括 RuntimeService 和 ImageService。該 gRPC Server 需要監聽在本地的 unix socket(Linux 支持 unix socket 格式,Windows 支持 tcp 格式)。

一個簡單的示例爲

import (
    // Import essential packages
    "google.golang.org/grpc"
    runtime "k8s.io/kubernetes/pkg/kubelet/apis/cri/runtime/v1alpha2"
)

// Serivice implements runtime.ImageService and runtime.RuntimeService.
type Service struct {
    ...
}

func main() {
    service := &Service{}
    s := grpc.NewServer(grpc.MaxRecvMsgSize(maxMsgSize),
        grpc.MaxSendMsgSize(maxMsgSize))
    runtime.RegisterRuntimeServiceServer(s, service)
    runtime.RegisterImageServiceServer(s, service)
    lis, err := net.Listen("unix", "/var/run/runtime.sock")
    if err != nil {
        logrus.Fatalf("Failed to create listener: %v", err)
    }
    go s.Serve(lis)

    // Other codes
}

對於 Streaming API(Exec、PortForward 和 Attach),CRI 要求容器運行時返回一個 streaming server 的 URL 以便 Kubelet 重定向 API Server 發送過來的請求。在 v1.10 及更早版本中,容器運行時必需返回一個 API Server 可直接訪問的 URL(通常跟 Kubelet 使用相同的監聽地址);而從 v1.11 開始,Kubelet 新增了 --redirect-container-streaming(默認爲 false),默認不再轉發而是代理 Streaming 請求,這樣運行時可以返回一個 localhost 的 URL(當然也不再需要配置 TLS)。

Kubelet 配置

在啓動 kubelet 時傳入容器運行時監聽的 Unix Socket 文件路徑,比如

kubelet --container-runtime=remote --container-runtime-endpoint=unix:///var/run/runtime.sock --image-service-endpoint=unix:///var/run/runtime.sock

容器運行時

CRI 容器運行時

維護者

主要特性

容器引擎

Dockershim

Kubernetes

內置實現、特性最新

docker

cri-o

Kubernetes

OCI標準不需要Docker

OCI(runc、kata、gVisor…)

cri-containerd

Containerd

基於 containerd 不需要Docker

OCI(runc、kata、gVisor…)

Frakti

Kubernetes

虛擬化容器

hyperd、docker

rktlet

Kubernetes

支持rkt

rkt

PouchContainer

Alibaba

富容器

OCI(runc、kata…)

Virtlet

Mirantis

虛擬機和QCOW2鏡像

Libvirt(KVM)

目前基於 CRI 容器引擎已經比較豐富了,包括

  • OCI 容器運行時:

    • 社區有兩個實現

    • 支持的 OCI 容器引擎包括

Containerd

以 Containerd 爲例,在 1.0 及以前版本將 dockershim 和 docker daemon 替換爲 cri-containerd + containerd,而在 1.1 版本直接將 cri-containerd 內置在 Containerd 中,簡化爲一個 CRI 插件。

Containerd 內置的 CRI 插件實現了 Kubelet CRI 接口中的 Image Service 和 Runtime Service,通過內部接口管理容器和鏡像,並通過 CNI 插件給 Pod 配置網絡。

RuntimeClass

RuntimeClass 是 v1.12 引入的新 API 對象,用來支持多容器運行時,比如

  • Kata Containers/gVisor + runc

  • Windows Process isolation + Hyper-V isolation containers

RuntimeClass 表示一個運行時對象,在使用前需要開啓特性開關 RuntimeClass,並創建 RuntimeClass CRD:

kubectl apply -f https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/runtimeclass/runtimeclass_crd.yaml

然後就可以定義 RuntimeClass 對象

apiVersion: node.k8s.io/v1alpha1  # RuntimeClass is defined in the node.k8s.io API group
kind: RuntimeClass
metadata:
  name: myclass  # The name the RuntimeClass will be referenced by
  # RuntimeClass is a non-namespaced resource
spec:
  runtimeHandler: myconfiguration  # The name of the corresponding CRI configuration

而在 Pod 中定義使用哪個 RuntimeClass:

apiVersion: v1
kind: Pod
metadata:
  name: mypod
spec:
  runtimeClassName: myclass
  # ...

參考文檔

v1.14 以以上:

v1.10-v1.13:

v1.7-v1.9:

v1.6:

詳細的實現方法可以參考 或者 。

Docker: 核心代碼依然保留在 kubelet 內部(),是最穩定和特性支持最好的運行時

,支持 kubernetes v1.7+

,支持 Kubernetes v1.6+

:OCI 標準容器引擎

:谷歌開源的基於用戶空間內核的沙箱容器引擎

:Intel 開源的基於虛擬化的容器引擎

:基於虛擬化的容器引擎,由 Clear Containers 和 runV 合併而來

:阿里巴巴開源的胖容器引擎

:支持 Kubernetes v1.6+,提供基於 hypervisor 和 docker 的混合運行時,適用於運行非可信應用,如多租戶和 NFV 等場景

:支持 容器引擎(rknetes 代碼已在 v1.10 中棄用)

:Mirantis 開源的虛擬機容器引擎,直接管理 libvirt 虛擬機,鏡像須是 qcow2 格式

:直接管理 IaaS 平臺虛擬機,如 GCE、AWS 等

https://github.com/kubernetes/cri-api/tree/master/pkg/apis/runtime
pkg/kubelet/apis/cri/runtime/v1alpha2
pkg/kubelet/apis/cri/v1alpha1/runtime
pkg/kubelet/api/v1alpha1/runtime
dockershim
cri-o
pkg/kubelet/dockershim
Containerd
CRI-O
runc
gVisor
Clear Containers
Kata Containers
PouchContainer
Frakti
Rktlet
rkt
Virtlet
Infranetes
Runtime Class Documentation
Sandbox Isolation Level Decision
image-20190316183052101
image-20190316183005314