Kubernetes
  • 序言
  • 基礎入門
    • Kubernetes 簡介
    • Kubernetes 基本概念
    • Kubernetes 101
    • Kubernetes 201
    • Kubernetes 集群
  • 核心原理
    • 核心原理
    • 架構原理
    • 設計理念
    • 核心組件
      • etcd
      • kube-apiserver
      • kube-scheduler
      • kube-controller-manager
      • kubelet
      • kube-proxy
      • kube-dns
      • Federation
      • kubeadm
      • hyperkube
      • kubectl
    • 資源對象
      • Autoscaling
      • ConfigMap
      • CronJob
      • CustomResourceDefinition
      • DaemonSet
      • Deployment
      • Ingress
      • Job
      • LocalVolume
      • Namespace
      • NetworkPolicy
      • Node
      • PersistentVolume
      • Pod
      • PodPreset
      • ReplicaSet
      • Resource Quota
      • Secret
      • SecurityContext
      • Service
      • ServiceAccount
      • StatefulSet
      • Volume
  • 部署配置
    • 部署指南
    • kubectl 安裝
    • 單機部署
    • 特性開關
    • 最佳配置
    • 版本支持
    • 集群部署
      • kubeadm
      • kops
      • Kubespray
      • Azure
      • Windows
      • LinuxKit
      • kubeasz
    • 附加組件
      • Addon-manager
      • DNS
      • Dashboard
      • 監控
      • 日誌
      • Metrics
      • GPU
      • Cluster Autoscaler
      • ip-masq-agent
    • Kubernetes-The-Hard-Way
      • 準備部署環境
      • 安裝必要工具
      • 創建計算資源
      • 配置創建證書
      • 配置生成配置
      • 配置生成密鑰
      • 部署 Etcd 群集
      • 部署控制節點
      • 部署計算節點
      • 配置 Kubectl
      • 配置網絡路由
      • 部署 DNS 擴展
      • 煙霧測試
      • 刪除集群
  • 插件擴展
    • API 擴展
      • Aggregation
      • CustomResourceDefinition
    • 訪問控制
      • 認證
      • RBAC 授權
      • 准入控制
    • Scheduler 擴展
    • 網絡插件
      • CNI
      • Flannel
      • Calico
      • Weave
      • Cilium
      • OVN
      • Contiv
      • SR-IOV
      • Romana
      • OpenContrail
      • Kuryr
    • 運行時插件 CRI
      • CRI-tools
      • Frakti
    • 存儲插件
      • 容器存儲接口 CSI
      • FlexVolume
      • glusterfs
    • 網絡策略
    • Ingress Controller
      • Ingress + Letsencrypt
      • minikube Ingress
      • Traefik Ingress
      • Keepalived-VIP
    • Cloud Provider 擴展
    • Device 插件
  • 服務治理
    • 服務治理
      • 一般準則
      • 滾動升級
      • Helm
      • Operator
      • Service Mesh
      • Linkerd
      • Linkerd2
    • Istio
      • 安裝
      • 流量管理
      • 安全管理
      • 策略管理
      • 度量管理
      • 排錯
      • 社區
    • Devops
      • Draft
      • Jenkins X
      • Spinnaker
      • Kompose
      • Skaffold
      • Argo
      • Flux GitOps
  • 實踐案例
    • 實踐概覽
    • 資源控制
    • 集群高可用
    • 應用高可用
    • 調試
    • 端口映射
    • 端口轉發
    • 用戶管理
    • GPU
    • HugePage
    • 安全
    • 審計
    • 備份恢復
    • 證書輪換
    • 大規模集群
    • 大數據與機器學習
      • Spark
      • Tensorflow
    • Serverless
  • 排錯指南
    • 排錯概覽
    • 集群排錯
    • Pod 排錯
    • 網絡排錯
    • PV 排錯
      • AzureDisk
      • AzureFile
    • Windows 排錯
    • 雲平臺排錯
      • Azure
    • 排錯工具
  • 社區貢獻
    • 開發指南
    • 單元測試和集成測試
    • 社區貢獻
  • 附錄
    • 生態圈
    • 學習資源
    • 國內鏡像
    • 如何貢獻
    • 參考文檔
Powered by GitBook
On this page
  • Kubernetes 集群架構
  • etcd 集群
  • kube-apiserver
  • controller manager 和 scheduler
  • kube-dns
  • 數據持久化
  • Azure
  • GCE
  • AWS
  • 物理機或虛擬機
  1. 部署配置

集群部署

Previous版本支持Nextkubeadm

Last updated 1 year ago

Kubernetes 集群架構

etcd 集群

從 https://discovery.etcd.io/new?size=3 獲取 token 後,把 etcd.yaml 放到每臺機器的 /etc/kubernetes/manifests/etcd.yaml,並替換掉 ${DISCOVERY_TOKEN}, ${NODE_NAME} 和 ${NODE_IP},即可以由 kubelet 來啓動一個 etcd 集群。

kube-apiserver

把 kube-apiserver.yaml 放到每臺 Master 節點的 /etc/kubernetes/manifests/,並把相關的配置放到 /srv/kubernetes/,即可由 kubelet 自動創建並啓動 apiserver:

  • basic_auth.csv - basic auth user and password

  • ca.crt - Certificate Authority cert

  • known_tokens.csv - tokens that entities (e.g. the kubelet) can use to talk to the apiserver

  • kubecfg.crt - Client certificate, public key

  • kubecfg.key - Client certificate, private key

  • server.cert - Server certificate, public key

  • server.key - Server certificate, private key

apiserver 啓動後,還需要爲它們做負載均衡,可以使用雲平臺的彈性負載均衡服務或者使用 haproxy/lvs/nginx 等爲 master 節點配置負載均衡。

另外,還可以藉助 Keepalived、OSPF、Pacemaker 等來保證負載均衡節點的高可用。

注意:

  • 大規模集群注意增加 --max-requests-inflight(默認 400)

  • 使用 nginx 時注意增加 proxy_timeout: 10m

controller manager 和 scheduler

controller manager 和 scheduler 需要保證任何時刻都只有一個實例運行,需要一個選主的過程,所以在啓動時要設置 --leader-elect=true,比如

kube-scheduler --master=127.0.0.1:8080 --v=2 --leader-elect=true
kube-controller-manager --master=127.0.0.1:8080 --cluster-cidr=10.245.0.0/16 --allocate-node-cidrs=true --service-account-private-key-file=/srv/kubernetes/server.key --v=2 --leader-elect=true

把 kube-scheduler.yaml 和 kube-controller-manager 放到每臺 Master 節點的 /etc/kubernetes/manifests/,並把相關的配置放到 /srv/kubernetes/,即可由 kubelet 自動創建並啓動 kube-scheduler 和 kube-controller-manager。

kube-dns

kube-dns 可以通過 Deployment 的方式來部署,默認 kubeadm 會自動創建。但在大規模集群的時候,需要放寬資源限制,比如

dns_replicas: 6
dns_cpu_limit: 100m
dns_memory_limit: 512Mi
dns_cpu_requests 70m
dns_memory_requests: 70Mi

另外,也需要給 dnsmasq 增加資源,比如增加緩存大小到 10000,增加併發處理數量 --dns-forward-max=1000 等。

數據持久化

除了上面提到的這些配置,持久化存儲也是高可用 Kubernetes 集群所必須的。

  • 對於公有云上部署的集群,可以考慮使用雲平臺提供的持久化存儲,比如 aws ebs 或者 gce persistent disk

  • 對於物理機部署的集群,可以考慮使用 iSCSI、NFS、Gluster 或者 Ceph 等網絡存儲,也可以使用 RAID

Azure

GCE

在 GCE 上可以利用 cluster 腳本方便的部署集群:

# gce,aws,gke,azure-legacy,vsphere,openstack-heat,rackspace,libvirt-coreos
export KUBERNETES_PROVIDER=gce
curl -sS https://get.k8s.io | bash
cd kubernetes
cluster/kube-up.sh

AWS

物理機或虛擬機

對於運行在 kubelet 外部的 etcd,可以參考 來手動配置集群模式。

在 Azure 上可以使用 AKS 或者 acs-engine 來部署 Kubernetes 集群,具體部署方法參考 。

在 aws 上建議使用 來部署。

在 Linux 物理機或虛擬機中,建議使用 或 來部署 Kubernetes 集群。

etcd clustering guide
這裏
kops
kubeadm
kubespray
ha