开发者学堂课程【企业级运维之云原生与 Kubernets 实战课程： ACK 集群节点管理】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/913/detail/14568

 ACK 集群节点管理

​

一、 集群节点管理概述

1. 场景需求：

a. 场景一：云节点负载高、节点内核夯住；

Ÿ 问题：节点上的 pod 无法收到外来的请求或者无法快速响应；

Ÿ 解决方案：移除节点，将节点上的 pods 转移到其他节点，然后移除该节点。

b. 场景二：节点被改坏掉，修复回来很麻烦；

Ÿ 问题：节点配置被修改后，导致在该节点发起的应用部署失败；

Ÿ 解决方案：将该节点移除，然后再恢复；

c. 场景三：集群节点不够或者节点资源太多，有些浪费；

Ÿ 问题：这种场景多见于电商平台，在平台活动期间需要增加节点以支撑大规模的流量涌入，而活动过后，这些节点资源又会被闲置；

Ÿ 解决方案：在高峰时添加节点，高峰过后再将闲置节点资源移除；

d. 场景四：节点的规格已经不满足要求，需要升降配；

Ÿ 问题：阿里云 ECS 升降配需要重启才能生效，但重启会影响节点上的业务；

Ÿ 解决方案：应对这种场景通常的解决方案是将节点从集群中移除，再重启，是否有其他解决方案，可以不用移除节点又不会影响业务？（答案在后面的部分）

2. 节点管理概述

节点管理包括三方面：节点添加、节点移除和节点运维。

集群节点管理约束：

Ÿ 控制台不可运维、删除 master 节点；

Ÿ 不可以添加 master 节点，master 节点的数量是在创建的时候确定的，有 3 和 5两个选项，创建好以后就不能再修改；

Ÿ 每个集群默认最多只能添加 1000 个节点，标准托管集群只能添加 10 个节点

参考文档：ACK 集群配额限制https://help.aliyun.com/document_detail/86741.html

二、节点添加

1. 添加方式

Ÿ 扩容新节点；

Ÿ 自动添加已有节点；

Ÿ 手动添加已有节点；

2. 前置条件

Ÿ 节点必须和集群在同一 vpc 下，可以在不同的 vSwitch 下，选择多个可用区可以提高库存命中率；

Ÿ 仅支持添加同一账号下的服务器；

Ÿ 仅支持以下操作系统：

Alibaba CloudLinux2（推荐）

Centos 7.x

Windows Server 2009、WindowsServer 2009 Core

注：更多前置条件请参考文档“添加 Kubernetes 集群节点的常见问题”

https://help.aliyun.com/document_detail/170722.htm 

3. 扩容新节点

a. 节点池

Ÿ 节点池是集群中具有相同配置的一组节点，节点池可以包含一个或多个节点。

Ÿ 节点池的作用是在有限的范围内，解决被管理对象的多样性带来的复杂性，以及当节点数大幅增长带来的管理成本增加。

Ÿ 运维人员可以根据具体业务需求规划节点池，给不同节点池的节点打标签和污点，在应用部署中，通过节点标签选择器和容忍污点，实现应用部署到指定节点池上。

在下图中有三个节点池，分别有各自的标签，在部署时通过标签选择器将 pod 应用上的标签与节点池的标签进行匹配。

b. 扩容新节点步骤

Ÿ 进入容器服务管理平台，在左侧栏选择集群；

Ÿ 在集群列表页面，选择目标集群，并在目标集群右侧操作列下，选择“更多 - 集群扩容”；

Ÿ 在节点池页面，单击目标节点池操作列的扩缩容；

Ÿ 在期望节点数处输入数值，单击“确定”，然后在修改确认的对话框中，单击“确定”。

4. 手动添加已有节点

a. 操作步骤：

Ÿ 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情；

Ÿ 在集群管理页左侧导航栏中，选择节点管理 > 节点池；

Ÿ 在节点池页面，单击目标节点池右侧操作列下的更多，然后单击添加已有节点；

Ÿ 在选择已有云服务器实例配置项页面，选择手动添加已有云服务器实例；

Ÿ 单击下一步，完成填写实例信息；

注：建议勾选“将容器和镜像存储在数据盘”。

Ÿ 单击下一步，进入添加完成页面。在添加完成页面复制执行命令到需要添加的节点上执行；

Ÿ 在 ECS 实例远程连接界面，复制粘贴命令，单击“确定”开始执行脚本；

Ÿ 等待脚本执行成功，该云服务器就添加成功。

b. 原理

Ÿ 控制台选择手动添加已有节点后，会生成一个可执行 shell 命令；

Ÿ 登录 ECS 节点，执行 shell 命令；

Ÿ 从 oss 下载 attach_node.sh 并执行，attach_node.sh 会从 oss 下载 PKG，执行一些必要的包安装；

Ÿ 配置系统环境和 kubelet 等参数，然后调用 kubeadm 加入集群并启动 kubelet。

5. 自动添加已有节点

a. 操作步骤

Ÿ 在集群列表页面中，单击目标集群名称或者目标集群右侧操作列下的详情；

Ÿ 在集群管理页左侧导航栏中，选择节点管理 > 节点池；

Ÿ 在节点池页面，单击目标节点池右侧操作列下的更多，然后单击添加已有节点；

Ÿ 在选择已有云服务器实例配置向导页面，选择自动添加已有云服务器实例；

Ÿ 单击下一步，完成填写实例信息；

Ÿ 单击下一步，在添加已有实例到集群对话框中单击确定。

b. 重要参数

Ÿ 数据盘挂载：如果 ECS 已挂载数据盘，且最后一块数据盘的文件系统未初始化，系统会自动将该数据盘格式化为 ext4，用来存放 /var/lib/docker、/var/lib/kubelet；

Ÿ CPU Policy：none: 默认策略；

Ÿ Static：允许为节点上具有某些资源特征的 Pod 赋予增强的 CPU 亲和性和独占性；

Ÿ RD S白名单：将 ECS 和 Pod CIDR 加入 RDS 白名单；

Ÿ 实例自定义数据：ECS 启动时执行，可以放入脚本，实现定制化的系统初始化工作。

三、节点移除

鉴于移除节点会涉及 pod 迁移，可能会影响业务，建议在业务低峰期操作。 

1. 移除方法

Ÿ 控制台选择节点，并勾选“排空节点”、“释放 ECS ”等选项移除节点；

自动排空节点（ drain ）：把待移除节点上的 Pod 转移到其他节点

Ÿ kubectl delete node，手动移除节点，这种方式会先在集群中移除节点，ACK 管控会定时同步节点池，会有一定延迟；

Ÿ 如果没有通过容器服务控制台，而是直接在 ECS 控制台主动释放节点、移除实例，节点池为了能够将节点个数维持在期望节点数，会根据相应节点池配置自动扩容到期望节点数。

2. 注意事项

Ÿ 建议选择上面第一种方式移除节点；

Ÿ 包年包月实例，移除节点时无法释放(受 ECS 产品约束)，需要先转按量付费才能释放。

四、节点运维

1. 运维场景

Ÿ 节点负载高，不希望再调度新的 Pod 上来；

Ÿ 节点异常，或者节点显示正常但是无法正常工作，比如 runc 夯住，kubelet pleg not healthy；

Ÿ 节点需要修复高危漏洞；

Ÿ 节点需要升级 dockerd、containerd、systemd、glibc 等；

Ÿ 其他异常需要重启节点；

Ÿ 节点规格需要升降配，以满足业务需要；

Ÿ 其他场景；

2. 运维方法

Ÿ 将节点设置为不可调度：

​kubectl drain node <node name>​

​kubectl cordon node <node name>​

以上两种方式的区别：drain 将节点设置为不可调度的同时，会驱逐原节点上的 pod，而 cordon 仅将节点设置为不可调度，但不会影响原有节点。

Ÿ 恢复调度：

​kubectl uncordon node <node name>​

本讲小结

Ÿ 本章讲解了节点管理的操作，包括添加节点、移除节点、运维节点等；

Ÿ 根据实际场景来选择适合的运维方式。

思考：

Ÿ drain、cordon、uncordon 有什么区别？何时该用 drain，何时该用 cordon？

Ÿ 添加节点失败，该如何排查？