集群恢复

小强维护着一套生成的OpenShift集群，突然有一天集群的master1节点出现异常，自动关机了。他尝试了多次，都无法开机，怎么办？
他需要赶快恢复master1节点，来满足集群的高可用性。

原来的masters在ansible/hosts中的顺序如下

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[masters]
master1  ## 重要主节点，安装完后单独保存/etc/etcd/ca中的证书
master2
master3

[etcd]
master1
master2
master3

[nodes]
master1
master2
master3

恢复过程如下：

  1. 新建一台 master1节点，hostname 与 IP 都和原 master1 节点一致
  2. 在master2上恢复master主节点的证书、ca.serial.txt及openshift软件。
  3. 通过新增 master 的方式将这个节点重新加回集群
  4. 通过新增 etcd 的方法，恢复了这台 master 节点 etcd 的状况

以下是恢复的具体步骤。

一、初始化Master节点

  • 与部署机互信
  • 开启selinux
  • 关闭firewalld
  • DNS配置或者/etc/hosts
  • HostName设置
  • NTP
  • ETCD盘与docker盘，如果需要提前准备的话
  • Yum源设置

二、删除问题Master节点

1
oc delete node master1

三、在master2节点上准备好相关证书及软件

  1. 恢复master主节点的证书
    在/etc/ansible/hosts的[masters]/[etcd]/[nodes]组中注释掉master1节点，后执行
    1
    $ ansible-playbook playbooks/openshift-etcd/redeploy-ca.yml
  2. 恢复ca.serial.txt文件
    在备份的配置中将ca.serial.txt文件拷贝到/etc/origin/master/ca.serial.txt
    1
    $ scp ca.serial.txt master2:/etc/origin/master/ca.serial.txt
  3. 安装openshift命令
    1
    $ yum install openshift
    如果显示找不到该包，请查看/etc/yum.conf的配置，将openshift包从exclude中删除

四、恢复Master节点

  1. /etc/ansible/hosts中将需要恢复的节点从[masters]/[etcd]/[nodes]组移到[new_masters]、[new_nodes]组，并将三个组添加到[OSEv3:children]
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    [OSEv3:children]
    masters
    etcd
    nodes
    new_masters
    new_etcd
    new_nodes

    [masters]
    master2
    master3

    [etcd]
    master2
    master3

    [nodes]
    master2
    master3

    [new_masters]
    master1

    [new_etcd]
    master1

    [new_nodes]
    master1
  2. 执行master节点的scale_up.yaml
    1
    ansible-playbook playbooks/openshift-master/scaleup.yaml
  3. 检查master1的恢复状态
    1
    2
    $ oc get node 
    $ oc get pod -n kube-system
  4. 将master1节点从[new_masters]/[new_nodes]中移到[masters]/[nodes]中，并将它放到各个组的最后面。
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    [OSEv3:children]
    masters
    etcd
    nodes
    new_etcd

    [masters]
    master2
    master3
    master1

    [etcd]
    master2
    master3

    [nodes]
    master2
    master3
    master1

    [new_etcd]
    master1

五、恢复ETCD服务

  1. 在正常的master节点，如master2上移除有问题的etcd节点
    1
    2
    3
    4
    5
    $ etcdctl2 member list
    23868989e8af989: name=master1 isLeader=false
    45f23429e8af943: name=master2 isLeader=false
    5323823fadaf989: name=master3 isLeader=true
    $ etcdctl2 member remove 23868989e8af989
  2. 执行etcd的扩容操作etcd scaleup.yaml
    1
    ansible-playbook playbooks/openshift-etcd/scaleup.yaml
  3. 待执行完成后，检查etcd pod状态
    1
    2
    $ oc get pod -n kube-system
    $ etcdctl2 cluster-health
  4. 将master1节点从[new_etcd]组移到[etcd]组的最后面。
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    [OSEv3:children]
    masters
    etcd
    nodes
    [masters]
    master2
    master3

    [etcd]
    master2
    master3

    [nodes]
    master2
    master3
  5. 恢复master1节点的etcdctl命令
    将/etc/profile.d/etcdctl.sh文件拷贝到master1节点的/etc/profile.d/etcdctl.sh，并执行source /etc/profile.d/etcdctl.sh

总结

  • 多Master节点的集群具有高可用性，任一节点出现问题都不会影响到集群的服务，但是我们必须尽快恢复它，以免再出现一台主节点出现异常，这将会导致集群故障。
  • 多台Master节点中，第一台Master节点是特殊的节点，有些证书、配置文件只放在这台节点上，但是扩容时会需要用到。（详情可看openshift-ansible中的代码，很多证书都是从openshift_ca_host主机复制，而openshift_ca_host=<!–swig13–>）。
  • 在完成恢复后，需要及时恢复ansible/hosts中的内容，将恢复的节点加到对应组的后面，方便下次主机的扩容与维护。

参考文章

OpenShift集群故障恢复–只剩一个master节点可用，没有备份