PVE集群节点宕机处理

1.  登录集群任意物理正常节点系统，执行如下命令查看ceph osd状态：   

     :~# ceph osd tree

2. 登陆 ceph monitor 节点，查询 ceph 状态：

     :~#  ceph health detail

3. 将故障节点上的所有 osd 设置成 out，该步骤会触发数据 recovery, 需要等待数据迁移完成, 同时观察虚拟机是否正常：

      :~# ceph osd out osd_id

4. 从 crushmap 将 osd 移除，该步骤会触发数据 reblance，等待数据迁移完成，同时观察虚拟机是否正常：

     :~#  ceph osd crush remove osd_name

5. 删除 osd 的认证： ceph auth del osd_name

6. 删除 osd ：ceph osd rm osd_id

7. 从ceph集群中删除物理节点，操作如下：

     :~# ceph osd crush rm  pve004

8. 从集群中删除故障节点

    :~# pvecm  delnode pve004

9. 移除**器

     :~# ceph mon remove pve004