集群osd进入full状态的处理方法上

2024-07-12

字数统计: 1.4k字 | 阅读时长≈ 6分

ceph集群的osd full状态导致存储池不可用处理方案

前言

松鼠哥试水将进阶课程以文章的形式进行上线(主要是视频方式观看有点不方便，而且很多老铁难以坚持)，内容质量一如既往有保障，所有操作都是松鼠哥经过验证实践，童叟无欺，希望大家多多支持。

本篇是关于osd的full状态处理，生产上，ceph集群的存储池容量在设计规划的时候就应该确定，在实际运行中，一方面是有集群的监控，另一方面，使用存储的客户端能够进行读写规划，集群持续写入直到osd被写满进入full状态的情况并不是很常见，然而业内使用ceph的老铁遇到集群存储池full的情况时有发生，本篇关注默认情况下，osd full ratio为0.95出现的full情况的处理，下篇将进一步介绍更特殊的情况，osd full ratio为0.99出现的full且osd无法正常拉起的情况处理，敬请期待。

开始

osd full ratio为0.95且存储池为full的情况，首先看集群的基本状态：

[twj@test-mon1 ~]$ sudo ceph -s
  cluster:
    id:     631cd8ed-0d72-4206-bd84-c1cb6367876e
    health: HEALTH_ERR
            2 backfillfull osd(s)
            1 full osd(s)
            6 nearfull osd(s)
            1 pool(s) full
......

集群显示有一个osd率先达到了full，由于ceph无法确定新写入的数据会不会落到已经full的osd上，因此当pool有osd达到full状态时，pool也会进入full状态，此时默认的osd配置为0.95达到full状态：

[twj@test-mon1 ~]$ sudo ceph osd dump|more
epoch 257476
fsid 631cd8ed-0d72-4206-bd84-c1cb6367876e
created 2024-07-06 17:14:48.604304 songshuge1.rgw.buckets.data
modified 2024-07-10 16:31:22.230432 songshuge1.rgw.buckets.data
flags sortbitwise,recovery_deletes,purged_snapdirs,pglog_hardlimit
crush_version 877
full_ratio 0.95
backfillfull_ratio 0.9
nearfull_ratio 0.85
......

看一下存储池和osd的基本情况

POOLS:
    POOL                             ID     PGS      STORED      OBJECTS     USED        %USED      MAX AVAIL 
    .rgw.root                        35       16     6.0 KiB          18     204 KiB          0       4.9 TiB 
    songshuge1.rgw.log               36       16      83 KiB       1.19k     107 KiB          0       4.9 TiB 
    songshuge1.rgw.meta              37       16      18 KiB          53     629 KiB          0       4.9 TiB 
    songshuge1.rgw.control           38       16         0 B           8         0 B          0       4.9 TiB 
    songshuge1.rgw.buckets.index     39     1024      14 GiB     143.69k      14 GiB       0.09       4.9 TiB 
    songshuge1.rgw.buckets.data      40      512      50 TiB      52.89M     151 TiB     100.00           0 B 
[twj@test-mon1 ~]$ sudo ceph osd df
ID  CLASS WEIGHT  REWEIGHT SIZE    RAW USE DATA    OMAP    META    AVAIL   %USE  VAR   PGS STATUS    
180   hdd 1.00000  1.00000  15 TiB  13 TiB  13 TiB     0 B  58 GiB 2.0 TiB 86.56 15.21 126        up 
181   hdd 1.00000  1.00000  15 TiB  12 TiB  12 TiB     0 B  59 GiB 2.1 TiB 85.88 15.09 125        up 
182   hdd 1.00000  1.00000  15 TiB  13 TiB  13 TiB     0 B  58 GiB 1.9 TiB 87.23 15.32 127        up 
183   hdd 1.00000  1.00000  15 TiB  13 TiB  13 TiB     0 B  52 GiB 1.3 TiB 90.92 15.97 133        up 
184   hdd 1.00000  1.00000  15 TiB  12 TiB  12 TiB     0 B  44 GiB 2.3 TiB 84.25 14.80 124        up 
185   hdd 1.00000  1.00000  15 TiB  14 TiB  14 TiB     0 B  56 GiB 848 GiB 94.31 16.57 138        up 
186   hdd 1.00000  1.00000  15 TiB  12 TiB  12 TiB     0 B  58 GiB 2.1 TiB 85.54 15.03 124        up 
187   hdd 1.00000  1.00000  15 TiB  14 TiB  14 TiB     0 B  57 GiB 745 GiB 95.00 16.69 139        up 
188   hdd 1.00000  1.00000  15 TiB  13 TiB  12 TiB     0 B  59 GiB 2.1 TiB 85.90 15.09 125        up 
189   hdd 1.00000  1.00000  15 TiB  12 TiB  12 TiB     0 B  57 GiB 2.3 TiB 84.19 14.79 122        up 
190   hdd 1.00000  1.00000  15 TiB  12 TiB  12 TiB     0 B  58 GiB 2.3 TiB 84.21 14.79 122        up 
191   hdd 1.00000  1.00000  15 TiB  13 TiB  13 TiB     0 B  59 GiB 1.5 TiB 89.92 15.80 131        up

在本例中，这些osd上面只分布了songshuge1.rgw.buckets.data，即为独占的形式，其他的元数据存储池分布到另外的一些osd上了，这里我们只关心full状态的pool，而属于这个pool的pg分布，可以看到并不均衡，其中osd.187率先达到了95%的使用率，最低的使用率在osd.189，为84.19%，相差超过10%，差别算很大了，这里也可以看出，存储池在使用之前，应该要先做均衡，再写入数据，否则会有不小的空间浪费：

顺带一提，如果一批osd上面分布了多个Pool，该如何做均衡呢？
在实际生产环境中，对于存放大量数据的存储池，例如对象存储的data pool，或者cephfs的data pool，建议在有条件的情况下，使用独占的方式分配osd，均衡效果最好，实在没办法独占的话，应该根据各个存储池的用量来做均衡，例如，在对象存储中，data池通常会用最多的空间，那么在使用balancer做均衡的时候，就应该对data池做均衡，其他池不需要做均衡：
    ceph balancer optimize plan1 songshuge1.rgw.buckets.data 
    ceph balancer execute plan1
当data池写入大量数据后，因为所占权重大，因此总体的均衡情况还是比较理想的

另外，还有个取巧的办法，就是创建存储池的时候，先创建data池，然后对data池做均衡，均衡完成后，再继续创建其他存储池，这样效率会高一些

出现这种full的状态后，存储池就不能写入了，这种情况下，首先要停止写入，接下来，在思路比较可行的操作是：

本篇后续内容，请移步公众号继续阅读

Thanks

本文作者： 奋斗的松鼠
本文链接： http://www.strugglesquirrel.com/2024/07/12/集群osd进入full状态的处理方法上/
版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！