ceph运维常用命令

介绍一些ceph中用到的命令及相关配置

写在前面

松鼠哥的ceph专业课程上线啦！
面向新手同学，从0实战，全面入门ceph安装部署与运维，有需要的同学赶紧扫码订购吧：

ceph集群运维的常用命令不多，针对具体场景使用不同命令

具体命令及说明

ceph osd df - 可以查看每个osd的用量,每个osd的pg数，权重
ceph osd find <int> - 可以查找到osd的位置，在osd比较多时用到
ceph osd perf - 可以查看所有osd提交及应用提交的延时，对监控osd的健康状态极有帮助
ceph osd scrub <int> - 指定osd进行清洗，注意到，清洗是为了检查osd缺陷和文件系统错误，正确的清洗策略很重要
ceph quorum_status - 报告集群当前法定人数情况，若集群因mon跪了导致故障可由此排查
ceph report - 报告集群当前的全部状态，输出信息非常详细，排查没有头绪时可以试试这个
radosgw-admin bucket limit check - 查看bucket的配置信息，例如索引分片值
ceph daemon osd.1 config show - 显示指定的osd的所有配置情况
ceph tell 'osd.*' injectargs '--osd_max_backfills 64' - 立即为osd设置参数，不需要重启进程即生效
ceph daemon /var/run/ceph/ceph-client.rgw.`hostname -s`.asok config show - 查看指定的asok的配置
ceph-bluestore-tool bluefs-export --path /var/lib/ceph/osd/ceph-1 --out-dir /home/xx - 导出指定osd的整个rocksdb
ceph-kvstore-tool rocksdb /home/xx/db/ list - 查看rocksdb里面的记录
ceph tell osd.* heap release - 通知所有osd释放那些可以释放的内存
ceph daemon osd.x dump_historic_ops - 调查指定osd的op处理情况，诊断延时的瓶颈
ceph daemon osd.x dump_ops_in_flight - 调查指定osd的性能问题

内存剖析：
安装google-perftools
然后启动要监视的osd的剖析器：

ceph osd tell 'osd.0' heap start_profiler

然后查看该osd的内存情况：

[xxx@ceph-c43 ~]$ sudo ceph tell 'osd.0' heap stats
osd.0 tcmalloc heap stats:------------------------------------------------
MALLOC:     1295742880 ( 1235.7 MiB) Bytes in use by application
MALLOC: +            0 (    0.0 MiB) Bytes in page heap freelist
MALLOC: +     66885112 (   63.8 MiB) Bytes in central cache freelist
MALLOC: +     22493152 (   21.5 MiB) Bytes in transfer cache freelist
MALLOC: +     33159816 (   31.6 MiB) Bytes in thread cache freelists
MALLOC: +      5402784 (    5.2 MiB) Bytes in malloc metadata
MALLOC:   ------------
MALLOC: =   1423683744 ( 1357.7 MiB) Actual memory used (physical + swap)
MALLOC: +    271949824 (  259.4 MiB) Bytes released to OS (aka unmapped)
MALLOC:   ------------
MALLOC: =   1695633568 ( 1617.1 MiB) Virtual address space used
MALLOC:
MALLOC:          51319              Spans in use
MALLOC:             28              Thread heaps in use
MALLOC:           8192              Tcmalloc page size
------------------------------------------------
Call ReleaseFreeMemory() to release freelist memory to the OS (via madvise()).
Bytes released to the OS take up virtual address space but no physical memory.

系统相关：

命令

查看ib卡属于那个numa node，使用命令：
1、mst start
2、mst status -v

perf top -p <osd pid> -查看osd进程在哪些事情花费的时间比较多
sync;echo 2 > /proc/sys/vm/drop_caches -让系统将buff和cache中的数据回写到磁盘并释放掉这部分空间
swapoff -a -关闭swap，这一步将会释放掉所有swap的占用
swapon -a -打开swap，重新将swap打开，此时完全free

在/etc/bashrc中加入export HISTTIMEFORMAT="%F %T " 可对命令的记录加上时间戳

gdb -q a pid - attatch进程后，使用bt打印指定进程的堆栈信息，尤其在进程卡住的情况下

ntp

当集群有clock skew detected on mon.xxx的提示，是因为节点间时间差别太大，使用ntpd并降低同步间隔
1、修改ntpd的更新间隔：在/etc/ntp.conf中加入如下字段：
server 172.25.52.51 minpoll 3 maxpoll 4 prefer iburst
这表示优先使用这个ntp server并且在最少2^3=8s，最大2^4=16s内进行同步，每次同步发送8个同步报文，间隔为1s

2、重启ntp服务
systemctl restart ntpd.service
查看ntp服务是否正常工作：ntpq -pn

网卡

开启ib卡的connected模式：

echo "connected" >  /sys/class/net/ib0/mode

使用下面的配置作为ib卡的ifcfg-ib配置文件

DEVICE=ib0
TYPE=InfiniBand
ONBOOT=yes
BOOTPROTO=none
IPADDR=x.x.x.x
PREFIX=16
NETWORK=x.x.0.0
GATEWAY=x.x.x.x
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
CONNECTED_MODE=yes
NAME=ib0
MTU=65520

这样配置的ib卡在启动后默认开启connected模式

使用下列步骤优化网卡中断：
1、关闭系统的自带中断平衡：

systemctl stop irqbalance.service
systemctl disable irqbalance.service

2、禁用掉内核自带的numa均衡器:sysctl.conf中设置kernel.numa_balancing=0
3、使用下列方式绑定指定的中断号到特定的cpu：

for k in $( seq 0 255 )
do
    echo ff0000,00000000 > /proc/irq/$k/smp_affinity
done

查看本节点的osd绑定cpu的情况：

for x in `sudo ls -l /var/lib/ceph/osd/|grep 'ceph-'|awk '{print $9}'|awk -F '-' '{print $2}'`;do sudo systemctl cat ceph-osd@$x.service |grep 'CPUAffinity';done

磁盘多路径

解决multipath导致的多盘符重复问题，osd创建失败后，在/etc/lvm/lvm.conf中加入

global_filter = [ "a|/dev/disk/by-id/.*|", "r|.*/|" ]

让lvm只在by-id中的目录寻找即可，因为在此目录下的磁盘都是根据磁盘的wwn来进行识别的，没有多路径参与

赏

谢谢你请我吃糖果

支付宝

微信

• 本文作者： 奋斗的松鼠
• 本文链接： http://www.strugglesquirrel.com/2018/03/09/ceph运维常用命令/
• 版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！