非容器化部署16版本的ceph

2024-01-05

字数统计: 1.7k字 | 阅读时长≈ 8分

学术性质研究ubuntu 20.04部署ceph 16.2.14版本

写在前面

松鼠哥的ceph专业课程上线啦！
面向新手同学，从0实战，全面入门ceph安装部署与运维，有需要的同学赶紧联系松鼠哥订购吧：

ceph 16版本pacific 出来有一段时间了，作为LTS版本，上生产还是可以选择的，从15开始，ceph推的容器化部署真的不敢用，具体原因嘛，松鼠哥在很多地方都说过了，就不展开了，手工部署+物理机运行是生产稳定性、可靠性的重要保障，经历过大规模生产环境的老铁肯定都有体会，本篇作为学术研究性质，搞了一下16版本+ubuntu的部署，希望对大家有所帮助。

环境准备

系统：Ubuntu 20.04.6

ceph版本：ceph version 16.2.14 (238ba602515df21ea7ffc75c88db29f9e5ef12c9) pacific (stable)

系统准备

系统安装就不说了，比较基础，在官方下载server版的镜像直接安装就好。

安装完系统后，首先增加apt的ceph源，这里使用中科大的

1
2
3

root@ubuntu:/home/ubuntu# wget -q -O- 'http://mirrors.ustc.edu.cn/ceph/keys/release.asc' | sudo apt-key add -
root@ubuntu:/home/ubuntu# echo deb http://mirrors.ustc.edu.cn/ceph/debian-pacific/ $(lsb_release -sc) main | sudo tee /etc/apt/sources.list.d/ceph.list
root@ubuntu:/home/ubuntu# apt-get update

接下来检查防火墙，如果开了就关一下

1 2	root@ubuntu:/home/ubuntu# ufw status root@ubuntu:/home/ubuntu# ufw disable

时区也检查并修改一下，修改完最好重启一下节点，避免不必要的麻烦

1 2	root@ubuntu:/home/ubuntu# timedatectl set-timezone Asia/Shanghai root@ubuntu:/home/ubuntu# echo "LC_TIME=en_DK.UTF-8" >> /etc/default/locale

接下来配置一下静态ip，因为之前用Centos7多，ubuntu 20.04的修改方式有点不同，就多说一下，根据需要修改

root@ubuntu:/home/ubuntu# cat /etc/netplan/00-installer-config.yaml
# This is the network config written by 'subiquity'
network:
  ethernets:
    enp0s3:
      addresses: [10.0.2.16/24]
      gateway4: 10.0.2.2
      dhcp4: false
      nameservers:
              addresses: [223.5.5.5,119.29.29.29]
    enp0s8:
      addresses: [192.168.56.113/24]
      dhcp4: false
  version: 2
 
执行命令netplan apply使其生效

注意，多个网卡的情况下，只需要一个网卡配置gateway即可，不然会报错-.-

开始部署

首先安装ceph的包，直接apt即可

1	root@ubuntu:/home/ubuntu# apt install ceph

安装完包，我们创建ceph的配置文件，ip按需修改，本环境是vbox虚拟机环境，所以ip就是56.x网段

root@ubuntu:/home/ubuntu# cat /etc/ceph/ceph.conf
[global]
fsid = 5cd8e532-f188-4ee5-b8bc-9960a5c574ed
mon initial members = ubuntu
mon host = 192.168.56.109
public network = 192.168.56.0/24
cluster network = 10.0.2.0/24
auth cluster required = cephx
auth service required = cephx
auth client required = cephx

接下来就是mon的初始化，这里直接上脚本了

root@ubuntu:/home/ubuntu# cat ~/init_mon.sh
myhost=`hostname -s`
myip=`hostname -i`

ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
ceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'

chown ceph.ceph /etc/ceph/ceph.client.admin.keyring
chown ceph.ceph /etc/ceph/ceph.conf

ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd'

ceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
ceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
monmaptool --create --add ${myhost} ${myip} --fsid 5cd8e532-f188-4ee5-b8bc-9960a5c574ed /tmp/monmap

sudo -u ceph mkdir /var/lib/ceph/mon/ceph-${myhost}
ceph-mon --mkfs -i  ${myhost} --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
chown ceph.ceph -R /var/lib/ceph/mon/ceph-${myhost}

systemctl start ceph-mon@${myhost}.service

操作看着很多，其实就几个点：

初始化mon的key和管理key
生成bootstrap-osd的key
初始化monmap
创建mon目录并格式化
拉起mon

这些步骤都是官方步骤，没什么好说的，跟之前的版本在centos上起没有太大差别，要注意一下目录权限。

mon创建完成后，就可以执行ceph -s命令了

root@ubuntu:/home/ubuntu# ceph -s
  cluster:
    id:     5cd8e532-f188-4ee5-b8bc-9960a5c574ed
    health: HEALTH_OK
 
  services:
    mon: 1 daemons, quorum ubuntu (age 1.71432s)
    mgr: no daemons active
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

接下来创建mgr，也是直接上脚本了

myhostname=`hostname -s`
ceph auth get-or-create mgr.`hostname -s` mon 'allow profile mgr' osd 'allow *' mds 'allow *'
sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-${myhostname}
ceph auth get mgr.${myhostname} -o /var/lib/ceph/mgr/ceph-${myhostname}/keyring
chown ceph.ceph /var/lib/ceph/mgr/ceph-${myhostname}/keyring

systemctl start ceph-mgr@${myhostname}.service

增加mgr更简单，创建key创建目录就拉起来了。

接下来增加mon，与初始化有点不同，因为增加mon的节点没有相关的配置，且增加mon需要在本节点执行ceph命令，即要创建配置文件ceph.conf和ceph.client.admin.keyring到/etc/ceph/目录下，配置文件中要增加本节点的mon信息

[global]
fsid = 5cd8e532-f188-4ee5-b8bc-9960a5c574ed
mon initial members = ubuntu,ceph2
mon host = 192.168.56.109,192.168.56.112
public network = 192.168.56.0/24
cluster network = 10.0.2.0/24

准备好后，上脚本

#!/bin/bash
myhost=`hostname -s`
myip='192.168.56.112'

sudo -u ceph mkdir /var/lib/ceph/mon/ceph-${myhost}
ceph auth get mon. -o /tmp/monkey
ceph mon getmap -o /tmp/monmap
sudo ceph-mon -i ${myhost} --mkfs --monmap  /tmp/monmap --keyring /tmp/monkey

这个脚本的myip变量最好手工指定，因为实测发现如果使用hostname -i，有可能会取到127.0.0.1这个地址，那创建的mon就会有问题，所以手工指定一下比较保险。

按这操作，再增加一个mon，一共三个，此时集群就差不多了

root@ubuntu:/home/ubuntu# ceph -s
  cluster:
    id:     5cd8e532-f188-4ee5-b8bc-9960a5c574ed
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
            clock skew detected on mon.ceph2
            1 monitors have not enabled msgr2
            OSD count 0 < osd_pool_default_size 3
 
  services:
    mon: 3 daemons, quorum ubuntu,ceph2,ceph3 (age 4s)
    mgr: ubuntu(active, since 14m)
    osd: 0 osds: 0 up, 0 in
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:     
root@ubuntu:/home/ubuntu# ceph -v
ceph version 16.2.14 (238ba602515df21ea7ffc75c88db29f9e5ef12c9) pacific (stable)

所有mon都弄起来后，注意要同步一下每个节点的ceph.conf，避免重启后有问题。

既然mon和mgr都起来了，ceph命令也没问题，就直接加osd和rgw了，篇幅有限就不深入了，跟此前的版本没有什么区别，都是自动化+脚本或者playbook的事。

总结

据了解，目前业界在生产环境中，使用较多的仍然是14及以下的版本，本次部署安装16版，体验下来感觉不错，整个过程也很流畅，尤其是ubuntu 20.04系统，从参加工作到现在，松鼠哥基本都在centos上工作，极少接触ubuntu，此次部署感觉ubuntu 20.04系统非常流畅，没有遇到什么使用障碍，有打算上16版ceph的朋友无需担心了。

16版小版本还没有出完，但是经过前面这么多版本的迭代和小版本的升级，上生产肯定是没有问题的了，ceph本身的问题不多，本文给准备上16版本的朋友做做部署铺垫。

本文作者： 奋斗的松鼠
本文链接： http://www.strugglesquirrel.com/2024/01/05/非容器化部署16版本的ceph/
版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！