喜迎
元旦
centos7部署ceph | 奋斗的松鼠 - Blog

centos7部署ceph

字数统计: 3.2k字   |   阅读时长≈ 15分

安装环境是学习ceph的第一步，安装ceph的过程可以学习到非常多ceph的相关概念，尤其可以避免很多后续使用的坑

写在前面

松鼠哥的ceph专业课程上线啦！
面向新手同学，从0实战，全面入门ceph安装部署与运维，有需要的同学赶紧联系松鼠哥订购吧：

ceph的安装并没有什么难度，但是在实际操作中，不少新学ceph的同学总会遇到这样那样的部署问题，搞好久，集群也还没跑起来。实际上，ceph部署不应该在学习ceph过程中耗费太多时间和精力，初学时候，能快速部署集群，多接触、操作集群、解决集群产生的问题，才是快速成长的方式，在对ceph有一定程度的熟悉和认识后，再尝试手工部署，甚至编译集群进行安装，或许对ceph会有更深的认识。本篇总结了笔者在实际学习、部署生产环境中用到的方法和步骤，希望给新手同学一些参考

环境准备

测试环境是4台虚拟机，所有机器都是刚刚安装好系统(minimal)只配置完网卡和主机名的centos7.5

  • ceph1 - osd节点和mon节点
  • ceph2 - osd节点和mon节点
  • ceph3 - osd节点和mon节点
  • deploy - 部署节点

首先在所有节点创建一个部署、管理ceph集群的用户，并授予sudo权限，不建议使用root来运行ceph，同时关闭防火墙和selinux

1
2
3
4
5
6
7
8
9
10
11
12
13
[root@deploy ~]# useradd cephfsd
[root@deploy ~]# echo "ceph123"|passwd cephfsd --stdin
Changing password for user cephfsd.
passwd: all authentication tokens updated successfully.
[root@deploy ~]# echo "cephfsd ALL = (root,ceph) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephfsd
cephfsd ALL = (root,ceph) NOPASSWD:ALL
[root@deploy ~]# chmod 0440 /etc/sudoers.d/cephfsd
[root@deploy ~]$ setenforce 0
[root@deploy ~]$ sed -i 's/enforcing/disabled/g' /etc/selinux/config
[root@deploy ~]$ systemctl stop firewalld.service
[root@deploy ~]$ systemctl disable firewalld.service
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

完成后在deploy节点使用cephfsd用户登陆，开始下一步工作

首先是hosts文件配置和免密登陆

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
[cephfsd@deploy ~]$ cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.112 ceph1
192.168.1.109 ceph2
192.168.1.111 ceph3
192.168.1.113 deploy
[cephfsd@deploy ~]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/home/cephfsd/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /home/cephfsd/.ssh/id_rsa.
Your public key has been saved in /home/cephfsd/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:pmFVNy8T8fw+HWvDFFEDUljFkjBvnd1lOk8L9/v/558 cephfsd@deploy
The key's randomart image is:
+---[RSA 2048]----+
|          .+X==+=|
|         . o+O.+B|
|        .   o+B=+|
|       .    .oo=+|
|      o S      ++|
|     . +      o.=|
|      .        Bo|
|              . *|
|               E@|
+----[SHA256]-----+
[cephfsd@deploy ~]$ ssh-copy-id ceph1
[cephfsd@deploy ~]$ ssh-copy-id ceph2
[cephfsd@deploy ~]$ ssh-copy-id ceph3

软件包安装

需要的软件包安装有两种方式

  • 每个节点自行使用yum安装，这种方式要求所有节点都能访问外网
  • 使用内部搭建的yum源安装，这种方式只需要有某个节点可以访问外网即可

不管是哪种方式，安装ceph及相关软件包都需要配置ceph源。我们使用阿里云的源

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1
[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

第一种方式

简单粗暴，在每个节点上加入ceph源后，先安装epel-release，如果我们不安装，就会缺少部分包，会有下面的错误

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
...
--> Finished Dependency Resolution
Error: Package: 2:librados2-12.2.11-0.el7.x86_64 (Ceph)
           Requires: liblttng-ust.so.0()(64bit)
Error: Package: 2:ceph-common-12.2.11-0.el7.x86_64 (Ceph)
           Requires: libbabeltrace-ctf.so.1()(64bit)
Error: Package: 2:ceph-osd-12.2.11-0.el7.x86_64 (Ceph)
           Requires: libleveldb.so.1()(64bit)
Error: Package: 2:ceph-mgr-12.2.11-0.el7.x86_64 (Ceph)
           Requires: python-pecan
Error: Package: 2:ceph-common-12.2.11-0.el7.x86_64 (Ceph)
           Requires: libbabeltrace.so.1()(64bit)
Error: Package: 2:librbd1-12.2.11-0.el7.x86_64 (Ceph)
           Requires: liblttng-ust.so.0()(64bit)
Error: Package: 2:ceph-mon-12.2.11-0.el7.x86_64 (Ceph)
           Requires: libleveldb.so.1()(64bit)
Error: Package: 2:ceph-base-12.2.11-0.el7.x86_64 (Ceph)
           Requires: libleveldb.so.1()(64bit)
Error: Package: 2:ceph-base-12.2.11-0.el7.x86_64 (Ceph)
           Requires: liblttng-ust.so.0()(64bit)
Error: Package: 2:ceph-common-12.2.11-0.el7.x86_64 (Ceph)
           Requires: libleveldb.so.1()(64bit)
 You could try using --skip-broken to work around the problem
 You could try running: rpm -Va --nofiles --nodigest

所以安装的命令是

1
2
3
[cephfsd@deploy ~]$ sudo yum -y install epel-release
[cephfsd@deploy ~]$ sudo yum -y install ceph ceph-radosgw ceph-deploy
[cephfsd@deploy ~]$ sudo yum -y install htop sysstat iotop iftop ntp ntpdate

第二种方式

第一种安装方式要求节点均能访问阿里云的源，但是很多时候，尤其是生产环境，这些节点是不允许访问外网的，另外，如果是测试环境，有时需要多次重装集群，每次都从外网下载也带来一些麻烦，所以这里推荐使用自建源的方式安装，自建源一劳永逸，我们在deploy节点上自建一个源

配置了ceph源并安装epel-release后，我们把ceph及相关软件包全部下载，然后搭建一个内部源，

1
2
3
4
[cephfsd@deploy ~]$ sudo mkdir -p /yum/ceph/luminous
[cephfsd@deploy ~]$ sudo yum -y install --downloadonly --downloaddir=/yum/ceph/luminous/ ceph ceph-radosgw htop sysstat iftop iotop ntp ntpdate
[cephfsd@deploy ~]$ sudo yum install -y createrepo httpd
[cephfsd@deploy ~]$ sudo yum install -y ceph-deploy python-pip ntp ntpdate

配置内部源

1
2
3
4
5
6
7
8
[cephfsd@deploy ~]$ sudo createrepo -pdo /yum/ceph/luminous/ /yum/ceph/luminous/
Spawning worker 0 with 91 pkgs
Workers Finished
Saving Primary metadata
Saving file lists metadata
Saving other metadata
Generating sqlite DBs
Sqlite DBs complete

如果源的包发生变化，例如加入了新的包，或者删掉了一些旧包，需要更新xml

1
[cephfsd@deploy ~]$ sudo createrepo --update /yum/ceph/luminous/

修改/etc/httpd/conf/httpd.conf文件，然后启动httpd

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
DocumentRoot "/yum/ceph/"

<Directory "/yum/ceph/">
    AllowOverride None
    # Allow open access:
    Require all granted
</Directory>

<Directory "/yum/ceph/">
...
</Directory>

[cephfsd@deploy ~]$ sudo systemctl enable httpd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.
[cephfsd@deploy ~]$ sudo systemctl start httpd.service

至此，内部源就建好了，接下来到每一个安装ceph的节点，配置源指向这个内部源

1
2
3
4
5
6
7
8
9
10
11
12
13
[cephfsd@ceph1 ~]$ cd /etc/yum.repos.d/
[cephfsd@ceph1 yum.repos.d]$ sudo mkdir backup
[cephfsd@ceph1 yum.repos.d]$ sudo mv ./*.repo backup/
[cephfsd@ceph1 yum.repos.d]$ cat inter.repo
[http-repo]
name=internal-ceph-repo
baseurl=http://deploy/luminous
enabled=1
gpgcheck=0

[cephfsd@ceph1 ~]$ sudo yum -y install  ceph ceph-radosgw htop sysstat iftop iotop ntp ntpdate
[cephfsd@ceph1 ~]$ ceph --version
ceph version 12.2.12 (1436006594665279fe734b4c15d7e08c13ebd777) luminous (stable)

部署集群

部署集群主要是用ceph-deploy来进行

首先是初始化集群配置

1
2
3
4
5
6
[cephfsd@deploy ceph-deploy]$ ceph-deploy new ceph1 ceph2 ceph3
[cephfsd@deploy ceph-deploy]$ ls -l
total 16
-rw-rw-r--. 1 cephfsd cephfsd  238 Apr 23 15:03 ceph.conf
-rw-rw-r--. 1 cephfsd cephfsd 5330 Apr 23 15:03 ceph-deploy-ceph.log
-rw-------. 1 cephfsd cephfsd   73 Apr 23 15:03 ceph.mon.keyring

初始化集群主要是生成最基本的配置文件ceph.conf和monitor key文件ceph.mon.keyring，我们要手动修改ceph.conf，添加集群公网和集群网络的配置

1
2
3
4
5
6
7
8
9
10
11
[cephfsd@deploy ceph-deploy]$ cat ceph.conf
[global]
fsid = 9c2268c8-eb8f-4bc1-a6f0-a45802a2955b
mon_initial_members = ceph1, ceph2, ceph3
mon_host = 192.168.1.112,192.168.1.109,192.168.1.111
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

public_network = 192.168.1.0/24
cluster_network = 192.168.56.0/24

注意到，这里new，我们初始化三个monitor，接下来我们创建monitor

1
2
3
4
5
6
7
8
9
10
11
[cephfsd@deploy ceph-deploy]$ ceph-deploy mon create-initial
[cephfsd@deploy ceph-deploy]$ ls -l
total 88
-rw-------. 1 cephfsd cephfsd    71 Apr 23 15:11 ceph.bootstrap-mds.keyring
-rw-------. 1 cephfsd cephfsd    71 Apr 23 15:11 ceph.bootstrap-mgr.keyring
-rw-------. 1 cephfsd cephfsd    71 Apr 23 15:11 ceph.bootstrap-osd.keyring
-rw-------. 1 cephfsd cephfsd    71 Apr 23 15:11 ceph.bootstrap-rgw.keyring
-rw-------. 1 cephfsd cephfsd    63 Apr 23 15:11 ceph.client.admin.keyring
-rw-rw-r--. 1 cephfsd cephfsd   304 Apr 23 15:06 ceph.conf
-rw-rw-r--. 1 cephfsd cephfsd 58107 Apr 23 15:11 ceph-deploy-ceph.log
-rw-------. 1 cephfsd cephfsd    73 Apr 23 15:03 ceph.mon.keyring

mon create-initial会根据ceph.conf进行创建mon，判断monitor都创建成功后，会进行keyring的收集，这些keyring在后续创建其他成员的时候要用到，接下来我们分发集群keyring

1
[cephfsd@deploy ceph-deploy]$ ceph-deploy admin ceph1 ceph2 ceph3

这个操作是将集群的admin.keyring分发给指定的节点，这样这些节点就可以使用ceph命令了，接下来创建mgr

1
[cephfsd@deploy ceph-deploy]$ ceph-deploy mgr create ceph1 ceph2 ceph3

mgr分担了很多原本monitor的工作，目前它也是重要的一个组件，根据集群规模，可以创建2-3个mgr，不过也没有必要太多，接下来可以开始创建osd了

1
2
3
4
5
6
[cephfsd@deploy ceph-deploy]$ ceph-deploy osd create --data /dev/sdb ceph1
[cephfsd@deploy ceph-deploy]$ ceph-deploy osd create --data /dev/sdc ceph1
[cephfsd@deploy ceph-deploy]$ ceph-deploy osd create --data /dev/sdb ceph2
[cephfsd@deploy ceph-deploy]$ ceph-deploy osd create --data /dev/sdc ceph2
[cephfsd@deploy ceph-deploy]$ ceph-deploy osd create --data /dev/sdb ceph3
[cephfsd@deploy ceph-deploy]$ ceph-deploy osd create --data /dev/sdc ceph3

创建后，可以查看集群是否添加成功

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
[cephfsd@ceph1 ~]$ sudo ceph -s
  cluster:
    id:     9c2268c8-eb8f-4bc1-a6f0-a45802a2955b
    health: HEALTH_WARN
            clock skew detected on mon.ceph3, mon.ceph1

  services:
    mon: 3 daemons, quorum ceph2,ceph3,ceph1
    mgr: ceph1(active), standbys: ceph2, ceph3
    osd: 6 osds: 6 up, 6 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0B
    usage:   6.02GiB used, 42.0GiB / 48.0GiB avail
    pgs:

osd全部创建成功了

创建存储池

块存储场景

首先创建rbd使用的存储池，因为deploy节点没有admin授权，无法直接使用ceph命令，所以这里切换到ceph1节点进行操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
[cephfsd@ceph1 ~]$ sudo ceph osd pool create rbd 64 64
pool 'rbd' created
[cephfsd@ceph1 ~]$ sudo rbd pool init rbd
[cephfsd@ceph1 ~]$ sudo ceph -s
  cluster:
    id:     9c2268c8-eb8f-4bc1-a6f0-a45802a2955b
    health: HEALTH_WARN
            clock skew detected on mon.ceph3, mon.ceph1

  services:
    mon: 3 daemons, quorum ceph2,ceph3,ceph1
    mgr: ceph1(active), standbys: ceph2, ceph3
    osd: 6 osds: 6 up, 6 in

  data:
    pools:   1 pools, 64 pgs
    objects: 0 objects, 0B
    usage:   6.02GiB used, 42.0GiB / 48.0GiB avail
    pgs:     64 active+clean

可以看到，rbd池的pg创建完成了，默认情况下，使用的pool是3副本配置，测试创建一块rbd试下

1
2
3
4
5
6
7
8
9
10
[cephfsd@ceph1 ~]$ sudo rbd create testrbd --size=10G
[cephfsd@ceph1 ~]$ sudo rbd info rbd/testrbd
rbd image 'testrbd':
    size 10GiB in 2560 objects
    order 22 (4MiB objects)
    block_name_prefix: rbd_data.10586b8b4567
    format: 2
    features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
    flags:
    create_timestamp: Tue Apr 23 15:36:52 2019

没有问题

对象存储场景

对象存储需要使用到radosgw，即对象存储网关，所以需要先起一个网关，在起网关的时候，它会检查它需要的存储池是否存在，不存在则自动创建，创建网关在deploy节点上进行

1
[cephfsd@deploy ceph-deploy]$ ceph-deploy rgw create ceph1

创建没问题后，到集群节点查看

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[cephfsd@ceph1 ~]$ sudo ceph -s
  cluster:
    id:     9c2268c8-eb8f-4bc1-a6f0-a45802a2955b
    health: HEALTH_WARN
            clock skew detected on mon.ceph3, mon.ceph1

  services:
    mon: 3 daemons, quorum ceph2,ceph3,ceph1
    mgr: ceph1(active), standbys: ceph2, ceph3
    osd: 6 osds: 6 up, 6 in
    rgw: 1 daemon active

  data:
    pools:   5 pools, 96 pgs
    objects: 192 objects, 1.78KiB
    usage:   6.03GiB used, 41.9GiB / 48.0GiB avail
    pgs:     96 active+clean

可以看到，rgw有1个active了，我们看一下pool的情况

1
2
3
4
5
6
[cephfsd@ceph1 ~]$ sudo ceph osd pool ls
rbd
.rgw.root
default.rgw.control
default.rgw.meta
default.rgw.log

创建了默认的几个pool，这些池的pg数也是默认的，如果觉得不合适，可以在起rgw前手动创建好

最后，集群目前是HEALTH_WARN状态，原因是mon之间的时间差太大，一般做法是在所有ceph节点上起ntp服务，指向一个内部的ntp服务器，这个内部的ntp服务器最好是可以连接外网进行同步的，这里我们使用deploy来安装ntp服务，此前我们已经安装了ntp的相关包

修改/etc/ntp.conf文件的server部分为阿里云的时间服务器

1
2
3
4
5
6
7
[cephfsd@deploy ceph-deploy]$ sudo cat /etc/ntp.conf |grep ^server
server time1.aliyun.com minpoll 3 maxpoll 4 iburst
server time2.aliyun.com minpoll 3 maxpoll 4 iburst
server time3.aliyun.com minpoll 3 maxpoll 4 iburst
[cephfsd@deploy ceph-deploy]$ sudo systemctl enable ntpd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
[cephfsd@deploy ceph-deploy]$ sudo systemctl start ntpd.service

接下来，每个ceph节点都将ntp服务器指向这个ntp，然后启动ntpd.service

1
2
3
4
5
[cephfsd@ceph1 ~]$ cat /etc/ntp.conf |grep ^server
server deploy minpoll 3 maxpoll 4 iburst
[cephfsd@ceph1 ~]$ sudo systemctl enable ntpd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.
[cephfsd@ceph1 ~]$ sudo systemctl start ntpd.service

过一会，各个节点时间同步后，误差减小，集群正常

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
[cephfsd@ceph1 ~]$ sudo ntpq -pn
     remote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*192.168.1.113   203.107.6.88     3 u    2    8  377    0.330    0.625   0.034
[cephfsd@ceph1 ~]$ sudo ceph -s
  cluster:
    id:     9c2268c8-eb8f-4bc1-a6f0-a45802a2955b
    health: HEALTH_OK

  services:
    mon: 3 daemons, quorum ceph2,ceph3,ceph1
    mgr: ceph1(active), standbys: ceph2, ceph3
    osd: 6 osds: 6 up, 6 in
    rgw: 1 daemon active

  data:
    pools:   5 pools, 96 pgs
    objects: 192 objects, 1.78KiB
    usage:   6.03GiB used, 41.9GiB / 48.0GiB avail
    pgs:     96 active+clean

总结

ceph的安装是学习ceph的第一步，也是很重要的一步，初学者容易遇到不少奇奇怪怪的问题，ceph社区，或者读者私底下来问关于ceph部署的问题，其实有很大一部分问题不应该出现，绝大部分也都是环境问题，本篇ceph安装是笔者近几年来一直使用的方法，包括几PB的生产环境，都是这么部署的，供初学的同学参考

赏

谢谢你请我吃糖果

支付宝
微信
  • 本文作者： 奋斗的松鼠
  • 本文链接： http://www.strugglesquirrel.com/2019/04/23/centos7部署ceph/
  • 版权声明： 本博客所有文章除特别声明外，创作版权均为作者个人所有，未经允许禁止转载！

扫一扫，分享到微信

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

松鼠哥，存储研发专家
曾就职于深信服北京研发中心，负责存储相关产品的调研测试
在分布式存储领域深耕近十年，实战经验和理论经验功力深厚
累计管理及上线生产集群超过600个，机器超3万台，磁盘总数超过80万块，总容量达到EB级别。