linux学习教程之将分布式存储系统Ceph安装在CentOS 7

今天的分享来源于一位博主的Linux学习教程,在这篇教程中,这位博主将一步一步带领我们实现标题里的目标。这其中,无论是centos7还是ceph都是比较常用的运维工具,因此接下来就好好看这篇文章吧。

关于 Ceph 的介绍网上一大堆,这里就不重复了。Sage Weil 读博士的时候开发了这套牛逼的分布式存储系统,最初是奔着高性能分布式文件系统去的,结果云计算风口一来,Ceph 重心转向了分布式块存储(Block Storage)和分布式对象存储(Object Storage),现在分布式文件系统 CephFS 还停在 beta 阶段。Ceph 现在是云计算、虚拟机部署的最火开源存储解决方案,据说有20%的 OpenStack 部署存储用的都是 Ceph 的 block storage.

Ceph 提供3种存储方式:对象存储,块存储和文件系统,下图很好的展示了 Ceph 存储集群的架构:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

ceph-cluster

我们主要关心的是块存储,将在下半年慢慢把虚拟机后端存储从 SAN 过渡到 Ceph. 虽然还是 0.94 版本,Ceph 现在已经比较成熟了,有个同事已经在生产环境里运行 Ceph 了两年多,他曾遇到很多问题,但最终还是解决了,可见 Ceph 还是非常稳定和可靠的。

硬件环境准备

准备了6台机器,其中3台物理服务器做监控节点(mon: ceph-mon1, ceph-mon2, ceph-mon3),2台物理服务器做存储节点(osd: ceph-osd1, ceph-osd2),1台虚拟机做管理节点(adm: ceph-adm)。

Ceph 要求必须是奇数个监控节点,而且最少3个(自己玩玩的话,1个也是可以的),ceph-adm 是可选的,可以把 ceph-adm 放在 monitor 上,只不过把 ceph-adm 单独拿出来架构上看更清晰一些。当然也可以把 mon 放在 osd 上,生产环境下是不推荐这样做的。

  • ADM 服务器硬件配置比较随意,用1台低配置的虚拟机就可以了,只是用来操作和管理 Ceph;
  • MON 服务器2块硬盘做成 RAID1,用来安装操作系统;
  • OSD 服务器上用10块 4TB 硬盘做 Ceph 存储,每个 osd 对应1块硬盘,每个 osd 需要1个 Journal,所以10块硬盘需要10个 Journal,我们用2块大容量 SSD 硬盘做 journal,每个 SSD 等分成5个区,这样每个区分别对应一个 osd 硬盘的 journal,剩下的2块小容量 SSD 装操作系统,采用 RAID1.

配置列表如下:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

软件环境准备

所有 Ceph 集群节点采用 CentOS 7.1 版本(CentOS-7-x86_64-Minimal-1503-01.iso),所有文件系统采用 Ceph 官方推荐的 xfs,所有节点的操作系统都装在 RAID1 上,其他的硬盘单独用,不做任何 RAID.

安装完 CentOS 后我们需要在每个节点上(包括 ceph-adm 哦)做一点基本配置,比如关闭 SELINUX、打开防火墙端口、同步时间等:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

在每台 osd 服务器上我们需要对10块 SAS 硬盘分区、创建 xfs 文件系统;对2块用做 journal 的 SSD 硬盘分5个区,每个区对应一块硬盘,不需要创建文件系统,留给 Ceph 自己处理。

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

上面的命令行要对10个硬盘处理,重复的操作太多,以后还会陆续增加服务器,写成脚本 parted.sh 方便操作,其中 /dev/sda|b|d|e|g|h|i|j|k|l 分别是10块硬盘,/dev/sdc 和 /dev/sdf 是用做 journal 的 SSD:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

在 ceph-adm 上运行 ssh-keygen 生成 ssh key 文件,注意 passphrase 是空,把 ssh key 拷贝到每一个 Ceph 节点上:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

在 ceph-adm 上登陆到每台节点上确认是否都能无密码 ssh 了,确保那个烦人的连接确认不会再出现:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

Ceph 部署

比起在每个 Ceph 节点上手动安装 Ceph,用 ceph-deploy 工具统一安装要方便得多:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

创建一个 ceph 工作目录,以后的操作都在这个目录下面进行:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

初始化集群,告诉 ceph-deploy 哪些节点是监控节点,命令成功执行后会在 ceph-cluster 目录下生成 ceph.conf, ceph.log, ceph.mon.keyring 等相关文件:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

在每个 Ceph 节点上都安装 Ceph:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

初始化监控节点:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

查看一下 Ceph 存储节点的硬盘情况:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

初始化 Ceph 硬盘,然后创建 osd 存储节点,存储节点:单个硬盘:对应的 journal 分区,一一对应:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

最后,我们把生成的配置文件从 ceph-adm 同步部署到其他几个节点,使得每个节点的 ceph 配置一致:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

测试

看一下配置成功了没?

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

增加 PG 数目,根据 Total PGs = (#OSDs * 100) / pool size 公式来决定 pg_num(pgp_num 应该设成和 pg_num 一样),所以 20*100/2=1000,Ceph 官方推荐取最接近2的指数倍,所以选择 1024。如果顺利的话,就应该可以看到 HEALTH_OK 了:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

更详细一点:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

如果操作没有问题的话记得把上面操作写到 ceph.conf 文件里,并同步部署的各节点:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

如果一切可以从来

部署过程中如果出现任何奇怪的问题无法解决,可以简单的删除一切从头再来:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

Troubleshooting

如果出现任何网络问题,首先确认节点可以互相无密码 ssh,各个节点的防火墙已关闭或加入规则:

linux学习教程之将分布式存储系统Ceph安装在CentOS 7

初次安装 Ceph 会遇到各种各样的问题,总体来说排错还算顺利,随着经验的积累,今年下半年将会逐步把 Ceph 加入到生产环境。

希望在看完这篇文章后,你已经对整个过程有了认识。那么接下来最要紧的事情,就是动手操作啦~

相关新闻

历经多年发展,已成为国内好评如潮的Linux云计算运维、SRE、Devops、网络安全、云原生、Go、Python开发专业人才培训机构!