本教程将介绍如何使用使用GlusterFS的两台存储服务器(CentOS 7.2)来设置高可用性存储。 每个存储服务器将是其他存储服务器的镜像,并且文件将在两个存储服务器上自动复制。 客户端系统(CentOS 7.2)将能够访问存储,就像它是本地文件系统一样。 GlusterFS是一种能够缩放到几个peta字节的集群文件系统。 它将Infiniband RDMA或TCP / IP互连的各种存储砖聚合成一个大型并行网络文件系统。 存储砖可以由诸如具有SATA-II RAID和Infiniband HBA的x86_64服务器的任何商品硬件制成。
1初步说明
在本教程中,我使用三个系统,两个服务器和一个客户机:
-
server1.example.com:IP
地址192.168.0.100
(服务器) -
server2.example.com:IP
地址192.168.0.101
(服务器) -
client1.example.com:IP
地址192.168.0.102
(客户端)
所有这三个系统应该能够解析其他系统的主机名。 如果这不能通过DNS完成,您应该编辑/ etc / hosts
文件,使其在所有三个系统上如下所示:
nano /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 client1.example.com client1 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
(也可以在以下设置中使用IP地址而不是主机名,如果您希望使用IP地址,则不需要关心主机名是否可以解决。)
2启用其他存储库
server1.example.com/server2.example.com/client1.example.com:
首先,我们导入软件包的GPG密钥:
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*
然后我们在CentOS系统上启用EPEL 7存储库:
yum -y install epel-release
yum -y install yum-priorities
编辑/etc/yum.repos.d/epel.repo
...
nano /etc/yum.repos.d/epel.repo
...并将行优先级= 10
添加到[epel]
部分:
[epel] name=Extra Packages for Enterprise Linux 7 - $basearch #baseurl=http://download.fedoraproject.org/pub/epel/7/$basearch mirrorlist=https://mirrors.fedoraproject.org/metalink?repo=epel-7&arch=$basearch failovermethod=priority enabled=1 priority=10 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 [...]
然后我们更新系统上现有的软件包:
yum -y update
3设置GlusterFS服务器
server1.example.com/server2.example.com:
GlusterFS可在CentOS存储特殊兴趣组的存储库中使用。 使用以下命令安装存储库:
yum -y install centos-release-gluster
然后安装GlusterFS服务器,如下所示:
yum -y install glusterfs-server
创建Gluster守护程序的系统启动链接并启动它:
systemctl enable glusterd.service
systemctl start glusterd.service
命令
glusterfsd --version
现在应该显示您刚刚安装的GlusterFS版本(在这种情况下为3.7.12):
[root@server1 ~]# glusterfsd --version
glusterfs 3.7.12 built on Jun 24 2016 14:11:19
Repository revision: git://git.gluster.com/glusterfs.git
Copyright (c) 2006-2013 Red Hat, Inc. <http://www.redhat.com/>
GlusterFS comes with ABSOLUTELY NO WARRANTY.
It is licensed to you under your choice of the GNU Lesser
General Public License, version 3 or any later version (LGPLv3
or later), or the GNU General Public License, version 2 (GPLv2),
in all cases as published by the Free Software Foundation.
如果您使用防火墙,请确保在server1.example.com
和server2.example.com
上打开TCP端口111,24007,24008,24009-(24009 +所有卷上的砖块数)。
接下来,我们必须将server2.example.com
添加到受信任的存储池(请注意,我正在运行server1.example.com中的所有GlusterFS配置命令,但您也可以从server2.example.com
运行它们,因为配置在GlusterFS节点之间进行复制 - 只需确保使用正确的主机名或IP地址):
server1.example.com:
在server1.example.com
上运行
gluster peer probe server2.example.com
[root@server1 ~]# gluster peer probe server2.example.com
peer probe: success.
可信存储池的状态现在应该类似于:
gluster peer status
[root@server1 ~]# gluster peer status
Number of Peers: 1
Hostname: server2.example.com
Uuid: 582e10da-aa1b-40b8-908c-213f16f57fe5
State: Peer in Cluster (Connected)
接下来,我们使用两个副本创建名为testvol
的共享(请注意,在这种情况下,副本的数量等于我们要设置镜像的服务器数量)在server1.example.com
和server2.example.com
上/ data
目录(如果不存在,将创建它):
gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data force
[root@server1 ~]# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data force
volume create: testvol: success: please start the volume to access data
[root@server1 ~]#
启动音量:
gluster volume start testvol
结果应该是:
[root@server1 ~]# gluster volume start testvol
volume start: testvol: success
[root@server1 ~]#
上述命令有可能告诉您操作不成功:
[root@server1 ~]# gluster volume start testvol
Starting volume testvol has been unsuccessful
[root@server1 ~]#
在这种情况下,您应该检查...的输出
server1.example.com/server2.example.com:
netstat -tap | grep glusterfsd
在两台服务器上
如果你得到这样的输出...
[root@server1 ~]# netstat -tap | grep glusterfsd
tcp 0 0 0.0.0.0:49152 0.0.0.0:* LISTEN 22880/glusterfsd
tcp 0 0 server1.example.c:49152 server2.example.c:49148 ESTABLISHED 22880/glusterfsd
tcp 0 0 server1.example.c:49152 server1.example.c:49148 ESTABLISHED 22880/glusterfsd
tcp 0 0 server1.example.c:49150 server1.example.c:24007 ESTABLISHED 22880/glusterfsd
tcp 0 0 server1.example.c:49152 server2.example.c:49142 ESTABLISHED 22880/glusterfsd
tcp 0 0 server1.example.c:49152 server1.example.c:49149 ESTABLISHED 22880/glusterfsd
[root@server1 ~]#
...一切都很好,但如果你没有得到任何输出...
[root@server2 ~]# netstat -tap | grep glusterfsd
[root@server2 ~]#
...重新启动相应服务器上的GlusterFS守护程序(在这种情况下为server2.example.com
):
server2.example.com:
systemctl restart glusterd.service
然后检查输出...
netstat -tap | grep glusterfsd
...再次在该服务器上 - 现在应该看起来像这样:
[root@server2 ~]# netstat -tap | grep glusterfsd
tcp 0 0 0.0.0.0:49152 0.0.0.0:* LISTEN 10971/glusterfsd
tcp 0 0 server2.example.c:49152 server1.example.c:49140 ESTABLISHED 10971/glusterfsd
tcp 0 0 server2.example.c:49152 server2.example.c:49149 ESTABLISHED 10971/glusterfsd
tcp 0 0 server2.example.c:49152 server2.example.c:49143 ESTABLISHED 10971/glusterfsd
tcp 0 0 server2.example.c:49152 server1.example.c:49142 ESTABLISHED 10971/glusterfsd
tcp 0 0 server2.example.c:49150 server2.example.c:24007 ESTABLISHED 10971/glusterfsd
[root@server2 ~]#
现在回到server1.example.com
:
server1.example.com:
您可以使用命令检查卷的状态
gluster volume info
[root @ server1〜]#gluster volume info
Volume Name: testvol
Type: Replicate
Volume ID: e1f825ca-c9d9-4eeb-b6c5-d62c4aa02376
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
Options Reconfigured:
performance.readdir-ahead: on
[root@server1 ~]#
默认情况下,所有客户端都可以连接到卷。 如果您只想授予对client1.example.com
(= 192.168.1.102
)的访问权限,请运行:
gluster volume set testvol auth.allow 192.168.1.102
请注意,可以使用通配符的IP地址(如192.168。*
),并且可以指定多个以逗号分隔的IP地址(例如192.168.1.102,192.168.1.103
)。
音量信息现在应显示更新的状态:
gluster volume info
[root@server1 ~]# gluster volume info
Volume Name: testvol
Type: Replicate
Volume ID: e1f825ca-c9d9-4eeb-b6c5-d62c4aa02376
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
Options Reconfigured:
auth.allow: 192.168.1.102
performance.readdir-ahead: on
[root@server1 ~]#
4设置GlusterFS客户端
client1.example.com:
在客户端,我们可以安装GlusterFS客户端,如下所示:
yum -y install glusterfs-client
然后我们创建以下目录:
mkdir /mnt/glusterfs
而已! 现在我们可以使用以下命令将GlusterFS文件系统安装到/ mnt / glusterfs
:
mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(而不是server1.example.com,
您可以在上述命令中使用server2.example.com
!)
你现在应该看到新产品中的新股份...
mount
[root@client1 ~]# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
devtmpfs on /dev type devtmpfs (rw,nosuid,seclabel,size=930336k,nr_inodes=232584,mode=755)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev,seclabel)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,seclabel,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,nodev,seclabel,mode=755)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,seclabel,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/usr/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/hugetlb type cgroup (rw,nosuid,nodev,noexec,relatime,hugetlb)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpuacct,cpu)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/memory type cgroup (rw,nosuid,nodev,noexec,relatime,memory)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/net_cls type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls)
configfs on /sys/kernel/config type configfs (rw,relatime)
/dev/mapper/centos-root on / type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
selinuxfs on /sys/fs/selinux type selinuxfs (rw,relatime)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=34,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
mqueue on /dev/mqueue type mqueue (rw,relatime,seclabel)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime,seclabel)
/dev/sda1 on /boot type xfs (rw,relatime,seclabel,attr2,inode64,noquota)
tmpfs on /run/user/0 type tmpfs (rw,nosuid,nodev,relatime,seclabel,size=188060k,mode=700)
server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
[root@client1 ~]#
...和...
df -h
[root@client1 ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 28G 1.3G 27G 5% /
devtmpfs 909M 0 909M 0% /dev
tmpfs 919M 0 919M 0% /dev/shm
tmpfs 919M 8.6M 910M 1% /run
tmpfs 919M 0 919M 0% /sys/fs/cgroup
/dev/sda1 497M 192M 306M 39% /boot
tmpfs 184M 0 184M 0% /run/user/0
server1.example.com:/testvol 28G 12G 17G 41% /mnt/glusterfs
[root@client1 ~]#
您不必在客户机上手动安装GlusterFS共享,而是将mount命令添加到/etc/rc.local文件中。 我不会将其添加到/ etc / fstab中,因为rc.local始终在网络启动后执行,这是网络文件系统所必需的
打开/etc/rc.local
并追加以下行:
nano /etc/rc.local
[...]
/usr/sbin/mount.glusterfs server1.example.com:/testvol /mnt/glusterfs
(再次,而不是server1.example.com,
您也可以使用server2.example.com
!)
要测试您的/etc/rc.local
是否正常工作,请重新启动客户端:
reboot
重新启动后,您应该在...的输出中找到共享
df -h
...和...
mount
5测试
现在让我们在GlusterFS共享上创建一些测试文件:
client1.example.com:
touch /mnt/glusterfs/test1
touch /mnt/glusterfs/test2
现在我们来看看server1.example.com
和server2.example.com
上的/ data
目录
。 test1
和test2
文件应该存在于每个节点上:
server1.example.com/server2.example.com:
ls -l /data
[root@server1 ~]# ls -l /data
total 0
-rw-r--r--. 2 root root 0 Jul 1 2016 test1
-rw-r--r--. 2 root root 0 Jul 1 2016 test2
[root@server1 ~]
现在我们关闭server1.example.com
并在client1.example.com上的GlusterFS共享上添加/删除一些文件。
server1.example.com:
shutdown -h now
client1.example.com:
touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2
这些命令可能需要一些时间才能执行,因为Glusterfs在不能再到达server1之后切换到server2。 我们可以在这里看到系统的容错性,因为当server1离线时,我们仍然可以在我们的数据存储共享上工作。 更改应显示在server2.example.com上的/ data
目录中:
server2.example.com:
ls -l /data
[root@server2 ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test3
-rw-r--r--. 2 root root 0 Jul 1 15:19 test4
我们再次启动server1.example.com
并查看/ data
目录:
server1.example.com:
ls -l /data
[root@server1 ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test2
[root@server1 ~]#
如您所见, server1.example.com
自动同步更改。 如果更改尚未同步,那么这很容易解决,我们需要做的就是在client1.example.com上的GlusterFS共享上调用读取命令 ,例如:
client1.example.com:
ls -l /mnt/glusterfs/
[root@client1 ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test3
-rw-r--r--. 2 root root 0 Jul 1 15:19 test4
[root@server1 ~]#
现在再次查看server1.example.com上的/ data
目录,您应该看到这些更改已经复制到该节点:
server1.example.com:
ls -l /data
[root@server1 ~]# ls -l /data
total 8
-rw-r--r--. 2 root root 0 Jul 1 15:17 test1
-rw-r--r--. 2 root root 0 Jul 1 15:19 test3
-rw-r--r--. 2 root root 0 Jul 1 15:19 test4
[root@server1 ~]#
6链接
- GlusterFS: http : //www.gluster.org/
- GlusterFS 3.2文档: http : //download.gluster.com/pub/gluster/glusterfs/3.2/Documentation/AG/html/index.html
- CentOS: http : //www.centos.org/