在Debian 8上使用GlusterFS的高可用性存储 - 跨两个存储服务器镜像

本教程将介绍如何使用两个使用GlusterFS的存储服务器（Debian Jessie）设置高可用性存储。 每个存储服务器将是其他存储服务器的镜像，文件将在两个存储节点上自动复制。 客户端系统（Debian 8）也将能够访问存储，就像它是本地文件系统一样。 GlusterFS是一种能够缩放到几个peta字节的集群文件系统。 它将Infiniband RDMA或TCP / IP互连的各种存储砖聚合成一个大型并行网络文件系统。 存储砖可以由诸如具有SATA-II RAID和Infiniband HBA的x86_64服务器的任何商品硬件制成。

1初步说明

在本教程中，我将使用三个系统，两个服务器和一个客户机：

• server1.example.com：IP地址192.168.1.100 （服务器）
• server2.example.com：IP地址192.168.1.101 （服务器）
• client1.example.com：IP地址192.168.1.102 （客户端）

所有这三个系统应该能够解析其他系统的主机名。 如果这不能通过DNS完成，您应该编辑/ etc / hosts文件，使其在所有三个系统上如下所示：

nano /etc/hosts

127.0.0.1 localhost
192.168.1.100 server1.example.com server1
192.168.1.101 server2.example.com server2
192.168.1.102 client1.example.com client1


# The following lines are desirable for IPv6 capable hosts
::1 localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

（也可以在以下设置中使用IP地址而不是主机名，如果您希望使用IP地址，则不需要关心主机名是否可以解决。）

2设置GlusterFS服务器

server1.example.com/server2.example.com：

最新的GlusterFS版本可从gluster.org获得Debian软件包。 我们可以安装如下：

我们在两台服务器上添加了gluster.org Debian资源库的公钥。

wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-key add -

然后添加GlusterFS库（该命令是一行！）

echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list

并更新存储库列表。

apt-get update

现在我们可以使用apt安装GlusterFS服务器软件。

apt-get -y install glusterfs-server

命令

glusterfsd --version

现在应该显示您刚刚安装的GlusterFS版本（在这种情况下为3.7.9）：

root@server1:/# glusterfsd --version
glusterfs 3.7.9 built on Mar 23 2016 05:24:49
Repository revision: git://git.gluster.com/glusterfs.git
Copyright (c) 2006-2013 Red Hat, Inc. <http://www.redhat.com/>
GlusterFS comes with ABSOLUTELY NO WARRANTY.
It is licensed to you under your choice of the GNU Lesser
General Public License, version 3 or any later version (LGPLv3
or later), or the GNU General Public License, version 2 (GPLv2),
in all cases as published by the Free Software Foundation.
root@server1:/#

如果您使用防火墙，请确保在server1.example.com和server2.example.com上打开TCP端口111,24007,24008,24009-（24009 +所有卷上的砖块数）。

Glusterfs将其数据存储在服务器上的目录/数据中。 如果安装较小或使用单独的硬盘分区并将其挂载为/ data，则此位置可以是普通目录。

在两台服务器上运行：

mkdir /data

创建数据目录。

接下来，我们必须将server2.example.com添加到受信任的存储池（请注意，我正在运行server1.example.com中的所有GlusterFS配置命令，但您也可以从server2.example.com运行它们，因为配置在GlusterFS节点之间进行复制 - 只需确保使用正确的主机名或IP地址）：

server1.example.com：

在server1.example.com上运行

gluster peer probe server2.example.com

root@server1:/# gluster peer probe server2.example.com
peer probe: success.
root@server1:/#

可信存储池的状态现在应该类似于：

gluster peer status

root@server1:/# gluster peer status
Number of Peers: 1

Hostname: server2.example.com
Uuid: 0f7ee46c-6a71-4a31-91d9-6076707eff95
State: Peer in Cluster (Connected)
root@server1:/#

接下来，我们使用两个副本创建名为testvol的共享（请注意，在这种情况下，副本的数量等于我们要设置镜像的服务器数量）在server1.example.com和server2.example.com上/ data / testvol目录（如果不存在，将创建它）：

gluster volume create testvol replica 2 transport tcp server1.example.com:/data/testvol server2.example.com:/data/testvol force

root@server1:/# gluster volume create testvol replica 2 transport tcp server1.example.com:/data/testvol server2.example.com:/data/testvol force
volume create: testvol: success: please start the volume to access data
root@server1:/#

启动音量：

gluster volume start testvol

root@server1:/# gluster volume start testvol
volume start: testvol: success
root@server1:/#

我们的测试卷已经成功启动

上述命令有可能告诉您操作不成功：

root@server1:~# gluster volume start testvol
Starting volume testvol has been unsuccessful
root@server1:~#

在这种情况下，您应该检查...的输出

server1.example.com/server2.example.com：

netstat -tap | grep glusterfsd

在两台服务器上

如果你得到这样的输出...

root@server1:/# netstat -tap | grep glusterfsd
tcp 0 0 *:49152 *:* LISTEN 8007/glusterfsd
tcp 0 0 server1.example.c:65533 server1.example.c:24007 ESTABLISHED 8007/glusterfsd
tcp 0 0 server1.example.c:49152 server2.example.c:65531 ESTABLISHED 8007/glusterfsd
tcp 0 0 server1.example.c:49152 server1.example.c:65532 ESTABLISHED 8007/glusterfsd
tcp 0 0 server1.example.c:49152 server1.example.c:65531 ESTABLISHED 8007/glusterfsd
tcp 0 0 server1.example.c:49152 server2.example.c:65526 ESTABLISHED 8007/glusterfsd
root@server1:/#

...一切都很好，但如果你没有得到任何输出...

root@server2:~# netstat -tap | grep glusterfsd
root@server2:~#

...重新启动相应服务器上的GlusterFS守护程序（在这种情况下为server1.example.com ）：

server2.example.com：

service glusterfs-server restart

然后检查输出...

netstat -tap | grep glusterfsd

...再次在该服务器上 - 现在应该看起来像这样：

root@server2:/# netstat -tap | grep glusterfsd
tcp 0 0 *:49152 *:* LISTEN 7852/glusterfsd
tcp 0 0 server2.example.c:49152 server2.example.c:65532 ESTABLISHED 7852/glusterfsd
tcp 0 0 server2.example.c:49152 server1.example.c:65526 ESTABLISHED 7852/glusterfsd
tcp 0 0 server2.example.c:49152 server2.example.c:65525 ESTABLISHED 7852/glusterfsd
tcp 0 0 server2.example.c:65533 server2.example.c:24007 ESTABLISHED 7852/glusterfsd
tcp 0 0 server2.example.c:49152 server1.example.c:65524 ESTABLISHED 7852/glusterfsd
root@server2:/#

现在回到server1.example.com ：

server1.example.com：

您可以使用命令检查卷的状态

gluster volume info

root@server1:/# gluster volume info

Volume Name: testvol
Type: Replicate
Volume ID: 3fc9af57-ca56-4a72-ad54-3d2ea03e5883
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data/testvol
Brick2: server2.example.com:/data/testvol
Options Reconfigured:
performance.readdir-ahead: on
root@server1:/#

默认情况下，所有客户端都可以连接到卷。 如果您只想授予对client1.example.com （= 192.168.1.102 ）的访问权限，请运行：

gluster volume set testvol auth.allow 192.168.1.102

root@server1:/# gluster volume set testvol auth.allow 192.168.1.102
volume set: success
root@server1:/#

请注意，可以使用通配符的IP地址（如192.168。* ），并且可以指定多个以逗号分隔的IP地址（例如192.168.1.102,192.168.1.103 ）。

音量信息现在应显示更新的状态：

gluster volume info

root @ server1：/＃gluster volume info

Volume Name: testvol
Type: Replicate
Volume ID: 3fc9af57-ca56-4a72-ad54-3d2ea03e5883
Status: Started
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data/testvol
Brick2: server2.example.com:/data/testvol
Options Reconfigured:
auth.allow: 192.168.1.102
performance.readdir-ahead: on
root@server1:/#

3设置GlusterFS客户端

client1.example.com：

在客户端系统中，我们首先添加了gluster.org Debian存储库的公钥。

wget -O - http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/rsa.pub | apt-key add -

然后添加GlusterFS库（该命令是一行！）

echo deb http://download.gluster.org/pub/gluster/glusterfs/3.7/3.7.9/Debian/jessie/apt jessie main > /etc/apt/sources.list.d/gluster.list

并更新存储库列表。

apt-get update

现在我们可以安装GlusterFS客户端，如下所示。

apt-get -y install glusterfs-client

然后我们创建以下目录：

mkdir /mnt/glusterfs

而已！ 现在我们可以使用以下命令将GlusterFS文件系统安装到/ mnt / glusterfs ：

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

（而不是server1.example.com，您可以在上述命令中使用server2.example.com ！）

你现在应该看到新产品中的新股份...

mount

root@client1:/# mount
sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
udev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=125556,mode=755)
devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
tmpfs on /run type tmpfs (rw,nosuid,relatime,size=204220k,mode=755)
/dev/sda1 on / type ext4 (rw,relatime,errors=remount-ro,data=ordered)
securityfs on /sys/kernel/security type securityfs (rw,nosuid,nodev,noexec,relatime)
tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
tmpfs on /sys/fs/cgroup type tmpfs (ro,nosuid,nodev,noexec,mode=755)
cgroup on /sys/fs/cgroup/systemd type cgroup (rw,nosuid,nodev,noexec,relatime,xattr,release_agent=/lib/systemd/systemd-cgroups-agent,name=systemd)
pstore on /sys/fs/pstore type pstore (rw,nosuid,nodev,noexec,relatime)
cgroup on /sys/fs/cgroup/cpuset type cgroup (rw,nosuid,nodev,noexec,relatime,cpuset)
cgroup on /sys/fs/cgroup/cpu,cpuacct type cgroup (rw,nosuid,nodev,noexec,relatime,cpu,cpuacct)
cgroup on /sys/fs/cgroup/devices type cgroup (rw,nosuid,nodev,noexec,relatime,devices)
cgroup on /sys/fs/cgroup/freezer type cgroup (rw,nosuid,nodev,noexec,relatime,freezer)
cgroup on /sys/fs/cgroup/net_cls,net_prio type cgroup (rw,nosuid,nodev,noexec,relatime,net_cls,net_prio)
cgroup on /sys/fs/cgroup/blkio type cgroup (rw,nosuid,nodev,noexec,relatime,blkio)
cgroup on /sys/fs/cgroup/perf_event type cgroup (rw,nosuid,nodev,noexec,relatime,perf_event)
systemd-1 on /proc/sys/fs/binfmt_misc type autofs (rw,relatime,fd=23,pgrp=1,timeout=300,minproto=5,maxproto=5,direct)
mqueue on /dev/mqueue type mqueue (rw,relatime)
debugfs on /sys/kernel/debug type debugfs (rw,relatime)
hugetlbfs on /dev/hugepages type hugetlbfs (rw,relatime)
rpc_pipefs on /run/rpc_pipefs type rpc_pipefs (rw,relatime)
fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072)
root@client1:/#

...和...

df -h

root@client1:/# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 57G 1.1G 53G 2% /
udev 10M 0 10M 0% /dev
tmpfs 200M 4.6M 195M 3% /run
tmpfs 499M 0 499M 0% /dev/shm
tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs 499M 0 499M 0% /sys/fs/cgroup
server1.example.com:/testvol 57G 21G 34G 39% /mnt/glusterfs
root@client1:/#

您可以修改/ etc / fstab ，而不是在客户机上手动安装GlusterFS共享，以便在客户端启动时自动挂载共享。

打开/ etc / fstab并附加以下行：

nano /etc/fstab

[...]
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

（再次，而不是server1.example.com，您也可以使用server2.example.com ！）

要测试您的/ etc / fstab是否正常工作，请重新启动客户端：

reboot

重新启动后，您应该在...的输出中找到共享

df -h

...和...

mount

4测试GlusterFS复制

现在让我们在GlusterFS共享上创建一些测试文件：

client1.example.com：

touch /mnt/glusterfs/test1
touch /mnt/glusterfs/test2

现在我们来看看server1.example.com和server2.example.com上的/ data 目录 。 test1和test2文件应该存在于每个节点上：

server1.example.com/server2.example.com：

ls -l /data/testvol

root@server1:/# ls -l /data/testvol/
total 0
-rw-r--r-- 2 root root 0 Mar 23 2016 test1
-rw-r--r-- 2 root root 0 Mar 23 2016 test2

现在我们关闭server1.example.com并在client1.example.com上的GlusterFS共享上添加/删除一些文件。

server1.example.com：

shutdown -h now

client1.example.com：

touch /mnt/glusterfs/test3
touch /mnt/glusterfs/test4
rm -f /mnt/glusterfs/test2

更改应显示在server2.example.com上的/ data / testvol目录中：

server2.example.com：

ls -l /data/testvol

root@server2:/# ls -l /data/testvol
total 8
-rw-r--r-- 2 root root 0 Mar 23 08:06 test1
-rw-r--r-- 2 root root 0 Mar 23 08:09 test3
-rw-r--r-- 2 root root 0 Mar 23 08:09 test4
root@server2:/#

我们再次启动server1.example.com并查看/ data目录：

server1.example.com：

ls -l /data/testvol

root@server1:/# ls -l /data/testvol
total 0
-rw-r--r-- 2 root root 0 Mar 23 08:06 test1
-rw-r--r-- 2 root root 0 Mar 23 08:09 test3
-rw-r--r-- 2 root root 0 Mar 23 08:09 test4
root@server1:/#

如您所见， server1.example.com自动同步更改。 如果更改尚未同步，那么这很容易解决，我们需要做的就是在client1.example.com上的GlusterFS共享上调用读取命令，例如：

client1.example.com：

ls -l /mnt/glusterfs/

root@client1:/# ls -l /mnt/glusterfs/
total 0
-rw-r--r-- 1 root root 0 Mar 23 08:06 test1
-rw-r--r-- 1 root root 0 Mar 23 08:09 test3
-rw-r--r-- 1 root root 0 Mar 23 08:09 test4
root@client1:/#

5链接

• GlusterFS： http : //www.gluster.org/
• GlusterFS文档： http : //gluster.readthedocs.org/en/latest/
• Debian： http ： //www.debian.org/