使用GlusterFS 3.2.x进行高可用性存储在Debian Wheezy - 跨两个存储服务器的自动文件复制（镜像）

本教程将介绍如何使用使用GlusterFS的两个存储服务器（Debian Wheezy）设置高可用性存储。每个存储服务器将是其他存储服务器的镜像，并且文件将在两个存储服务器上自动复制。客户端系统（Debian Wheezy）也将能够访问存储，就像它是本地文件系统一样。 GlusterFS是一种能够缩放到几个peta字节的集群文件系统。它将Infiniband RDMA或TCP / IP互连的各种存储砖聚合成一个大型并行网络文件系统。存储砖可以由诸如具有SATA-II RAID和Infiniband HBA的x86_64服务器的任何商品硬件制成。

我不会保证这将为您工作！

1初步说明

在本教程中，我使用三个系统，两个服务器和一个客户端：

server1.example.com：IP地址192.168.0.100 （服务器）
server2.example.com：IP地址192.168.0.101 （服务器）
client1.example.com：IP地址192.168.0.102 （客户端）

所有这三个系统应该能够解析其他系统的主机名。如果这不能通过DNS完成，您应该编辑/ etc / hosts文件，使其在所有三个系统上如下所示：

vi /etc/hosts

127.0.0.1       localhost.localdomain   localhost
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   client1.example.com     client1

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

（也可以在以下设置中使用IP地址而不是主机名，如果您希望使用IP地址，则不需要关心主机名是否可以解决。）

2设置GlusterFS服务器

server1.example.com/server2.example.com：

GlusterFS可用作Debian Wheezy的一个包，因此我们可以安装如下：

apt-get install glusterfs-server

命令

glusterfsd --version

现在应该显示您刚刚安装的GlusterFS版本（在这种情况下为3.2.7）：

root@server1:~# glusterfsd --version
 glusterfs 3.2.7 built on Nov 12 2012 19:30:08
 Repository revision: git://git.gluster.com/glusterfs.git
 Copyright (c) 2006-2011 Gluster Inc. <http://www.gluster.com>
 GlusterFS comes with ABSOLUTELY NO WARRANTY.
 You may redistribute copies of GlusterFS under the terms of the GNU General Public License.
 root@server1:~#

如果您使用防火墙，请确保在server1.example.com和server2.example.com上打开TCP端口111,24007,24008,24009-（24009 +所有卷上的砖块数）。

接下来，我们必须将server2.example.com添加到受信任的存储池（请注意，我正在运行server1.example.com中的所有GlusterFS配置命令，但您也可以从server2.example.com运行它们，因为配置为在GlusterFS节点之间进行复制 - 只需确保使用正确的主机名或IP地址）：

server1.example.com：

在server1.example.com上运行

gluster peer probe server2.example.com

root@server1:~# gluster peer probe server2.example.com
 Probe successful
 root@server1:~#

可信存储池的状态现在应该类似于：

gluster peer status

root@server1:~# gluster peer status
 Number of Peers: 1

Hostname: server2.example.com
 Uuid: d19cb707-7b23-4d11-8e9c-183cd0a18d96
 State: Peer in Cluster (Connected)
 root@server1:~#

接下来，我们使用两个副本创建名为testvol的共享（请注意，在这种情况下，副本的数量等于我们要设置镜像的服务器数量）在server1.example.com和server2.example.com上/ data目录（如果不存在，将创建它）：

gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data

root@server1:~# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data
 Creation of volume testvol has been successful. Please start the volume to access data.
 root@server1:~#

启动音量：

gluster volume start testvol

上述命令有可能告诉您操作不成功：

root@server1:~# gluster volume start testvol
 Starting volume testvol has been unsuccessful
 root@server1:~#

在这种情况下，您应该检查...的输出

server1.example.com/server2.example.com：

netstat -tap | grep glusterfsd

在两台服务器上

如果你得到这样的输出...

root@server1:~# netstat -tap | grep glusterfsd
 tcp        0      0 *:24009                 *:*                     LISTEN      1548/glusterfsd
 tcp        0      0 localhost.localdom:1019 localhost.localdo:24007 ESTABLISHED 1548/glusterfsd
 root@server1:~#

...一切都很好，但如果你没有得到任何输出...

root@server2:~# netstat -tap | grep glusterfsd
 root@server2:~#

...重新启动相应服务器上的GlusterFS守护程序（在这种情况下为server2.example.com ）：

server2.example.com：

/etc/init.d/glusterfs-server restart

然后检查输出...

netstat -tap | grep glusterfsd

...再次在该服务器上 - 现在应该看起来像这样：

root@server2:~# netstat -tap | grep glusterfsd
 tcp        0      0 *:24010                 *:*                     LISTEN      1458/glusterfsd
 tcp        0      0 localhost.localdom:1021 localhost.localdo:24007 ESTABLISHED 1458/glusterfsd
 root@server2:~#

现在回到server1.example.com ：

server1.example.com：

您可以使用命令检查卷的状态

gluster volume info

root@server1:~# gluster volume info

Volume Name: testvol
 Type: Replicate
 Status: Started
 Number of Bricks: 2
 Transport-type: tcp
 Bricks:
 Brick1: server1.example.com:/data
 Brick2: server2.example.com:/data
 root@server1:~#

默认情况下，所有客户端都可以连接到卷。如果您只想授予对client1.example.com （= 192.168.0.102 ）的访问权限，请运行：

gluster volume set testvol auth.allow 192.168.0.102

请注意，可以使用通配符的IP地址（如192.168。* ），并且可以指定多个以逗号分隔的IP地址（例如192.168.0.102,192.168.0.103 ）。

音量信息现在应显示更新的状态：

gluster volume info

root@server1:~# gluster volume info

Volume Name: testvol
 Type: Replicate
 Status: Started
 Number of Bricks: 2
 Transport-type: tcp
 Bricks:
 Brick1: server1.example.com:/data
 Brick2: server2.example.com:/data
 Options Reconfigured:
 auth.allow: 192.168.0.102
 root@server1:~#

3设置GlusterFS客户端

client1.example.com：

在客户端，我们可以安装GlusterFS客户端，如下所示：

apt-get install glusterfs-client

然后我们创建以下目录：

mkdir /mnt/glusterfs

而已！现在我们可以使用以下命令将GlusterFS文件系统安装到/ mnt / glusterfs ：

mount.glusterfs server1.example.com:/testvol /mnt/glusterfs

（而不是server1.example.com，您可以在上述命令中使用server2.example.com ！）

你现在应该看到新产品中的新股份...

mount

root@client1:~# mount
 sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime)
 proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)
 udev on /dev type devtmpfs (rw,relatime,size=10240k,nr_inodes=126813,mode=755)
 devpts on /dev/pts type devpts (rw,nosuid,noexec,relatime,gid=5,mode=620,ptmxmode=000)
 tmpfs on /run type tmpfs (rw,nosuid,noexec,relatime,size=102704k,mode=755)
 /dev/mapper/server1-root on / type ext4 (rw,relatime,errors=remount-ro,user_xattr,barrier=1,data=ordered)
 tmpfs on /run/lock type tmpfs (rw,nosuid,nodev,noexec,relatime,size=5120k)
 tmpfs on /run/shm type tmpfs (rw,nosuid,nodev,noexec,relatime,size=205400k)
 /dev/sda1 on /boot type ext2 (rw,relatime,errors=continue)
 rpc_pipefs on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw,relatime)
 server1.example.com:/testvol on /mnt/glusterfs type fuse.glusterfs (rw,relatime,user_id=0,group_id=0,default_permissions,allow_other,max_read=131072)
 fusectl on /sys/fs/fuse/connections type fusectl (rw,relatime)
 root@client1:~#

...和...

df -h

root@client1:~# df -h
 Filesystem                    Size  Used Avail Use% Mounted on
 rootfs                         29G  1.2G   26G   5% /
 udev                           10M     0   10M   0% /dev
 tmpfs                         101M  240K  101M   1% /run
 /dev/mapper/server1-root       29G  1.2G   26G   5% /
 tmpfs                         5.0M     0  5.0M   0% /run/lock
 tmpfs                         201M     0  201M   0% /run/shm
 /dev/sda1                     228M   18M  199M   9% /boot
 server1.example.com:/testvol   29G  1.2G   26G   5% /mnt/glusterfs
 root@client1:~#

您可以修改/ etc / fstab ，而不是在客户机上手动安装GlusterFS共享，以便在客户端启动时自动挂载共享。

打开/ etc / fstab并附加以下行：

vi /etc/fstab

[...]
server1.example.com:/testvol /mnt/glusterfs glusterfs defaults,_netdev 0 0

（再次，而不是server1.example.com，您也可以使用server2.example.com ！）

要测试您的/ etc / fstab是否正常工作，请重新启动客户端：

reboot

重新启动后，您应该在...的输出中找到共享

df -h

...和...

mount

4测试

现在让我们在GlusterFS共享上创建一些测试文件：

client1.example.com：

touch /mnt/glusterfs/test1
 touch /mnt/glusterfs/test2

现在我们来看看server1.example.com和server2.example.com上的/ data 目录 。 test1和test2文件应该存在于每个节点上：

server1.example.com/server2.example.com：

ls -l /data

root@server1:~# ls -l /data
 total 0
 -rw-r--r-- 1 root root 0 Sep 30 17:53 test1
 -rw-r--r-- 1 root root 0 Sep 30 17:53 test2
 root@server1:~#

现在我们关闭server1.example.com并在client1.example.com上的GlusterFS共享上添加/删除一些文件。

server1.example.com：

shutdown -h now

client1.example.com：

touch /mnt/glusterfs/test3
 touch /mnt/glusterfs/test4
 rm -f /mnt/glusterfs/test2

更改应显示在server2.example.com上的/ data目录中：

server2.example.com：

ls -l /data

root@server2:~# ls -l /data
 total 8
 -rw-r--r-- 1 root root 0 Sep 30 17:53 test1
 -rw-r--r-- 1 root root 0 Sep 30 17:54 test3
 -rw-r--r-- 1 root root 0 Sep 30 17:54 test4
 root@server2:~#

我们再次启动server1.example.com并查看/ data目录：

server1.example.com：

ls -l /data

root@server1:~# ls -l /data
 total 0
 -rw-r--r-- 1 root root 0 Sep 30 17:53 test1
 -rw-r--r-- 1 root root 0 Sep 30 17:53 test2
 root@server1:~#

如您所见， server1.example.com尚未注意到发生的更改。这很容易解决，我们需要做的就是在client1.example.com上的GlusterFS共享上调用一个读命令，例如：

client1.example.com：

ls -l /mnt/glusterfs/

root@client1:~# ls -l /mnt/glusterfs/
 total 8
 -rw-r--r-- 1 root root 0 Sep 30 17:53 test1
 -rw-r--r-- 1 root root 0 Sep 30 17:54 test3
 -rw-r--r-- 1 root root 0 Sep 30 17:54 test4
 root@client1:~#

现在再次查看server1.example.com上的/ data目录，您应该看到这些更改已经复制到该节点：

server1.example.com：

ls -l /data

root@server1:~# ls -l /data
 total 0
 -rw-r--r-- 1 root root 0 Sep 30 17:53 test1
 -rw-r--r-- 1 root root 0 Sep 30 17:54 test3
 -rw-r--r-- 1 root root 0 Sep 30 17:54 test4
 root@server1:~#