使用GlusterFS 3.0.x进行高可用性存储在Debian Squeeze上 - 跨两个存储服务器自动文件复制

本教程将介绍如何使用使用GlusterFS的两个存储服务器（Debian Squeeze）设置高可用性存储。 每个存储服务器将是其他存储服务器的镜像，并且文件将在两个存储服务器上自动复制。 客户端系统（Debian Squeeze）也将能够访问存储，就像它是本地文件系统一样。 GlusterFS是一种能够缩放到几个peta字节的集群文件系统。 它将Infiniband RDMA或TCP / IP互连的各种存储砖聚合成一个大型并行网络文件系统。 存储砖可以由诸如具有SATA-II RAID和Infiniband HBA的x86_64服务器的任何商品硬件制成。

我不会保证这将为您工作！

1初步说明

在本教程中，我使用三个系统，两个服务器和一个客户端：

• server1.example.com：IP地址192.168.0.100 （服务器）
• server2.example.com：IP地址192.168.0.101 （服务器）
• client1.example.com：IP地址192.168.0.102 （客户端）

所有这三个系统应该能够解析其他系统的主机名。 如果这不能通过DNS完成，您应该编辑/ etc / hosts文件，使其在所有三个系统上如下所示：

vi /etc/hosts

127.0.0.1       localhost.localdomain   localhost
192.168.0.100   server1.example.com     server1
192.168.0.101   server2.example.com     server2
192.168.0.102   client1.example.com     client1

# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
ff02::3 ip6-allhosts

（也可以在以下设置中使用IP地址而不是主机名，如果您希望使用IP地址，则不需要关心主机名是否可以解决。）

2设置GlusterFS服务器

server1.example.com/server2.example.com：

GlusterFS作为Debian Squeeze的软件包提供，因此我们可以安装如下：

apt-get install glusterfs-server

命令

glusterfs --version

现在应该显示您刚刚安装的GlusterFS版本（在这种情况下为3.0.5）：

root@server1:~# glusterfs --version
 glusterfs 3.0.5 built on Jul 13 2010 16:44:21
 Repository revision: v3.0.5
 Copyright (c) 2006-2009 Gluster Inc. <http://www.gluster.com>
 GlusterFS comes with ABSOLUTELY NO WARRANTY.
 You may redistribute copies of GlusterFS under the terms of the GNU General Public License.
 root@server1:~#

接下来我们创建几个目录：

mkdir /data/
 mkdir /data/export
 mkdir /data/export-ns

现在，我们创建了GlusterFS服务器配置文件/etc/glusterfs/glusterfsd.vol （我们首先备份原始的/etc/glusterfs/glusterfsd.vol文件），该文件定义将导出哪个目录（ / data / export ）和什么客户端被允许连接（ 192.168.0.102 = client1.example.com ）：

cp /etc/glusterfs/glusterfsd.vol /etc/glusterfs/glusterfsd.vol_orig
 cat /dev/null > /etc/glusterfs/glusterfsd.vol
 vi /etc/glusterfs/glusterfsd.vol

volume posix
  type storage/posix
  option directory /data/export
end-volume

volume locks
  type features/locks
  subvolumes posix
end-volume

volume brick
  type performance/io-threads
  option thread-count 8
  subvolumes locks
end-volume

volume server
  type protocol/server
  option transport-type tcp
  option auth.addr.brick.allow 192.168.0.102
  subvolumes brick
end-volume

请注意，可以使用通配符的IP地址（如192.168。* ），并且可以指定多个以逗号分隔的IP地址（例如192.168.0.102,192.168.0.103 ）。

之后我们启动了GlusterFS服务器：

/etc/init.d/glusterfs-server start

3设置GlusterFS客户端

client1.example.com：

在客户端，我们可以安装GlusterFS客户端，如下所示：

apt-get install glusterfs-client

然后我们创建以下目录：

mkdir /mnt/glusterfs

接下来，我们创建文件/etc/glusterfs/glusterfs.vol （我们首先备份原始的/etc/glusterfs/glusterfs.vol文件）：

cp /etc/glusterfs/glusterfs.vol /etc/glusterfs/glusterfs.vol_orig
 cat /dev/null > /etc/glusterfs/glusterfs.vol
 vi /etc/glusterfs/glusterfs.vol

volume remote1
  type protocol/client
  option transport-type tcp
  option remote-host server1.example.com
  option remote-subvolume brick
end-volume

volume remote2
  type protocol/client
  option transport-type tcp
  option remote-host server2.example.com
  option remote-subvolume brick
end-volume

volume replicate
  type cluster/replicate
  subvolumes remote1 remote2
end-volume

volume writebehind
  type performance/write-behind
  option window-size 1MB
  subvolumes replicate
end-volume

volume cache
  type performance/io-cache
  option cache-size 512MB
  subvolumes writebehind
end-volume

确保在选项远程主机行中使用正确的服务器主机名或IP地址！

而已！ 现在我们可以使用以下两个命令之一将GlusterFS文件系统安装到/ mnt / glusterfs ：

glusterfs -f /etc/glusterfs/glusterfs.vol /mnt/glusterfs

要么

mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs

你现在应该看到新产品中的新股份...

mount

root@client1:~# mount
 /dev/sda1 on / type ext3 (rw,errors=remount-ro)
 tmpfs on /lib/init/rw type tmpfs (rw,nosuid,mode=0755)
 proc on /proc type proc (rw,noexec,nosuid,nodev)
 sysfs on /sys type sysfs (rw,noexec,nosuid,nodev)
 udev on /dev type tmpfs (rw,mode=0755)
 tmpfs on /dev/shm type tmpfs (rw,nosuid,nodev)
 devpts on /dev/pts type devpts (rw,noexec,nosuid,gid=5,mode=620)
 fusectl on /sys/fs/fuse/connections type fusectl (rw)
 /etc/glusterfs/glusterfs.vol on /mnt/glusterfs type fuse.glusterfs (rw,allow_other,default_permissions,max_read=131072)
 root@client1:~#

...和...

df -h

root@client1:~# df -h
 Filesystem            Size  Used Avail Use% Mounted on
 /dev/sda1              29G  778M   27G   3% /
 tmpfs                 249M     0  249M   0% /lib/init/rw
 udev                  244M  100K  244M   1% /dev
 tmpfs                 249M     0  249M   0% /dev/shm
 /etc/glusterfs/glusterfs.vol
                        18G  848M   16G   5% /mnt/glusterfs
 root@client1:~#

（ server1.example.com和server2.example.com每个都有18GB的GlusterFS文件系统空间，但由于数据被镜像，客户端看不到36GB（2 x 18GB）但只有18GB。）

您可以修改/ etc / fstab ，而不是在客户机上手动安装GlusterFS共享，以便在客户端启动时自动挂载共享。

打开/ etc / fstab并附加以下行：

vi /etc/fstab

[...]
/etc/glusterfs/glusterfs.vol  /mnt/glusterfs  glusterfs  defaults,_netdev  0  0

要测试您的/ etc / fstab是否正常工作，请重新启动客户端：

reboot

重新启动后，您应该在...的输出中找到共享

df -h

...和...

mount

如果修改/ etc / fstab没有帮助，请撤消对/ etc / fstab的更改，并将此行添加到/etc/rc.local （在退出0行之前）：

vi /etc/rc.local

[...]
/bin/mount -t glusterfs /etc/glusterfs/glusterfs.vol /mnt/glusterfs
[...]

这样可以确保网络启动后共享安装。

4测试

现在让我们在GlusterFS共享上创建一些测试文件：

client1.example.com：

touch /mnt/glusterfs/test1
 touch /mnt/glusterfs/test2

现在我们来看看server1.example.com和server2.example.com上的/ data / export 目录 。 test1和test2文件应该存在于每个节点上：

server1.example.com/server2.example.com：

ls -l /data/export

root@server1:~# ls -l /data/export
 total 0
 -rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
 -rw-r--r-- 1 root root 0 2012-03-29 14:51 test2
 root@server1:~#

现在我们关闭server1.example.com并在client1.example.com上的GlusterFS共享上添加/删除一些文件。

server1.example.com：

shutdown -h now

client1.example.com：

touch /mnt/glusterfs/test3
 touch /mnt/glusterfs/test4
 rm -f /mnt/glusterfs/test2

更改应显示在server2.example.com上的/ data / export目录中：

server2.example.com：

ls -l /data/export

root@server2:~# ls -l /data/export
 total 0
 -rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
 -rw-r--r-- 1 root root 0 2012-03-29 14:52 test3
 -rw-r--r-- 1 root root 0 2012-03-29 14:52 test4
 root@server2:~#

我们再次启动server1.example.com并查看/ data / export目录：

server1.example.com：

ls -l /data/export

root@server1:~# ls -l /data/export
 total 0
 -rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
 -rw-r--r-- 1 root root 0 2012-03-29 14:51 test2
 root@server1:~#

如您所见， server1.example.com尚未注意到发生的更改。 这很容易解决，我们需要做的就是在client1.example.com上的GlusterFS共享上调用一个读命令，例如：

client1.example.com：

ls -l /mnt/glusterfs/

root@client1:~# ls -l /mnt/glusterfs/
 total 8
 -rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
 -rw-r--r-- 1 root root 0 2012-03-29 14:52 test3
 -rw-r--r-- 1 root root 0 2012-03-29 14:52 test4
 root@client1:~#

现在再看看server1.example.com上的/ data / export目录，你应该会看到这些更改已被复制到该节点：

server1.example.com：

ls -l /data/export

root@server1:~# ls -l /data/export
 total 8
 -rw-r--r-- 1 root root 0 2012-03-29 14:51 test1
 -rw-r--r-- 1 root root 0 2012-03-29 14:52 test3
 -rw-r--r-- 1 root root 0 2012-03-29 14:52 test4
 root@server1:~#

5链接

• GlusterFS： http : //www.gluster.org/
• Debian： http ： //www.debian.org/