使用GlusterFS 3.2.x进行高可用性存储在Ubuntu 11.10 - 跨两个存储服务器的自动文件复制(镜像)
本教程将介绍如何使用使用GlusterFS的两个存储服务器(Ubuntu 11.10)设置高可用性存储。 每个存储服务器将是其他存储服务器的镜像,并且文件将在两个存储服务器上自动复制。 客户端系统(Ubuntu 11.10)将能够访问存储,就像它是本地文件系统一样。 GlusterFS是一种能够缩放到几个peta字节的集群文件系统。 它将Infiniband RDMA或TCP / IP互连的各种存储砖聚合成一个大型并行网络文件系统。 存储砖可以由诸如具有SATA-II RAID和Infiniband HBA的x86_64服务器的任何商品硬件制成。
我不会保证这将为您工作!
1初步说明
在本教程中,我使用三个系统,两个服务器和一个客户端:
-
server1.example.com:IP
地址192.168.0.100
(服务器) -
server2.example.com:IP
地址192.168.0.101
(服务器) -
client1.example.com:IP
地址192.168.0.102
(客户端)
因为我们将使用root权限运行本教程中的所有步骤,我们可以使用字符串sudo
来为本教程中的所有命令添加所有命令,也可以通过键入来成为root
sudo su
所有这三个系统应该能够解析其他系统的主机名。 如果这不能通过DNS完成,您应该编辑/ etc / hosts
文件,使其在所有三个系统上如下所示:
vi /etc/hosts
127.0.0.1 localhost.localdomain localhost 192.168.0.100 server1.example.com server1 192.168.0.101 server2.example.com server2 192.168.0.102 client1.example.com client1 # The following lines are desirable for IPv6 capable hosts ::1 localhost ip6-localhost ip6-loopback fe00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts |
(也可以在以下设置中使用IP地址而不是主机名,如果您希望使用IP地址,则不需要关心主机名是否可以解决。)
2设置GlusterFS服务器
server1.example.com/server2.example.com:
GlusterFS可用作Ubuntu 11.10的软件包,因此我们可以按如下方式进行安装:
apt-get install glusterfs-server
命令
glusterfsd --version
现在应该显示您刚刚安装的GlusterFS版本(在这种情况下为3.2.1):
root@server1:~# glusterfsd --version
glusterfs 3.2.1 built on Jun 28 2011 07:43:56
Repository revision: v3.2.1
Copyright (c) 2006-2010 Gluster Inc. <http://www.gluster.com>
GlusterFS comes with ABSOLUTELY NO WARRANTY.
You may redistribute copies of GlusterFS under the terms of the GNU Affero General Public License.
root@server1:~#
如果您使用防火墙,请确保在server1.example.com
和server2.example.com
上打开TCP端口111,24007,24008,24009-(24009 +所有卷上的砖块数)。
接下来,我们必须将server2.example.com
添加到受信任的存储池(请注意,我正在运行server1.example.com中的所有GlusterFS配置命令,但您也可以从server2.example.com
运行它们,因为配置为在GlusterFS节点之间进行复制 - 只需确保使用正确的主机名或IP地址):
server1.example.com:
在server1.example.com
上运行
gluster peer probe server2.example.com
root@server1:~# gluster peer probe server2.example.com
Probe successful
root@server1:~#
可信存储池的状态现在应该类似于:
gluster peer status
root@server1:~# gluster peer status
Number of Peers: 1
Hostname: server2.example.com
Uuid: 7cd93007-fccb-4fcb-8063-133e6ba81cd9
State: Peer in Cluster (Connected)
root@server1:~#
接下来,我们使用两个副本创建名为testvol
的共享(请注意,在这种情况下,副本的数量等于我们要设置镜像的服务器数量)在server1.example.com
和server2.example.com
上/ data
目录(如果不存在,将创建它):
gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data
root@server1:~# gluster volume create testvol replica 2 transport tcp server1.example.com:/data server2.example.com:/data
Creation of volume testvol has been successful. Please start the volume to access data.
root@server1:~#
启动音量:
gluster volume start testvol
上述命令有可能告诉您操作不成功:
root@server1:~# gluster volume start testvol
Starting volume testvol has been unsuccessful
root@server1:~#
在这种情况下,您应该检查...的输出
server1.example.com/server2.example.com:
netstat -tap | grep glusterfsd
在两台服务器上
如果你得到这样的输出...
root@server1:~# netstat -tap | grep glusterfsd
tcp 0 0 *:24009 *:* LISTEN 1548/glusterfsd
tcp 0 0 localhost.localdom:1019 localhost.localdo:24007 ESTABLISHED 1548/glusterfsd
root@server1:~#
...一切都很好,但如果你没有得到任何输出...
root@server2:~# netstat -tap | grep glusterfsd
root@server2:~#
...重新启动相应服务器上的GlusterFS守护程序(在这种情况下为server2.example.com
):
server2.example.com:
/etc/init.d/glusterfs-server restart
然后检查输出...
netstat -tap | grep glusterfsd
...再次在该服务器上 - 现在应该看起来像这样:
root@server2:~# netstat -tap | grep glusterfsd
tcp 0 0 *:24010 *:* LISTEN 1458/glusterfsd
tcp 0 0 localhost.localdom:1021 localhost.localdo:24007 ESTABLISHED 1458/glusterfsd
root@server2:~#
现在回到server1.example.com
:
server1.example.com:
您可以使用命令检查卷的状态
gluster volume info
root@server1:~# gluster volume info
Volume Name: testvol
Type: Replicate
Status: Started
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
root@server1:~#
默认情况下,所有客户端都可以连接到卷。 如果您只想授予对client1.example.com
(= 192.168.0.102
)的访问权限,请运行:
gluster volume set testvol auth.allow 192.168.0.102
请注意,可以使用通配符的IP地址(如192.168。*
),并且可以指定多个以逗号分隔的IP地址(例如192.168.0.102,192.168.0.103
)。
音量信息现在应显示更新的状态:
gluster volume info
root@server1:~# gluster volume info
Volume Name: testvol
Type: Replicate
Status: Started
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: server1.example.com:/data
Brick2: server2.example.com:/data
Options Reconfigured:
auth.allow: 192.168.0.102
root@server1:~#