一、drbd简介
drbd全称Distributed Replicated Block Device，为分布式复制块设备，基于软件实现的，不共享任何东西的，通过复制的方式构建镜像模式工作的磁盘，类似于raid1，但不同于raid的是，drbd实现了跨主机镜像块数据。drbd工作原理：由工作于内核层次的drbd，将要写入本地磁盘的数据镜像一份发往本地网卡，由本地网卡发往另一台drbd主机的本地磁盘存储。因此，drbd的两个主机的，磁盘存储一模一样，从而实现分布式复制块设备的实现。drbd进程对磁盘的读写数据操作只在一个主机运行，只有在主drbd主机出现故障时，从drbd主机开始接收用户的数据读写。在集群系统中，drbd可与HA集群的分布式锁管理器一起使用，从而使主从drbd主机都可对数据读写，形成双主drbd。
1、drbd在块级别完成文件复制，工作于内核
2、drbd是跨主机的块设备镜像系统
DRBD结构图（引自DRBD官网）：
工作流程图分析：service服务，File System是任何进程要读取磁盘，都要向内核发起文件系统级别的调用来实现，文件系统能把数据等存入磁盘。Buffer Cache是service将数据缓存在内存中，并由Disk Scheduler取出调度排序，发往Disk Driver支配Disk Storage存储。而Raw Device则是不经由文件系统调用，直接块级别存储。DRBD则是直接在内核空间的内存与硬盘驱动之间加入一层，将从Buffer Cache提取的数据镜像一份，源数据继续经由Disk Driver支配Disk Storage存储，而镜像的数据经由TCP/IP网络通过本地网卡发往从drbd主机的drbd层交由Disk Driver支配Disk Storage存储。
DRBD的用户空间管理工具，用于管理主从drbd主机。主要使用drbdadm，因其更符合用户的使用习惯。而drbdsetup和drbdmeta为较接近底层的设备，所以使用较少。
DRBD的工作特性：实时，透明，设置数据同步类型
数据同步类型有三种：
A：异步，性能好，可靠性差
B：半同步 性能可靠性折中
C：同步 可靠性好，性能差
DRBD的资源类型:
Resource name：唯一的，只能使用ASCII码定义，不能包含空格字符
DRBD device：
由DRBD管理的块设备文件，
drbd设备：/dev/drbd#
主设备号：147
次设备号：从0开始编号
磁盘配置：各主机上用于组成此drbd设备的磁盘或分区
网络配置：数据同步时的网络通信属性
二、 drbd实现HA的MySQL集群
此前已部署好corosync+pacemaker+crmsh ---> corosync+pacemaker使用crmsh构建高可用集群
1、准备安装drbd（node1，node2）
drbd的rpm在内核版本2.6.33以上才自动加入内核功能，本文的系统版本为CentOS6.7，内核版本为2.6.32-573.el6.x86_64，所以要想使用drbd，只能编译源码，或是使用三方提供的rpm包。
|
1
2
3
4
5
|
准备epel源
[root@node1 corosync]
# rpm -Uvh
安装drbd主程序与内核模块
[root@node1 corosync]
# yum install drbd83 kmod-drbd83
|
2、在两个node节点准备磁盘（node1，node2）
在虚拟机上添加了10G的新硬盘，在centos6.7系统上不关机读取到新硬盘
|
1
2
3
4
5
6
7
|
[root@node1 corosync]
# ls /sys/class/scsi_host/
host0 host1 host2
[root@node1 corosync]
# echo "- - -" > /sys/class/scsi_host/host0/scan
[root@node1 corosync]
# echo "- - -" > /sys/class/scsi_host/host1/scan
[root@node1 corosync]
# echo "- - -" > /sys/class/scsi_host/host2/scan
[root@node1 corosync]
# fdisk -l | grep /dev/sdb
Disk
/dev/sdb
: 10.7 GB, 10737418240 bytes
|
为新硬盘创建分区，但不格式化。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
[root@node1 corosync]
# fdisk /dev/sdb
Device contains neither a valid DOS partition table, nor Sun, SGI or OSF disklabel
Building a new DOS disklabel with disk identifier 0x35afce5b.
Changes will remain
in
memory only,
until
you decide to write them.
After that, of course, the previous content won't be recoverable.
Warning: invalid flag 0x0000 of partition table 4 will be corrected by w(rite)
WARNING: DOS-compatible mode is deprecated. It's strongly recommended to
switch off the mode (
command
'c'
) and change display
units
to
sectors (
command
'u'
).
Command (m
for
help): p
Disk
/dev/sdb
: 10.7 GB, 10737418240 bytes
255 heads, 63 sectors
/track
, 1305 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical
/physical
): 512 bytes / 512 bytes
I
/O
size (minimum
/optimal
): 512 bytes / 512 bytes
Disk identifier: 0x35afce5b
Device Boot Start End Blocks Id System
Command (m
for
help): n
Command action
e extended
p primary partition (1-4)
p
Partition number (1-4): 1
First cylinder (1-1305, default 1):
Using default value 1
Last cylinder, +cylinders or +size{K,M,G} (1-1305, default 1305): +5G
Command (m
for
help): w
The partition table has been altered!
Calling ioctl() to re-
read
partition table.
Syncing disks.
|
通知内核更新分区表
|
1
2
|
[root@node1 ~]
# partx -a /dev/sdb
[root@node2 ~]
# partx -a /dev/sdb
|
3、配置文件
其配置文件为/etc/drbd.conf，其中引用了/etc/drbd.d/global_common.conf和/etc/drbd.d/*.res
/etc/drbd.d/global_common.conf：提供了全局配置，及多个drbd设备相同的配置
/etc/drbd.d/*.res :资源定义
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
|
vim
/etc/drbd
.d
/global_common
.conf
##global：全局属性，定义drbd自己的工作特性
global {
##收集用户信息
usage-count no;
# minor-count dialog-refresh disable-ip-verification
}
##common：通用属性，定义多组drbd设备通用特性
common {
protocol C;
##处理器，定义集群脑裂的处理方法
handlers {
# These are EXAMPLE handlers only.
# They may have severe implications,
# like hard resetting the node under certain circumstances.
# Be careful when chosing your poison.
# after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
}
##节点之间等待开启的时间，超时时间等
startup {
# wfc-timeout degr-wfc-timeout outdated-wfc-timeout wait-after-sb
}
##磁盘相关属性
disk {
on-io-error detach;
##节点故障就拆除
# on-io-error fencing use-bmbv no-disk-barrier no-disk-flushes
# no-disk-drain no-md-flushes max-bio-bvecs
}
##网络相关属性
net {
cram-hmac-alg
"sha1"
;
##定义消息校验时使用的算法
shared-secret
"OPNEZkj3ziyn/QyFGdVK5w"
;
##算法加密的密钥
# sndbuf-size rcvbuf-size timeout connect-int ping-int ping-timeout max-buffers
# max-epoch-size ko-count allow-two-primaries cram-hmac-alg shared-secret
# after-sb-0pri after-sb-1pri after-sb-2pri data-integrity-alg no-tcp-cork
}
##同步类型
syncer {
rate 100M;
##同步速率
# rate after al-extents use-rle cpu-mask verify-alg csums-alg
}
}
|
生成随机数，填入net的shared-secret中
|
1
2
|
[root@node2 ~]
# openssl rand -base64 16
OPNEZkj3ziyn
/QyFGdVK5w
==
|
配置资源
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
[root@node1 drbd.d]
# vim mystore.res
resource mystore {
device
/dev/drbd0
;
disk
/dev/sdb1
;
on node1 {
address 192.168.0.15:7789;
meta-disk internal;
}
on node2 {
address 192.168.0.16:7789;
meta-disk internal;
}
}
|
将配置文件复制给node2一份
|
1
2
3
|
[root@node1 ~]
# scp /etc/drbd.d/* node2:/etc/drbd.d/
global_common.conf 100% 1704 1.7KB
/s
00:00
mystore.res 100% 226 0.2KB
/s
00:00
|
4、在两个节点上初始化已定义的资源并重启服务
node1
|
1
2
3
4
5
|
[root@node1 ~]
# drbdadm create-md mystore
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
|
node2
|
1
2
3
4
5
|
[root@node2 ~]
# drbdadm create-md mystore
Writing meta data...
initializing activity log
NOT initialized bitmap
New drbd meta data block successfully created.
|
node1和node2同时启动drbd
|
1
2
|
[root@node1 ~]
# service drbd start
[root@node2 ~]
# service drbd start
|
启动服务后两节点都处于Secondary状态，我们要将其中一个节点设置为Primary（仅一个节点执行）
|
1
2
3
|
[root@node1 ~]
# drbdadm primary --force mystore
或者
[root@node1 ~]
# drbdadm -- --overwrite-data-of-peer primary mystore
|
查看状态信息
|
1
2
3
|
[root@node1 ~]
# drbd-overview
0:mystore SyncSource Primary
/Secondary
UpToDate
/Inconsistent
C r-----
[======>.............]
sync
'ed: 39.7% (3096
/5128
)M
|
同步完毕，node1为主，node2为从
|
1
2
3
4
5
6
|
[root@node1 ~]
# drbd-overview
0:mystore Connected Primary
/Secondary
UpToDate
/UpToDate
C r-----
也可使node1为从，node2为主
[root@node1 ~]
# drbdadm secondary mystore
[root@node2 ~]
# drbdadm primary --force mystore
|
5、创建文件系统
所有操作均在node1即Primary节点。
格式化分区
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
[root@node1 ~]
# mke2fs -t ext4 /dev/drbd0
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS
type
: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
328656 inodes, 1313255 blocks
65662 blocks (5.00%) reserved
for
the super user
First data block=0
Maximum filesystem blocks=1346371584
41 block
groups
32768 blocks per group, 32768 fragments per group
8016 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912, 819200, 884736
Writing inode tables:
done
Creating journal (32768 blocks):
done
done
Writing superblocks and filesystem accounting information:
done
This filesystem will be automatically checked every 24 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
|
挂载并测试drbd
|
1
2
3
4
5
|
[root@node1 ~]
# mount /dev/drbd0 /mnt
[root@node1 ~]
# cd /mnt
[root@node1 mnt]
# cp /etc/issue ./
[root@node1 mnt]
# ls
issue lost+found
|
卸载
|
1
|
[root@node1 ~]
# umount /mnt
|
后面内容写了一天，提交之后就没了
贴上定义的资源如下：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
|
node node1 \
attributes standby=off
node node2 \
attributes standby=off
primitive mydata Filesystem \
params device=
"/dev/drbd0"
directory=
"/mydata"
fstype=ext4 \
op
monitor interval=20s timeout=40s \
op
start timeout=60s interval=0 \
op
stop timeout=60s interval=0
primitive myip IPaddr \
params ip=192.168.0.17 \
op
monitor interval=10s timeout=20s
primitive myserver lsb:mysqld \
op
monitor interval=20s timeout=20s
primitive mysql_drbd ocf:linbit:drbd \
params drbd_resource=mystore \
op
monitor role=Master interval=10 timeout=20 \
op
monitor role=Slave interval=20 timeout=20 \
op
start timeout=240 interval=0 \
op
stop timeout=100 interval=0
ms ms_mysql_drbd mysql_drbd \
meta master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=
true
order mydata_after_ms_mysql_drbd_master Mandatory: ms_mysql_drbd:promote mydata:start
colocation mydata_with_ms_mysql_drbd_master inf: mydata ms_mysql_drbd:Master
order myip_after_myserver Mandatory: myip:start myserver:start
colocation myip_with_ms_mysql_drbd_master inf: myip ms_mysql_drbd:Master
order myserver_after_mydata Mandatory: mydata:start myserver:start
colocation myserver_with_mydata inf: myserver mydata
property cib-bootstrap-options: \
dc
-version=1.1.14-8.el6_8.2-70404b0 \
cluster-infrastructure=
"classic openais (with plugin)"
\
expected-quorum-votes=2 \
stonith-enabled=
false
\
last-lrm-refresh=1479960226
|
水平有限，如有错误，欢迎指正。
本文转自 元婴期 51CTO博客，原文链接:http://blog.51cto.com/jiayimeng/1875979
