Skip to content

Commit 2fe09fc

Browse files
astaxieastaxie
committed
完成了第12章的写作
1 parent 5486088 commit 2fe09fc

File tree

2 files changed

+180
-0
lines changed

2 files changed

+180
-0
lines changed

‎12.4.md‎

Lines changed: 168 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1,5 +1,173 @@
11
# 12.4 备份和恢复
2+
这小节我们要讨论应用程序管理的另一个方面：生成服务器上数据的备份和恢复。我们经常会遇到生成服务器的网络断了、硬盘坏了、操作系统奔溃、或者数据库不可用了等各种情况，所以我需要对我们的生成服务器上的应用、数据做异地灾备，冷备热备。在下面的介绍中，将讲解如何备份应用、如何备份Mysql数据库以及将其恢复，如何备份redis数据库以及恢复。
23

4+
## 应用备份
5+
在大多数集群坏境下，Web应用程序基本不需要备份，因为这个其实就是一个代码副本，我们在本地开发环境中，或者版本控制系统中已经保持了这些代码。但是很多时候，我们开发的站点需要用户动态来上传文件，那么我们需要对这些上传的文件进行备份，目前其实一种合适的做法是把和网站相关的需要存储的文件存储到云储存，这样即使系统奔溃我们的文件还在云储存，至少数据不会丢失。
6+
7+
如果我们没有采用云储存的情况下，如何做到网站的备份呢？这里我们介绍一个文件同步工具rsync：rsync能够实现网站的备份，文件的同步，不同系统的文件的同步，如果是windows的话，需要windows版本cwrsync。
8+
9+
### rsync安装
10+
rysnc的官方网站：http://rsync.samba.org/ 可以从上面获取最新版本的源码。当然，因为rsync是一款如此有用的软件，所以很多Linux的发行版本都将它收录在内了。
11+
12+
软件包安装
13+
14+
# sudo apt-get install rsync 注：在debian、ubuntu 等在线安装方法；
15+
# yum install rsync 注：Fedora、Redhat、CentOS 等在线安装方法；
16+
# rpm -ivh rsync 注：Fedora、Redhat、CentOS 等rpm包安装方法；
17+
18+
其它Linux发行版，请用相应的软件包管理方法来安装。源码包安装
19+
20+
tar xvf rsync-xxx.tar.gz
21+
cd rsync-xxx
22+
./configure --prefix=/usr ;make ;make install 注：在用源码包编译安装之前，您得安装gcc等编译开具才行；
23+
24+
### rsync配置
25+
rsync主要有以下三个配置文件rsyncd.conf(主配置文件)、rsyncd.secrets(密码文件)、rsyncd.motd(rysnc服务器信息)。
26+
27+
关于这几个文件的配置大家可以参考官方网站或者其他介绍rsync的网站，下面介绍服务器端和客户端如何开启
28+
29+
- 服务端开启：
30+
31+
#/usr/bin/rsync --daemon --config=/etc/rsyncd/rsyncd.conf
32+
33+
--daemon参数方式，是让rsync以服务器模式运行。把rsync加入开机启动
34+
35+
echo 'rsync --daemon' >> /etc/rc.d/rc.local
36+
37+
设置rsync密码
38+
39+
echo '你的用户名:你的密码' > /etc/rsyncd.secrets
40+
chmod 600 /etc/rsyncd.secrets
41+
42+
43+
- 客户端同步：
44+
45+
客户端可以通过如下命令同步服务器但的文件：
46+
47+
rsync -avzP --delete --password-file=rsyncd.secrets 用户名@192.168.145.5::www /var/rsync/backup
48+
49+
这条命令，简要的说明一下几个要点：
50+
51+
1. -avzP是啥，读者可以使用--help查看
52+
2. --delete 是为了比如A上删除了一个文件，同步的时候，B会自动删除那个文件
53+
3. --password-file 客户端中/etc/rsyncd.secrets设置的密码，要和服务端的 /etc/rsyncd.secrets 中的密码一样，这样cron运行的时候，就不需要密码了
54+
4. 这条命令中的"用户名"为服务端的 /etc/rsyncd.secrets中的用户名
55+
5. 这条命令中的 192.168.0.100 为服务端的IP地址
56+
6. ::www，注意是2个 : 号，www为服务端的配置文件 /etc/rsyncd.conf 中的[www]，意思是根据服务端上的/etc/rsyncd.conf来同步其中的[www]段内容，一个 : 号的时候，用于不根据配置文件，直接同步指定目录。
57+
58+
为了让同步实时性，可以设置crontab，保持rsync每分钟同步，当然用户也可以根据文件的重要程度设置不同的同步频率。
59+
60+
61+
## MySQL备份
62+
应用数据库目前还是MySQL为主流，目前MySQL的备份有两种方式：热备份和冷备份，热备份目前主要是采用master/slave方式，关于如何配置这方面的资料，大家可以找到很多。master/slave方式的同步目前主要用于读写分离，其实也可以用于热备份数据。冷备份的话就是数据有一定的延迟，但是可以保证该时间段之前的数据完整，例如有些时候可能我们的误操作引起了数据的丢失，那么master/slave模式是无法找回丢失数据的，但是通过冷备份可以部分恢复数据。
63+
64+
冷备份一般使用shell脚本定时的备份数据库，然后通过上面介绍rsync同步到异地机房的一台服务器。
65+
66+
下面这个是定时备份mysql的备份脚本，我们使用了mysqldump程序，这个命令可以把数据库导出到一个文件中。
67+
68+
#!/bin/bash
69+
70+
# 以下配置信息请自己修改
71+
mysql_user="USER" #MySQL备份用户
72+
mysql_password="PASSWORD" #MySQL备份用户的密码
73+
mysql_host="localhost"
74+
mysql_port="3306"
75+
mysql_charset="utf8" #MySQL编码
76+
backup_db_arr=("db1" "db2") #要备份的数据库名称，多个用空格分开隔开 如("db1" "db2" "db3")
77+
backup_location=/var/www/mysql #备份数据存放位置，末尾请不要带"/",此项可以保持默认，程序会自动创建文件夹
78+
expire_backup_delete="ON" #是否开启过期备份删除 ON为开启 OFF为关闭
79+
expire_days=3 #过期时间天数 默认为三天，此项只有在expire_backup_delete开启时有效
80+
81+
# 本行开始以下不需要修改
82+
backup_time=`date +%Y%m%d%H%M` #定义备份详细时间
83+
backup_Ymd=`date +%Y-%m-%d` #定义备份目录中的年月日时间
84+
backup_3ago=`date -d '3 days ago' +%Y-%m-%d` #3天之前的日期
85+
backup_dir=$backup_location/$backup_Ymd #备份文件夹全路径
86+
welcome_msg="Welcome to use MySQL backup tools!" #欢迎语
87+
88+
# 判断MYSQL是否启动,mysql没有启动则备份退出
89+
mysql_ps=`ps -ef |grep mysql |wc -l`
90+
mysql_listen=`netstat -an |grep LISTEN |grep $mysql_port|wc -l`
91+
if [ [$mysql_ps == 0] -o [$mysql_listen == 0] ]; then
92+
echo "ERROR:MySQL is not running! backup stop!"
93+
exit
94+
else
95+
echo $welcome_msg
96+
fi
97+
98+
# 连接到mysql数据库，无法连接则备份退出
99+
mysql -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password <<end
100+
use mysql;
101+
select host,user from user where user='root' and host='localhost';
102+
exit
103+
end
104+
105+
flag=`echo $?`
106+
if [ $flag != "0" ]; then
107+
echo "ERROR:Can't connect mysql server! backup stop!"
108+
exit
109+
else
110+
echo "MySQL connect ok! Please wait......"
111+
# 判断有没有定义备份的数据库，如果定义则开始备份，否则退出备份
112+
if [ "$backup_db_arr" != "" ];then
113+
#dbnames=$(cut -d ',' -f1-5 $backup_database)
114+
#echo "arr is (${backup_db_arr[@]})"
115+
for dbname in ${backup_db_arr[@]}
116+
do
117+
echo "database $dbname backup start..."
118+
`mkdir -p $backup_dir`
119+
`mysqldump -h$mysql_host -P$mysql_port -u$mysql_user -p$mysql_password $dbname --default-character-set=$mysql_charset | gzip > $backup_dir/$dbname-$backup_time.sql.gz`
120+
flag=`echo $?`
121+
if [ $flag == "0" ];then
122+
echo "database $dbname success backup to $backup_dir/$dbname-$backup_time.sql.gz"
123+
else
124+
echo "database $dbname backup fail!"
125+
fi
126+
127+
done
128+
else
129+
echo "ERROR:No database to backup! backup stop"
130+
exit
131+
fi
132+
# 如果开启了删除过期备份，则进行删除操作
133+
if [ "$expire_backup_delete" == "ON" -a "$backup_location" != "" ];then
134+
#`find $backup_location/ -type d -o -type f -ctime +$expire_days -exec rm -rf {} \;`
135+
`find $backup_location/ -type d -mtime +$expire_days | xargs rm -rf`
136+
echo "Expired backup data delete complete!"
137+
fi
138+
echo "All database backup success! Think you!"
139+
exit
140+
fi
141+
142+
修改shell脚本的属性：
143+
144+
chmod 600 /root/mysql_backup.sh
145+
chmod +x /root/mysql_backup.sh
146+
147+
设置好属性之后，把命令加入crontab，我们设置了每天00:00定时自动备份，然后把备份的脚本目录/var/www/mysql设置为rsync同步目录。
148+
149+
00 00 * * * /root/mysql_backup.sh
150+
151+
## MySQL恢复
152+
前面介绍MySQL备份分为热备份和冷备份，热备份主要是目的是为了能够实时的恢复，例如应用服务器出现了硬盘故障，那么我们可以通过修改配置文件把数据库的读取和写入改成slave，这样就可以尽量少时间的中断服务。
153+
154+
但是有时候我们需要通过冷备份的SQL会进行数据恢复，既然有了数据库的备份，就可以通过命令导入：
155+
156+
mysql -u username -p databse < backup.sql
157+
158+
可以看到，导出和导入数据库数据都是相当简单，不过如果还需要管理权限，或者其他的一些字符集的设置的话，可能会稍微复杂一些，但是这些都是可以通过一些命令来完成的。
159+
160+
## redis备份
161+
redis是目前我们使用最多的NOSQL，它的备份也分为两种：热备份和冷备份，redis也支持master/slave模式，所以我们的热备份可以通过这种方式实现，相应的配置大家可以参考官方的文档配置，相当的简单。我们这里介绍冷备份的方式：redis其实会定时的把内存里面的缓存数据保存到数据库文件里面，我们备份只要备份相应的文件就可以，然后利用前面介绍的rsync备份到异地机房就可以实现。
162+
163+
## redis恢复
164+
redis的恢复分为热备份恢复和冷备份恢复，热备份恢复的目的和方法同MySQL的恢复一样，只要修改应用的相应的数据库连接即可。
165+
166+
但是有时候我们需要根据冷备份来恢复数据，redis的冷备份恢复其实就是只要把保存的数据库文件copy到redis的编译目录，然后启动redis就可以了，redis在启动的时候会自动加载数据库文件到内存中，启动的速度根据数据库的文件大小来决定。
167+
168+
## 小结
169+
本小节介绍了当我们应用部分完毕之后，如何做好灾备，包括文件的备份、数据库的备份，这里我们介绍了rsync如何同步文件，MySQL数据库和redis数据库如何备份和恢复，希望通过本小节的介绍，能够让作为开发的你对于线上产品的灾备方案提供一个参考。
170+
3171
## links
4172
* [目录](<preface.md>)
5173
* 上一章: [应用部署](<12.3.md>)

‎12.5.md‎

Lines changed: 12 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -1,4 +1,16 @@
11
# 12.5 小结
2+
本章讨论了如何部署和维护我们开发的Web应用相关的一些话题。这些内容非常重要，要创建一个能够基于最小维护平滑运行的应用，必须考虑这些问题。
3+
4+
具体而言，本章讨论的内容包括：
5+
6+
- 创建一个强健的日志系统，可以在出现问题时记录错误并且通知系统管理员
7+
- 处理运行时可能出现的错误，包括记录日志，并如何友好的显示给用户系统出现了问题
8+
- 处理404错误，告诉用户请求的页面找不到
9+
- 将应用部署到一个生产环境中(包括如何部署更新)
10+
- 如何让部署的应用程序具有高可用
11+
- 备份和恢复文件以及数据库
12+
13+
读完本章内容后，对于从头开始开发一个Web应用需要考虑那些问题，你应该已经有了全面的了解。本章内容将有助于你在实际环境中管理前面各章介绍开发的代码。
214

315
## links
416
* [目录](<preface.md>)

0 commit comments

Comments
 (0)