项目：利用rsync备份全网服务器数据

项目描述

           某公司里有一台Web服务器，内里的数据很紧张，但是假如硬盘坏了数据就会丢失，如今领导要求把数据做备份，这样Web服务器数据丢失在可以进行规复
          要求如下： 每天晚上00点整在Web服务器A上打包备份系统配置文件、网站步调目次及访问日志并通过rsync命令推送到服务器B上备份保留（备份思路可以是先在本地按日期打包，然后再推到备份服务器B上）。
  

情况说明

已知3台服务器主机名分别为Web01、BACKUP、NFS01，主机信息建下表。
服务器说明IPOS主机名称Nginx web服务器172.16.90.111CentOS 7.9web01NFS存储服务器172.16.90.112CentOS 7.9nfs01Rsync备份服务器172.16.90.113CentOS 7.9backup

• 备份要求 每天晚上00点整在Web服务器上打包备份系统配置文件、网站步调目次及访问日志并通过rsync命令推送到备份服务器BACKUP上备份保留。
  
• 备份思路 可以是先在本地按日期打包，然后再推送到备份服务器BACKUP上；NFS存储服务器和Web服务器在实际工作中就是运维主要管理的全部服务器。
  

项目备份需求

1）全部服务器的备份目次必须都为/backup。
2）要备份的系统配置文件包括但不限于：

• 定时任务服务的配置文件（/var/spool/cron/root） （得当Web和NFS服务器）。
  
• 开机自启动的配置文件（/etc/rc.local） （得当Web和NFS服务器）。
  
• 一样寻常脚本的目次 （/server/scripts）。
  

3）Web服务器站点目次假定为/var/www/html/，假如没有，可以先模仿创建。
4）Web服务器访问日志路径假定为/app/logs，假如没有，可以先模仿创建。
5）Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，由于数据太多硬盘会满）。
6）备份服务器BACKUP上，保留近来7天全部备份数据，保留6个月内每周一的全部数据副本。
7）备份服务器上，要按照备份数据服务器内网IP为目次保存备份，备份的文件按照时间、名称保存。
8）须要确保备份的数据尽量完备准确，在备份服务器上对备份的数据是否完备进行检查。
9）备份服务器BACKUP上，每天清晨8:00把备份乐成或失败结果信息发送到系统管理员邮箱里。
服务器说明备份目次目次说明备注all server/backup备份目次同一服务器本地备份目次，便于管理all server/var/spool/cron/root定时任务服务配置文件all server/etc/rc.local开机自启动配置文件all server/server/scripts一样寻常脚本目次同一服务器本地脚本目次，便于管理Web server/var/www/htmlweb服务器站点目次mkdir -p /var/www/htmlWeb server/app/logsweb服务器访问日志路径mkdir -p /app/logs 项目逻辑架构

项目实施

任务一：服务器创建

初始化3台服务器并将其作为全网备份方案测试服务器
按照规划，最小化摆设系统，关闭防火墙，禁用SELinux，确保能够联网。
任务二：服务器摆设

（1）搭建备份服务器

• rsync服务器搭建摆设。
  
• 开辟脚本实现校验、删除、报警。
  
• 配置实时任务每天6点实时实行。
  

（2）Web服务器搭建摆设

• 验证Rsync服务能否推送乐成。
  
• 开辟脚本实现打包备份、推送、校验、删除。
  
• 配置定时任务每天0点定时推送（0时是时间的一个分割点）。
  

（3）NFS服务器搭建摆设

• 验证Rsync服务能否推送乐成。
  
• 开辟脚本实现打包备份、推送、校验、删除。
  
• 配置定时任务每天0点定时推送（0时是时间的一个分隔点）。
  

配置脚本和web服务器类似，过程略。

1、在BACKUP上摆设Rsync服务

1. [root@node3 ~]# hostnamectl --static set-hostname backup
2. ​
3. # 1、安装rsync
4. ​
5. [root@backup ~]# yum install -y rsync
6. ​
7. # 2、配置文件
8. ​
9. [root@backup ~]# vim /etc/rsyncd.conf
10. uid = rsync                         # 用户
11. gid = rsync                         # 组
12. use chroot = no                     # 程序安全设置
13. max connections = 200               # 客户端连接数
14. timeout = 300                       # 超时时间
15. pid file = /var/run/rsyncd.pid      # 进程号文件位置
16. lock file = /var/run/rsync.lock     # 进程锁
17. log file = /var/log/rsyncd.log      # 日志文件
18. fake super = yes                    # 无需rsync以root身份运行，允许接受数据
19. ​
20. [backup]
21.        path = /backup                      # 目录
22.        ignore errors                       # 有错误时忽略
23.        read only = false                   # 可读可写
24.        list = false                        # 阻止远程列表（不让通过远程方式看服务端有啥）
25.        hosts allow = 172.16.90.0/24        # 允许IP
26.        hosts deny = 0.0.0.0/32             # 禁止IP
27.        auth users = rsync_backup           # 虚拟用户
28.        secrets file = /etc/rsync.password  # 存放用户和密码的文件
29. ​
30. # 3、创建rsync账户及共享目录并修改目录属主为rsync
31. ​
32. [root@backup ~]# useradd -M -s /sbin/nologin rsync
33. [root@backup ~]# mkdir /backup
34. [root@backup ~]# chown -R rsync /backup
35. ​
36. # 4、启动服务
37. ​
38. [root@backup ~]# systemctl enable --now rsyncd
39. [root@backup ~]# ps -ef | grep rsync
40. root      1233     1  0 11:25 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
41. root      1236  1121  0 11:25 pts/0    00:00:00 grep --color=auto rsync
42. ​
43. # 5、创建rsync虚拟账户名和密码,并赋予密码文件600权限
44. ​
45. [root@backup ~]# echo "rsync_backup:123456" > /etc/rsync.password
46. [root@backup ~]# chmod 600 /etc/rsync.password

复制代码

2、客户端本地开辟打脚本
Nginx webserver，NFS dataserver本地打包备份脚本实现。
1）Web01服务器待备份信息。

• /var/spool/cron/root、/etc/rc.local、/server/scripts
  
• /var/html/www、/app/logs
  2）NFS01服务器待备份信息 Rsync客户端（Nginx NFS）上进行信息备份压缩脚本编写 进行备份压缩脚本编写前，须要进行Web站点目次与日志目次的创建（在web01上实行），以及创建模仿数据。
  

1. # 1、模拟web站点
2. [root@node1 ~]# hostnamectl --static set-hostname web01
3. ​
4. [root@web01 ~]# mkdir /var/html/www -p
5. [root@web01 ~]# touch /var/html/www/{1..3}.txt
6. [root@web01 ~]# mkdir /app/logs -p
7. [root@web01 ~]# touch /app/logs/{a..c}.log
8. [root@web01 ~]# tree /var/html/www
9. /var/html/www
10. ├── 1.txt
11. ├── 2.txt
12. └── 3.txt
13. ​
14. 0 directories, 3 files
15. [root@web01 ~]# tree /app/logs/
16. /app/logs/
17. ├── a.log
18. ├── b.log
19. └── c.log
20. ​
21. 0 directories, 3 files
22. ​
23. # 2、编写备份脚本
24. [root@web01 scripts]# vim backup.sh
25. #!/bin/bash
26. Date=$(date +%F_Week0%w)         # 定义时间方式
27. Host_IP=$(ifconfig eth0 | awk '/inet / {print $2}')           # 可以有多种方法，能获取IP即可
28. Backup_Dir="/backup/"            # 本地备份路径
29. Backup_Server_IP=172.16.90.113    # 备份服务器的IP
30. ​
31. [ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP    # 创建指定目录和IP的目录
32. ​
33. echo ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz
34. # 按要求打包备份所有本地重要文件
35. cd / &&\
36. tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron/root &&\
37. tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
38. tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\
39. tar zcf $Backup_Dir$Host_IP/www_${Date}_tar.gz var/html/www/ &&\
40. tar zcf $Backup_Dir$Host_IP/app_logs_${Date}_tar.gz app/logs/ &&\
41. # 提示：在NFS服务器客户端上不用编写压缩Web服务器的程序与日志目录
42. ​
43. # 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性
44. find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag
45. ​
46. # 把备份推送到备份服务器
47. rsync -az $Backup_Dir rsync_backup@${Backup_Server_IP}::backup --password-file=/etc/rsync.password
48. ​
49. # 删除7天以前的所有本地备份数据
50. find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -f

复制代码

3、配置定时任务

1. # 3、配置定时任务
2. 1）编辑定时任务，实现每天00:00定时备份本地数据，并推送到备份数据Rsync服务器上。
3. [root@web01 scripts]# crontab -e    ---编辑定时任务，添加如下内容
4. #crond-od-002:data backup
5. 00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1
6. ​
7. 2）编辑服务端删除文件脚本文件，删除180天前的所有备份数据，但保存每周一的。
8. [root@backup ~]# mkdir -p /server/scripts
9. [root@backup ~]# cd /server/scripts/
10. [root@backup scripts]# vim /server/scripts/del_bak_data.sh
11. ​
12. #!/bin/bash
13. Backup_Dir="/backup/"
14. #删除7天前的压缩包和flag文件，但是每周一的不删
15. find ${Backup_Dir:-/tmp} -type f  -name "*tar.gz*" ! -name "*Week01*" -o -name "*flag*" -mtime +7|xargs rm -f
16. #删除180天前的所有压缩包和flag文件
17. find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" -name "*flag*" -mtime +180|xargs rm -f
18. ​
19. 3）配置定时任务，实现服务端180天前数据自动删除。
20. [root@backup scripts]# crontab -e
21. #crond-id-002:data backup
22. 00 00 * * * /bin/sh /server/scripts/del_bak_data.sh >/dev/null 2>&1

复制代码

4、数据传输完备性验证与监控诉警

1. 服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。
2. [root@backup scripts]# vim send_mail.sh
3. ​
4. #!/bin/bash
5. Date=$(date +%F_Week0%w)
6. Backup_Dir="/backup/"
7. Check_Log="/tmp/bak.log_$(date +%F)"    # 定时检查备份结果的文件
8. Admin_Mail=esen_monitor@163.com    # 管理员邮箱，建议使用163
9. ​
10. find $Backup_Dir -type f -name "${Date}.flag"|xargs md5sum -c >>$Check_Log
11. ​
12. ​
13. if [ -n "cat $Check_Log" ]
14. then
15.    mail -s "$Date backup data info" $Admin_Mail <$Check_Log
16. else
17.    echo "$Date backup data error,pls check it." >$Check_Log    # 如果结果文件不存在，日志信息变化，报错
18.    mail -s "$Date backup data info" $Admin_Mail <$Check_Log
19. fi
20. cp $Check_Log{,.ori} && >$Check_Log

复制代码

1. [/code] [b]5、配置mail利用外部SMTP发邮件[/b]
2. [code]安装mailx
3. [root@backup ~]# yum install -y mailx
4. ​
5. 编辑/etc/mail.rc配置文件
6. ​
7. [root@backup ~]# vim /etc/mail.rc    # 在最后一行加入如下内容
8. set from=esen_monitor@163.com
9. set smtp=smtp.163.com
10. set smtp-auth-user=esen_monitor@163.com
11. set smtp-auth-password=授权码
12. set smtp-auth=login
13. ​
14. 各命令参数的含义说明如下：
15. ​
16. from 是服务器外发邮件的邮件地址，通过注册163邮箱获得。
17. smtp 是发生的外部SMTP服务器的地址，需要使用相应的SMTP地址。
18. smtp-auth-user 是外部SMTP服务器认证的用户名，注册时的用户名。
19. smtp-auth-password 是外部SMTP服务器认证的用户密码（注意是授权码）。
20. smtp-auth 是邮件认证方式。
21. ​
22. 测试发送邮件
23. [root@backup ~]# echo "邮件正文" | mail -s "邮件主题" esen_monitor@163.com

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。