首页 博客列表 精选博客 智能问答 chat-GPT 关于我
2压缩备份数据库_MySQL数据备份与恢复(二) xtrabackup工具
发布日期：2021-06-24 11:28:15 浏览次数：4 分类：技术文章

本文共 6459 字，大约阅读时间需要 21 分钟。

上一篇介绍了逻辑备份工具mysqldump，本文将通过应用更为广泛的物理备份工具xtrabackup来演示数据备份及恢复的第二篇内容(本文篇幅较长，建议收藏后阅读)。

01 xtrabackup 工具的安装

 1.1  安装依赖包

 
    
/*  xtrabackup 的使用需要安装相关的依赖包 否则使用过程中会报相关错误 */yum install -y rsync perl l perl-Digest-MD5 perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL
 
    
1.2  下载及安装
 
    
去percona官网下载对应版本的安装包 https://www.percona.com/downloads  , 因为每个版本对应的数据库版本不同，因此需要根据数据库的版本选择对应的xtrabackup的安装包.
 
    
3a810a0efc3716cb98b8942a944e1ce9.png
 
    
当前测试使用的数据库为MySQL5.7  因此下载2.4版本https://www.percona.com/downloads/Percona-XtraBackup-2.4/LATEST/
 
    
另外，2.4.10及以后版本中，对libgcrypt进行了区分，因此也需要查询自己服务器的libgcrypt版本，然后选择对应的安装包
 
    
查看libgcrypt方法：
 
    
 
    
[root@testdb ~]# yum list installed|grep libgcryptlibgcrypt.x86_64                     1.5.3-14.el7                      @anaconda
 
    
然后下载对应包
 
    
 
    
/* 二进制包 */wget https://www.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.18/binary/tarball/percona-xtrabackup-2.4.18-Linux-x86_64.libgcrypt153.tar.gz/*  rpm包 */wget https://www.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.18/binary/redhat/7/x86_64/Percona-XtraBackup-2.4.18-r29b4ca5-el7-x86_64-bundle.tar
 
    
二进制包解压后即可使用，rpm包下载解压后 rpm  -ivh 安装即可。操作均很简单，此处略过
 
    
xtrabackup通常使用 innobackupex命令， 可以使用 innobackupex  --help 命令查看参数及说明。
 
    
其中常用参数及说明如下：
 
    
--defaults-file                 待备份mysql实例的配置文件--user=USER                     备份用户，默认为当前系统用户,建议使用备份专用账号--password=PASSWD               备份用户密码--port=PORT                     数据库端口，默认3306--host=HOST                     需备份数据库的IP--apply-log                     前滚、回滚日志，恢复前用--database                      指定需要备份的数据库，多个数据库之间以空格分开--copy-back                     将备份数据复制到目标路径--incremental                   增量备份，后面接的参数值为指定的增量备份的路径--incremental-basedir=DIRECTORY 增量备份时使用指向上一次的增量备份所在的目录--incremental-dir=DIRECTORY     增量备份还原的时候用来合并增量备份到全量，用来指定全备路径--redo-only                     对增量备份进行合并--rsync                         加快本地文件传输，适用于non-InnoDB数据库引擎。不与--stream共用--no-timestamp                  生成的备份文件不以时间戳为目录
 
    
 
    
1.3 创建备份账号
 
    
备份的账号建议单独创建，并授予相关权限
 
    
mysql> CREATE USER 'backup'@'localhost' IDENTIFIED BY 'Backup@123.com';mysql> GRANT SUPER,RELOAD, LOCK TABLES, PROCESS, REPLICATION CLIENT ON *.* TO 'backup'@'localhost';mysql> FLUSH PRIVILEGES;
 
    
02 全量备份 
    
 
    
 2.1   本地全量备份，不压缩
 
    
后续会以此为基础进行增量备份
 
    
 
    
/* 创建备份结果的目录, 此步骤也可以省略 */mkdir  all_backup/*   开始全量备份  *//root/xtrabackup/bin/innobackupex  --defaults-file=/app/data/mysql3306/etc/my.cnf     --socket=/app/data/mysql3306/tmp/mysql.sock  --port=3306 --user=backup --password='Backup@123.com' --no-timestamp    all_backup
 
    
af56c25532892e803aa09adf2dbbed2d.png
 
    
...865c5a912d7fb1994a0dcd8f01a77483.png
 
    
c1dd588fb95b73bdd017276d67175d22.png
 
    
ab0fa18b98dd09647f6f8c9f937f065f.png
 
    
 备份的结果存放在指定的目录 all_backup里，内容如下：
 
    
c8ff4988307d862559c081a79eced684.png
 
    
 2.2  本地tar方式压缩备份
 
    
有时为了考虑磁盘空间问题，会在备份的时候直接压缩用以节约磁盘空间或解决磁盘空间不足以存放全量非压缩文件的问题。
 
    
 
    
/* gzip方式压缩 *//root/xtrabackup/bin/innobackupex  --defaults-file=/app/data/mysql3306/etc/my.cnf     --socket=/tmp/mysql.sock  --port=3306 --user=backup --password='Backup@123.com' --stream=tar /tmp |gzip >all_backup.tar.gz
 
    
 
    
de4007d7e4326ff8e9987c0b75d9d76e.png
 
    
中间过程省略
 
    
cbe085be91a950344640a97e270a051c.png
 
    
备份后的结果是一个压缩文件，经过对比，压缩后数据约为非压缩情况下的20%，压缩比还是比较高的。
 
    
不过，压缩备份的方式速度相对较慢，且消耗CPU，该影响因素需要大家考虑到，视情况选择是否压缩。
 
    
注意：如果有单表过大 而/tmp路径空间不足的情况备份过程中可能会报错，因此可以指定其他空间较大的目录
 
    
 2.3  本地xbstream方式压缩备份
 
    
tar & gzip压缩方式备份可能会有bug(案例可以自行寻找),例如出现如下错误：
 
    
      xtrabackup: error: The transaction log file is corrupted. 
     
xtrabackup: error: The log was not applied to the intended LSN! 
    
 
    
 因此可以采用xbstream方式进行备份,备份命令如下：
 
    
 
    
/root/xtrabackup/bin/innobackupex  --defaults-file=/app/data/mysql3306/etc/my.cnf     --socket=/tmp/mysql.sock  --port=3306 --user=backup --password='Backup@123.com'  /app/backup  --tmpdir=/app/backup --stream=xbstream|gzip  - > all_backup.xbstream.gz
 
    
xbstream压缩备份的过程和tar一致，就不再解释了。
 
    
2.4  远程备份到其他机器
 
    
远程备份与本地备份的相比 需要额外的配置远程主机的免密登录权限
 
    
/*  在备份所在用户的主机下配置连接目标主机的免密 */ssh-keygenssh-copy-id -i user@'target_ip'
 
    
之后就可以将类似于本地备份的模式 将备份结果发送到远程机器
 
    
 
    
/root/xtrabackup/bin/innobackupex  --defaults-file=/app/data/mysql3306/etc/my.cnf     --socket=/tmp/mysql.sock  --port=3306 --user=backup --password='Backup@123.com' --stream=tar /tmp --no-timestamp | ssh user@'target_ip' "cat - > /app/backup/remote_backup.tar"
 
    
 
    
备份过程中可以在目标机器看到对应的备份文件，完成后如下
 
    
9cb50b1cfc9620942a515d2486405fde.png
 
    
 注：
 
    
     
         
  • 远程备份的目录需要有写入权限
    •  
         
  • 另外，和备份备份一样，如果存在大表或超大事务运行时不建议使用/tmp目录
    •  
        
03 增量备份 
    
 
    
3.1  第一次增量备份
 
    
可以先根据2.1的本地全备的基础上进行增量备份,首次增量备份脚本如下：
 
    
 
    
/root/xtrabackup/bin/innobackupex  --defaults-file=/app/data/mysql3306/etc/my.cnf     --socket=/tmp/mysql.sock  --port=3306 --user=backup --password='Backup@123.com' --incremental /app/backup/  --incremental-basedir=/app/backup/all_backup
 
    
此时，备份的结果放在/app/backup目录下，由于没指定no-timestamp参数，备份的结果存在在已三期时间命名的目录下：
 
    
daf30ea8323cb674c549192e563415bb.png
 
    
 备份的过程和全量备份很相似，但是备份结果是不一样的
 
    
cd9925bed04ff9f403e3352a63531488.png
 
    
 结果如下
 
    
8a4863f88a6b2bae8c483cac46c9a348.png
 
    
  注： 增量备份仅能应用于InnoDB或XtraDB表等事务表，对于MyISAM表而言，执行增量备份时依旧进行全量备份
 
    
 3.2  第二次增量备份
 
    
第二次增量备份是在第一次增量备份的基础上进行，因此incremental-basedir参数内容指定为上一次增量备份的目录即可
 
    
 
    
/root/xtrabackup/bin/innobackupex  --defaults-file=/app/data/mysql3306/etc/my.cnf     --socket=/tmp/mysql.sock  --port=3306 --user=backup --password='Backup@123.com' --incremental /app/backup/  --incremental-basedir=/app/backup/2020-03-25_14-47-37
 
    
完成后生成一个新的目录
 
    
4a9f90de99680af338aed3c351f8d2d2.png
04 恢复 
    
 
    
4.1  基于全量备份的恢复
 
    
4.1.1 回放日志
 
    
备份后的文件不能直接用作恢复，还需要先使用apply-log 做前滚和回滚
 
    
 
    
/root/xtrabackup/bin/innobackupex  --defaults-file=./backup-my.cnf  --apply-log  /app/backup/all_backup
 
    
注：回放日志的时候 defaults-file 选择备份目录里的即可
 
    
4.2.2  恢复至目标实例
 
    
本次恢复至一个新实例中(如果恢复至现有的实例需要先关闭目标实例，删除数据目录及相关日志存储的目录。不建议直接恢复至现有实例 ,除非实际需要)
 
    
/*  创建新实例的相关目录 */ mkdir -p /app/data/mysql3307/{
    data,logs,tmp,etc}/* 生产配置文件 ,本次直接拷贝其他实例的配置文件 修改对应端口等*/cp /app/data/mysql3306/etc/my.cnf  /app/data/mysql3307/etc/sed -i "s#3306#3307#g"  my.cnf/*  创建错误日志 */touch   /app/data/mysql3307/logs/mysqld.log
 
    
 
    
然后拷贝至新实例中
 
    
 
    
/root/xtrabackup/bin/innobackupex  --defaults-file=/app/data/mysql3307/etc/my.cnf --copy-back  /app/backup/all_backup
 
    
修改目标实例相关目录的权限
 
    
 
    
chown -R mysql:mysql /app/data/mysql3307
 
    
启动新实例即可
 
    
 
    
/usr/local/mysql5.7/bin/mysqld_safe  --defaults-file=/app/data/mysql3307/etc/my.cnf  &
 
    
恢复完毕
 
    
4.2  基于增量备份的恢复
 
    
如果是基于第一次增量备份的恢复，操作如下
 
    
 
    
/* 使用合并增量备份的方式进行回放日志,先进行全量备份的合并 *//root/xtrabackup/bin/innobackupex  --apply-log --redo-only /app/backup/all_backup/* 再合并第一次增量备份 */ /root/xtrabackup/bin/innobackupex  --apply-log --redo-only /app/backup/all_backup --incremental-dir=/app/backup/2020-03-25_14-47-37
 
    
如果基于多次增量备份的恢复，则在全量备份及第一次增量备份的基础上继续合并后续的备份即可
 
    
 
    
/*  基于第二次增量备份的合并 *//root/xtrabackup/bin/innobackupex  --apply-log --redo-only /app/backup/all_backup --incremental-dir=/app/backup/2020-03-25_15-06-28
 
    
之后的操作和全量备份的恢复一样即可。
 
    
195882fc880fa86ffa235ece0e40dd7e.png
05 小结 
    
 
    
基于xtrabackup2.4版本备份MySQL5.7数据库的主要方法及过程常用情况均已演示，结尾处再总结一下xtrabackup的主要优点：
 
    
     
         
  • 物理备份，备份速度快
    •  
         
  • 热备份、无需停机
    •  
         
  • 恢复速度快
    •  
         
  • 自动会对备份文件进行验证
    •  
        
 
    
本文只介绍了常用操作，还是有很多情况未做介绍，比如rds上的数据备份及还原等，请各位小伙伴自行探索，也可以与我讨论。
 
    50df8cdd0050827240ee85f512113f31.png往期精彩回顾 
    
1.  MySQL不停地自动重启怎么办
 
    
2.  升级python，就是这么简单
 
    
3.  mysql8.0新增用户及加密规则修改的那些事
 
    
4.  Postgresql部署及简单操作
 
    
5.  比hive快10倍的大数据查询利器-- presto
 
    
6.  监控利器出鞘：Prometheus+Grafana监控MySQL、Redis数据库
 
    
7.  PostgreSQL主从复制--物理复制
 
    
8.  MySQL传统点位复制在线转为GTID模式复制
 
    
9.  MySQL敏感数据加密及解密
 
    
10.  MySQL数据备份及还原(一)
速来关注 
    be6adf31e9ceba383ccf23bee2bd4ca0.png 
   
 
  
 
转载地址：https://blog.csdn.net/weixin_32503531/article/details/112575452 如侵犯您的版权，请留言回复原文章的地址，我们会给您删除此文章，给您带来不便请您谅解！


                

                    

                        上一篇：上升沿_这个纸筒为啥会上升？
                        
                    

                    

                        下一篇：管能做暖气管道吗_大家暖气片都是明装的吗？看看你家适合明装不
                        
                    

                


                

                    
发表评论

                

                

                    

                        
                        
                    

                    

                        
                    

                

                

                    
最新留言

                    

                        
哈哈，博客排版真的漂亮呢~

                        
[***.90.31.176]2024年03月29日 18时17分58秒

                    

                

            

            

                

        

            
关于作者

            

                
            

            

                    喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！
                

                    -- 愿君每日到此一游！
                

            



        


        

            
推荐文章

            

                

                    ABAP CHECKBOX 和LISTBOX使用指南
                    2019-04-28
                

                

                    ABAP memory中的Export和Import
                    2019-04-28
                

                

                    ABAP 获得程序的激活次数或者传输次数的方法
                    2019-04-28
                

                

                    ABAP 生成ZIP压缩文件的代码
                    2019-04-28
                

                

                    LOAD_TYPE_VERSION_MISMATCH与TYPELOAD_NEW_VERSION错误分析
                    2019-04-28
                

                

                    物料Bapi默认采购价值代码
                    2019-04-28
                

                

                    SY全局系统字段
                    2019-04-28
                

                

                    【转】STO跨公司转储流程
                    2019-04-28
                

                

                    【转】SAP地产业正青春
                    2019-04-28
                

                

                    根据指定行数拆分内表
                    2019-04-28
                

                

                    根据长文本拆分至内表
                    2019-04-28
                

                

                    隐藏标准选择界面按钮
                    2019-04-28
                

                

                    【转】排除被冲销的物料凭证
                    2019-04-28
                

                

                    防止程序重复执行
                    2019-04-28
                

                

                    使用程序创建数据库表
                    2019-04-28
                

                

                    备份表到存在的表或者自动新建表
                    2019-04-28
                

                

                    Win系统自定义屏保教程
                    2019-04-28
                

                

                    [性能] SAP销售订单取数逻辑优化---索引表
                    2019-04-28
                

                

                    BADI EXIT等增强报W警告类消息
                    2019-04-28
                

                

                    SAP 凭证冲销可以使用BAPI_ACC_DOCUMENT_REV_POST或者BDC录制FB08来做
                    2019-04-28
                

            

        

    

            

        

        

            

        

            
白红宇的个人博客 - 记录点点滴滴的事 - 您是第 308665629 位访客

            

                访问时间: 2024-04-28 14:41:58
                访问IP: 18.118.120.204
                    Copyright © 2020 - 2023 blog.css8.cn 京ICP备2021015314号-1
                手机版