之前的博文当中提到备份工具mydumper的使用,而软件包中还包含了与之对应的恢复工具myloader,本文就总结下myloader的用法。关于mydumper的安装与使用可以参考之前的博文:MySQL Backup mydumper

查看myloader的版本信息:

# myloader -V
myloader 0.9.5, built against MySQL 5.7.21-21

主要选项

# myloader --help
Usage:
myloader [OPTION?] multi-threaded MySQL loader Help Options:
-?, --help Show help options Application Options:
-d, --directory Directory of the dump to import
-q, --queries-per-transaction Number of queries per transaction, default 1000
-o, --overwrite-tables Drop tables if they already exist
-B, --database An alternative database to restore into
-s, --source-db Database to restore
-e, --enable-binlog Enable binary logging of the restore data
-h, --host The host to connect to
-u, --user Username with the necessary privileges
-p, --password User password
-a, --ask-password Prompt For User password
-P, --port TCP/IP port to connect to
-S, --socket UNIX domain socket file to use for connection
-t, --threads Number of threads to use, default 4
-C, --compress-protocol Use compression on the MySQL connection
-V, --version Show the program version and exit
-v, --verbose Verbosity of output, 0 = silent, 1 = errors, 2 = warnings, 3 = info, default 2
--defaults-file Use a specific defaults file
  • -d, --directory

    要import的备份文件所在目录

  • -q, --queries-per-transaction

    每个事务的查询数, 默认为1000

  • -o, --overwrite-tables

    如果表存在则删除表

  • -B, --database

    指定需要还原成的数据库名

  • -s, --source-db

    指定还原的源数据库

  • -e, --enable-binlog

    还原数据时记录binlog日志

  • -h, --host

    指定连接host

  • -u, --user

    指定连接用户,需有相应的权限

  • -p, --password

    指定用户密码

  • -a, --ask-password

    指定用户密码提示输入

  • -P, --port

    指定连接port

  • -S, --socket

    指定本地socket文件连接

  • -t, --threads

    指定dump线程数, 默认是4

  • -C, --compress-protocol

    在mysql连接时使用压缩协议

  • -V, --version

    显示程序版本并退出

  • -v, --verbose

    显示更详细的输出, 0 = silent, 1 = errors, 2 = warnings, 3 = info, 默认是2

  • --defaults-file

    指定默认参数文件

还原流程

前期准备工作与mydumper一致,可参考mydumper备份流程MySQL Backup mydumper 备份流程

  • 备份全库
# mydumper -h 192.168.58.3 -u admin -a -P 3306 -t 8 -e -o /data/test/
  • 查看test2库信息
(root@localhost) [(none)] > use test2;
Database changed (root@localhost) [test2] > show tables;
+-----------------+
| Tables_in_test2 |
+-----------------+
| t1 |
+-----------------+
1 row in set (0.00 sec) (root@localhost) [test2] > select * from t1;
+----+----------+
| id | title |
+----+----------+
| 1 | mydumper |
| 2 | myloader |
+----+----------+
2 rows in set (0.00 sec)
  • 删除test2库
(root@localhost) [(none)] > show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| sys |
| test1 |
| test2 |
+--------------------+
6 rows in set (0.01 sec) (root@localhost) [(none)] > drop database test2;
Query OK, 4 rows affected (0.16 sec) (root@localhost) [(none)] > show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| sys |
| test1 |
+--------------------+
5 rows in set (0.01 sec)
  • 还原备份里test2库成test3库
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test2 -B test3 -d /data/test/
  • 查看general log
-- 主线程连接数据库,设置临时session级别参数,默认导入数据时不记录binlog
264 Connect admin@dbabd on using TCP/IP
264 Query SET SESSION wait_timeout = 2147483
264 Query SET SQL_LOG_BIN=0
264 Query /*!40014 SET FOREIGN_KEY_CHECKS=0*/ -- 产生了4个子进程,设置会话级参数,默认不记录binlog,关闭自动提交
265 Connect admin@dbabd on using TCP/IP
265 Query SET SESSION wait_timeout = 2147483
265 Query SET SQL_LOG_BIN=0
265 Query /*!40101 SET NAMES binary*/
265 Query /*!40101 SET SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */
265 Query /*!40014 SET UNIQUE_CHECKS=0 */
265 Query SET autocommit=0 266 Connect admin@dbabd on using TCP/IP
266 Query SET SESSION wait_timeout = 2147483
266 Query SET SQL_LOG_BIN=0
266 Query /*!40101 SET NAMES binary*/
266 Query /*!40101 SET SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */
266 Query /*!40014 SET UNIQUE_CHECKS=0 */
266 Query SET autocommit=0 267 Connect admin@dbabd on using TCP/IP
267 Query SET SESSION wait_timeout = 2147483
267 Query SET SQL_LOG_BIN=0
267 Query /*!40101 SET NAMES binary*/
267 Query /*!40101 SET SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */
267 Query /*!40014 SET UNIQUE_CHECKS=0 */
267 Query SET autocommit=0 268 Connect admin@dbabd on using TCP/IP
268 Query SET SESSION wait_timeout = 2147483
268 Query SET SQL_LOG_BIN=0
268 Query /*!40101 SET NAMES binary*/
268 Query /*!40101 SET SQL_MODE='NO_AUTO_VALUE_ON_ZERO' */
268 Query /*!40014 SET UNIQUE_CHECKS=0 */
268 Query SET autocommit=0 -- 主线程创建还原数据库和表
264 Query SHOW CREATE DATABASE `test3`
264 Query CREATE DATABASE `test3`
264 Query USE `test3`
264 Query /*!40101 SET NAMES binary*/
264 Query /*!40014 SET FOREIGN_KEY_CHECKS=0*/
264 Query /*!40103 SET TIME_ZONE='+00:00' */
264 Query CREATE TABLE `t1` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`title` varchar(10) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3 DEFAULT CHARSET=utf8 -- 子线程插入表数据
265 Query USE `test3`
266 Quit
265 Query START TRANSACTION
267 Quit
265 Query /*!40101 SET NAMES binary*/
265 Query /*!40014 SET FOREIGN_KEY_CHECKS=0*/
265 Query /*!40103 SET TIME_ZONE='+00:00' */
268 Quit
265 Query INSERT INTO `t1` VALUES
(1,"mydumper"),
(2,"myloader")
265 Query COMMIT
265 Quit
264 Quit

总结下myloader的工作流程:

  • 主线程连接MySQL,根据指定选项设置会话级参数;
  • 创建多个子线程(默认4个),设置会话级参数,关闭自动提交;
  • 主线程创建库和表;
  • 子线程插入表数据;
  • (如有)主线程创建函数、存储过程、触发器和视图;
  • import过程结束。

用法示例

  • 还原单个库
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test1 -o -v 3 -d /data/test/
  • 还原库并重命名
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test1 -B test1_bak -o -v 3 -d /data/test/
  • 指定还原子线程数
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test1 -o -v 3 -t 8 -d /data/test/

很遗憾myloader没有针对单表或都多表的还原操作命令,有一种方法是通过mydumper将个别大表进行指定chunk大小切割备份,并将每张表单独目录存放备份数据,必须是每张表的数据单独放在一个目录中,目录中只包含一张表的信息代表着还原时只须还原这一张表,避免影响相同库下其他的表数据,因为myloader只能指定库级别的参数选项,这样就可以间接使用到myloader多线程还原功能,加快还原单表速度。

以下做个测试:

-- test1.t3表有100万行
(root@localhost) [test1] > select count(*) from t3;
+----------+
| count(*) |
+----------+
| 1000000 |
+----------+
1 row in set (0.00 sec) -- mydumper备份test1.t3,指定chunk大小为3M
# mydumper -h 192.168.58.3 -u admin -a -P 3306 -B test1 -T t3 -F 2 -e -o /data/test/ -- 删除test1.t3表
(root@localhost) [test1] > drop table t3;
Query OK, 0 rows affected (0.04 sec) (root@localhost) [test1] > select * from t3;
Empty set (0.00 sec) -- myloader还原test1.t3
# myloader -h 192.168.58.3 -u admin -a -P 3306 -s test1 -o -v 3 -d /data/test/ ** Message: 4 threads created
** Message: Dropping table or view (if exists) `test1`.`t3`
** Message: Creating table `test1`.`t3`
** Message: Thread 1 restoring `test1`.`t3` part 1
** Message: Thread 4 restoring `test1`.`t3` part 3
** Message: Thread 2 restoring `test1`.`t3` part 4
** Message: Thread 3 restoring `test1`.`t3` part 2
** Message: Thread 2 restoring `test1`.`t3` part 5
** Message: Thread 3 restoring `test1`.`t3` part 6
** Message: Thread 4 restoring `test1`.`t3` part 7
** Message: Thread 1 shutting down
** Message: Thread 4 shutting down
** Message: Thread 2 shutting down
** Message: Thread 3 shutting down (root@localhost) [test1] > select count(*) from t3;
+----------+
| count(*) |
+----------+
| 1000000 |
+----------+
1 row in set (0.00 sec)

由以上结果可见,还原使用到了多线程,提高了还原的效率。

参考

☆〖本人水平有限,文中如有错误还请留言批评指正!〗☆

MySQL Backup myloader的更多相关文章

  1. MYSQL mydumper & myloader

    第三方逻辑备份工具myduper和myloader | xiaoyu的数据库小窝-技术交流http://www.dbaxiaoyu.com/archives/1643 myloader原理0 - ze ...

  2. MySQL Backup mysqldump备份流程学习

    我们都知道MySQL逻辑备份工具mysqldump可以保证备份数据的一致性,但是它是怎么保持一致性的? 本文不讨论mysqldump具体的选项和用法,一直对mysqldump的工作机制梳理的不太清楚, ...

  3. MySQL Backup mydumper

    生产环境中有一实例每天使用mysqldump备份时长达到了2个小时53分钟,接近3个小时,还不算上备份文件归档的时间,这个时间对于逻辑备份来说有点久.为了提高逻辑备份效率,打算替换为使用mydumpe ...

  4. A Mysql backup script

    UseCentOS can help IT managers to get rid of the boring learning methods, quick grasp Linux technolo ...

  5. MySQL Backup in Facebook

    本文将较为详细的介绍Facebook对于MySQL数据库的备份策略和方法 文章欢迎转载,但转载时请保留本段文字,并置于文章的顶部 作者:卢钧轶(cenalulu) 本文原文地址:http://cena ...

  6. keepalived+mysql backup服务器可ping通过vip但telnet vip+3306失败问题

    环境: OS:CentOS 7_X64 数据库:mysql-5.7 MASTER:192.168.119.23 BACKUP:192.168.119.24 VIP:192.168.119.138 ke ...

  7. MySQL Backup mysqldump 常用选项与主要用法

    The mysqldump client utility performs logical backups, producing a set of SQL statements that can be ...

  8. mysql之 myloader原理介绍

    myloader恢复主要流程   1.首先由myloader主线程完成建库建表,依次将备份目录下建库和建表文件执行应用到目标数据库实例中:   2.接着myloader主线程会生成多个工作线程,由这些 ...

  9. Python mysql backup

    http://www.linuxidc.com/Linux/2015-02/113057.htm ------------- #!/usr/bin/python#################### ...

随机推荐

  1. Chrome 控制台 console

    前言 Chrome浏览器我想是每一个前端er必用工具之一吧,一部分原因是它速度快,体积不大,支持的新特性也比其它浏览器多,还有一部分我想就是因为它的控制台功能强大了吧,说它是神器一点也不过分,很方便. ...

  2. Java:文件类File的详解

    File类的常用方法: 1.创建     boolean createNewFile():在指定位置创建文件,如果该文件已经存在,则不创建,返回false.和输出流不一样,输出流对象一建立创建文件,而 ...

  3. .NET技能分析

    知乎话题:如何面试.NET/ASP.NET工程师? No.1初级:1.对 C#(推荐) 或 VB 语言直至与 .NET 4 (目前为止)相匹配的版本,绝大多数特性熟悉并使用过2.通晓 HTTP 协议的 ...

  4. usaco silver

    大神们都在刷usaco,我也来水一水 1606: [Usaco2008 Dec]Hay For Sale 购买干草   裸背包 1607: [Usaco2008 Dec]Patting Heads 轻 ...

  5. java基础之& 和 && 的差别

    &和&&都能够用作逻辑与的运算符,表示逻辑与(and),当运算符两边的表达式的结果都为true时,整个运算结果才为true,否则,仅仅要有一方为false,则结果为false. ...

  6. USTC 1119 graph 图的同构

    USTC 1119 图的同构的严格定义可以参考离散数学:The simple graphs G1=(V1,E1) and G2=(V2,E2)are isomorphic if there exist ...

  7. XCode8中的sizeClass设置

    xcode8出来很久了,xcode9都要出来了,项目中由于一直没遇到用到适配屏幕的情况,所以一直也就忽略了这个知识点.今天忽然想起来,就抱着试一试的态度打开了xcode,我去~就我现在了解而言,屏幕大 ...

  8. MyCat读写分离-笔记(四)

    概述 Mycat能够实现数据库读写分离,不能实现主从同步,数据库的备份还是基于数据库层面的.Mycat只是数据库的中间件: Mycat读写分离配置 在MySQL中间件出现之前,对于MySQL主从集群, ...

  9. windows刷新本机DNS缓存

    ipconfig /flushdns

  10. D. Too Easy Problems

    链接 [http://codeforces.com/group/1EzrFFyOc0/contest/913/problem/D] 题意 给你n个题目,考试时间T,对于每个问题都有一个ai,以及解决所 ...