请教下 mysql 大量数据每日备份问题

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

This topic created in 3527 days ago, the information mentioned may be changed or developed.

一般大量数据，比如数百 g 都是怎么做每日备份的呢？ Xtrabackup 导出有点搞不动啊，需要的时间太久了，又一直占着磁盘 io ，压力太大了

Supplement 1 · Oct 13, 2016

其实我还是比较好奇更大的公司，比如百度阿里他们的数据应该更多吧，他们做不做离线备份呢？又是怎么做的呢？

xtrabackup

MySQL

导出

磁盘

18 replies • 2019-09-20 17:22:48 +08:00

TaMud

Oct 12, 2016

一天产生几百 g 数据？
那你可以做个主从服务，从服备份

Infernalzero

Oct 12, 2016

直接 mysqldump 或者设延时库，单纯的主从备份没用的，你 master 删了 slave 也删了啊

liyj144

Oct 12, 2016

1. 拆库拆表，多进程（按库）备份。 500G 的数据，普通磁盘几个小时就备份完了。 2. 磁盘上 SSD 会更快，备份完也可以快速跟主库同步。更何况备份是在备机上的， io 高一些影响也不大。

kanchi240

Oct 12, 2016

Xtrabackup 不是支持增量备份的吗。。“ Xtrabackup 导出有点搞不动”是什么意思？

pc10201

Oct 12, 2016

主从同步，用从库备份，一般是周备，但保留并备份最近 7 天的日志

ElmerZhang

Oct 12, 2016

专门有个不提供线上服务的从库做备份。
最简单粗暴的备份方法：停实例， rsync 走。
如果不要求保留每天的备份，可以直接搞个延时从库。

guyskk

Oct 12, 2016 via Android

数据放到 LVM 磁盘上，通过磁盘快照做备份。也许可行。

msg7086

Oct 13, 2016

主从，随便拿了个 SSD-cached VPS 做的，一个月几欧元的样子。

sujin190

Oct 13, 2016

@pc10201 binlog 日志么？

sujin190

Oct 13, 2016

@ElmerZhang 大量数据 rsync 快还是 copy 快，同一台机器上的两块磁盘

sujin190

Oct 13, 2016

@guyskk 这是一个方法不过得停服务吧

guyskk

Oct 13, 2016 via Android

@sujin190 扇贝网是这么做的，之前看过他们发的一篇文章上说了。 V 站上能搜到。

noahzh

Oct 13, 2016

一个专用备份从库，每天用 mysqldump 备份，然后 lz4 压缩，同时也备份 master binlog

zqcolor

Oct 13, 2016

主从服务，从服备份, 同时也备份 master binlog

+1

ElmerZhang

Oct 14, 2016

@sujin190 增量的话 rsync 快，全量的话 cp 快。
还有一个方案是备库跑在 lvm 卷上，直接打快照

ElmerZhang

Oct 14, 2016

五年前我还调研过一个叫 NILFS 的日志型文件系统，当时还不成熟，现在不知道发展怎么样了，楼主可以看一下。

yghack

Oct 14, 2016

分库分表
主从 + 从库只读 + 从库备份
顺便拆分 binlog
备份 binlog

Legendzhan

Sep 20, 2019