binbinyouliiii
V2EX  ›  数据库

rsync 对数据库增量备份效果怎么样

  •  
  •   binbinyouliiii · Sep 21, 2018 · 3018 views
    This topic created in 2828 days ago, the information mentioned may be changed or developed.

    数据需要备份到本地,但是服务器带宽很小,做增量备份对我来说是个很好的选择。

    但是碍于数据量比较大,带宽小,测试成本较高,所以做一回伸手党,来问下用这个效果怎么样。

    1.备份出来的数据都是 json 或者 sql 文件,用 gzip 的话压缩率很高,但是这样的是不是增量更新效果会大大减弱?
    2.假设本地文件内容是 aaabbb,服务器内容是 aaacccbbb,增量更新的话是从 ccc 处往后的内容全部更新还是自动只更新 ccc ?

    小弟不胜感激

    13 replies    2018-09-22 09:55:42 +08:00
    ETiV
        1
    ETiV  
       Sep 21, 2018
    binbinyouliiii
        2
    binbinyouliiii  
    OP
       Sep 21, 2018
    @ETiV #1 谢谢,不过现在主要是 pgsql 和 mongo
    privil
        3
    privil  
       Sep 21, 2018
    在云上面的话,再开一个机器流量计费拖吧,别省这个钱,备份值的。
    binbinyouliiii
        4
    binbinyouliiii  
    OP
       Sep 21, 2018
    @privil #3 在云上的话我就直接快照了
    liangzi
        5
    liangzi  
       Sep 21, 2018 via Android   ❤️ 1
    第一次运行全部备份 之后都是备份有变化的文件 具体参数怎么写还得看需求 我自己备份 VPS 用这个 不过对于非 root 用户 无法完整备份(比如 sudoer 之类的文件就不能备份) 据说:如果需要完整备份 得在 VPS 上运行 rsync 的 server 才行。PS:root 用户登录 ssh 例外。
    asilin
        6
    asilin  
       Sep 21, 2018   ❤️ 2
    gzip 有一个 --rsyncable 选项,专门为 rsync 调优的,你可以试试,看下实际效果。
    westoy
        7
    westoy  
       Sep 21, 2018
    主从, 定期停从机进行完整备份
    letitbesqzr
        8
    letitbesqzr  
       Sep 21, 2018
    @westoy #7 如果数据量大,会不会有问题,从停太久,恢复以后同步速度跟不上主的新增速度?
    expy
        9
    expy  
       Sep 21, 2018
    rsync 有个-z 选项可以试试。
    billlee
        10
    billlee  
       Sep 21, 2018
    mysql 增量备份用 binlog
    letitbesqzr
        11
    letitbesqzr  
       Sep 22, 2018   ❤️ 2
    @billlee #10 percona-xtrabackup 就是利用 binlog 来增量的,前几个周发布的测试版本总算支持 mysql 8 了,等出正式版支持 mysql 8 就可以考虑上 mysql 8 了。
    likuku
        12
    likuku  
       Sep 22, 2018   ❤️ 1
    纯文本的话,rsync 作增量还是 OK 的,尤其是开启了 -z 参数 (#9 楼赞一个),
    注意安全的话,最好再套一个专用 VPN 来加个秘,或者让 rsync 直接呼叫 ssh 起个隧道来通讯(更省事),
    rsync -z 在收发两头都是 linux 条件时工作正常。
    aerostone
        13
    aerostone  
       Sep 22, 2018 via Android
    马克一下,现在是云备份,看后续有没有需求
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2683 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 03:44 · PVG 11:44 · LAX 20:44 · JFK 23:44
    ♥ Do have faith in what you're doing.