• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Buffer2Disk
V2EX  ›  程序员

关于对另一个数据库的数据抓取,如何保持数据一致性

  •  
  •   Buffer2Disk · Nov 8, 2016 · 2309 views
    This topic created in 3511 days ago, the information mentioned may be changed or developed.

    如题,现在有这么个需求,对另一个数据库的订单数据抓取到本地数据库,每半小时抓取一次。采取的是增量抓取的方式,就是抓取这半个小时的数据。现在的问题是,如何保证数据的一致性,比如抓取过程中,产生了订单,这样就可能会漏掉了该订单

    4 replies    2016-11-09 01:06:19 +08:00
    benatsh
        1
    benatsh  
       Nov 8, 2016
    自己抓取开始的时候,记住抓取动作开始的时间,因此抓取的记录就是开始时间往前推半小时产生的记录,数据库系统有自己的时间戳,这个不难的吧。落库的时候再做主键比对,避免重复抓取
    Mirana
        2
    Mirana  
       Nov 8, 2016
    订单 id 不是自增的?
    qile1
        3
    qile1  
       Nov 8, 2016 via Android
    代码可以参考一下不,一种是在源数据表加同步字段,更新,另一种我感觉可以时间排序,然后取最后时间为下次同步时候的开始时间,设置和更新频率不能太快,另外 oracle 和 mssql 都有表快速复制语句,如果不是两个不同数据库,那个最快
    crytis
        4
    crytis  
       Nov 9, 2016 via iPhone
    解析 binlog
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2525 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 12:27 · PVG 20:27 · LAX 05:27 · JFK 08:27
    ♥ Do have faith in what you're doing.