V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
scalaer
V2EX  ›  问与答

mysql 并发写快点还是 load data infile 快点?

  •  
  •   scalaer · Jul 15, 2021 · 1418 views
    This topic created in 1747 days ago, the information mentioned may be changed or developed.

    有 v 友测过吗, 在什么数据范围内使用并发写, 在什么范围内使用 load data file 方式

    6 replies    2021-07-15 23:21:34 +08:00
    netnr
        1
    netnr  
       Jul 15, 2021 via Android
    8 万左右的业务数据,load 快,批量事物要慢,不开事物每秒几十条更慢,c# 测试
    scalaer
        2
    scalaer  
    OP
       Jul 15, 2021
    @netnr 8w 的数据量差别不会很大吧, 我这边是 50 亿条的数据在考虑那种方式要快点
    netnr
        3
    netnr  
       Jul 15, 2021 via Android
    那肯定 load 快呀,建议分批 100 万一把
    scalaer
        4
    scalaer  
    OP
       Jul 15, 2021
    @netnr 请问下咋分批啊, 每次 load,都会覆盖之前插入的数据
    netnr
        5
    netnr  
       Jul 15, 2021 via Android
    load 是新增,为什么会覆盖
    arjen
        6
    arjen  
       Jul 15, 2021 via iPhone
    岔个话题,同一张表并发会不会比串行写更慢?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1481 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 17:04 · PVG 01:04 · LAX 10:04 · JFK 13:04
    ♥ Do have faith in what you're doing.