V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
tianxiacangshen
V2EX  ›  PHP

2G 甚至 5G 10G 的 sql 文件怎么消化?

  •  
  •   tianxiacangshen · Jun 2, 2017 · 6075 views
    This topic created in 3252 days ago, the information mentioned may be changed or developed.
    不一定是传到数据库,而是能打开,能分割也行( SQLDumpSplitter 无效),这么大个文件,用什么打开编辑都是卡死,只能用大文件查看器查看一下,也不能编辑,请问有什么办法编辑比如剪切里面的内容?
    32 replies    2017-06-04 09:39:07 +08:00
    F281M6Dh8DXpD1g2
        1
    F281M6Dh8DXpD1g2  
       Jun 2, 2017 via iPhone
    倒进数据库看....
    Fishdrowned
        2
    Fishdrowned  
       Jun 2, 2017 via Android
    有个笨办法,先导入,再编辑,再导出
    operafans
        3
    operafans  
       Jun 2, 2017
    Toad
    harker
        4
    harker  
       Jun 2, 2017
    找个好点的配置的主机,导入到数据库,编辑完在导出,简单有效,主要是方便编辑
    baoguok
        5
    baoguok  
       Jun 2, 2017
    导入再分批次导出嘛

    玩儿技术的,这都不是事儿
    buir
        6
    buir  
       Jun 2, 2017
    卡死是你没 [耐心] 或者内存太小导致的。
    wudanyang
        7
    wudanyang  
       Jun 2, 2017
    先分割呗, 用 `split` 命令
    ```
    split -b 256M file_name -d -a 4 file_prefix
    ```
    jianghu52
        8
    jianghu52  
       Jun 2, 2017   ❤️ 1
    我最大打开过 6.8G 的 sql 文件。用的 emeditor。慢是慢了一点。但是没有死。10g 的是没试验过。
    gouchaoer
        9
    gouchaoer  
       Jun 2, 2017
    手写一行一行的读
    or 用 vim 啥的
    tianxiacangshen
        10
    tianxiacangshen  
    OP
       Jun 2, 2017
    @baoguok 这么大没办法导入啊
    baoguok
        11
    baoguok  
       Jun 2, 2017
    @tianxiacangshen mysql cli 中,试试 source load xx.sql
    bookit
        12
    bookit  
       Jun 2, 2017
    UltraEdit

    禁止临时文件
    禁止显示行号
    禁止文件(回车 & 换行符)转换
    禁止代码折叠
    禁止显示函数列表
    设置打开 XML 大文件阈值
    禁止语法高亮
    禁止列表变更指标( LCI )
    2ME
        13
    2ME  
       Jun 2, 2017 via Android
    @tianxiacangshen
    为什么没办法导入 命令行设置编码 source 导入很快 上午刚导入一个 4g 不到的 sql 文件
    mahone3297
        14
    mahone3297  
       Jun 2, 2017
    @2ME 4g 导入,差不多要多久?
    congeec
        15
    congeec  
       Jun 2, 2017
    ...............
    楼主你听说过 vim 么?
    blankme
        16
    blankme  
       Jun 2, 2017 via Android
    你能导出还不能导入么...
    而且只要内存够,vim 随便看随便编辑
    2ME
        17
    2ME  
       Jun 2, 2017
    @mahone3297 没注意 很快 几分钟都不到
    tianxiacangshen
        18
    tianxiacangshen  
    OP
       Jun 2, 2017
    @jianghu52 这是个神器啊,13G 打开毫无压力,还能“增删改查”
    likuku
        19
    likuku  
       Jun 2, 2017
    转 csv,split 指令直接按行切分成多文件。

    grep,sort,awk, 配合起来用,筛出数据都可以。

    内存够大(超过文件体积),那么 vim 吧,快速定位行,复制黏贴,都可以。
    XiaoFaye
        20
    XiaoFaye  
       Jun 2, 2017
    你是没用过 UltraEdit 这个神器吧?
    reus
        21
    reus  
       Jun 2, 2017
    ed 啊
    artandlol
        22
    artandlol  
       Jun 2, 2017 via Android
    使用 mysqldump -tab 导出每想单独的表
    估计是你本身的原因 我打开 11G 的文件嗯正常
    msg7086
        23
    msg7086  
       Jun 2, 2017
    没记错的话 EmEditor 有专门用来处理大文件的功能,直接选定某个局部区域打开就行了。
    jhdxr
        24
    jhdxr  
       Jun 2, 2017   ❤️ 1
    emeditor 我最高处理过一个单个 22G 的 SQL,而且批量替换啥的,如果不用正则速度还是很快的。
    Akkuman
        25
    Akkuman  
       Jun 2, 2017 via Android
    emediter
    Akkuman
        26
    Akkuman  
       Jun 2, 2017 via Android
    emeditor
    nadoo
        27
    nadoo  
       Jun 2, 2017
    emeditor 可以
    gdsagdada
        28
    gdsagdada  
       Jun 2, 2017
    emeditor,自己写个程序不就搞定了,哪个 SB 导这么大的文件,不知道分表分批次导出吗
    mingyun
        29
    mingyun  
       Jun 3, 2017
    emeditor 这么屌
    20150517
        30
    20150517  
       Jun 3, 2017 via Android
    搞什么 要看下肯定用 less less 是一点点加载的,但你如果要查找就麻烦了
    rubyvector
        31
    rubyvector  
       Jun 3, 2017
    之前用过 UltraEdit,也很牛
    winglight2016
        32
    winglight2016  
       Jun 4, 2017
    用 ETL 工具随便想输出什么格式都可以
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5026 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 87ms · UTC 09:49 · PVG 17:49 · LAX 02:49 · JFK 05:49
    ♥ Do have faith in what you're doing.