V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
shiji
V2EX  ›  问与答

服务器磁盘有限,怎么打包传输零散文件

  •  
  •   shiji · May 9, 2018 · 2241 views
    This topic created in 2914 days ago, the information mentioned may be changed or developed.
    同一个目录下,都是图片文件,数量庞大。想打包传输到另外一个服务器。
    但是剩余空间不足,请问有什么方法解决这个问题?
    希望速度比 SCP 快,SCP 传零散文件速度感人。


    谢谢。
    11 replies    2018-05-09 14:01:39 +08:00
    Trim21
        1
    Trim21  
       May 9, 2018 via Android
    干过一次类似的事情,起了个 http server,在另一台服务器上用多线程爬虫爬下来
    billlee
        2
    billlee  
       May 9, 2018
    tar -c | ssh tar -x
    clino
        3
    clino  
       May 9, 2018 via Android
    应该用楼上 tar 的方法,没有实际 tar 文件生成
    vibbow
        4
    vibbow  
       May 9, 2018
    移动硬盘...
    luban
        5
    luban  
       May 9, 2018 via iPhone
    磁盘空间不足,那就部分打包,传输完成删除
    opengps
        6
    opengps  
       May 9, 2018 via Android
    千兆内网共享,用自己电脑或者配合移动硬盘
    Mutoo
        7
    Mutoo  
       May 9, 2018
    rsync over ssh 了解一下,支持打包传送。
    stiekel
        8
    stiekel  
       May 9, 2018
    这种情况,rsync 应该是最好的解决方案了。
    alvinbone88
        9
    alvinbone88  
       May 9, 2018
    tar 打包,lz4 压缩,ssh 传输
    详细可以看 http://www.orczhou.com/index.php/2013/11/tranfer-data-faster-on-the-fly/
    据博主自己测试,传输速率可以达到 249MB/s
    Qzier
        10
    Qzier  
       May 9, 2018 via iPhone
    tar 打包,然后 xz 压缩
    shiji
        11
    shiji  
    OP
       May 9, 2018
    @Qzier
    @alvinbone88
    磁盘空间有限,打包不到四分之一磁盘就满了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2516 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 63ms · UTC 09:36 · PVG 17:36 · LAX 02:36 · JFK 05:36
    ♥ Do have faith in what you're doing.