V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
chennqqi
V2EX  ›  云计算

跨国传输文件有什么好方案, ftp/rsync 好像比较慢

  •  
  •   chennqqi · Jul 27, 2021 · 6150 views
    This topic created in 1735 days ago, the information mentioned may be changed or developed.
    RT,ftp/rsync 好像比较慢,是不是用 UDP 会好一些。求个最佳方案,国际带宽是真的贵,也不想走第三方的盘。
    39 replies    2021-08-06 22:13:22 +08:00
    40EaE5uJO3Xt1VVa
        1
    40EaE5uJO3Xt1VVa  
       Jul 27, 2021
    多大的文件? 不想走第三方盘? 我刚想说奶牛快传呢
    Osk
        2
    Osk  
       Jul 27, 2021
    打包设置密码 /gpg 加密, 然后起一个多线程的 http 服务(nginx, lighttpd, ruby webrick 等随意), 然后, 另一边用 aria2c 等工具下载, 把 aria2c 魔改一下, 整个 256 线程下载.

    我日常单线程 100k, 但 200 个线程就直接跑满带宽了.
    Osk
        3
    Osk  
       Jul 27, 2021
    文件不敏感的话打包和加密甚至都可以省略了
    2kCS5c0b0ITXE5k2
        4
    2kCS5c0b0ITXE5k2  
       Jul 27, 2021
    udp 出国被 qos 的厉害.
    skys215
        5
    skys215  
       Jul 27, 2021 via iPhone
    fladrop.com?
    snapdrop.net?
    哦,不想走三方盘啊…
    suotm
        6
    suotm  
       Jul 27, 2021   ❤️ 3
    对象存储,然后不同的 region 传输(同一个服务商)
    minami
        7
    minami  
       Jul 27, 2021
    用 nc 传,比 ftp 快
    Actrace
        8
    Actrace  
       Jul 28, 2021
    scp 挂个 vxtrans 即可
    changwei
        9
    changwei  
       Jul 28, 2021   ❤️ 1
    买几块正常能存数据的二手硬盘,这些硬盘价格通常单价低于 1CNY/0.1G ,然后存满,发国际快递即可,机械硬盘不工作时其实抗震性能也还可以,包装严实一点或者按易碎品价格发货应该也还是蛮安全的吧。
    如果怕机械盘被摔坏,还可以试试看 SSD,SSD 抗震性能绝对没问题,存储芯片是不怕震动的。
    dingwen07
        10
    dingwen07  
       Jul 28, 2021 via iPhone   ❤️ 4
    为什么问这种问题的就没几个能把需求说完整?多大的文件、从哪个国家发到哪个国家、速度的要求是什么。你要把文件发到大清还得给你发明台时光机不成?
    ca1123
        11
    ca1123  
       Jul 28, 2021   ❤️ 1
    @changwei 干脆做个 RAID, 可以随机坏一块
    zjsxwc
        12
    zjsxwc  
       Jul 28, 2021
    无脑 nc 就行
    user0
        13
    user0  
       Jul 28, 2021 via Android
    syncthing
    Tink
        14
    Tink  
    PRO
       Jul 28, 2021 via Android
    1MB ? 1GB ? 1TB ? 1PB ?
    yylzcom
        15
    yylzcom  
       Jul 28, 2021
    瓶颈在于你这边的上传速度,如果你这边上传速度足够快:

    1. 找个速度好一些中转,比如阿里云 /腾讯云香港之类的
    2. 加密打包上传
    3. 用 Nginx, 让对方直接多线程拉
    4. 如果速度还是不行,再找一个类似 vultr 之类的中转一下,服务器之间拉取文件是非常快的
    defage
        16
    defage  
       Jul 28, 2021
    上 T 或 P 的数据,远距离传输最快的方式就是 磁盘快递,或者随身带过去 =。=
    jyao
        17
    jyao  
       Jul 28, 2021
    上传 oss 应该体验会好很多
    dangyuluo
        18
    dangyuluo  
       Jul 28, 2021
    没说数据量问了等于白问
    zzutmebwd
        19
    zzutmebwd  
       Jul 28, 2021
    微力同步,沾满带宽,极快。
    hary03
        20
    hary03  
       Jul 28, 2021 via Android
    点对点吗?最近碰到个叫 croc 的传文件工具,原理类似 firefoxsend,希望对你有帮助
    ch2
        21
    ch2  
       Jul 28, 2021
    把文件加密,然后走 onedrive,嫖 onedrive 的宽带
    cloverzrg2
        22
    cloverzrg2  
       Jul 28, 2021
    1PB 的话可以把硬盘寄过去
    Rebely
        23
    Rebely  
       Jul 28, 2021
    通过 ssh 走代理呗
    sftp 和 rsync 都有 通过 ssh 代理的设置
    blackzhy
        24
    blackzhy  
       Jul 28, 2021
    大文件的话,还不如直接存硬盘里,让人肉身出国带过去
    clino
        25
    clino  
       Jul 28, 2021
    可以试试这个: https://github.com/schollz/croc
    oldphper
        26
    oldphper  
       Jul 28, 2021
    用 sftp,想办法给这个 sftp 端口加速。
    fqzz
        27
    fqzz  
       Jul 28, 2021
    咋没人说 qq 邮箱哩
    Deteriorator
        28
    Deteriorator  
       Jul 28, 2021
    P2P 吧,慢慢来
    flynaj
        29
    flynaj  
       Jul 28, 2021 via Android
    syncthing 可以满带宽同步
    holinhot
        30
    holinhot  
       Jul 29, 2021
    有传输协议关系不大吧。主要是网络能跑起来
    weizhen199
        31
    weizhen199  
       Jul 29, 2021
    ftp 是最原的
    PickleFish
        32
    PickleFish  
       Jul 29, 2021
    你们都用什么加密文件?
    zzw1998
        33
    zzw1998  
       Aug 3, 2021
    如果文件比较大的话,建议用 FedEx 或者 dhl 寄硬盘,这个最快了
    chennqqi
        34
    chennqqi  
    OP
       Aug 6, 2021
    @flynaj 目前最优先考虑的是你的方案
    chennqqi
        35
    chennqqi  
    OP
       Aug 6, 2021
    @clino 不错
    chennqqi
        36
    chennqqi  
    OP
       Aug 6, 2021
    @zzutmebwd 好像是闭源的,也是 syncthing 魔改的吧
    chennqqi
        37
    chennqqi  
    OP
       Aug 6, 2021
    @Actrace 也是个方案,感谢!
    chennqqi
        38
    chennqqi  
    OP
       Aug 6, 2021
    @ch2 我查了下 onedrive 不是分区的么,不同区计费不同,应该怎么选择。买国外区的国内用,还是国内区的国外用
    ch2
        39
    ch2  
       Aug 6, 2021
    @chennqqi #38 都可以,传上去后国外下载都是满速的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   6096 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 144ms · UTC 02:22 · PVG 10:22 · LAX 19:22 · JFK 22:22
    ♥ Do have faith in what you're doing.