gdtv

这里有用 amazon S3 的朋友吗? 上传 25g 的文件到 S3 老是出错

  •  
  •   gdtv · Jun 6, 2016 · 5173 views
    This topic created in 3698 days ago, the information mentioned may be changed or developed.
    从阿里云 VPS 上传到 S3 ,单个压缩包 25g ,试了几次都出错:

    aws s3 cp backup-file.tar.gz s3://myname/backup/aliyun/
    upload failed: ./backup-file.tar.gz to s3://myname/backup/aliyun/backup-file.tar.gz
    hostname 'myname.s3.amazonaws.com' doesn't match either of '*.com.com', 'com.com'
    Completed 763 of 3240 part(s) with -1 file(s) remaining

    是不是文件太大了? 不知是阿里云的限制,还是 S3 的限制,还是“你懂的”限制
    19 replies    2016-06-07 22:33:36 +08:00
    paulw54jrn
        1
    paulw54jrn  
       Jun 6, 2016   ❤️ 1
    notgod
        2
    notgod  
       Jun 6, 2016   ❤️ 1
    你这种上传方式明显有问题 文件太大
    以中国到美国的网络连通性.. 根本不用考虑的
    楼上分卷可以

    不过还是建议打包为 1G 每个的压缩文件得了
    这么大 传输起来很容易出错 网络原因
    fredcc
        3
    fredcc  
       Jun 6, 2016 via Android
    显然某 wall 问题
    jhaohai
        4
    jhaohai  
       Jun 6, 2016 via iPhone
    楼主用的中国区的 aws 吗,中国区的是 amazonaws.cn
    BFDZ
        5
    BFDZ  
       Jun 6, 2016 via Android
    3 楼+1 , s3 有些地方会解析成神奇的阿塞拜疆
    gdtv
        6
    gdtv  
    OP
       Jun 6, 2016
    @paulw54jrn
    我是使用命令行上传的,官方文档说 cp 命令会自动执行分段上传
    gdtv
        7
    gdtv  
    OP
       Jun 6, 2016
    @jhaohai 我用的不是中国区
    vovov
        8
    vovov  
       Jun 6, 2016 via iPhone
    别说 25G ,我几百兆的文件从中国区到 S3 都是老出错,想其它办法吧
    gdtv
        9
    gdtv  
    OP
       Jun 6, 2016
    @jhaohai 中国区的 aws 好像不对外开放
    paulw54jrn
        10
    paulw54jrn  
       Jun 6, 2016
    要不手动分页一直 s3 sync 重试?
    gdtv
        11
    gdtv  
    OP
       Jun 6, 2016
    @paulw54jrn 试了一下用 sync ,结果:
    'Connection aborted.', error(104, 'Connection reset by peer')
    jhaohai
        12
    jhaohai  
       Jun 6, 2016 via iPhone
    @gdtv 嗯,得收到邀请才能用
    paulw54jrn
        13
    paulw54jrn  
       Jun 7, 2016
    迷のGFW
    esile
        14
    esile  
       Jun 7, 2016 via iPhone
    去国外开个 vps 拖过去在上传
    fcicq
        15
    fcicq  
       Jun 7, 2016
    试试非官方的 s3cmd?
    leafin
        16
    leafin  
       Jun 7, 2016   ❤️ 1
    @gdtv python 版 aws cli 在处理某些特殊的文件时会有 BUG 。在我的测试中,用固定的两堆图片,一堆总是上传成功,另一堆总是上传失败。你试试用 java sdk 传
    leafin
        17
    leafin  
       Jun 7, 2016
    不过报错跟你的不一样,我测试中报错是第 0 行语法错误
    leafin
        18
    leafin  
       Jun 7, 2016
    你的这个错误不排除是网络原因引起的
    aec4d
        19
    aec4d  
       Jun 7, 2016   ❤️ 1
    25G 这个量级有点尴尬啊 我觉得想办法先传到国外主机在上传 S3 就好办了
    我刚测试了一下国外下载 upyun 速度有 3M/s
    你可以这样子 找一台国外主机测试下连接到 upyun/oss/七牛等的速度
    先临时将阿里云 VPS 宽带提升到 100MB 将文件上传到以上平台,或者直接对 VPS 使用 aria2c -x15 -s15 -c 开 15 个线程断点续传下载 主要是看哪个快
    如果你长期有这样的需求可以写一个脚本 比如每 100MB 分为一个文件上传到 upyun 等 就可以阿里云上传同时国外 VPS 下载了
    正常传到国外 VPS 上一切就好办了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3150 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 73ms · UTC 13:30 · PVG 21:30 · LAX 06:30 · JFK 09:30
    ♥ Do have faith in what you're doing.