Home Sign Up Sign In
anewg
V2EX  ›  问与答

请问有哪位用过阿里云 OSS 的迁移工具 OssImport 的吗？

  •   
  •   anewg · Aug 11, 2017 · 3235 views
    This topic created in 3225 days ago, the information mentioned may be changed or developed.
    https://help.aliyun.com/document_detail/56990.html?spm=5176.7851630.6.1043.omWSjK

    看了下他的文档，加上搜索了一阵发现以下问题还是没有了解到：

    1.他是如何知道数据源有哪些文件的？（比如迁移七牛的只需要 bucket 名字就行了）
    2.工具是下载到本地再上传到 OSS 的吗？（如果需要本地做中转，可能就使用别的方案了）
    3.速率有多快？上 TB 的文件量大概需要多久？

    有实际使用经验的朋友指导下吗？
  • OSS
  • 迁移
  • ossimport
  • bucket
    4 replies  •  2017-08-13 06:18:07 +08:00
    anewg
        1
    anewg  
    OP
       Aug 11, 2017
    没有吗？
    toureg
        2
    toureg  
       Aug 12, 2017
    1. ossimport 的 master 会根据指定条件，比如前缀，最后修改时间，去数据源 list 一下，进行一次全量扫描，获取需要迁移的文件列表。
    toureg
        3
    toureg  
       Aug 12, 2017   ❤️ 1
    2. ossimport 从数据源拉取数据，直接上传到 oss，数据不落盘。
    3. ossimport 迁移速度，主要跟迁移机器的网络情况有关。如果单机的网络不能有效的满足需求，ossimport 支持分布式部署，通过线性增加迁移机器，速度可以线型扩展，能满足海量数据迁移的需求。
    anewg
        4
    anewg  
    OP
       Aug 13, 2017
    @toureg 感谢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5275 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 62ms · UTC 03:47 · PVG 11:47 · LAX 20:47 · JFK 23:47
    ♥ Do have faith in what you're doing.