V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
daimaosix
V2EX  ›  问与答

TB 级小文件备份方案

  •  
  •   daimaosix · May 4, 2020 · 4848 views
    This topic created in 2185 days ago, the information mentioned may be changed or developed.

    服务器存放了大概 50T 的小文件数据,并且在不断增长中,目前想把这些数据备份到国内网盘上,但好像没有合适的增量备份方案,不知道各位有其他想法吗?

    33 replies    2020-05-06 08:56:03 +08:00
    alexkkaa
        1
    alexkkaa  
       May 4, 2020 via Android
    国内网盘? gdrive 他不香吗
    daimaosix
        2
    daimaosix  
    OP
       May 4, 2020
    @alexkkaa 服务器都在国内,gdrive 用不了啊
    superrichman
        3
    superrichman  
       May 4, 2020 via iPhone
    妈耶 50t 数据,你还是买几块硬盘备份比较靠谱。
    alexkkaa
        4
    alexkkaa  
       May 4, 2020 via Android
    @daimaosix 可以挂个代理试试
    daimaosix
        5
    daimaosix  
    OP
       May 4, 2020
    @superrichman emmmm,硬盘要买好几块...而且主要是本地的网络不行,备份太慢了
    daimaosix
        6
    daimaosix  
    OP
       May 4, 2020
    @alexkkaa 太慢了老哥,50T 真不知道要备份到什么时间了....
    renmu
        7
    renmu  
       May 4, 2020 via Android
    看看国内哪家对象存储有解决方案,网盘应该是解决不了你的问题了
    yuzo555
        8
    yuzo555  
       May 4, 2020
    还是存到对象存储吧。

    新文件主动上传(或使用提供的 API 远程抓取)到对象存储,部分服务商(七牛、腾讯)提供镜像存储功能,如果新文件上传后一定会被访问,也可以设置镜像存储来同步新文件。
    老文件使用他们提供的迁移工具慢慢迁移咯。
    AntonChen
        9
    AntonChen  
       May 4, 2020 via Android
    阿里云 oss 归档存储
    aver4vex
        10
    aver4vex  
       May 4, 2020 via Android   ❤️ 3
    文件加密,名字都改成番号,群发各种 bt 论坛。
    GoLand
        11
    GoLand  
       May 4, 2020   ❤️ 3
    https://juicefs.com/

    jfs 了解一下,比较靠谱。
    a719114136
        12
    a719114136  
       May 4, 2020 via Android
    个人还是公司的,公司的话可以考虑 hdfs 以及其他分布式文件系统。
    个人的话还是多买一个硬盘每天定时拷贝吧
    Mai1me
        13
    Mai1me  
       May 4, 2020 via Android
    50t 数据 用 国内 网盘备份
    应该是家里有矿了。
    SingeeKing
        14
    SingeeKing  
    PRO
       May 4, 2020
    国内几乎唯一靠谱的方式是买硬盘做 RAID5 或者 RAID10,要不然就不考虑成本去买阿里腾讯的归档存储

    国外的话,短时间 G Suite (自己买,不是白嫖)无限容量足够
    daimaosix
        15
    daimaosix  
    OP
       May 4, 2020
    @GoLand 没看明白这个是干啥的老哥
    daimaosix
        16
    daimaosix  
    OP
       May 4, 2020
    @GoLand 共享文件系统,如果存储用的都是第三方云厂商的,怎么看他定价还有一个自己的存储定价,专业版 0.13/GiB/月
    efaun
        17
    efaun  
       May 4, 2020
    冷备份或者磁带备份成本低又有保障
    flynaj
        18
    flynaj  
       May 4, 2020 via Android
    50t 一套 6t 硬盘就要 10 个。没有哪家的网盘这么大吧
    isnullstring
        19
    isnullstring  
       May 4, 2020
    直接买硬盘备份不好么,备份恢复速度又快
    价格也比任意云存便宜
    huihuilang
        20
    huihuilang  
       May 4, 2020 via Android
    用 115 吧,淘宝 1tb 充值打折才 10 块钱。。。50tb 也就几百块钱的事情。。。另外本地再搞个冷备份吧
    hyshuang2006
        21
    hyshuang2006  
       May 4, 2020
    50T ?信息没给全,怎么提供合适的建议。说不定有前面累积的数据都可以归档。
    daimaosix
        22
    daimaosix  
    OP
       May 4, 2020
    @flynaj 用 115 可以

    @huihuilang 是的,用的 115
    zakokun
        23
    zakokun  
       May 4, 2020
    这种一般都是弄对象存储啊, 方便检索和下载
    hst001
        24
    hst001  
       May 4, 2020
    直接买硬盘去机房拷贝吧,之后每天定时远程备份
    ceyes
        25
    ceyes  
       May 5, 2020 via iPhone
    aws S3 了解一下?
    msg7086
        26
    msg7086  
       May 5, 2020 via Android
    自己买硬盘本地慢慢下最靠谱了。
    放云,你就不怕账号没了文件取不回来?
    云当作第二备份倒是可以。第一备份还是放在自己手里好些。
    tankren
        27
    tankren  
       May 5, 2020
    还不如本地再备份一遍呢
    flynaj
        28
    flynaj  
       May 5, 2020
    @daimaosix #22 115 我看官网 500 块一年 有 5T,50T 一年就要 5000.
    GoLand
        29
    GoLand  
       May 5, 2020
    @daimaosix jfs 其实做的事就是让你像访问本地文件系统一样访问 oss,数据还是存在 oss
    daimaosix
        30
    daimaosix  
    OP
       May 5, 2020
    @flynaj 去淘宝买兑换码,5T 大概 30 块钱左右,永久生效,无上限。
    efaun
        31
    efaun  
       May 5, 2020
    @GoLand #29 我也看了下这个网站,但是他说的 1T 免费空间没懂,是注册了账号就可以使用他存储 1T 的数据(使用他提供的空间,就是一个免费网盘),还是可以通过他往自己的 oss 存 1T 的数据(使用自己的空间,类似 multcloud )?
    flynaj
        32
    flynaj  
       May 5, 2020 via Android
    @daimaosix 怎么可能,要真是这样只能说明 115 要跑路了。30 块怎么都不够一年的电费。
    wanguorui123
        33
    wanguorui123  
       May 6, 2020 via iPhone
    50T 小文件,要传 n 久吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4521 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 94ms · UTC 05:32 · PVG 13:32 · LAX 22:32 · JFK 01:32
    ♥ Do have faith in what you're doing.