V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
AncientLibrary
V2EX  ›  程序员

Telegram twitter 微博这类应用是如何面对无线增长的数据的啊?

  •  
  •   AncientLibrary · Nov 27, 2022 · 2474 views
    This topic created in 1246 days ago, the information mentioned may be changed or developed.

    最近我加了不少 telegram 上面的图群(你懂得),发现是可以无限往回翻的,一直翻到群建立第一天的消息。甚至 twitter (推特需要高级搜索)和微博也是可以回溯到一个人最初发的消息的。

    如果只是文本还好说,这类应用的用户很多都是发的图片和视频。这些企业是怎么面对这样增长的用户数据的啊?感觉过个若干年光是旧数据的保有成本就会扩张到一个无法接受的地步

    工业上是如何解决这个问题的?

    5 replies    2022-11-28 17:49:21 +08:00
    rb6221
        1
    rb6221  
       Nov 27, 2022
    加机器呗,这又不是什么高端技术,难道国内没有吗?微博了解一下
    me221
        2
    me221  
       Nov 27, 2022
    加机器. 硬盘不值钱
    wolong
        3
    wolong  
       Nov 27, 2022
    求分享图群
    star7th
        4
    star7th  
       Nov 27, 2022
    就是大硬盘集群扛着。无它。
    成本肯定有,但是没有你想象的高。现在的硬盘还是比较便宜的。更大的支出在于流量。存数据没太多成本,读数据,流转数据,流量贵。
    因为流量比存储更贵,所以我折腾出了另一种降低流量成本的法子。https://www.v2ex.com/t/877718?p=2
    victorc
        5
    victorc  
       Nov 28, 2022
    某个著名 im 的存储架构正好是我设计的,也是永久保留消息,方案就是 分级存储

    1. im 消息的时效性特别强,95%的消息请求都是一周之内; 一周之内的消息用最贵的 nvme 磁盘,更早的可以使用机械盘
    2. 产品层面可以对消息存储时间设计一个计费点
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5816 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 75ms · UTC 07:32 · PVG 15:32 · LAX 00:32 · JFK 03:32
    ♥ Do have faith in what you're doing.