ctftemp
V2EX  ›  问与答

爬虫数据用什么数据库储存最合适?

  •  
  •   ctftemp · Nov 28, 2016 · 3218 views
    This topic created in 3484 days ago, the information mentioned may be changed or developed.
    需求如下:
    数据主要包括请求的 url , headers , body ,响应的 html 文档。
    数据之间没有复杂的关联,只有一个请求来自于某个请求这样的树型关系。
    不需要联合查询,不需要事务。
    数据量比较大。

    目前了解的有关系型数据库、 mongodb 、 HBase 、 es 。不知道哪种数据库最适合这种场景呢?希望各位给些建议,感谢。
    3 replies    2016-11-28 22:31:58 +08:00
    Felldeadbird
        1
    Felldeadbird  
       Nov 28, 2016
    公司一个爬虫项目, PHP+mysql 得。 基本固定的几百万爬虫数据(会定期删除过期数据,因此基本固定数据) + 整合,分析,最终在页面展示耗时大约在 0.1S 内完成。
    内容主要是: URL+ 页面标题+页面特定内容。
    exalex
        2
    exalex  
       Nov 28, 2016
    @Felldeadbird 大概什么方向的内容啊
    Felldeadbird
        3
    Felldeadbird  
       Nov 28, 2016 via iPhone
    @exalex 做数据分析的,爬某个特定行业的数据。然后拿数据做…具体大概就这样
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2812 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 12:48 · PVG 20:48 · LAX 05:48 · JFK 08:48
    ♥ Do have faith in what you're doing.