Home Sign Up Sign In
GuDream8
V2EX  ›  问与答

天生支持增量更新的爬虫有哪些？

  •   
  •   GuDream8 · Aug 25, 2018 via Android · 2437 views
    This topic created in 2902 days ago, the information mentioned may be changed or developed.
    不局限于语言
    Supplement 1  ·  Aug 25, 2018
    更准确的表述应该为 "天生支持增量更新的爬虫框架有哪些？"
  • 爬虫
  • 增量
  • 局限
  • 天生
    5 replies  •  2018-08-25 12:00:24 +08:00
    jko123
        1
    jko123  
       Aug 25, 2018 via Android   ❤️ 1
    我想知道天生赚钱的体质是什么，不局限于我爹是谁
    loading
        2
    loading  
       Aug 25, 2018 via iPhone
    幽灵蛛不知行不行。
    qsnow6
        3
    qsnow6  
       Aug 25, 2018
    SCRAPY
    helloiac
        4
    helloiac  
       Aug 25, 2018
    啥叫增量更新？
    glacer
        5
    glacer  
       Aug 25, 2018 via iPhone
    增量更新实际上就是重爬，通过对 url 或某个字段的值进行排重，新增或变化即入库，否则忽略。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5845 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: f75fff0a · 53ms · UTC 02:42 · PVG 10:42 · LAX 19:42 · JFK 22:42
    ♥ Do have faith in what you're doing.