shierji
V2EX  ›  问与答

想请问下如何递归的从新闻站点当前日页面抓取历史页面呢?

  •  
  •   shierji · May 27, 2015 via Android · 2206 views
    This topic created in 4078 days ago, the information mentioned may be changed or developed.
    我之前用的scrapy 如果抓比如凤凰网 从主页出发大概只能抓到近几个月的东西而且不全……

    看到今天讨论爬虫的比较多 所以来问一下
    @binux
    @Feiox
    6 replies    2015-05-27 19:41:50 +08:00
    binux
        1
    binux  
       May 27, 2015   ❤️ 1
    前提是对方站点提供了历史页面
    shierji
        2
    shierji  
    OP
       May 27, 2015 via Android
    @binux 历史页面是存在的 但是似乎是孤岛 没法从现在的网页爬过去

    之前构思过通过搜索引擎获取历史页面链接 但是感觉限制很多而且很复杂
    binux
        3
    binux  
       May 27, 2015   ❤️ 1
    @shierji 历史页面的列表页呢?
    Feiox
        4
    Feiox  
       May 27, 2015   ❤️ 1
    我查了一下,凤凰的 url 规律性很强。例如 http://news.ifeng.com/a/20150527/43846414_0.shtml,起一个代表时间,第二个表示编号,而且编号都是相连的。所以呢。。。。
    曾经抓过一个页面,面对散列值我也好无奈啊。
    shierji
        5
    shierji  
    OP
       May 27, 2015 via Android
    @Feiox 我回去研究下~~
    shierji
        6
    shierji  
    OP
       May 27, 2015
    @Feiox
    @binux 找到入口了。谢谢!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2706 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 11:34 · PVG 19:34 · LAX 04:34 · JFK 07:34
    ♥ Do have faith in what you're doing.