shierji
V2EX  ›  问与答

想请问下如何递归的从新闻站点当前日页面抓取历史页面呢?

  •  
  •   shierji · May 27, 2015 via Android · 2110 views
    This topic created in 4029 days ago, the information mentioned may be changed or developed.
    我之前用的scrapy 如果抓比如凤凰网 从主页出发大概只能抓到近几个月的东西而且不全……

    看到今天讨论爬虫的比较多 所以来问一下
    @binux
    @Feiox
    6 replies    2015-05-27 19:41:50 +08:00
    binux
        1
    binux  
       May 27, 2015   ❤️ 1
    前提是对方站点提供了历史页面
    shierji
        2
    shierji  
    OP
       May 27, 2015 via Android
    @binux 历史页面是存在的 但是似乎是孤岛 没法从现在的网页爬过去

    之前构思过通过搜索引擎获取历史页面链接 但是感觉限制很多而且很复杂
    binux
        3
    binux  
       May 27, 2015   ❤️ 1
    @shierji 历史页面的列表页呢?
    Feiox
        4
    Feiox  
       May 27, 2015   ❤️ 1
    我查了一下,凤凰的 url 规律性很强。例如 http://news.ifeng.com/a/20150527/43846414_0.shtml,起一个代表时间,第二个表示编号,而且编号都是相连的。所以呢。。。。
    曾经抓过一个页面,面对散列值我也好无奈啊。
    shierji
        5
    shierji  
    OP
       May 27, 2015 via Android
    @Feiox 我回去研究下~~
    shierji
        6
    shierji  
    OP
       May 27, 2015
    @Feiox
    @binux 找到入口了。谢谢!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2936 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 12:52 · PVG 20:52 · LAX 05:52 · JFK 08:52
    ♥ Do have faith in what you're doing.