vinthony
V2EX  ›  编程

想实现一个分布式爬虫系统,有哪些推荐的语言?

  •  
  •   vinthony · Jan 12, 2015 · 4315 views
    This topic created in 4164 days ago, the information mentioned may be changed or developed.

    如果用来写爬虫 此语言有哪些优缺点?

    12 replies    2015-01-12 21:16:34 +08:00
    nilai
        1
    nilai  
       Jan 12, 2015
    scrapy
    icedx
        2
    icedx  
       Jan 12, 2015 via Android
    Python
    Gamon
        3
    Gamon  
       Jan 12, 2015
    Python
    alexapollo
        4
    alexapollo  
       Jan 12, 2015
    golang
    a2z
        5
    a2z  
       Jan 12, 2015
    python,已实现
    a2z
        6
    a2z  
       Jan 12, 2015
    vinthony
        7
    vinthony  
    OP
       Jan 12, 2015
    @nilai
    @a2z 感觉推荐,现有的实现确实很好,但是还是想踩踩坑 ^_^
    tabris17
        8
    tabris17  
       Jan 12, 2015
    C++
    vinthony
        9
    vinthony  
    OP
       Jan 12, 2015
    @alexapollo 感谢推荐
    a2z
        10
    a2z  
       Jan 12, 2015
    @vinthony
    有时间折腾可以搞搞,坑挺深的。
    Bluek404
        11
    Bluek404  
       Jan 12, 2015
    go+1

    优点:多线程简单
    缺点:需要编译
    yakczh
        12
    yakczh  
       Jan 12, 2015
    看了一个Scrapy, 抓取的规则还是写在代码里,这样如何网站改版以后,还会重新调试代码,有没有爬虫可以把抓取规则独立到文件或者 数据库的,如果网站改版了,就可以通过后台编辑这些规则采集数据了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2930 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 12:52 · PVG 20:52 · LAX 05:52 · JFK 08:52
    ♥ Do have faith in what you're doing.