推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
xiaoyanbot
V2EX  ›  Python

pyspider 和 scrapy 对比

  •  
  •   xiaoyanbot · Jun 29, 2017 · 7746 views
    This topic created in 3269 days ago, the information mentioned may be changed or developed.

    用过两者的朋友吗? 说说具体咋样

    要做选型

    10 replies    2017-09-25 14:32:39 +08:00
    ldbC5uTBj11yaeh5
        1
    ldbC5uTBj11yaeh5  
       Jun 29, 2017 via Android
    现在还有用 pysipder 的吗?
    wolffn
        2
    wolffn  
       Jun 29, 2017
    lz 爬虫规模大吗,不大的话,说真心话,上 node 吧
    bytenoob
        3
    bytenoob  
       Jun 29, 2017 via Android
    EricCartman
        4
    EricCartman  
       Jun 29, 2017 via Android
    @wolffn 不大 Python 更方便吧
    golmic
        5
    golmic  
       Jun 29, 2017
    感觉 pyspider 在任务调度方面比 scrapy 做的好一些,但是个人还是喜欢可控的 scrapy.像 pyspider 出错不容易查问题并且一旦进入 pause 状态就 10 分钟不能动这是不能忍的。
    zealinux
        6
    zealinux  
       Jun 29, 2017
    @wolffn node 用什么库来爬?
    xrlin
        7
    xrlin  
       Jun 29, 2017
    两者都用过,但只是做自己的小项目,都是很好的框架,但比较喜欢 scrapy,目录结构好,做图片等资源采集不错,pyspider 编辑起来不太方便,但任务调度比 scrapy 方便很多,可以很方便进行定时、增量爬取。
    binux
        8
    binux  
       Jun 29, 2017   ❤️ 3
    谢邀 :P
    pyspider 本来就是为了解决 scrapy 不好解决的问题设计的。但是作为框架本身的成熟度来说,和 scrapy 比还是有差距的。
    https://stackoverflow.com/questions/27243246/can-scrapy-be-replaced-by-pyspider
    https://www.quora.com/How-does-pyspider-compare-to-scrapy
    bfbd
        9
    bfbd  
       Jun 29, 2017   ❤️ 1
    scrapy 好用,调度方面有 scrapyd。

    https://scrapyd.readthedocs.io/en/latest/
    ila
        10
    ila  
       Sep 25, 2017
    @bfbd scrapyd 能否暂停和恢复任务?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5348 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 95ms · UTC 03:44 · PVG 11:44 · LAX 20:44 · JFK 23:44
    ♥ Do have faith in what you're doing.