平时不怎么关注爬虫，最近业务上有需求爬取用户好评和差评，数据量估算非常大，具体内容很刑，所以细节就不表了。
想问一下有没有好用的分布式框架，大概想了一下需求是建立一个多节点的主从网络，然后可以发布任务并监督从节点爬取并回收结果，大概这样就行了。。
想了想就算只做基础需求，自己撸的话大半天也过去了，来万能的 v2 问问有没有能开箱即用的
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
1
Select Language