一个 scrapy 爬虫问题，求大家帮帮忙。

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3440 days ago, the information mentioned may be changed or developed.

scrapy 怎么控制多个代理 IP 线程账号一一对应，且代理失效换代理账号失效换账号？

Scrapy

代理

账号

失效

6 replies • 2017-05-01 09:17:17 +08:00

defunct9

Apr 30, 2017 via iPhone

这个你需要定期去更新活着可用的代理列表，scrapy 从这个代理池中获取代理即可

WildCat

May 1, 2017 via iPhone

过两天可能写个代理池爬虫开源

bozong

May 1, 2017 via iPhone

@WildCat 期待。。。。。。

gzlock

May 1, 2017 via Android

@WildCat 先预支一个 star

gamecmt

May 1, 2017 via iPhone

在 v 站搜搜就有，有个共享的，https://www.v2ex.com/t/340272#reply43

Tunar

May 1, 2017 via Android

从代理池中取