V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3315 days ago, the information mentioned may be changed or developed.
使用 scrapy 爬虫抓取代理网站，获取大量的免费代理 ip 。过滤出所有可用的 ip ，存入数据库以备使用。
从项目开源以来收到了各位 V 友大神的指点，也不断的优化完善羡慕，目前在第一次开源之后做出了如下重大更改：
- 添加验证次数，如果验证次数越大，表示该代理 ip 越稳定
- 多进程分别验证每一个站点，比如 豆瓣、京东 是在两个不同的进程同时验证，更加保证了代理 IP 的有效性
- 更改了 mysql 连接库，从 mysql-connector-python 换成了 pymysql ，并且插入支持事务
- 完善了服务器接口参数
- 添加了更多代理 IP 站点，目前大概支持 10 个免费代理 IP 站点
github 地址： https://github.com/awolfly9/IPProxyTool
请各位 V 友继续敬请雅正、不舍赐教~
PS:开源真的让我认识了很多 V 站的朋友，也让我受益匪浅，如果你对项目有任何的意见和建议，欢迎加我微信指点 QXdvbGZseQ==(base64)
 |
1
whx20202 Mar 31, 2017
先收藏了，主要想看看网络这块编程怎么写
|
 |
3
bozong Mar 31, 2017
先收藏。。。
|
 |
4
alouha Mar 31, 2017
已 star
|
 |
5
Reign Mar 31, 2017
对于我们这些不会 Python 的，作者可不可以做成 API 返回 json 的格式供我们调用？
|
 |
7
chendajun Mar 31, 2017
代理网站给的免费代理 IP 可用性如何？之前弄过类似，发现这种免费的 IP 可用性非常差后来就放弃了。现在 Scrapy 提供的 Crawlera （付费的，购买的是 25 刀那个 plan ），感觉很不错。
|
 |
8
5dkgansm Mar 31, 2017
如果可以的话方便提供 python3 的支持吗？
|
 |
10
Gandum Mar 31, 2017
所以，和 https://github.com/qiyeboy/IPProxyPool 的区别是？
|
 |
11
awolfly9 OP @chendajun 代理网站给的代理 ip 多半是不靠谱的，但是还是有少量漏网之鱼可以使用，而且这些还是比较稳定的，所以需要不断的验证抓取到的代理 ip
|
|
12
awolfly9 OP @Gandum 我在项目刚开始的时候参考了 IPProxyPool ，后来不断的更新完善，现在已经和 IPProxyPool 是两种不同的思路了
|
 |
13
jy01264313 Mar 31, 2017
这些网站的免费 IP 有效率不到 10%，收费的有效 IP 不到 30%
|
|
14
awolfly9 OP @jy01264313 国外的免费网站提供的代理 IP 有效率高很多，国内的需要自己去洗出有效的 IP
|
 |
15
q9S Mar 31, 2017
前几个月好像就用过，感觉还不错；免费的 IP 会不会有的 IP 蜜罐
|
 |
16
xrlin Mar 31, 2017 via iPhone
之前就在用，但 ip 还是太少了，毕竟是免费的
|
 |
18
scriptkid Mar 31, 2017
已经 star 过两天放假了再看看～
|
|
20
jy01264313 Mar 31, 2017
@awolfly9 推荐一个？我只需要国内的 ip 地址的
|
 |
21
vlike Mar 31, 2017 via Android
看了一下不错，可惜不喜欢 mysql
|
 |
22
zingl Mar 31, 2017
现在的年轻人都不知道 proxyhunter 了吧
|
|
26
q9S Apr 1, 2017
 ) boos douban liepin 这些表名什么意思额 |
|
27
q9S Apr 1, 2017
额 不用回我，晓得咯  ) |
 |
29
cocoakekeyu Apr 4, 2017
OK, 给 star
|
Select Language