我在做爬虫. 用网上公开的代理, 可以抓取一般性的网站. 但是对于新浪微博, 这些代理经常被判定为爬虫, 完全一致的 HTML Request, 它们返回的内容很少, 跟我用自己的 IP 得到的内容不一样.
所以我想知道, 哪里有更高质量的代理, 我想采购一批.
请大家推荐一下吧, 先谢谢了.
所以我想知道, 哪里有更高质量的代理, 我想采购一批.
请大家推荐一下吧, 先谢谢了.
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2566 days ago, the information mentioned may be changed or developed.
 |
1
harvies May 31, 2019
不是代理的问题，是检测你的行为
|
 |
2
yaoye555 May 31, 2019  1
网上 ip 代理上一搜一大把，不过建议可以自己买个 vps 搭一个代理，自己一个人随便用
|
 |
5
hzfyjgw May 31, 2019 1
推荐阿布云 这种现成的地址池服务
|
 |
9
m95r1jQyWNZ0uhqn May 31, 2019 via Android
前段时间毕设爬虫用的阿布云那个动态 HTTP，感觉还行
|
 |
10
renmu123 May 31, 2019 via Android
那种自带拨号的
|
|
11
renmu123 May 31, 2019 via Android
(补楼上)vps 速度挺慢的，找个收费的代理池(网上看看评测，其实也就那么几家)
|
 |
12
pppguest3962 May 31, 2019 1
@melonux，对这个问题表示关注，因为过几个月我也肯定需要这个。。。
在前几个星期构思解决这个需求的时候，有想象过用 Tor 来解决? 只是太忙，没把 Tor 的工作方式了解完，不知道 Tor 没有有强制改变刷新变更出口节点的 option 开关？ 如果有的话，变换 IP 应该也是能做到的？ 不太成熟的想法，不知道可行不可行。。。 |
 |
13
E520 Jun 1, 2019 via Android
联系我
|
 |
14
melonux OP @pppguest3962 Tor 方案有趣啊. 只是国内用可能由法律风险.
|
|
16
harvies Jun 1, 2019 via Android
@melonux 上个月我爬过淘宝，绕过了反爬机制(人工智能检测，就像 google 的验证码)，没有换 ip，你正常上微博，它会封你吗，很多用户都是内网，容易误封
|
 |
21
linvaux Jun 10, 2019 via Android
阿布云
|
 |
22
dai123456 Jul 6, 2019
联系我，有这方面的资源，肯定能帮助到你
|
Select Language