最近一直在用 http://kaopu.so/ 看样子索引了很大量的内容，话说百度本身不对访问 IP 做频次控制么？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3892 days ago, the information mentioned may be changed or developed.
Supplement 1 · Oct 11, 2015
发现百度 site:pan.baidu.com 70 多页以后就没数据了 T_T
 |
1
lizheming Oct 11, 2015
看过之前一个爬虫的帖子，说是 5 分钟一次，做好频率控制多 IP 轮流就好了吧…
|
 |
2
d7101120120 Oct 11, 2015
嘘小声点~~~~
|
 |
3
pathletboy Oct 11, 2015
频次控制不大好做的，现在网络很多都内网了，出口都是一个 IP 。
|
 |
4
gzlock Oct 11, 2015 via Android
也没法证明是用同一 IP 爬的啊
|
 |
7
kslr Oct 11, 2015
比如 Coding 支持运行程序的，可以做个 Proxy ，类似的还很多，也很稳定。
|
|
8
lizheming Oct 11, 2015
@easychen https://www.v2ex.com/t/226413 刚才回顾了下这个帖子，他上面说的是 30w/天，如果是有 3 -5 个 IP 的话也就半个月就能爬到千万数量级了吧....
|
 |
10
wbingeek Oct 11, 2015
最近用的是这个 http://www.bdybbs.com/
|
 |
11
cevincheung Oct 11, 2015 via Android
代理 ip 资源十几块一大把还是高质量高出口带宽的
|
 |
12
easychen OP @cevincheung 求个链接看看~
|
 |
13
cdwyd Oct 11, 2015 via Android
@cevincheung
求地址 |
 |
14
zdyx123 Oct 11, 2015
@cevincheung 同求一个地址
|
 |
16
Coxxs Oct 11, 2015
曾经抓过一年左右，索引过一亿+文件，每秒都在抓，用 1 、 2 个 IP 没被封。 https://so.cqp.cc/
|
|
21
cevincheung Oct 11, 2015  1
|
 |
22
fighter2011 Oct 11, 2015
这种不会被 ban 吧，有很多都是磁力搜索的啊。
|
|
23
easychen OP @cevincheung thanks :)
|
 |
24
gamecreating Oct 11, 2015 2
|
 |
25
Pepsigold Oct 12, 2015 via Android
@gamecreating 怎么进去都是代码了？
|
 |
26
starAsh Oct 12, 2015
直接 google 搜 xxx site:pan.baidu.com 即可,然后对搜索出来的结果处理就行了
|
 |
27
Roope Oct 12, 2015
@gamecreating 这个好啊。
|
 |
30
3023369823 Aug 22, 2016
失效链接怎么判断，这才是关键，求解释？@dotmark @Coxxs @Pepsigold @cdwyd @d7101120120 @dotmark @easychen @gamecreating @fighter2011
|
Select Language