这个爬虫是为阿里巴巴的 sm.cn 服务的吧？
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
This topic created in 4317 days ago, the information mentioned may be changed or developed.
 |
1
Livid MOD OP PRO |
|
2
Livid MOD OP PRO 统计了一下日志，现在 YisouSpider 基本上在用每秒 5 次并发的频率在爬 V2EX 上的所有主题。
|
|
3
Livid MOD OP PRO 为了给 V2EX 节约一些资源，下面这些 IP 只能先封 1 个月了：
42.156.138.78 42.156.137.78 42.120.160.108 42.156.139.78 42.120.161.108 42.156.137.108 42.156.138.108 42.120.160.78 42.156.139.108 42.156.136.108 42.156.136.83 42.156.137.83 42.156.138.83 42.156.139.83 42.120.160.83 42.120.161.83 |
|
4
Livid MOD OP PRO 盛况如此：
 |
 |
5
zjgood Dec 10, 2014 via Android
L大不优化，蜘蛛都这么钟爱V站
|
 |
6
xinple Dec 10, 2014
是的，昨天我也遇到了，小站扛不住啊
|
 |
7
macken Dec 10, 2014
直接用nginx把这个spider给干掉
|
 |
8
mikuazusa Dec 10, 2014
|
 |
10
kofj Dec 10, 2014
sm.cn蜘蛛很疯狂的。open.sm.cn注册进去让人感觉很无语。。。。
|
Select Language