google 的爬虫是否会自动记录 cookie?

This topic created in 3340 days ago, the information mentioned may be changed or developed.

做了一个熊猫站的镜像站，入口有一个询问是否 18 岁的页面，选项记录在 cookie 里防止该页面重复显示

两个月前 google url 提交，到现在搜小站的名字，前十页全是无关结果（名字本身很偏门，并不是常见词汇）

直接搜域名才返回了一个结果，就是那个 18 岁询问页面，所以我在想 google 的爬虫是不是卡在了这里了。。。按理说 google 技术不至于如此。。。

最近才意识到这个问题，已经试着把爬虫的 UA 白名单，看看会不会正常

爬虫

Google

页面

1 replies • 2017-04-19 16:01:14 +08:00

nullen

Apr 19, 2017

会。