在 V 站设置了禁止搜索引擎抓取的隐私设置,貌似没有用。百度和 Bing 都抓了结果,倒是谷歌还比较受规矩,没看到索引。还是那个禁止搜索引擎爬取的设置是没用的功能?
1
YanSep Nov 16, 2018 via Android 百度:什么?我没看见呀
|
2
flowfire Nov 17, 2018 via iPhone
如果那个禁止索引的功能用的是 robots.txt 文件的话,这个玩意本来就是谷歌搞出来的自家的玩意,只是提倡各大搜索引擎使用,并不是强制标准
|