This topic created in 2849 days ago, the information mentioned may be changed or developed.
我确定也没有发布到别的地方。
难道出了奇了吗？
对单独目录学个禁爬声明有用吗？
9 replies • 2018-12-18 03:07:30 +08:00
 |
|
1
soha Dec 17, 2018 via Android
/robots.txt ，请。这个文件就是给蜘蛛 /爬虫看的。
搜索引擎肯定会严格按照你写的 robots.txt 来爬，有良心的造爬虫的人也会按照它的限制来做。
|
 |
|
2
zmj1316 Dec 17, 2018 via Android
问你的 chrome🤣
|
 |
|
5
Wincer Dec 17, 2018 via Android
设置一下 noindex
|
|
|
7
Wincer Dec 17, 2018 via Android
@ fbqk2008 我不确定是 chrome 记录还是有其他被抓取过的页面有指向你某些未被抓取页面的链接 |
 |
|
8
dobelee Dec 17, 2018 via Android
没显示出来过是什么意思？有链接能进去就能爬到啊。
|
Select Language