Bing 爬虫怎么会爬到我网站的后台管理地址的？

This topic created in 1106 days ago, the information mentioned may be changed or developed.

发现 Bing 的爬虫竟然直接爬取我的用户后台一个特定的管理地址。

要访问到这个地址，用户必须登录后在后台主页点击按钮跳转。

而 Bing 的爬虫竟然直接就爬取这个地址了。我检查了日志，我的网站对这个请求至始至终只返回 404 给 Bing ，但是它就是锲而不舍地定期爬取这个地址。

我的网站没有提供任何 sitemap 给搜索引擎。公开页面也不存在跳转到这个页面的超链接。不知道它到底是怎么获得这个地址的。

非常奇怪。好奇问下，Bing 会收集 Edge 用户的访问记录来爬取网站吗？

Bing

地址

爬虫

后台

8 replies • 2024-09-18 16:09:10 +08:00