V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 1642 days ago, the information mentioned may be changed or developed.
我有一个被百度收录的网站,加了 robots.txt 禁止搜寻引擎收录的代码,但网站内容不能删除,因为需要给网址让访客直接访问
User-agent:*
Disallow:/
过二个星期后,百度搜寻的结果显示：
由于该网站的 robots.txt 文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述
但网站还能正常点开浏览
因此想问,这样是否只需要时间等百度下架我这网站吗?
还是我可以采取什麽做法?
User-agent:*
Disallow:/
过二个星期后,百度搜寻的结果显示：
由于该网站的 robots.txt 文件存在限制指令（限制搜索引擎抓取），系统无法提供该页面的内容描述
但网站还能正常点开浏览
因此想问,这样是否只需要时间等百度下架我这网站吗?
还是我可以采取什麽做法?
 |
1
bug123 Oct 28, 2021
加一个鉴权就行了，只有登录账号的人才能访问
|
Select Language