github page 怎么设置不让谷歌爬虫抓取特定文件夹里的内容？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 3473 days ago, the information mentioned may be changed or developed.

向大家请教一下，自己搭建的 github page ，该怎么设置不让谷歌爬虫抓取特定文件夹里的内容？

7 replies • 2016-10-24 23:08:44 +08:00

bazingaterry

Oct 24, 2016 via iPhone

robots.txt

KvZ517

Oct 24, 2016

@bazingaterry 直接在 repo 里加 robots.txt ？

KvZ517

Oct 24, 2016

@bazingaterry 我的地址是 username.github.io 这种格式的，也能起作用吗？

rhen

Oct 24, 2016 via Android

@yping 只要域名 /robots.txt 可以访问到就可以，不行可以用谷歌站长工具检查

Trim21

Oct 24, 2016 via Android

我记得看到过， GitHub pages 默认就不被 Google 收录。。。。

DoraJDJ

Oct 24, 2016 via Android

@Trim21 不是百度不收录 GitHub Pages 吗？

Trim21

Oct 24, 2016 via Android

@DoraJDJ 啊看来是我记错了😂