V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
ifake
V2EX  ›  问与答

网站 robots

  •  
  •   ifake · Mar 9, 2016 · 1833 views
    This topic created in 3701 days ago, the information mentioned may be changed or developed.

    为禁止搜索引擎爬虫,之前写了个 robots.txt 文件放在网站根目录下

    记得以前用站长工具测下来, robots.txt 怎么写的,那么测出来的就是相应内容

    然而小于等于 1 个月前,开始发现测出来的 robots.txt 内容,不再是自己写的内容

    前几天干脆删了 robots 文件,然后今天经工具测试,说是 robots.txt 依旧有效

    顿时我莫名了……

    异想天开的问题是: robots.txt 这文件,记得必须是上传在网站根目录下的?

    既然我没加,别人应该不可能通过其他方式“替我”设置了 robots.txt 这玩意儿吧?

    4 replies    2016-03-09 22:20:52 +08:00
    Sn0wM4n
        1
    Sn0wM4n  
       Mar 9, 2016
    .htaccess 文件呢?
    ifake
        2
    ifake  
    OP
       Mar 9, 2016
    @Sn0wM4n .htaccess 从一开始就没有动过,这次问题出来后,也还是特地去看了下,内容就还是原来默认的。
    jugelizi
        3
    jugelizi  
       Mar 9, 2016
    pi1ot
        4
    pi1ot  
       Mar 9, 2016
    可能是你使用的测试工具自己的问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2966 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 15:25 · PVG 23:25 · LAX 08:25 · JFK 11:25
    ♥ Do have faith in what you're doing.