zhihupron

一个简单的办法屏蔽 Bytespider 爬虫

  •  
  •   zhihupron · Nov 28, 2019 · 3704 views
    This topic created in 2395 days ago, the information mentioned may be changed or developed.
    如果您的站点遇到了这个爬虫,不要惊慌。将您的域名解析到一个被 ban 的 ip 上,2 天后再解析正常到 ip。从此风平浪静!
    4 replies    2019-12-06 22:16:59 +08:00
    killerv
        1
    killerv  
       Nov 28, 2019
    肯定不行,自己的业务不也异常了吗?直接对这个 UA 拒绝访问就行了。
    Vegetable
        2
    Vegetable  
       Nov 28, 2019
    是字节跳动的爬虫吗?貌似 robots.txt 不行?可太秀了
    dorothyREN
        3
    dorothyREN  
       Nov 28, 2019
    直接给他返回 404 不就行了
    BillowSky
        4
    BillowSky  
       Dec 6, 2019
    谢谢老哥,真的可以,好棒棒!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1013 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 18:22 · PVG 02:22 · LAX 11:22 · JFK 14:22
    ♥ Do have faith in what you're doing.