• 请不要在回答技术问题时复制粘贴 AI 生成的内容
CCKurokawa
V2EX  ›  程序员

请问大佬们,有没有什么办法可以屏蔽 facebook 的爬虫爬取我网站的内容,感谢

  •  
  •   CCKurokawa · May 24, 2023 · 2094 views
    This topic created in 1113 days ago, the information mentioned may be changed or developed.

    下面是我在 cloudflare 的数据截图。

    微信图片_20230524212513.png

    3 replies    2023-05-25 10:30:19 +08:00
    oceana
        1
    oceana  
       May 24, 2023
    应该配置一下 robot.txt 就好了吧
    ntdll
        3
    ntdll  
       May 25, 2023
    都已经上 cf 了,WAF 里可以直接配置的,拒绝自动化程序。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5546 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 05:56 · PVG 13:56 · LAX 22:56 · JFK 01:56
    ♥ Do have faith in what you're doing.