• 请不要在回答技术问题时复制粘贴 AI 生成的内容
CCKurokawa
V2EX  ›  程序员

请问大佬们,有没有什么办法可以屏蔽 facebook 的爬虫爬取我网站的内容,感谢

  •  
  •   CCKurokawa · May 24, 2023 · 2048 views
    This topic created in 1090 days ago, the information mentioned may be changed or developed.

    下面是我在 cloudflare 的数据截图。

    微信图片_20230524212513.png

    3 replies    2023-05-25 10:30:19 +08:00
    oceana
        1
    oceana  
       May 24, 2023
    应该配置一下 robot.txt 就好了吧
    ntdll
        3
    ntdll  
       May 25, 2023
    都已经上 cf 了,WAF 里可以直接配置的,拒绝自动化程序。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3017 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 13:23 · PVG 21:23 · LAX 06:23 · JFK 09:23
    ♥ Do have faith in what you're doing.