为啥有的网站同时设置 cloudflare 的 IUAM 跟 robots.txt，这两者不冲突吗？
haoliang · 2022-02-03 11:42:26 +08:00 · 2480 次点击这是一个创建于 1054 天前的主题，其中的信息可能已经有所发展或是发生改变。
在我看来 iuam 的 Please stand by, while we are checking your browser... 是对 client 做一些技术上的门槛限制以减轻 ddos, 我更觉得是其 webmaster 期望访问者必须是使用一般意义上的 browser 。
我的疑问是开启了 iuam 的网站期望被搜索引擎收录吗？搜索引擎在未拿到 robots.txt 之前怎样对待开启了 iuam 的网站？
 |
1
villivateur 2022-02-03 11:45:45 +08:00 via Android  1
可以单独对 robot.txt 关闭五秒盾，而且也可以主动向搜索引擎提交各个页面，还可以单独对搜索引擎的 IP 开放访问
|
 |
2
westoy 2022-02-03 12:59:30 +08:00
有快照页是 IUAM 的么?
百度、谷歌、巨硬都是 CF 的投资人， 爬虫段没白名单才怪了...... |
Select Language