为什么搜索引擎搜不到豆瓣小组里的帖子？

[Biwood]

试了下几个搜索引擎都无法直接搜索到小组里面的帖子，是因为豆瓣的防爬虫策略吗？我看了下豆瓣的 robots.txt 文件，里面也并没有禁止豆瓣帖子详情页，那为什么平时搜东西都不会看到豆瓣小组里面的帖子呢，小组主页链接倒是可以搜到

[eason1874]

以前搜到过挺多次，现在也有收录，用 inurl 语句能查到有收录结果，可能是排名问题

前段时间被查，临时禁止发帖，好多帖子要登录才能看，估计是那时候影响收录排名了

[Biwood]

@eason1874 好吧，我又试了一下，确实能搜到，可能是因为出现频率不高，我误以为搜不到了，相比较而言知乎的内容收录倒是很迅速而且完整

现在直接点进帖子详情页确实会强制跳转到首页，估计还是审查压力吧

[Wincer]

这个我知道，之前还研究过，现在打开豆瓣帖子会把帖子 id 传送异步发送到后端 API 请求确认，如果不符合要求就会直接跳转到首页，把这个 API 用 origin block 禁止就行