这是一个创建于 1268 天前的主题，其中的信息可能已经有所发展或是发生改变。
@Livid V2EX 的隐私设置 bug 就算设置不允许搜索引擎收录，依然会被比如 google 收录。
比如: 4 次来自 Google 的点击
 |
1
fengjianxinghun OP 能否直接 cloudflare 或者 OpenResty 上 block，而不是加标签让它们遵守？
|
 |
2
cuixiao603 2021-06-08 11:00:40 +08:00
照你这个需求 v2 玩蛋了，稍微几个人设置隐私之后 ，v2 在谷歌上消失了
|
|
3
fengjianxinghun OP @cuixiao603 设置的人的主题页面返回 404，并不会消失吧
|
 |
4
Jooooooooo 2021-06-08 11:09:09 +08:00
不允许 google 收录的逻辑是
google 会来爬这个页面, 爬到了之后页面会返回你别收录我 google 注意到这个返回会决定到底要不要收录 单独针对搜索引擎爬虫返回空页面的还没见过, 都是尽可能让搜索引擎爬取的 (比如某些新闻网站明明要会员才能看, 搜索引擎却可以搜到看不见的关键词 |
|
5
fengjianxinghun OP @Jooooooooo 以前做防火墙做过叫 anti-spider，搜索引擎 UA 返回空页面。
|
 |
6
yggd 2021-06-08 11:12:48 +08:00  1
「当你选择关闭时，我们会在你的主题的页面上插入特殊标签。尊重这个特殊标签的搜索引擎将不再收录这个主题，比如 Google 。但是并不是所有搜索引擎都会尊重这些标准。」
|
|
7
fengjianxinghun OP @yggd 目前看，google 也不是很遵守
|
|
8
fengjianxinghun OP @fengjianxinghun 我设置了不允许收录，我的一些主题在 google 上依然能搜索到
|
 |
9
CEBBCAT 2021-06-08 11:20:23 +08:00
@fengjianxinghun #7 我想 @yggd 的意思是，点击和收录是两码事。如果你不想帖子的某些文字、比特流入到 Google 的服务器，这项隐私功能无法帮助到你
|
|
10
CEBBCAT 2021-06-08 11:21:39 +08:00
@fengjianxinghun #8 贴个链接呗
|
 |
11
matrix67 2021-06-08 11:22:22 +08:00
有爬虫站每日都在抓 V2EX 的，屏蔽了本站，爬虫站的还是搜得到。 当然可以进一步提高别人社工的门槛。
|
|
12
fengjianxinghun OP @matrix67 是的，您是那个数学博主 matrix67 ？
|
|
13
fengjianxinghun OP |
 |
14
yukiww233 2021-06-08 11:58:11 +08:00
谷歌爬到的页面里不带 robots 的 meta tag, 挺奇怪的
|
Select Language