@Livid V2EX 隐私设置 bug

[fengjianxinghun]

@Livid V2EX 的隐私设置 bug 就算设置不允许搜索引擎收录，依然会被比如 google 收录。

比如: 4 次来自 Google 的点击

[fengjianxinghun]

能否直接 cloudflare 或者 OpenResty 上 block，而不是加标签让它们遵守？

[cuixiao603]

照你这个需求 v2 玩蛋了，稍微几个人设置隐私之后 ，v2 在谷歌上消失了

[fengjianxinghun]

@cuixiao603 设置的人的主题页面返回 404，并不会消失吧

[Jooooooooo]

不允许 google 收录的逻辑是

google 会来爬这个页面, 爬到了之后页面会返回你别收录我

google 注意到这个返回会决定到底要不要收录

单独针对搜索引擎爬虫返回空页面的还没见过, 都是尽可能让搜索引擎爬取的 (比如某些新闻网站明明要会员才能看, 搜索引擎却可以搜到看不见的关键词

[fengjianxinghun]

@Jooooooooo 以前做防火墙做过叫 anti-spider，搜索引擎 UA 返回空页面。

[yggd]

「当你选择关闭时，我们会在你的主题的页面上插入特殊标签。尊重这个特殊标签的搜索引擎将不再收录这个主题，比如 Google 。但是并不是所有搜索引擎都会尊重这些标准。」

[fengjianxinghun]

@yggd 目前看，google 也不是很遵守

[fengjianxinghun]

@fengjianxinghun 我设置了不允许收录，我的一些主题在 google 上依然能搜索到

[CEBBCAT]

@fengjianxinghun #7 我想 @yggd 的意思是，点击和收录是两码事。如果你不想帖子的某些文字、比特流入到 Google 的服务器，这项隐私功能无法帮助到你

[CEBBCAT]

@fengjianxinghun #8 贴个链接呗

[matrix67]

有爬虫站每日都在抓 V2EX 的，屏蔽了本站，爬虫站的还是搜得到。 当然可以进一步提高别人社工的门槛。

[fengjianxinghun]

@matrix67 是的，您是那个数学博主 matrix67 ？

[fengjianxinghun]

@CEBBCAT 比如这个帖子 https://webcache.googleusercontent.com/search?q=cache:hDRfmZ7PIjEJ:https://www.v2ex.com/t/782076+&cd=13&hl=en&ct=clnk&gl=us

[yukiww233]

谷歌爬到的页面里不带 robots 的 meta tag, 挺奇怪的