关于隐私设置内 是否允许搜索引擎索引我的主题 这一选项问题

2017-10-28 16:30:24 +08:00
 Alakes

在注册之初就选择了不允许搜索引擎索引我的主题这一选项 但是在前几天发现我的主题还是被搜索到了 这到底是怎么回事? 百度用的什么爬虫就这么厉害? 麻烦管理员处理一下,删了被搜索到的主题帖子 实在不喜欢这种明明是社区分享却要被强制放到社区外去

2068 次点击
所在节点    程序员
11 条回复
ysc3839
2017-10-28 18:35:14 +08:00
什么网站？在哪选择的？
ryd994
2017-10-28 18:45:35 +08:00
这个选项只是设置了 nofollow
实际上爬虫还是可以看见，只不过守规矩的爬虫会自觉回避
你觉得百度的爬虫是个守规矩的么？
理论上检测爬虫 ua 可以识别，然而 ua 也是一个靠自觉的属性
只要这个信息可公开查阅，随你怎么反爬，总还是有办法，毕竟你不能影响普通用户浏览
Alakes
2017-10-28 18:59:54 +08:00
@ysc3839 就是 V2 的
Alakes
2017-10-28 19:01:03 +08:00
@ryd994 百毒真的太流氓了一点操守都没有
580a388da131
2017-10-28 19:24:33 +08:00
百度的文档说，meta 标签 禁止搜索引擎跟踪网页的链接，而只对网页建索引
貌似只是对页面里的链接有效，页面本身还是会收录。
littleylv
2017-10-28 19:28:45 +08:00
如同 2 楼说的，你的这个主题的页面是有 <meta name="robots" content="noindex, nofollow" /> 的
lslqtz
2017-10-28 19:31:25 +08:00
ysc3839
2017-10-28 19:32:30 +08:00
@Alakes 我在设置了没看到……是只有注册时选择吗？
580a388da131
2017-10-28 19:34:04 +08:00
@ysc3839 设置 右侧 隐私设置
ZenFX
2017-10-28 19:35:06 +08:00
@ysc3839 在电脑端设置界面右边有个隐私设置
zhx1991
2017-10-29 23:13:38 +08:00
这个选项靠搜索引擎自觉

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/401514

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX