V2EX 为什么允许搜索引擎访问 /member

[SonicY]

再或者说 V2EX 如何对抗类似此类爬虫的网站？
https://www.v9kk.com/v2ex/user/site?sort=-user_id

[wxsm]

说得好像你有什么办法能够“不允许”一样。

[SonicY]

@wxsm 感觉现在百度也没有太恶劣的违反 robots.txt 的行为吧

[wxsm]

@SonicY 所以你贴的这个页面，是 Google 帮他爬的，还是百度帮他爬的呢？

[SonicY]

@wxsm 这好像是两个问题吧

[zpf124]

@SonicY 那个哥们说的是一个问题，爬虫可以伪装成普通用户，我也可以写爬虫，你也可以写爬虫；
而你说的对抗爬虫和阻止搜索引起反倒是两个问题。

robots.txt 仅仅是个公告声明而已， 我餐馆门口立个牌子，华人与狗不得入内，你直接强行闯或者你说你是日本人我管不住啊。

所以 你的标题是错的，v2 是不允许搜索引擎爬去部分内容的。

内容里问的 v2 对抗爬虫 这就是另一个问题了，我不是 v2 的也不知道他们的策略，但不论啥网站有人有心爬你怎么也防不住。



回到一开始 你看到的那个网站应该就是站长自己的爬虫程序爬的，就是属于强闯的这种，谁管你公告写的写啥啊。

[SonicY]

@zpf124 这本来就是两个问题啊。。。

[zpf124]

@SonicY 那问题的答案显而易见了,我也都回答了.