怎么判断是真Google的蜘蛛还是伪造user-agent的蜘蛛。

2013-03-03 17:11:12 +08:00
 liuxurong
想屏蔽掉那些假的爬虫。咋办呢！
6967 次点击
所在节点    问与答
12 条回复
Cadina
2013-03-03 17:22:00 +08:00
http://www.iplists.com
善用搜索啊
liuxurong
2013-03-03 17:27:31 +08:00
@Cadina 感谢，好人.
liuxurong
2013-03-03 17:30:08 +08:00
@Cadina 似乎年代久远了点，很多IP没都有啊。
explon
2013-03-03 17:33:27 +08:00
判断客户端支持不支持 Flash 可以干掉大部分
liuxurong
2013-03-03 17:34:08 +08:00
@explon google真的蜘蛛也不支持Flash吧？..
keithl
2013-03-03 17:35:52 +08:00
reverse dns
explon
2013-03-03 19:33:48 +08:00
@liuxurong 屏蔽支持的啊
sobigfish
2013-03-03 20:21:57 +08:00
@explon 普通的curl会被v2ex服务器报400 Bad Request,加了ua就不会了，curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5"
curl哪传的过去是否有flash，你怎么判断的到？
liuxurong
2013-03-03 20:24:07 +08:00
@explon 我是防假蜘蛛，不是防真人類。假蜘蛛一樣不支持。
liuxurong
2013-03-03 20:24:18 +08:00
@explon 不过还是谢谢你。
swulling
2013-03-03 20:26:16 +08:00
http://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553
liuxurong
2013-03-03 20:36:59 +08:00
@swulling 终极解决方案。谢谢。

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/61826

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX