怎么判断是真Google的蜘蛛还是伪造user-agent的蜘蛛。

[liuxurong]

想屏蔽掉那些假的爬虫。咋办呢！

[Cadina]

http://www.iplists.com
善用搜索啊

[liuxurong]

@Cadina 感谢，好人.

[liuxurong]

@Cadina 似乎年代久远了点，很多IP没都有啊。

[explon]

判断客户端支持不支持 Flash 可以干掉大部分

[liuxurong]

@explon google真的蜘蛛也不支持Flash吧？..

[keithl]

reverse dns

[explon]

@liuxurong 屏蔽支持的啊

[run2]

@explon 普通的curl会被v2ex服务器报400 Bad Request,加了ua就不会了，curl -A "Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5"
curl哪传的过去是否有flash，你怎么判断的到？

[liuxurong]

@explon 我是防假蜘蛛，不是防真人類。假蜘蛛一樣不支持。

[liuxurong]

@explon 不过还是谢谢你。

[swulling]

http://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553

[liuxurong]

@swulling 终极解决方案。谢谢。