正抓取谷歌学术（ not intensive），什么姿势可以躲过谷歌的封锁？在用 selenium， sys sleep 为 1s，但还是无情被封。难道需要随机的 sys sleep 时间和随机的 click 动作吗？大家有什么思路没？
talentliuyang · 2016-04-26 11:33:08 +08:00 · 5508 次点击这是一个创建于 3159 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
gamexg 2016-04-26 12:18:56 +08:00
挂代理，经常更换自己的 ip 。
或者 扫 google ip ，循环更换对方的 ip 。 |
 |
2
msg7086 2016-04-26 12:42:26 +08:00  2
（首先，你要比 Google 的工程师更聪明。
|
 |
3
htfy96 2016-04-26 12:48:51 +08:00 via Android
Google scholar 太难爬了 用代理池可能会好一点
|
 |
4
qqmishi 2016-04-26 13:09:46 +08:00
其实我一直想试试用 GAE 爬谷歌看会不会封自己，，，
|
 |
6
mcone 2016-04-26 16:16:19 +08:00
别想了，还 1s ……真人操作+账号登陆，有时候点的快一点都会被判为机器人，更何况你本来就是机器。。。。。。
要么想办法比 google 那群人更聪明，要么换一个爬。。。。 |
 |
7
Landarky 2016-04-26 23:02:49 +08:00
Google 防机器爬虫也是有点牛逼的
|
 |
8
yech1990 2016-04-27 00:59:33 +08:00 via Android 1
Google scholars 本身限制太严格，就是普通搜索稍微频繁一点都会被验证。 试过用 python 自动查询几十篇，立马就被封 IP 了。 爬虫的话，我觉得是十分不现实的。
倒是可以爬爬百度学术的，我觉得百度学术就是完全爬的 Google 的内容。毕竟流氓的技术水平高 |
Select Language