大家玩过爬虫吗？如果爬了一小会，就被封了 IP，那么这个 IP 以后过多久可以解封？还是说永远不解封了？

我主要想了解，如果做了一爬虫，跑了一会，被封了，然后必须换一个 IP 吗？

我就 2 个 vps 。要是都被封了，岂不是要去买代理服务器？

feng123456

2017-01-09 16:51:45 +08:00

大哥，爬虫一定要用网上的免费 ip 池啊。
另外 ip 解封时间是对方网站自己设置的，一般默认不超过 24 小时。

wyntergreg

2017-01-09 16:57:33 +08:00

跑一小会就被封了，你没设置间隔时间啊

被识别成恶意流量了吧

qa2080639

2017-01-09 17:21:08 +08:00

很多免费 ip 啊拿质量好的用。做好模拟

zhaixiaohu

2017-01-09 17:24:15 +08:00

很多公司都是用公有云，然后一个月换一次 ip ， ip 一次只买一个月的。

zhaixiaohu

2017-01-09 17:24:56 +08:00

你要是个人，摸清规律后，可以买按配置付费的那种，封了就重新买一个新的。

484A4B

2017-01-09 19:00:04 +08:00

可以试试我写的爬代理的爬虫

https://github.com/0xHJK/proxy-spider

GWesley

2017-01-09 19:07:19 +08:00

首先肯定需要弄个 ip 池
抓取间隔不要过短
抓取时间加入一定随机性

ericgui

2017-01-09 19:58:47 +08:00

@cute
@qa2080639
@zzycn2012 谢谢，我去试试 ip 池。菜鸟问题也能得到大家的回复，非常感谢！

scnace

2017-01-09 20:48:23 +08:00

你需要代理池～ site 搜一下 Github IP ProxyPool

ericgui

2017-01-09 20:50:58 +08:00

@scnace
@484A4B 已关注，正在研究，谢谢

scnace

2017-01-09 20:57:32 +08:00

@ericgui 其实这个也在我的 TODO list 里面…

HmyBmny

2017-01-09 22:48:05 +08:00

应该很快就会解封的，试想一下如果一个办公室几十个人用同一个 WIFI ，因为某人恶意访问而将 IP 封掉会影响另外几十个人的。

ericgui

2017-01-10 09:06:24 +08:00

@HmyBmny 有道理哈，即便是国外，普通居民家里也是动态 IP 。所以我猜除了封 IP 可能还有什么别的方式鉴别是否是“上次那个爬虫”

xiaoshangmin

2017-01-12 20:02:17 +08:00

除了封 ip 会出现验证码之类的吗

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.