准备买几台 VPS 来爬知乎数据,兄弟们有可以推荐的吗

[airqj]

单台机器跑的太慢
打算买几台一个月的 vps,有这方面的经验的兄弟说一下哪家比较好
:)

[McContax]

@airqj 突然想起你这么做的话，准备动态 IP 会好点吧，静态被 ban 岂不是完了~~~~

[hunk]

爬用户啥信息拿来用？好奇，分享下思路呗

[suuuch]

这是上分布式的节奏啊？。先看看你的采集程序能不能吧你的带宽打满吧。要是可以。可以买代理 IP ，几块钱可以买到大把可以用的 IP ，写个测速的程序。就搞定了。

[mogging]

要是爬数据拿来玩就太浪费啊

[aljun]

@airqj 上个月，亲耳听到知乎的开发人员说它们基本没做饭爬虫，真的

[Ouyangan]

@airqj 用户名 , 拿到用户名什么信息都可以拿到了.

[airqj]

@McContax 一般家庭用户的 IP,除非路由器重新拨号，否则相应的公网 IP 不会变的
不知道兄弟说的动态 Ip 是代理吗？

[airqj]

@hunk 做一个简单的推荐系统

[airqj]

@suuuch 把带宽跑满那肯定是不行的
请求太频繁也不合适

[airqj]

@aljun 反爬虫措施肯定有的
我的账号就被封过封过 提示登陆太频繁

[miyuki]

/t/279811

[hunk]

@airqj 家庭宽带，可以换 IP ，毕竟慢，不适合大数据量。我估计说的是 IP 库，前段时间做爬虫，看到这个网站 http://www.kuaidaili.com ，不是广告，我没用过，只是做备用研究下。
付费，实时提供测试可用的代理，专业的事让专业的人去做。

[hunk]

@airqj 知乎是得考虑账号问题，目测无法自动注册账号，只能人工注册，关注如何解决，又是一问题。

[McContax]

@airqj 额，貌似我这边是定时换 IP 的，重拨也不行，之前忘记哪间 VPS 提供商搞这种东西，你连进去是一个固定 IP 来的，但是出网就是一个民用动态 IP （而且 ip 切换速度比常用民用宽带快很多），之前是在找那些抗投诉的时候无意间找到的，不过价格很感人就是了。。。

[bravecarrot]

知乎应该是有反爬虫的，看他们好像还特意招人做这个事

有那种专门提供代理的网站，付费的，一天提供 xx 个 xx 元。
把代理弄进数据库，加个时间戳，一段时间换一个。爬虫把 ua ， cookie 都带上 应该能爬好多吧

[lbp0200]

用长城宽带，封 IP ？整个长城用户都封掉？

[airqj]

@hunk 之前有看到过一个 站大爷 的代理网站
也是收费的，不知道有没有兄弟试过

[airqj]

@lbp0200 如果真的是按 IP 来反爬虫的话，按理来说会把同一个出口 IP 的用户封掉

[Daddy]

独立服务器， 8G 内存、 2X2TB 硬盘， 160 块 /月起，再套上代理 IP 好了， http://y0.cn/dufu

[roychan]

可以考虑买一点国内 ADSL 的 VPS ， IP 地址都很多的。
如果要买国外的服务器，不建议用 VPS ，一般他们的 TOS 都很严格。建议上独立服务器，推荐楼上的 Dacentec 和 Quadranet...