准备买几台 VPS 来爬知乎数据,兄弟们有可以推荐的吗

[airqj]

单台机器跑的太慢
打算买几台一个月的 vps,有这方面的经验的兄弟说一下哪家比较好
:)

[lbp0200]

@airqj 对，所以不可能按照 IP 来封。如果不做违法事，家里的网足够了。

[rainbo]

taobao search adsl vps

[qqmishi]

@aljun 实测知乎日报和知乎收藏这两个不用登陆的，用爬虫遍历没被封，，，

[airqj]

@Daddy
@roychan
多谢兄弟
25 刀这配置感觉很合适啊，就是没看待带宽是多少。。。。
也不知道北卡访问国内速度如何

[evilic]

不知道爬知乎数据有什么用……

[xiaotaoqi]

外包：

现需网络爬虫脚本，基本功能如下：

1 、可以爬取阿里巴巴、淘宝、美团、大众点评四家平台上的企业详细信息。

2 、具体信息如下：

（ 1 ）公司档案：——基本信息：企业黄页（基本信息、经营状况、联系方式）

——交易信用信息：交易情况、服务情况、动态评分；

（ 2 ）供应产品分类：价格、详细描述、图片、成交量；

（ 3 ）公司信息：卖家旺旺号、满意度、交易勋章、地区

注：详细需求文档请联系本人。



QQ:574632347

[liqingcan]

@evilic 同不知道他爬知乎有什么有用的数据，

[airqj]

@evilic
@liqingcan
做个推荐系统

[chenwen]

问下楼主呗， 知乎恶心的验证码咋整

[liqingcan]

@airqj 推荐什么？

[xzcaosl]

有魄力，具体爬那些数据，有这么大的存储空间吗

[airqj]

@xzcaosl
我目前抓取的是用户回答的问题，提问和点赞的答案
一个用户多的话也就两百多 k 存储肯定不是问题

[airqj]

@chenwen 你可以到 github 上搜索相关的爬虫
我也是用人家的爬虫 自己写了脚本爬需要的数据

[gkiwi]

都被你们爬成 502 了。。。正看着呢！！

[miaosu]

我是知乎的，你邮箱多少，准备收律师函

[Daddy]

@airqj 宽带是 G 口，但实质瓶颈是你代理 IP 的质量，加代理肯定得打折。
足够你用了， 4T 硬盘，不怕你数据多， 8G 内存，不怕你程序烂。
独立服务器最好的， VPS 都会在 CPU 与宽带有所限制，不能长时间占用 CPU 与宽带的，不适合爬虫。

[wudikua]

兄弟，你头像和我在公司内网的头像一样。。好巧啊

[CharlesWu]

来来,这几天才做的 代理 IP 可用度 40%左右
http://www.uoolo.com/AppTask/GetProxyIP.ashx?num=100

[dxk611]

为什么我开 VPN 上不了知乎

[whq731]

知乎有个系统叫悟空，就是专门干反爬，删广告这些的。
我自己之前不知道，随便跑了十多个线程爬截图，结果运行几次后就被封了，所有结果都是一个缓存的页面