准备买几台 VPS 来爬知乎数据,兄弟们有可以推荐的吗

2016-05-29 17:38:58 +08:00
 airqj

单台机器跑的太慢
打算买几台一个月的 vps,有这方面的经验的兄弟说一下哪家比较好
:)

4932 次点击
所在节点    VPS
66 条回复
tadtung
2016-05-29 17:52:33 +08:00
国内的话 BAT 3 家首选,,,也可以独服,,不过价格。。。。
剩下景安等也可以。。。

国外就很多选择了也便宜。。。。采集、爬虫的话可以用国外 vps ,,最好可以上独服。。
aljun
2016-05-29 18:10:25 +08:00
我爬过⋯⋯其实慢主要是知乎网速和他的 server 太慢⋯⋯
zoudeze
2016-05-29 18:12:36 +08:00
家里的百兆宽带不是更好?
airqj
2016-05-29 18:14:59 +08:00
@zoudeze
其实最主要是怕知乎封 IP
否则自己的电脑同时开十几个进程爬都没问题....
airqj
2016-05-29 18:15:39 +08:00
@tadtung 多谢兄弟 我查一下啥叫独服....
airqj
2016-05-29 18:16:10 +08:00
@aljun 是的 不知道知乎的反爬虫策略是什么
弄不好就被封了
ljcarsenal
2016-05-29 18:32:38 +08:00
爬到的数据干嘛用呢
UnisandK
2016-05-29 18:34:29 +08:00
弄个 ADSL 拨号的吧
K 总的 20IP 小鸡可以去 loc 看看能不能收到
Ouyangan
2016-05-29 18:35:02 +08:00
上次四个小时,才爬了三十万用户数据 , 我的代码太渣,哈哈哈哈
Ouyangan
2016-05-29 18:35:09 +08:00
第二天就被封了
TheCure
2016-05-29 18:37:41 +08:00
为啥不试试百度开放云 BCE 浮动 IP 被封了释放换一个就好了(逃
zoudeze
2016-05-29 18:47:34 +08:00
@airqj 断开 pppoe 再连上不就好了? (你总不能把一个地区的都封掉吧
realpg
2016-05-29 19:07:10 +08:00
服务器不封 IP
自己电脑封 IP

你这啥逻辑?
@airqj
Goheing
2016-05-29 19:19:35 +08:00
开 Tor 爬~~
YUX
2016-05-29 19:22:40 +08:00
自己维护一个代理池吧 网上那么多 free proxy 定时拿下来挨个测一下 把速度快的挑出来给你的知乎爬虫用
zbz
2016-05-29 20:01:22 +08:00
@YUX 这些代理基本被用成渣了,质量太低下~
airqj
2016-05-29 20:12:31 +08:00
@realpg 电脑出口的 IP 不都是同一个吗?
不知道你从哪里得出自己电脑封 IP 的结论的。。。
airqj
2016-05-29 20:13:33 +08:00
@zoudeze 这方法不现实
airqj
2016-05-29 20:17:09 +08:00
@YUX 那些免费弄不好爬取某个用户的数据还没爬玩
就不能用了
airqj
2016-05-29 20:17:44 +08:00
@Ouyangan 拿用户的什么数据?
四个小时三十万 感觉很不错了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/282047

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX