简单的爬虫用什么托管比较划算?

2018-09-02 14:49:27 +08:00
 CrazyBoyFeng
爬虫这种需求,不作为 server,不需要公网端口,流量少,占用空间小,资源耗费也不高,但是需要一直在线。
vps 的话,总觉得有点奢侈。一般 vps 会配备公网 ip,这是 vps 最核心的资源,但恰恰是爬虫所不需要的。
5793 次点击
所在节点    云计算
20 条回复
eluotao
2018-09-02 15:02:19 +08:00
一个 VPS 一个月 10 元 奢侈吗?

用词不当.
nicevar
2018-09-02 15:31:39 +08:00
一部老掉牙的破手机就行了
lihongjie0209
2018-09-02 15:49:14 +08:00
那你一个 VPS 多部署几个爬虫不就好了. 而且不需要 IP? 你怎么部署你的爬虫, 怎么管理, 怎么监控?
CrazyBoyFeng
2018-09-02 16:05:41 +08:00
@eluotao 奢侈是相对而言的,10 元的 vps 能建站,拿来托管个 client 程序,大炮打蚊子。每月 10 元人民币的话还可以考虑(但爬国内我不如用路由器(或者楼上的旧手机也是不错的建议)),每月 10 刀就真的算了。以爬虫的资源消耗量(低流量低带宽低占用无需公网 ip ),每月 1 刀我觉得还差不多。但是每月 1 刀的 vps 又很差,毕竟它还需要支持 vps 的全部功能,所以必定会在配置上缩水,cpu 和内存都不一定能跑得起来爬虫。
如果能有选配公网 ip (即可以不配备),流量带宽容量按量支付的容器服务,是最理想的选择。
newworld
2018-09-02 16:07:15 +08:00
你需要 vps 可以同时爬取大量的代理 ip 用作代理池子
Nitroethane
2018-09-02 16:20:08 +08:00
自己的电脑长时间运行不就行了
CrazyBoyFeng
2018-09-02 16:26:28 +08:00
@lihongjie0209 爬到指定内容发邮件通知的那种。
不是所有的程序托管都需要 ip 的,这是先入为主把 vps 当作这个问题的唯一答案,vps 当然必定是有公网 ip 的。但云计算平台不止是 vps 这一种形式。比如 web 程序托管的各种 app engine,就没有 ip (但提供了公网映射,毕竟是 server 程序),而是以 web 控制台代替。我这种需求比 app engine 更轻量,其实我就是想问问有没有更轻量(同时也更廉价)的解决方案。
nyaapass
2018-09-02 16:41:29 +08:00
好奇为啥自己的手机、电脑不能爬外网 404 网站...
CrazyBoyFeng
2018-09-02 17:19:45 +08:00
@nyaapass 我工作环境提供出国,所以没有自己买 vps 搭$$。但是公司的网络接入有身份认证和物理限制。所以我无法将未授权设备接入。
(如果我有正在用的 vps,就没必要来提这个问题了。)
yov123456
2018-09-02 20:15:57 +08:00
docker 云吧
twor
2018-09-02 20:31:16 +08:00
无脑回复 搬瓦工,一年 9.9 美元
someonedeng
2018-09-03 00:51:09 +08:00
搬瓦工+1,爬虫可以扒拉 404,价格还行,跑小东西性能够了。
ioven
2018-09-03 07:41:35 +08:00
垃圾 vps 搭建酸酸乳,爬虫放在本地跑
SorcererXW
2018-09-03 08:31:44 +08:00
@CrazyBoyFeng vps 上就仅仅跑个爬虫,是大炮打蚊子。但是未来你还可以跑其他很多东西啊。
wuzhi1234
2018-09-03 08:37:15 +08:00
这么扣扣索索精打细算的,应该攒了不少钱吧
neezer
2018-09-03 11:15:14 +08:00
每个月 10 刀的 vps, 这不正是我 vultr 上的机器配置么。
这个配置,你不觉得低么。。。
都 2018 年了,我还经常给我老大灌输:让人累不如让机器累的思想。。。
你买个配置高点的 vps,远比用配置低的东西轻松,代码“粗犷”点没关系,有点内存泄露没关系,想学多进程 /线程能试试。
你用手机整爬虫,能干嘛?
kljsandjb
2018-09-04 15:41:42 +08:00
serverless
aru
2018-09-04 18:45:07 +08:00
linode /digitalocean 这些 vps 提供商都提供按分钟(或者小时)收费的服务,可以通过 api 来开通、部署、删除机器
fancyhan
2018-09-06 19:46:07 +08:00
vultr 开动态实例,ip 封了就切
aubucuo
2018-09-12 19:45:39 +08:00
aws lambda

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/485371

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX