想用爬虫抓 2TB 的数据，怎么存放比较好呢？

[jin5354]

业余练手玩，抓点羞羞的东西 > _ <
主要是图片资源，可以收藏。

手头只有个 256G 的 rmbp 。
打算把脚本放到 VPS 上，数据每爬够 10GB 存一份（ VPS 只有 20G 磁盘）。印象中好像百度网盘有 linux 端的包，可以直接调用上传过去。
有没有什么好用的云存储呢？还是说直接买个移动硬盘好了。
求建议~

[crazyyao]

vps 还得月付，正在用
http://www.amazon.com/Cloud-Personal-Network-Attached-Storage/dp/B00EVVGAD0/ref=sr_1_1?ie=UTF8&qid=1449241680&sr=8-1&keywords=wd+mycloud

[msg7086]

2TB 并不大啊，用硬盘存吧。
放在网上的东西是不属于你的，特别是没付费的网盘。

[sinker]

百度盘最大空间 2T 多一点，上传要看数据是否能秒传，不能秒的话国外 vps 传百度云速度比较捉急。但考虑国内从云端下载的速度还是推荐百度云。其实更推荐用个树莓派接个硬盘挂脚本下载。

[66CCFF]

买个移动硬盘好。

[jin5354]

好哒，打算买硬盘去咯。

[canky]

求分享 2TB

[yxling]

求分享

[kslr]

我爬了几十万照片才几个 G 你这该多大啊

[Marfal]

Amazon Cloud Drive 无限容量现在一年只要 5 刀，有 API ，可以在国外 VPS 上跑爬虫，然后上传。

[tSQghkfhTtQt9mtd]

@sinker 国内从云端下载的速度还是推荐百度云
你确定？百度云非会员没人权啊

[sinker]

@liwanglin12 aria2+BaiduExporter

[tSQghkfhTtQt9mtd]

@sinker 没限速么？

[sinker]

@liwanglin12 有的话我也不会提了。想了解详情自己去项目主页看吧

[herozzm]

自己配一个 nas ，用脚本定时从 vps 下载到 nas 中，然后 vps 上定时删除

[jin5354]

@kslr 大概七十多万本，每本 5-500 张图片不等。。。而且只是普通清晰度的 jpg 格式