3 亿行数据库数据的最便宜的云服务器解决方案是啥?

2014-12-03 10:11:40 +08:00
 dingyaguang117
3亿行数据,4、5 个字符串型字段;导出为文本有12G左右,存储到MongoDB大概占用38G(未建立索引),Mysql还没试。
现在想放到云上,有几种方案:
1. 存储到MongoDB,索引估计几十G,64G的主机一个月估计上万,小内存的主机担心几乎不可用。
2. 存储到Mysql,未测试,不知道资源占用情况

问那种方案最省资源? 放到哪个云主机更划算?
3726 次点击
所在节点    问与答
24 条回复
em70
2014-12-03 10:13:34 +08:00
阿里云的RDS
zealic
2014-12-03 10:21:24 +08:00
既然都是字符串,那么关系查询需求应该不高。

推荐使用 AWS DynamoDB,建好对立索引,成本应该 1000~3000/M (根据查询量计算)。

具体参考 CALC5: http://calculator.s3.amazonaws.com/index.html
dingyaguang117
2014-12-03 10:37:11 +08:00
@em70 选多大内存合适呢?
em70
2014-12-03 12:30:38 +08:00
阿里云RDS磁盘也是SSD的,IO性能很好,不一定非要大内存,1200M应该就差不多了,我们几百G的数据每小时做一次汇总操作,这个配置都够了,稳定工作1年了.如果不够,还能随时无缝升级
heamon7
2014-12-03 12:39:26 +08:00
存到LeanCloud呢,好像没有用户之前,是不收费的吧?
webflier
2014-12-03 12:41:52 +08:00
你得说一下使用场景吧,读多还是写多?并发连接最多有多少?
> show dbs;
admin (empty)
local 19.20KB (uncompressed), 128.00KB (compressed)
xxx 75.89GB (uncompressed), 23.82GB (compressed)

> db.stats()
{
"db" : "xxx",
"collections" : 4,
"objects" : 455000240,
"avgObjSize" : 85.60531012906718,
"dataSize" : 38950436654,
"storageSize" : 9460703232,
"indexes" : 9,
"indexSize" : 42531098792,
"indexStorageSize" : 16119214080,
"ok" : 1
}
我这个库4.5亿行数据,99%的读操作,在一台256M的vps上
dingyaguang117
2014-12-03 13:29:05 +08:00
@webflier 和你一样,几乎只有读操作,mongodb在内存装不下索引的情况下,查询性能没问题吗?
dingyaguang117
2014-12-03 13:29:40 +08:00
@webflier 你买的哪家主机?
dingyaguang117
2014-12-03 13:37:42 +08:00
@em70 单表多少行? 需要手工做分表吗?
webflier
2014-12-03 13:53:26 +08:00
@dingyaguang117
"connections" : {
"current" : 132,
"available" : 19868,
"totalCreated" : NumberLong(59412)
},
我不知道你对性能的期望是什么,对我来说,这个数量的连接,基本没有100ms以上的查询,我满足了。
重要的一点就是所有用到的查询都要有索引。
另外,我用的是tokumx,mongodb的变种。
我的主机 https://clientarea.ramnode.com/aff.php?aff=315
cevincheung
2014-12-03 13:55:26 +08:00
postgresql
dingyaguang117
2014-12-03 13:57:44 +08:00
@webflier 你买的这个?
256MB CVZ 256 / 128 MB 1 Core 1 /64 120 GB 1000 GB $8 / qtr
dingyaguang117
2014-12-03 13:58:32 +08:00
@cevincheung 有占用资源举例吗?
webflier
2014-12-03 14:10:15 +08:00
em70
2014-12-03 14:13:03 +08:00
@dingyaguang117 大表分区是必要的,我的一个表几亿记录,分100个区
aru
2014-12-03 16:11:22 +08:00
表结构,查询场景写出来呀。
都在这里空对空有个屁用
dingyaguang117
2014-12-03 16:56:57 +08:00
@aru 99% 读操作,单表查询
aru
2014-12-03 17:56:08 +08:00
@dingyaguang117 根据什么条件查询?
单一主键查询还是所有字段都有可能模糊查询?
dingyaguang117
2014-12-03 18:24:16 +08:00
@aru 多个字段分别索引,没有模糊查询
aMR
2014-12-03 20:35:47 +08:00

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/151130

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX