数据库,分布式,灾容方案和优化

2017-09-27 21:01:43 +08:00
 itertools

提供一个 API,该 API 的大概逻辑是: 从数据库中取出上千万条矩阵数据,然后和提交的矩阵进行矩阵计算,最后把符合条件的几条数据返回给调用者。

当前的方案是:服务器启动的时候,把表里的数据全部导入内存里。然后通过 numpy 库进行矩阵计算,最后把计算符合条件的结果返回调用者,目前速度可以接受。

但是,考虑到数据的增长有些问题需要考虑。

1:直接把数据读入数据库是否可以用内存数据库替代呢?

2:每天都有会新的数据入库,所以现在的方案需要每天入库完之后重新启动服务器,重新把数据读取进入内存,如果以后要做到实时更新,如何做到实时更新内存的数据?在不影响数据查询和计算的情况下。

3:如果数据再持续增长,一段时间之后内存肯定不够用,这个时候需要分布式署,目前的想法是启动的时候根据要部署的机器数量,把数据库的所有数据平均分配在这几台机器中。但是,这个方案有几个问题,a)如果某一台机器出现问题,那么如何定位出故障的机器,并且再重新启动新服务器时候,很好接替出故障的服务器(即加载的数据刚好和出故障的机器一样?)。b)如果临时添加一条新服务器(或者减少一台服务器)时,如何重新分配加载数据呢?

可能目前的方案有点戳,问题有点多,先感谢看完的朋友!

1603 次点击
所在节点    Python
1 条回复
armoni
2017-09-28 11:12:55 +08:00
我最近也在处理类似的问题
1.是可以用内存数据库代替,但数据库和 NOSQL 可以并存
2.为什么不插入到数据后,直接 append 到内存呢
3.目前在看 spark 集群方案

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/394160

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX