如何让多个 vps 低传输损耗的使用一块数据盘上的数据?

2015-02-23 17:02:59 +08:00
 wph95

有4个vps 做数据计算节点,在做计算的时候依赖数据盘里的部分数据(都是文本格式)
(数据盘约20gb,一次计算调用10-20个文本文件,每个10kb-10mb不等)
因为 数据计算 偏及时性,一次数据计算在0.1-15秒内完成,不希望数据传输成为瓶颈
现在的办法是存在nosql,非常依赖内网速度。
大牛们有没有什么好的建议,有没有一块数据盘 映射到多台vps上的办法。
ps。没有壕到每个vps都配个数据盘。

684 次点击
所在节点    VPS
9 条回复
9hills
2015-02-23 17:10:33 +08:00
如果你计算节点没有本地存储,那么不管你用什么,都要通过网络,都非常依赖内网速度。

如果你计算节点有本地存储,如果数据不经常变动就rsync,经常变动就分布式文件系统,比如MFS之类
wph95
2015-02-23 17:39:03 +08:00
@9hills
数据不经常变动
如果没有本地储存,
内网速度无法提升的情况下
有没有损耗时间小的好办法推荐?
tonyluj
2015-02-23 17:58:06 +08:00
分布式计算的不足,量不大的计算,时间都耗费在 IO 上了。
msg7086
2015-02-23 19:27:22 +08:00
一块「盘」映射到多台VPS是不可能的。
一个目录映射过去是有可能的。
但是我不明白你说的映射与内网速度有什么关系。
如果本来就是单台服务器上跑的话,哪来的内网。
如果本来就是跨物理服务器的话,不管怎么映射都逃不掉内网速度。
wph95
2015-02-23 20:03:42 +08:00
@msg7086 sorry 怪我表达不好,v2ex发了贴没法修改
我的意思是现在用nosql,有时候会出现传输不稳定,用nosql可能比较浪费时间(除了必要的传输)(从nosql中拿出数据也需要耗时)。
想问问大牛们 , 有没有更优的办法。
msg7086
2015-02-23 21:33:38 +08:00
@wph95 单点目录共享的话NFS不二选择。
一台机器export,另外几台mount就好了。
你这个我感觉还是没表达得很清楚。
这几台虚拟机是在一台物理机上的吗?
另外如果是OpenVZ或者LXC的话,可能直接在母机上做下link就好了。
wph95
2015-02-23 21:49:44 +08:00
@msg7086 多台vps 用的是青云 谢谢了
msg7086
2015-02-23 21:50:56 +08:00
@wph95 内网速度限制逃不掉了
9hills
2015-02-24 00:48:54 +08:00
@wph95 单点NFS,有钱搞三台机器上 MFS 等即可。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/172327

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX