Hadoop 能实现这个功能吗?

2015-07-31 16:53:27 +08:00
 scream7
情况如下:
1.我们实验室大概有10台服务器,大家一般运行Matlab,Python,少量C/C++代码。
2.目前的情况是,大家看哪个服务器空闲,就在哪上面运行。
3.现在想搭建一个分布式的系统,自动分发任务(通过管理主机/master),然而我并没有接触过Hadoop之类的
4.我们会用到大量GPU运算,不知道能不能支持。
5.请问如上可以用Hadoop实现么?或者其他替代方案,谢谢。
1417 次点击
所在节点    问与答
6 条回复
liprais
2015-07-31 17:11:15 +08:00
matlab有分布式的好像
9hills
2015-07-31 17:16:34 +08:00
Hadoop不适合你这个场景。

1. MATLAB和Python都可以分布式计算。
2. 不想改造程序,你这个就是一个简单的调度可以解决。其实写个提交任务的脚本,每次提交的时候发现最空闲的机器,然后ssh上去提交任务。。这样是不是就够了
scream7
2015-07-31 17:17:24 +08:00
@liprais 是的~但是要专门编写MATLAB的分布式代码,而且我们还要用其他代码☺
scream7
2015-07-31 17:29:19 +08:00
@9hills 这样确实是可行的,不过很想试一把Hadoop ,而且万一以后要加个并行运算又得重搞了😅
9hills
2015-07-31 20:14:53 +08:00
@scream7 那Hadoop其实也是能用的。Hadoop 的map和reduce 可以调用任意程序
scream7
2015-07-31 20:27:16 +08:00
@9hills 谢谢哈~这期间我又调查了一把Docker,OpenStack,感觉思绪已经有点紊乱了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/209892

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX