V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
hertzry
V2EX  ›  云计算

这分布式计算怎么和我想的不一样

  •  
  •   hertzry · 2022-01-09 00:47:23 +08:00 via Android · 4300 次点击
    这是一个创建于 1082 天前的主题,其中的信息可能已经有所发展或是发生改变。

    学院有个集群,但 2 个 144 核 CPU 节点一直被占着,本着质量不够数量来凑的原则,那我就用 12 个 4 核 CPU 节点,也能凑出 48 核(每个账户上限 50 核)。

    本小白以为用 qsub -l nodes=12:ppn=4 ,外加一行 mpiexec -n 48 就万事大吉了,它自己就能把 12 个节点合在一起,后来一查才知道还需要手写点对点通讯什么的,好像一时间学不会啊。

    小弟在学深度学习,用的是 PyTorch ,同学说 LSTM 也没法用显卡加速,现在集群这种情况,我怎么才能用上多核呢?请各位大佬不吝赐教。

    10 条回复    2022-01-09 17:33:40 +08:00
    MeePawn666
        1
    MeePawn666  
       2022-01-09 02:58:54 +08:00 via Android   ❤️ 2
    这都哪跟哪啊…… torch 是 torch,mpi 是 mpi 。建议了解一下基础。
    zhoujinjing09
        2
    zhoujinjing09  
       2022-01-09 03:16:14 +08:00   ❤️ 1
    建议重修计算机硬件体系……特别是跨机器通讯和单机内 cpu 和内存的通信模式……

    以及 LSTM 可以用显卡加速啊……
    dayeye2006199
        3
    dayeye2006199  
       2022-01-09 07:35:45 +08:00   ❤️ 1
    希望有朝一日分布计算框架可以变的和 LZ 描述的这么易用;

    言归正传,LZ 如果想用 MPI 搞多机 CPU 并行的化,可以看一下 hovord - https://github.com/horovod/horovod/blob/master/docs/mpi.rst
    hertzry
        4
    hertzry  
    OP
       2022-01-09 09:19:21 +08:00 via Android
    @MeePawn666 这……难道我表述的有问题。
    hertzry
        5
    hertzry  
    OP
       2022-01-09 09:22:00 +08:00 via Android
    @zhoujinjing09 研究生半路出家,不是科班出身,现在是用什么学什么,没有时间钻研基础知识。那我试试显卡计算
    hertzry
        6
    hertzry  
    OP
       2022-01-09 09:22:25 +08:00 via Android
    @dayeye2006199 好的,我去看一下。
    lonewolfakela
        7
    lonewolfakela  
       2022-01-09 11:48:04 +08:00   ❤️ 1
    深度学习不可能不能用 GPU 跑的……你用 CPU 跑得跑到哪年哪月去……
    hertzry
        8
    hertzry  
    OP
       2022-01-09 11:50:02 +08:00 via Android
    @lonewolfakela 一开始不懂,现在已经用 GPU 跑上了……
    secondwtq
        9
    secondwtq  
       2022-01-09 15:39:37 +08:00   ❤️ 3
    楼主或许应该…换个同学?
    hertzry
        10
    hertzry  
    OP
       2022-01-09 17:33:40 +08:00 via Android
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5401 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 01:25 · PVG 09:25 · LAX 17:25 · JFK 20:25
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.