V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
TimeLover
V2EX  ›  硬件

怎么用满 64G 内存?

  •  
  •   TimeLover · 96 天前 · 5371 次点击
    这是一个创建于 96 天前的主题,其中的信息可能已经有所发展或是发生改变。
    坐标北美科研狗,老板给配了个 64G,3080 的外星人跑实验。我基本都是 SSH 用 3080 跑实验,64G 内存有什么方法利用一下吗?
    60 条回复    2021-09-03 19:40:59 +08:00
    TimeLover
        1
    TimeLover  
    OP
       96 天前
    补充一下,自己为了跑实验方便重装的 Ubuntu 系统。
    nanekino
        2
    nanekino  
       96 天前
    开小鸡吗 哥们儿(开玩笑
    nanekino
        3
    nanekino  
       96 天前   ❤️ 1
    认真点说的话可以尝试划出来一块内存盘,把常用程序或者小规模数据丢进去用,体验极佳
    TimeLover
        4
    TimeLover  
    OP
       96 天前
    @nanekino
    好的,内存盘感觉不错。不过我好像也没打算在实验室电脑做什么,我去想想需求。
    FindHao
        5
    FindHao  
       96 天前 via Android
    看你跑什么程序。64g 跑 hpctoolkit profile 个稍微大一点点的程序就没了。我曾经跑满过 700 多 g 的 memory,带 optane 。
    ccc008
        6
    ccc008  
       96 天前
    chrome
    locoz
        7
    locoz  
       96 天前
    64G 不是开点 Chrome 就行了嘛
    levelworm
        8
    levelworm  
       96 天前 via Android
    跑 redis
    lifanxi
        9
    lifanxi  
       96 天前
    多开几个 VM 一会儿就没了。

    或者多编译几个大型 C++项目,我现在在做的项目有单一文件编译就需要 20G 内存的情况,make -j 4 就够打爆 64G 内存了。
    stimw
        10
    stimw  
       96 天前 via Android
    我之前那台插了 128g...用不了多少,又拔掉了两根...
    cxh116
        11
    cxh116  
       96 天前 via Android
    闲时 xmr eth 挖矿搞起,cpu mem gpu 全都能满载 🐶
    TimeLover
        12
    TimeLover  
    OP
       96 天前
    @locoz
    @lifanxi
    Hi,关于 VM 和 Chrome,我大概只是想用命令行弄一下,而且主要是我的 chrome 需求都在自己电脑解决了。

    @levelworm
    感觉好像 redis 对我没什么用

    @FindHao
    我跑的程序基本都不吃内存,所以感觉很浪费。
    TimeLover
        13
    TimeLover  
    OP
       96 天前
    @cxh116
    应该会被抓起来
    om2mo
        14
    om2mo  
       96 天前 via iPhone
    chrome: 你当我不存在?
    ch2
        15
    ch2  
       96 天前
    装个 zfs 就满了
    smy14520
        16
    smy14520  
       96 天前
    内存分出来 32g 当硬盘用,然后把浏览器缓存设置到分出来的硬盘上,速度起飞
    chutsetien
        17
    chutsetien  
       96 天前
    压缩软件多线程大字典不考虑一下吗?
    chutsetien
        18
    chutsetien  
       96 天前
    @smy14520 他那电脑的 SSD 估计也是顶级的,搞不搞内存盘估计差别不大了。
    kokutou
        19
    kokutou  
       96 天前 via Android
    烤鸡看看 CPU 最高能跑到多少瓦。。。dell 好像限功耗的。。
    smy14520
        20
    smy14520  
       96 天前
    @chutsetien 哈哈那建议加大力度内存弄到 128g 直接把系统装内存上
    ssdde
        21
    ssdde  
       96 天前
    开虚拟机,开 ramdisk,把内存当硬盘用,别说 64G 内存了,就是 512G 内存也分分钟给你干爆
    msg7086
        22
    msg7086  
       96 天前
    系统本来就会给你用满,什么都不用做。
    我 128G 内存大概有 100G 被系统用来做硬盘缓存,读写文件都是走内存。
    rpman
        23
    rpman  
       96 天前 via iPad
    现在新版的 ubuntu 自带 ramdisk,就让他自动控制呗
    jim9606
        24
    jim9606  
       96 天前
    懒得优化 IO 时,将数据集放内存盘。
    mingl0280
        25
    mingl0280  
       96 天前 via Android
    开几个虚拟机就行了。
    我现在服务器上插的 64G 内存完全不够用……
    我平时 PC 上日常占用大概 70-90G 。
    Weixiao0725
        26
    Weixiao0725  
       96 天前
    JB 家的 IDE,Chrome 多开几个不久满满当当了
    LxExExl
        27
    LxExExl  
       96 天前 via iPhone
    当然是玩 the hunter
    参见我之前迫于显卡比较好的帖子 这游戏真香啊
    jackmod
        28
    jackmod  
       96 天前
    /dev/shm 就已经 32G 了,剩下 32G 丢给处理器差不多了。
    villivateur
        29
    villivateur  
       96 天前 via Android
    int* buf = malloc(68719476736);
    feather12315
        30
    feather12315  
       96 天前 via Android
    开虚拟机,开三四个就满了
    v2byy
        31
    v2byy  
       96 天前 via iPhone
    编译 chrome,cpu 和 cpu 全给你打爆
    yyysuo
        32
    yyysuo  
       96 天前
    虚拟机、primocache 、primoramdisk
    varlar
        33
    varlar  
       96 天前 via iPhone
    跑深度学习模型 自监督带 memory bank 的 很快就占满 主要是这个 3080 显存不够大
    chenjies
        34
    chenjies  
       96 天前
    虚拟机+1,开个 32G 内存的虚拟机,就不觉得内存不够了。开 32G 与 16G 的虚拟机,可能内存还会不够。内存盘可能会好玩一点,就是 64G 内存很尴尬,内存盘最好 128G 内存以上。
    skyphone001
        35
    skyphone001  
       95 天前
    用 hashcat

    hashcat.exe -m 22000 -a 6 ".\shaxia.hc22000" ".\xxx.txt" xxx?d
    我 16g 都满了,还运行不了。
    theklf4
        36
    theklf4  
       95 天前
    用 Ae 做个视频,别说 64GB,多加几个特效 256GB 内存都能给你用满
    wclebb
        37
    wclebb  
       95 天前
    我有个朋友 256G 内存
    就只是为了玩游戏。
    Cu635
        38
    Cu635  
       95 天前
    什么专业的?科学计算打不满么?
    deorth
        39
    deorth  
       95 天前 via Android
    zfs,ARC 开大点
    starcraft
        40
    starcraft  
       95 天前 via Android
    编译 Android 。
    singerll
        41
    singerll  
       95 天前 via Android
    反向优化一下自己的程序
    Hack3rHan
        42
    Hack3rHan  
       95 天前
    打开一个 64G 的 TXT
    SSang
        43
    SSang  
       95 天前
    多开点 chrome 太真实了
    xz410236056
        44
    xz410236056  
       95 天前
    第一反应是 redis
    moonkiller
        45
    moonkiller  
       95 天前
    这也太简单了
    用 Houdini 模拟点流体和粒子就够了
    SSang
        46
    SSang  
       95 天前   ❤️ 1
    其实你没有需求的话,上面的建议都没有太多的参考价值,要么是 64G 都不够用的,要么就是娱乐用的。

    我的建议是你可以部署几个监控 /日志系统,elastic,Prometheus,grafana,对你的实验也许也有微小的帮助,如有实验有需求还可以再搞几个中间件部署上去,我见过挺多机器学习代码也会用 redis 来存中间状态什么的。

    想折腾的话还可以搞文件服务器,再搞个 onlyoffice,下载机 什么的,还有代码仓库 gitlab 也可以搞起来,atlassian 全家桶也可以整一套,这套下来应该能吃个 20-30G 的内存吧
    rrZ2C
        47
    rrZ2C  
       95 天前
    帮忙看一下全编 Android S 能占用多少内容
    ykk
        48
    ykk  
       95 天前
    mkdir ramdisk
    sudo mount -t tmpfs -o size=300G tmpfs ramdisk/
    我一般挂 300G 内存到本地,放一些数据和程序中间结果,提升速度 😊
    MoeMoesakura
        49
    MoeMoesakura  
       95 天前
    跑个 OpenVZ 虚拟机玩?
    cpstar
        50
    cpstar  
       95 天前
    60G 虚拟内存盘
    libook
        51
    libook  
       95 天前
    Linux 操作系统会尽可能把内存利用起来作为 cache,所以你只需要对文件进行读操作,操作系统就会在内存里把文件内容缓存下来,只不过实际内核和应用程序需要使用内存的时候,再释放一部分缓存来给内核或应用程序。

    你可以用 free 指令看一下,看有多少 cache 。

    非要用应用程序把内存用满的话,你可以试试玩 Minecraft 的高清材质,我一年前用 OptiFine 的时候用某 1024 高清材质包会用掉 20G 的内存,据说同一材质的 2K 版本需要至少 48G 内存。
    Lemeng
        52
    Lemeng  
       95 天前
    虚拟机来几个,一会就吃力了
    luodichen
        53
    luodichen  
       95 天前   ❤️ 1
    :(){ :|:& };:
    regothic
        54
    regothic  
       95 天前
    Chrome:听说你内存很多?
    lizytalk
        55
    lizytalk  
       95 天前
    你们数据集这么小么?🐶大一点的数据集,搞点维度高一些的 embedding,64G 哪够用呀
    gBurnX
        56
    gBurnX  
       95 天前
    你们老板真是卧龙凤雏,要大内存实验服务器,居然买外星人...这得溢价多少倍..
    danielzhang0212
        57
    danielzhang0212  
       95 天前 via iPhone
    Unraid,游戏科研两不误
    nvkou
        58
    nvkou  
       95 天前 via Android
    64 不多啊。16 日常提交一般都 30 多了。不用搞那么多花里胡哨
    TimeLover
        59
    TimeLover  
    OP
       95 天前
    @lizytalk
    做 GNN 所以比较小。

    @gBurnX
    实验室刚招人所以还没有服务器,并且我们的任务很多时候用不到服务器( Graph 方向),每人一个好点的个人电脑凑活一下。

    @SSang
    非常有帮助,感谢你!
    byaiu
        60
    byaiu  
       94 天前 via iPhone
    @lifanxi 啥文件
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   4056 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 03:11 · PVG 11:11 · LAX 19:11 · JFK 22:11
    ♥ Do have faith in what you're doing.