 |
charslee013V2EX 第 354793 号会员，加入于 2018-10-09 16:03:30 +08:00今日活跃度排名 2064 |
charslee013 最近回复了
1 天前 回复了 coderhxl 创建的主题 › 推广 › 传统爬虫 还是 AI 辅助爬虫？该怎么选？ |
想请教一下下，采用其他平替的开源模型效果如何？比如说 01-Yi 34B 200K 这种支持超长文本输入的，在成本和推理速度上会不会更优秀一些？
20 天前 回复了 fields 创建的主题 › 职场话题 › 软考报名，留个坑，考试完来填 |
+1 ，不过是下半年，上次考试差 10 分过线遗憾了好久 😔
22 天前 回复了 Morii 创建的主题 › 酷工作 › [北上广深] 千人游戏小厂内推 |
盲猜一个是途游游戏? 🤔
62 天前 回复了 OysterQAQ 创建的主题 › 分享创造 › ACG2Vec 系列之 RecSys4Pix——如何构建最小化现代推荐系统实例 |
给生蚝大佬点赞👍了
74 天前 回复了 Jony4Fun 创建的主题 › 服务器 › 阿里云 99 的 ecs 真是不敢在上面轻举妄动了 |
很显然是爆内存了（尤其是在小内存上启动 vscode remote ），表现为 ssh 连接不上 IO 超高
避免这种情况最好手动创建个 large swap 或者换 nvim 作 editor
避免这种情况最好手动创建个 large swap 或者换 nvim 作 editor
83 天前 回复了 onikage 创建的主题 › 问与答 › ai 训练（非大模型）现在可以用 cpu 跑吗？ |
当然可以呀 很早之前我就写过使用 llama.cpp 在 M1 上直接使用 CPU 来运行 llama 7B 模型 https://www.v2ex.com/t/923536
现在的话 llama.cpp 还支持 openblas 加速，CPU 跑 1.3B 或者 3B 4bit 量化后的都是没问题的
> 训练的时候需不需要用到显卡？
训练最好还是用显卡，而且还是大显存那种避免 Out of CUDA Memory
训练完毕后删掉一些不用的层转 onnx 格式直接用 CPU 跑应该是没问题的，就是速度懂得都懂 🤔
现在的话 llama.cpp 还支持 openblas 加速，CPU 跑 1.3B 或者 3B 4bit 量化后的都是没问题的
> 训练的时候需不需要用到显卡？
训练最好还是用显卡，而且还是大显存那种避免 Out of CUDA Memory
训练完毕后删掉一些不用的层转 onnx 格式直接用 CPU 跑应该是没问题的，就是速度懂得都懂 🤔
84 天前 回复了 darkbread 创建的主题 › 游戏 › 游戏玩到一半玩不下去需要坚持吗? |
@bazbaozhilv XX+1 ，虽然是在 NS 上，超特打的不亦乐乎，比起 MHRS 耐刷多了
124 天前 回复了 smalltechnology 创建的主题 › 程序员 › [目标贴] 2023 已经结束了，定一个 24 年目标吧！ |
希望多写点开源项目给社区吧 😃
130 天前 回复了 toubi 创建的主题 › 职场话题 › 程序员如何从公司上班转型 |
滴～签到 600 多天卡
Select Language