V2EX › beginor 的所有回复 › 第 5 页 / 共 115 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 115

❮

❯

112 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

@skyqiao 那怎么啦，手上还有台双 CPU+96G 内存的服务器，没显卡加速的情况下，也跑不过 M1Max 😂

113 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

ollama 底层也是调用 llama.cpp ，默认应该是没有显卡加速的，打开 Activities 的 GPU 历史和 CPU 历史窗口看一下就知道了。

如果从源代码编译 llama.cpp 的话，可以自己看文档调参数看能不能启用 vulkan 或者 sycl 啥的。

CUDA 和 ROCm 都不支持 Mac ，所以肯定没有专用的硬件加速。

113 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

@skyqiao Intel 的应该是没有显卡加速的，llama.cpp 对 Mac 的优化仅限于 M 芯片系列，Intel 版本还是线上吧

114 天前

回复了 loganovo 创建的主题 › MacBook Pro › 2023 款的 MBP 入气孔在哪边?

架起来，吹 D 面，有一定效果

117 天前

回复了 maninfog 创建的主题 › MacBook Pro › MBP 2015 已经很难再战了

@hanierming 如果开声音太大的话，喇叭还会爆音。

净身装个 Ubuntu 还可以续命

118 天前

回复了 Mianmiss 创建的主题 › Apple › MacOS 15 用过深信服 VPN 后，使用 chrome 打开内网 IP 网段报错 ERR_ADDRESS_UNREACHABLE

深信服有 docker 版本，不管是什么系统，都推荐安装 docker 版本。
https://github.com/docker-easyconnect/docker-easyconnect

118 天前

回复了 sevenyangcc 创建的主题 › macOS › mac 上有什么单机摸鱼的小游戏啊？

装个龙神，下载几个 switch 游戏吧

125 天前

回复了 azev 创建的主题 › Node.js › 打算学下 node.js，请问 nvm 是标配吗？

直接 pnpm ，node 版本管理，包管理，工作区，一个全搞定，

126 天前

回复了 lihaoyun6 创建的主题 › macOS › [开发者自荐] Logoer: 无痛替换 macOS 左上角默认苹果 Logo, 个性化你的 Mac

不错，挺好看的，就是这个小东西居然要占用 40+M 的内存，希望楼主能优化一下内存占用。

https://imgur.com/a/PqCNfDF

128 天前

回复了 Irisxx 创建的主题 › 职场话题 › 新入职了一家公司，第一次对接口，差点脑溢血

主材是 0 ，辅材是 1 ，或者反过来，然后两者都是数组，有么？觉得 0 ，1 不爽，可以自己定义成符号或者常量，这么容易就脑溢血，不怕熬不到 35 就退休的年纪

132 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

@horizon 16g 还是线上吧，一般都要 32g 起步

133 天前

回复了 drymonfidelia 创建的主题 › 程序员 › 要微调 OCR 产品，提高手机拍屏照片中的序列号识别率（大写字母、数字），字形固定，有什么推荐方案？拍的是内网设备，物理隔离外网

没人关注 phi-3-vision 么？

134 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

@1055619878 当用不到 copilot 或者网络不顺畅或者不允许联网的私密网络的时候，就有意义了。再说显卡闲着也是闲着，还不如用来提供点儿智能提示，就当打游戏了。

134 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

@shuimugan 我测试本地做 embeddings 非常慢，所以就用了默认的 transformers.js 。我觉得最重要的是 tabAutocompleteModel ，这个才是最能体验到的。

134 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

@HelixG 70b 不是个人电脑能跑起来的，代码提示这个至少要每秒中 20 ～ 30 个 token 才好用。而且就代码提示这个功能来说，官方给的建议也是 13b 以下的模型就足够了。

另外 JetBrains 也开始内置基于 LLM 的整行提示功能，据说专门训练的 1b 模型，但是效果特别好。

134 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

@lithiumii 本地跑 Gemma2 27b ，这配置相当不错！

134 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

@cinlen 我本地就是用 llama.cpp + starcoder2-3b-q5_k_m.gguf ，效果自我感觉还算可以。

另外，ollama 给的模型默认是 q4-0 量化版本，虽然可以一秒钟多几个 token ，但是质量明显不如 q5_k_m 量化版本的。

134 天前

回复了 beginor 创建的主题 › 程序员 › 使用开源的 continue 和 llama.cpp 搭建本地运行的人工智能代码助理

原文地址： https://beginor.github.io/2024/07/12/ai-code-assistant-with-local-llm.html ，有兴趣的也可以试试

134 天前

回复了 ygweric 创建的主题 › OpenAI › "通义灵码"和"Github Copilot" 差距大吗？

这玩意儿也可以自己搭一个玩一下 https://www.v2ex.com/t/1057608

138 天前

回复了 firhome 创建的主题 › 程序员 › 前端大佬们是怎么快速搭建自己的脚手架的？

把模板做一个 git 仓库，公共的和基础的都放在模板仓库里面，需要的时候从这个模板仓库做为上游仓库。

1 2 3 4 5 6 7 8 9 10 ... 115

❮

❯