V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  neteroster  ›  全部回复第 1 页 / 共 36 页
回复总数  707
1  2  3  4  5  6  7  8  9  10 ... 36  
3 分钟前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
@wsbqdyhm 这个 https://github.com/RVC-Boss/GPT-SoVITS

如果不会用的话 B 站搜搜教程,现在应该听多了。
10 小时 45 分钟前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
@muxiaofei

中文微调推荐 Qwen 系列,llama3 预训练估计没多少中文语料。

微调分不同类型,全量,LoRA ,QLoRA 等,最近也有一些新兴技术。例如,llama3 8b 用 LoRA 基本 24G 能满足,但是全量微调这个大小则是天方夜谭。部分任务下 LoRA 等技术和全量微调效果接近甚至更好,但是也有很多任务是不及全量微调的,需要实际测试。

租算力完全可行。

另外,知识库不推荐微调,先试试 RAG 。
1 天前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
@neteroster 再补充几句,70B 还没到 Mac 的适应区间,2 * 3090 就能拉爆 M3 Max 了,还是在便宜的多的情况下。拉高 batch size 差距应该会更加显著。

再大的模型?那就要想清楚你是不是真的需要那么大的模型了,现在大部分模型都集中在 <100B 区间,就算 >100B 的模型 Mac 也跑不快的。唯一有优势的可能是 MoE ,不过现阶段并不多,可能战未来吧。
1 天前
回复了 Tuatara 创建的主题 NVIDIA 现在买 3090TI 玩 AI 靠谱吗
真要考虑 Apple Silicon 跑 LLM 的话先看看这个:

https://github.com/ggerganov/llama.cpp/discussions/4167

不是所有 M 芯片都是那么快的。等级森严在苹果这里也是不会变的。

除非你非跑超大模型不可,否则就性能而言 M 芯片的性价比是不如 NVIDIA 的。总之就是先想清楚需求。

然后就是如果涉猎比较广泛,不止玩 LLM ,当然还是 NVIDIA ,毕竟生态再这里。
4060Ti 16G ,但是最近涨的貌似有点多,胜在显存大些,要跑比较大的模型的话可能有用,单看性能其实性价比不高。

如果模型不需要那么大显存就 4070(s) 吧,跑模型速度会快点,游戏也能开高点画质。能接受二手的话,也可以考虑,毕竟 40 系没有经过矿潮洗礼,挑个一线带个人送保的牌子就行。

如果愿意折腾的话也可以看看 P100 / P40
5800U 从 Win11 发布用到现在,没遇到过这些问题。
26 天前
回复了 lstz 创建的主题 OpenAI 用贵的国产大模型 API 是否效果堪比 GPT4?
客观来看,国内目前还没有大模型能和 GPT4 Turbo 能力上对位。

不过 OpenAI 现在也就 4Turbo 能拿得出手了,3.5-turbo-0125 烂成什么样子就不多说了,属于是 Chatbot Arena 上要翻好几下才能看到的水平。价格也并不能算得上低。
Claude3 全系列 200K 上下文,GPT4 Turbo 128K 上下文。绰绰有余。

开源模型这边,Qwen1.5 词表有中文词汇,如果是中文的话 Tokens 量会比汉字数量少不少,32K 完全足够。但上下文较长时效果可能下降。
Deepseek Coder 6.7B / 33B

https://chat.deepseek.com/coder 这里可以体验,上面是 33B 的版本,但是 6.7B 也很不错。
47 天前
回复了 dunhanson 创建的主题 问与答 PaddleOCR 官方教程没一个可以跑通
是有点问题,降级到 2.5.2 可解,前段时间也遇到了。用 GPU 就没这事。
GPT-SoVITS
@laminux29 你拿官网 API 自己试一下就知道了。ChatGPT 和 OpenAI 的 API 不是一个产品,前者加入了额外的系统提示词,甚至可能有更多的介入。
#2 的 Mermaid 再加上 AI 这不就来了。

现在很多语言模型前端都支持 Mermaid 语法渲染了,只需对模型说:用 Mermaid 语法画一个 ... 图。就行了。
65 天前
回复了 neteroster 创建的主题 OpenAI Claude 3 Haiku 已经可用
这里有一个免费的测试链接(不过没法发图): https://labs.perplexity.ai/
右下角改为 claude-3-haiku 即可。
72 天前
回复了 CNM47589 创建的主题 Apple 更新 17.4 之后无法登录 App Store 帐号
实际上很可能是因为今天某些验证域名被 DNS 污染了。

把 DNS 改为 4.2.2.1 ,然后重新连接 WiFi 大概率可解。也可等待苹果自己处理。
81 天前
回复了 aec4d 创建的主题 分享发现 Qwen 1.5 72B 中英翻译好强
是的确实不错,中日也还行,总体感觉是比 GPT 3.5 强,有的精彩的地方甚至能超过 4 ,这是一个好时代。
83 天前
回复了 forgottencoast 创建的主题 数学 编程求解:
@neteroster 另外,用 decimal 应该也不行。它能正确表示精确的 1/3 吗?
83 天前
回复了 forgottencoast 创建的主题 数学 编程求解:
@v24radiant 算多也是有可能的,不过我的直觉是算少(查表的时候意外撞上的可能性感觉不大),不过反正都是不精确的。
几百条肯定是少了,我原程序算的六万多条都化成整数运算检验过的,只可能少不会多。
83 天前
回复了 forgottencoast 创建的主题 数学 编程求解:
@v24radiant 遗憾的是,由于 Python 默认并不以精确方式表示与运算有理数,所以如此查表将遗漏大部分的解。
1  2  3  4  5  6  7  8  9  10 ... 36  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2114 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 37ms · UTC 10:49 · PVG 18:49 · LAX 03:49 · JFK 06:49
Developed with CodeLauncher
♥ Do have faith in what you're doing.