V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  tool3d  ›  全部回复第 1 页 / 共 2 页
回复总数  21
1  2  
我也发现了,是 ollama 这几个版本有 bug ,换到最新版本试试(github 的 prerelease 版本),官方说已经修正了,我测试也好一些。
"等 5060ti 发布之后买 4060ti (不晓得 50 系发布 40 系会不会降价)"

我个人感觉不太会降价,至少今年内是这样的,AI 实在太火了。
@coefuqin 别小看 I 卡,现在 llm 大模型那么火,仅仅跑大模型的话,intel 开源优化已经够好了。你可以去 B 站查一下具体性能,tokens 速度很快。(搜索双卡 intel 就可以)

N 卡优势在于 cuda 通用性,和游戏 DLSS 之类的。但楼主说了,主要就是跑 LLM 模型。
@limatrix81 别买 2080ti ,老卡功耗太大,非常不稳的。

你 TB 3699 ,可以考虑用两张 intel 的 16G 显卡,加起来就是 32G 显存。价格一样,至少不容易翻车。
算法题不好写,我让 AI 写一个人机对战的游戏 AI ,有很大概率原地踏步,只有极小概率才能把赢的比例提升上去。

但是这样太费 token 了。
说一下如何调用 API ,官网暂时没写。

先访问 https://generativelanguage.googleapis.com/v1beta/models/gemini-2.0-flash-exp:streamGenerateContent?key=%s

把上传的猫咪图片压缩成 base64, 塞进 json 里的 inline_data 的 data 里。

然后请求的 json 添加这句:"generationConfig":{"response_modalities":["Text","Image"]} 返回的结果,就能生成图文模式了。

注:暂时没有对应的 openai 兼容调用,直接调用 openrouter 这类 API 中转,应该是没办法生成图片和修图的。必须直接调官方的 google api 。
最简单就是让 gpt 写一个脚本,50 个服务器依次网络轮询。

不过我个人还是偏向于安装监控软件,一是可以记录历史硬件温度之类的信息,出问题可以复盘。二是有故障可以自动发邮件报警,不需要你去挨个查询。
36 天前
回复了 jdz 创建的主题 程序员 除了 claude, 各位还另外主要使用哪个大模型
代码问题目前第一梯队的只有 claude 3.7 一家,第二梯队随便问哪个都差不多,换着来。

deepseek 我用 openrouter 上的免费版本,我倒是想用官方的,就是官方 API 太不稳定了,首字出来巨慢,受不了。
@Tiande 第三方的远程桌面可以多帐号登录,而不用 server 版本。

不过 3k 的台式机,不如直接用 ssh 上去命令行开发算了。
@supersf 是有点慢(和同类型的模型对比)。我这里差不多 15 tokens/s ,架构似乎是新的,我看 ollama 上也有人说速度慢,估计需要时间优化。

不过很奇怪的是,官方也很慢。
@LaTero 本地 ollama 没问题,网友 Apple M1 Max 32G ,运行飞快。我自己显卡运行也挺快的。
@dbpe 不太一样,claude 是商业版。google 这个完全开源模型,包括底模都提供了,吹嘘水准已经到了商业标准。还是多模态,而且还能同时识别多张图片,似乎以前模型只能识别出一张图片。
@xujy1108 “是婆媳关系,对于育儿理念,老婆忙工作,但是爱指点,我妈又不认可她的指点。找育儿嫂,我老婆又怕对孩子不好,丈母娘更不用说了,我俩宁愿找育儿嫂也不愿意让丈母娘带”

只要熬过这段时间就好了,等孩子大一点,你自己多带带。你老婆总不可能对你指指点点。让你妈撤,转移矛盾。

婆媳几千年都无解,怎么可能搞定。
看需求,我服务器需要运行 AI ,要超大显存的显卡,24x7 小时开机,最具性价比的,就只能是标准 PC 了。

如果仅仅是软路由之类需求,我会全部弄到 openwrt 上,不用 x86 改用 arm ,很节能,基本上没啥问题。
不止 Type C 不通用, 有些 3.5MM 接口带麦的耳机也是不通用。必须要买一个转换器才能用。
96 天前
回复了 TheMrFan 创建的主题 宽带症候群 关于电信丢包问题
我是电信高峰期掉包,不好排查。猜是小区出口宽带满了,做了 QoS 限制。
99 天前
回复了 dengj3355 创建的主题 宽带症候群 电信千兆速度慢+丢包如何解决?
一样的,我也是晚高峰开始丢包,到了凌晨 12 点就恢复正常。

分析 QoS 丢包策略,好像是高位端口优先丢包,尽量使用低位端口,会好那么一点点。
99 天前
回复了 xinjiawei 创建的主题 宽带症候群 河北电信触发了上行限速
我这里高位 UDP 端口疯狂丢包,只剩 https ssl 最稳了。
105 天前
回复了 meeop 创建的主题 职场话题 如何让工作变得有趣?
写难度高一点的代码,会比较有挑战性。
1  2  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2672 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 36ms · UTC 05:32 · PVG 13:32 · LAX 22:32 · JFK 01:32
Developed with CodeLauncher
♥ Do have faith in what you're doing.