V2EX › kaichen 的所有回复 › 第 5 页 / 共 23 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 23

❮

❯

2024-07-15 09:44:54 +08:00

回复了 should 创建的主题 › OpenAI › 计算机相关论文阅读看不懂

@should #9 不要背单词，使劲看，到一定量之后就会觉得看得下去，再到下个阶段基本上就流畅阅读。基本上过程是阶梯状的，渡过就好了，但一旦回避那么永远过不去这个坎。

2024-07-14 17:34:35 +08:00

回复了 should 创建的主题 › OpenAI › 计算机相关论文阅读看不懂

最后还是需要有英文能力的，你不确定 LLM 会不会出幻觉给你胡扯，他只能提效，并不能代替你对内容本身理解。

2024-07-14 17:32:53 +08:00

回复了 ttgo 创建的主题 › 机械键盘 › 再一次买 hhkb 失败

推荐 keychron q60 max ，hhkb 键位布局，可以自己换轴

https://www.keychron.com/products/keychron-q60-max-qmk-via-wireless-custom-mechanical-keyboard

2024-07-01 21:43:09 +08:00

回复了 rookiemaster 创建的主题 › OpenAI › 有什么 gpt 中转是可以像 gpt4o 官网一样可以发图片的吗，我看 NextChat 好像没有

你说的是 API 还是可以直接用的 Chatbot UI ？

2024-06-28 18:39:31 +08:00

回复了 boboliu 创建的主题 › 分享发现 › 震惊！知名 AI 大公司竟做出这种事……

他这里有 5-shot 的标注耶，应该是没公开 prompt 的情况吧

2024-06-14 15:26:01 +08:00

回复了 liujigang 创建的主题 › Apple › 有什么途径购买 macbook 比较实惠

@hui9000

官网拉到底部，点击“翻新产品”

https://www.apple.com.cn/shop/refurbished/mac

2024-06-14 14:26:28 +08:00

回复了 liujigang 创建的主题 › Apple › 有什么途径购买 macbook 比较实惠

咸鱼员工 85 折再分期去买官翻，折上折+分期

M3 对比 M2 进化不多，现在买 M2 炒鸡实惠

2024-06-10 11:05:04 +08:00

回复了 dzdh 创建的主题 › Docker › OrbStack 是不是也 G 了

跟 orbstack 本身没有关系，你可以打开选项，设置 proxy ，或者在 docker 选项里把 hub mirror 或者 proxy 给配置上

2024-05-21 11:53:53 +08:00

回复了 coderpwh 创建的主题 › Twitter › 推特上面的撸空投是假的吗

不需要你花钱的，大概率是假的

这和当初 o2o 一样，他找 vc 要钱，然后给终端用户发钱发优惠，把数据做起来，再去拉更多投资

在 galxe 或者 layer3 上去做交互任务的，大概率是有空投预期

2024-02-29 15:11:37 +08:00

回复了 huzhikuizainali 创建的主题 › 以太坊 › 为什么以太坊的 Uncle rewards 比 block rewards 少那么多？

uncle block 数量上肯定比正常的要少一个量级，另外以太坊早就已经不是 pow ，而是 pos ，没有 uncle 这一说

最后的一个叔块已经是一年多前 https://etherscan.io/uncles

2024-02-28 23:16:05 +08:00

回复了 keepRun 创建的主题 › Local LLM › 推荐各位利用 ollama 在自有电脑上跑大模型，使用非常方便

@Rrrrrr #6

到 https://lmstudio.ai/ 下载个客户端，搜索对应大小的模型（ apple silicon 是内存的 3/4 可以作为显存），可以先搜索 qwen gguf 找个合适大小的玩玩看

然后可以直接对话，或者启动一个与 openai api 兼容的 api server

2024-02-24 21:34:17 +08:00

回复了 coinbase 创建的主题 › 硬件 › M2 128GB 的 Mac Studio 与 NVDIA A100 相比如何？

在 reddit 的 local llama 上，比较推崇的是买两块 3090 组 nvlink ，这样有 48G ，可以刚刚好跑个 70b 的 q5 量化版

2024-02-24 21:31:07 +08:00

回复了 coinbase 创建的主题 › 硬件 › M2 128GB 的 Mac Studio 与 NVDIA A100 相比如何？

那你可以对比 96G 的价格，从推理来说，能效方面 apple silicon 比较高，并且买回来就能用，买个 A100 还要组个主机

但是推理速度会被吊打，基本上差一个量级

- https://towardsdatascience.com/how-fast-is-mlx-a-comprehensive-benchmark-on-8-apple-silicon-chips-and-4-cuda-gpus-378a0ae356a0
- https://owehrens.com/whisper-nvidia-rtx-4090-vs-m1pro-with-mlx/

2024-02-08 11:01:49 +08:00

回复了 cmonkey 创建的主题 › Local LLM › 运行 LM Studio 的电脑硬件配置

@kaichen #2

上面 70b 写错了，4bit 在～ 40G 占用左右

2024-02-08 10:40:14 +08:00

回复了 cmonkey 创建的主题 › Local LLM › 运行 LM Studio 的电脑硬件配置

推理最重要的是有足够的显存可以把模型权重加载进来。

要么是搞个内存高一些的 mac ，要么是选个实惠一些的大显存显卡（去咸鱼淘二手）

7b 的 4bit 量化在 ~4G ，13b 的 4bit 在 ~8G ，34b 的 4bit 在 ~25GB ，70b 的 4bit 在 ~23GB

2024-01-28 00:41:02 +08:00

回复了 jintaoxx 创建的主题 › MacBook Pro › MBA15 寸和 MBP14 寸如何选择？

air 和 pro 实际续航差距蛮大，air 基本上一天不充电不是问题，但 pro 消耗蛮大用一段时间后可能会只有半天（比如视频会议，和协同办公工具）

如果只是屏幕大小影响，真的建议，在工作的地方自己买个红米 4k 显示器，比起笔记本屏幕多一两寸提升更大更明显，花费也更少

2024-01-19 19:12:25 +08:00

回复了 yuyue001 创建的主题 › Local LLM › 有人（个人）自己使用开源的 LLM 大模型吗？

本地跑个 mixtral 替代 chatgpt-3.5 问题不大，可以拿来替代 Immersive Translate 的翻译引擎，用 LM Studio 启动假扮 openai 接口

还有对一些无规则文本的处理，可以用 7b mistral 给 prompt 处理得到结果，比如分类，提取关键信息

2023-06-25 09:58:29 +08:00

回复了 SillyGod 创建的主题 › 问与答 › gpt-4-32k 模型 api 的上文 tokens 应该设多少

你如果用的 langchain 来做，可以直接用他的 memory 类，想简单限制数量就用 ConversationTokenBufferMemory ，想做总结再来回交互用 ConversationSummaryBufferMemory

记录的持久化也能处理

https://api.python.langchain.com/en/latest/modules/memory.html

1 2 3 4 5 6 7 8 9 10 ... 23

❮

❯