LaTero 最近的时间轴更新
LaTero

LaTero

V2EX 第 444634 号会员,加入于 2019-10-04 18:31:52 +08:00
今日活跃度排名 5146
科学上网落地方式/拓扑结构求指点
  •  1   
    宽带症候群  •  LaTero  •  68 天前  •  最后回复来自 bn
    17
    各位能看懂英文手写吗?
    English  •  LaTero  •  2023-08-23 11:32:27 AM  •  最后回复来自 shendaowu
    7
    现在看来很蠢的小时候的“梦想”
    随想  •  LaTero  •  2023-05-08 11:15:34 AM  •  最后回复来自 rm0gang0rf
    19
    境外接单都是怎么收款的呢?
    远程工作  •  LaTero  •  2023-05-21 16:46:20 PM  •  最后回复来自 feidao158
    3
    2023 最佳刷机手机?
  •  1   
    Android  •  LaTero  •  2023-09-13 13:17:49 PM  •  最后回复来自 n2l
    108
    各位对 cppfront 怎么看?
  •  1   
    C++  •  LaTero  •  2022-11-27 17:00:30 PM  •  最后回复来自 L4Linux
    7
    经常按鼠标滚轮的 V 友,都用的哪款鼠标?
    问与答  •  LaTero  •  2022-08-28 10:37:09 AM  •  最后回复来自 Chiccccken
    25
    二次元音乐,哪家比较好?
    音乐  •  LaTero  •  2022-09-25 12:30:06 PM  •  最后回复来自 yangyeye
    31
    LaTero 最近回复了
    关于去拒绝微调( finetune )可以看 nous research 的这篇文章: https://arxiv.org/pdf/2408.11857
    最简单的办法就是换模型啊,OpenAI 和 Anthropic 的用不了,那不用就是了…Grok ,Command R+,Deepseek 就是从一开始就基本不带这些对齐。
    另外你的问题我有点没看懂。“但是做这种训练的话,必然要掺杂基础的训练内容的,这些内容不可能做到完全筛选出伦理合规性的东西的”是指这些公司也要担心伦理问题吗?那答案就是他们根本不 care……比如楼上说的 NovelAI 就根本不管你写的是啥。
    44 天前
    回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
    @shuimugan 不过个人感觉 hermes 3 405b 还是强不少的,“事实”这种东西确实不管多强的模型都爱扯淡,但大的模型还体现在“智商”高,比如你编了一些物品/概念/机制然后要 AI 也来编几个,区别就打了。瑟瑟应用在这也没法发,就只能游戏举个例子,hermes 能像模像样地编出有配合和复杂机制的 rogue like 游戏物品,而 command r+就只能编出“攻击力+5”这种没什么意思的。

    回楼主:隐私方面的话,你可以去看他们的 tos 和隐私政策,都是很友好的,没有额外审查(“额外”指除去模型自带的或提供商要求的。比如 claude 会要求他们审查,但不会比 claude 本身的审查更多,而且 claude 还有 self-moderated 版本,就是由 claude 的模型自己来做,比直接用 claude 网页版都更少审查),默认也不会记录你写了什么。你可以主动开启匿名记录并获取 1%的折扣,但是这是完全可选的。你甚至可以用一次性邮箱注册+加密货币支付。至于封号,从他们 discord 记录和网站上的统计,拿这家做瑟瑟的是很多的。而且我就这么和你说吧,如果我写的东西都不会被封,你也不需要担心……而速度快( command r+ 60 token/s )选项多是实打实的。
    44 天前
    回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
    @shuimugan Command R+居然是 open weights !用了这么久我都不知道,他们官网也没写
    44 天前
    回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
    刚才去看了下 hermes 的模型卡,fp16 要超过 800GB 的显存,而 fp8“仅需”430GB ,这样的模型,在 openrouter100 万个输入 token 才 1.79 美元……
    本地的话最多也就 int4 量化 70B 了,但是效果真的不是很好。最近的 70B 跑分王 qwen2.5 和英伟达的 Nemotron 我都试过,真的就只是跑分王。尤其是 Nemotron ,它高分主要是输出长,不切实际的跑分就喜欢输出长的,然而对人类来说就是啰嗦、废话多。Qwen 经常英语中文乱混,我用英语的时候它喜欢夹几个汉字,我用中文它又整几个英文单词出来了,很无语。这俩还是有审查的,需要找越狱 prompt ,越狱也不是一定管用的。
    另外还有两个我个人用的多一点的模型是 WizardLM 和 DolphinLM ,都是基于 Mistral 的 MoE 模型,优点是很便宜。Wizard 有一点点审查,一个简单的系统 prompt 就搞定了,Dolphin 无审查。
    44 天前
    回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
    玩 silly tavern ,建议用 openrouter ,silly tavern 支持他家的 api ,而且是按量付费,用多少付多少,还能匿名用 claude/gpt 不怕封号,多好,搞什么本地。模型建议 hermes 3 405b (基本是 llama 3 405b 的去审查版)或 command r+(无审查的商用模型,个人感觉效果其实不是很好,但是非英语会比 hermes 好一些。社区微调一般只会英语)。效果真的把那些本地 13b 小模型吊着打,还快。本地搞一堆非常低的量化也就勉勉强强跑个 70b ,速度还不行,而且你本地买两张 24g 的卡能在 openrouter 玩多久……
    @pyre 如果是国产的 400IU 800IU 是很难过量,但是我买的 doctor's best 一粒就是 5000IU ,吃多了还是有风险的。而且人和人体质不同,口服中毒风险个体差异巨大,有条件还是去医院测一测血羟维生素 D 浓度。
    你确定真的需要吃吗?去医院测过吗?如果是 B 、C 之类的还好,水溶性很难超量,但是你要是 A 、D 狂吃过量后果很严重。
    @heyjei 5km/h?你确定没打错?这是走路的速度啊,我们小区楼下的小朋友学骑自行车都比这快,怎么能摔的?这速度把脚一伸不就停了吗。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2455 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 13:03 · PVG 21:03 · LAX 05:03 · JFK 08:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.