V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  LaTero  ›  全部回复第 1 页 / 共 13 页
回复总数  248
1  2  3  4  5  6  7  8  9  10 ... 13  
关于去拒绝微调( finetune )可以看 nous research 的这篇文章: https://arxiv.org/pdf/2408.11857
最简单的办法就是换模型啊,OpenAI 和 Anthropic 的用不了,那不用就是了…Grok ,Command R+,Deepseek 就是从一开始就基本不带这些对齐。
另外你的问题我有点没看懂。“但是做这种训练的话,必然要掺杂基础的训练内容的,这些内容不可能做到完全筛选出伦理合规性的东西的”是指这些公司也要担心伦理问题吗?那答案就是他们根本不 care……比如楼上说的 NovelAI 就根本不管你写的是啥。
24 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@shuimugan 不过个人感觉 hermes 3 405b 还是强不少的,“事实”这种东西确实不管多强的模型都爱扯淡,但大的模型还体现在“智商”高,比如你编了一些物品/概念/机制然后要 AI 也来编几个,区别就打了。瑟瑟应用在这也没法发,就只能游戏举个例子,hermes 能像模像样地编出有配合和复杂机制的 rogue like 游戏物品,而 command r+就只能编出“攻击力+5”这种没什么意思的。

回楼主:隐私方面的话,你可以去看他们的 tos 和隐私政策,都是很友好的,没有额外审查(“额外”指除去模型自带的或提供商要求的。比如 claude 会要求他们审查,但不会比 claude 本身的审查更多,而且 claude 还有 self-moderated 版本,就是由 claude 的模型自己来做,比直接用 claude 网页版都更少审查),默认也不会记录你写了什么。你可以主动开启匿名记录并获取 1%的折扣,但是这是完全可选的。你甚至可以用一次性邮箱注册+加密货币支付。至于封号,从他们 discord 记录和网站上的统计,拿这家做瑟瑟的是很多的。而且我就这么和你说吧,如果我写的东西都不会被封,你也不需要担心……而速度快( command r+ 60 token/s )选项多是实打实的。
24 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
@shuimugan Command R+居然是 open weights !用了这么久我都不知道,他们官网也没写
24 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
刚才去看了下 hermes 的模型卡,fp16 要超过 800GB 的显存,而 fp8“仅需”430GB ,这样的模型,在 openrouter100 万个输入 token 才 1.79 美元……
本地的话最多也就 int4 量化 70B 了,但是效果真的不是很好。最近的 70B 跑分王 qwen2.5 和英伟达的 Nemotron 我都试过,真的就只是跑分王。尤其是 Nemotron ,它高分主要是输出长,不切实际的跑分就喜欢输出长的,然而对人类来说就是啰嗦、废话多。Qwen 经常英语中文乱混,我用英语的时候它喜欢夹几个汉字,我用中文它又整几个英文单词出来了,很无语。这俩还是有审查的,需要找越狱 prompt ,越狱也不是一定管用的。
另外还有两个我个人用的多一点的模型是 WizardLM 和 DolphinLM ,都是基于 Mistral 的 MoE 模型,优点是很便宜。Wizard 有一点点审查,一个简单的系统 prompt 就搞定了,Dolphin 无审查。
24 天前
回复了 babyedi31996 创建的主题 程序员 本地部署大语言模型哪家强?
玩 silly tavern ,建议用 openrouter ,silly tavern 支持他家的 api ,而且是按量付费,用多少付多少,还能匿名用 claude/gpt 不怕封号,多好,搞什么本地。模型建议 hermes 3 405b (基本是 llama 3 405b 的去审查版)或 command r+(无审查的商用模型,个人感觉效果其实不是很好,但是非英语会比 hermes 好一些。社区微调一般只会英语)。效果真的把那些本地 13b 小模型吊着打,还快。本地搞一堆非常低的量化也就勉勉强强跑个 70b ,速度还不行,而且你本地买两张 24g 的卡能在 openrouter 玩多久……
@pyre 如果是国产的 400IU 800IU 是很难过量,但是我买的 doctor's best 一粒就是 5000IU ,吃多了还是有风险的。而且人和人体质不同,口服中毒风险个体差异巨大,有条件还是去医院测一测血羟维生素 D 浓度。
你确定真的需要吃吗?去医院测过吗?如果是 B 、C 之类的还好,水溶性很难超量,但是你要是 A 、D 狂吃过量后果很严重。
@heyjei 5km/h?你确定没打错?这是走路的速度啊,我们小区楼下的小朋友学骑自行车都比这快,怎么能摔的?这速度把脚一伸不就停了吗。
35 天前
回复了 ProgramFiles 创建的主题 信息安全 上了外网但谷歌推荐都是中文
@ProgramFiles 我先确认一下,你是在模拟器外面的 Windows 开的代理软件,还是在模拟器里面的 Android 开的?在外面可能有很多问题。另外换个代理软件试试,我用的 https://karing.app/download/,这个软件点“速度”上的绿色显示器图标可以看到活动连接,不过它 UI/UX 特别差,手动加 socks 要先点+号添加自定义配置,在去配置里找到刚加的配置,点最左边+号添加 socks 。
35 天前
回复了 ProgramFiles 创建的主题 信息安全 上了外网但谷歌推荐都是中文
@ProgramFiles 先去侧栏里的 route (中文应该会是路由或分流)看看有没有可疑的规则会把谷歌流量分走,再去设置里把日志开到 info ,然后侧栏点日志看看流量有没有走。还有就是不一定是 IP 的问题,模拟器的语言啊区域设定等等都有可能,比如 clip studio paint 假如 regional format 是中文中国就用不了(经典正版受害者)。
35 天前
回复了 ProgramFiles 创建的主题 信息安全 上了外网但谷歌推荐都是中文
还有你具体是怎么用代理的?你一直说全局全局真的代理到了吗?用的是 tun 虚拟网卡还是仅仅设置了代理?如果只是在安卓 wifi 设置了指定了代理,那个要软件/库主动去用才行。如果用的是 tun ,模拟器到底走不走虚拟网卡?而流量进到 singbox 里,分流是什么样的?比如我的机场配置就把一些谷歌域名(比如 mtalk.google.com )走直连了。
35 天前
回复了 ProgramFiles 创建的主题 信息安全 上了外网但谷歌推荐都是中文
你一直在强调 IP ,但是问题是真的是 IP 的问题吗?你只是观测到 play 商店地区不是代理区域,但是你并没有找到证据它识别到了 IP 啊?
36 天前
回复了 ProgramFiles 创建的主题 信息安全 上了外网但谷歌推荐都是中文
另外你是用的什么软件?确定是走代理了吗?代理软件的日志也可以看看。
36 天前
回复了 ProgramFiles 创建的主题 信息安全 上了外网但谷歌推荐都是中文
37 天前
回复了 ojbkk 创建的主题 问与答 关于生铁锅
开锅不用猪皮,普普通通的炒菜植物油就行,亲测,炒饭煎淀粉肠等都试过。而且也不需要像一些视频里那么麻烦,什么烧到变蓝之类的,只要把油烧到特别热就行了,不管是热锅加油还是冷锅加油都行,只是热锅加油容易控制一点。开完后用洗洁精洗或者用钢丝球的话要重新来一遍。
把不是紧跟着标点符号的\n 删掉试试
1  2  3  4  5  6  7  8  9  10 ... 13  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2935 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 25ms · UTC 12:43 · PVG 20:43 · LAX 04:43 · JFK 07:43
Developed with CodeLauncher
♥ Do have faith in what you're doing.