probe301 最近的时间轴更新
probe301

probe301

V2EX 第 8912 号会员,加入于 2011-05-23 00:57:39 +08:00
probe301 最近回复了
也可以考虑 Obsidian 插件 Omnisearch (笔记是中文时, 必须搭配分词插件 Word Splitting for Simplified Chinese in Edit Mode and Vim Mode)

这就有一定程度的模糊搜索能力, 还能自己调文件名 or 小标题的搜索权重
2023-04-08 13:50:42 +08:00
回复了 swhhaa 创建的主题 程序员 ChatGPT 其实是通用人工智能的对立面
@swhhaa


> 但我认为不存在主动改自身结构的智能,这里的“结构“指开始接收训练数据那一刻的全部状态

从实践角度, 这世上哪有啥固定不变的东西? 一个人三岁到三十岁, 脑结构怎么可能不变?
换个思路, 智能体不可以扩展自己吗? 当我想展现出 "数学智能" 时, "我+笔记小抄+文献库" 不能算个复合智能体吗?

我感觉你想表达的这个 "结构" 的含义, 其实有点像 "认知主体 (人 /动物 /硅基体) 的先天认识形式"?


> 我要教会它写代码只通过和它对话的方式肯定是不行的,只能用梯度下降的方式

这楼里之前有网友贴过论文了, 上下文学习可以看作模型的隐式微调


> 如果我能通过和 chatgpt 对话的方式教会它写代码,我也认为它是通用的

我感觉你可能低估了 ChatGPT 的能力
不知道楼主对 提示词工程 了解多少, 可以看看这个人的研究
https://www.zhihu.com/question/582621456/answer/2891745513
注意最后他长图里的例子, 当教给 ChatGPT 啥是 "模式 A+B" 之后 (近似理解为函数复合), ChatGPT 自动学会了模式 A+B+C
这还没完, 他做了很多实验, 一直研究到 ChatGPT 能否自己模拟自己
他的实验, 是侧重模式识别的,
你关心的是 "理解抽象定义并具体应用" (演绎式的), 这我目前没找到亮眼的例子, 找到了分享给你
当然以目前能力 "假设 chatgpt 不会写代码, 临时去教 chatgpt 写代码" 我也觉得没戏, 跟你看法一致

---

此外, 楼主似乎觉得智能体应该表现出 "训练推断没明显分界" 的特性, 我的理解是:

从最终要达成目标上, 赞同
从当前实践上, "训练+推断两阶段分离" 的好处, 要远胜过 "训练与推断融为一体" 的好处, 原因:

1 当下阶段, 分离了有利于 debug, 方便研究
2 视角拉远, "训练+推断两阶段分离" 可以模拟 "融为一体" 的效果,
你可能反驳: 以人为制定的步骤, 模拟出 "推理后把新知识内化到原模型", 不算本事
我的观点: 先用着再说, 小步前进有益于理解 AI 的行为, 也有益于理解人本身
3 方便产品设计: 也许以后 ChatGPT 可以加个 "把用户标注的问答记忆到用户私人 LoRA 里" 的功能, 融一起可就摘不出来了, 考虑到 LoRA 可叠加合作, 也许以后一边干活一边顺手训练出符合你个人代码风格的微调层, 然后把它分享给小伙伴
2023-04-07 23:27:39 +08:00
回复了 swhhaa 创建的主题 程序员 ChatGPT 其实是通用人工智能的对立面
从附图能看出楼主在修正自己的认识, 认可这份严肃认真
但楼主这个表述, 实在是困惑

把 GPT 当函数 f, 把人说的话定义为 x, GPT 回答是 f(x),
那这 dx 是啥东西? 我只能理解成, 根据后面公式 x 其实指喂过的所有数据的整体, dx 是新增训练数据
可是看 ChatGPT 官方给的微调接口就会知道, 微调要求你给出有监督 x->y 数据
此时这 x 是啥形式? 以及 g(x) 的具体定义是啥?
后面 f 做加法操作, 大概定义为 f 更新自己内部状态吧

后面看不懂, 只能模糊理解为, 楼主觉得以 ChatGPT 为首的模型设计, 从根源上超参数 g 是预定的, 这种模型不灵活, 学习潜力差, 于是被迫以大量语料勤练习做为弥补, 最后让 ChatGPT 顶多学成个鹦鹉
(这里 鹦鹉 vs 乌鸦, 是朱松纯提出的比喻, 鹦鹉=不理解只会模仿, 乌鸦=主动观察思考, 并在不允许试错时一次就做对任务)


从我的理解, 楼主是认可以下观点的:

1 模型能自我迭代很重要, 最好能主动改自身参数, ChatGPT 这种上来就限死超参上限的固定模型, 其认知能力上限也是限死的, 所谓三岁看老
2 对于实现 AGI 目标, 仅凭鹦鹉模式肯定不行
3 AGI 除了输出有用结果, 还必须行为像人, 包括: 使用人类语言跟人沟通, 能被人类文化接受, 决策过程可被人理解

这里有太多可讨论话题, 包括 可否同时做训练+推理的工程实践, 对认知 /智能 /AGI 的定义, 智能是否一定具备归纳演绎溯因能力, 人类语言的局限, ... 实在过于复杂, 我自己也只想过其中一小部分
希望楼主能说明, 自己到底关心哪些讨论话题, 我感觉是 1
2023-04-06 15:54:58 +08:00
回复了 swhhaa 创建的主题 程序员 ChatGPT 其实是通用人工智能的对立面
其实, 能理解楼主是在真诚的思考和讨论,
但确实提到事实错误太多了, 看着不舒服, 具体错误不想挨个说

> 我想定义一个新名词 “智力”
定义 “智力” 这太糟了, 宁可用一个冗长但无歧义的词,
比如 "决定生物 /硅基物的学习潜力限制的物理基础" (这词也不精确)
这坨问题已经很复杂了, 别再引入似是而非的词语了

楼主其实不太在意具体工程细节, 他就想跟大伙讨论 ChatGPT 这条思路, 对于实现通用智能的目标, 是不是走歪了

这其实有许多人都批判过了, 有篇
http://www.incompleteideas.net/IncIdeas/BitterLesson.html
全文说的是: 人类的概念, 可能只是人类蹩脚的认知工具 / 脚手架,
别把人类 "为了认识世界而生造的概念" 灌输给机器,
应该让它自己学, 让 AI 能够像我们一样发现, 而不是教给 AI 我们已发现的

楼主可以看看
2023-03-21 07:53:16 +08:00
回复了 bapaws 创建的主题 职场话题 原来墙真的很高~
朋友圈不太适合,

1 从用户的普遍期待上, 朋友圈不是首选的 "学习新知识" 阵地, 主要是个社交联系的场合
2 以自己的使用场景为例, 刷朋友圈时肯定是我精神状态不好, 想放松休闲的时刻
3 可能需要介绍啥是 API key, 咋用 API key, 再加上需要下载应用, 再加上魔法上网, 也许每一层单独都不困难, 但全都做就很困难
4 写推荐是大学问, 我也在琢磨这个, 怎么以忠实朋友的立场, 介绍你觉得有价值的东西 (要诚恳, 要简明, 要共情, 不要自以为是, 不要卖焦虑, 不要博眼球)

最后, 得接受事实, 人家不乐意用就算了
技术上似乎能做到, 比如选多个文件夹压缩, Windows 是可以把复数个文件夹路径都传给压缩软件的
Everything 估计也能做, 不支持可能觉得没大必要吧

除了你说的办法, 还可以:
直接搜上级文件夹再禁掉不想要的路径
研究 "高级搜索" 这里一堆细节选项
2023-03-10 14:06:20 +08:00
回复了 sigoden 创建的主题 分享发现 GPT3.5 真是一款万能工具,是时候清理下工具箱了
请尊重无偿提供工具的人, 即使这些工具只是个简单包装

1 我能驾驭新鲜的生产力工具, 但最好只有我会, 其他人都不懂 /用不着, 才最好

2 我能驾驭新鲜的生产力工具, 且会分享出来, 但只跟有同样价值的人交换

3 我尽量让所有人都能看到好处, 并提供便利让大家都能用上

我很敬佩第三种人, 无论他出于什么动机

另外楼主你这个 "Act like a english-chinsee translator" 拼错了, 但一般不碍事
2023-03-09 14:45:51 +08:00
回复了 coolair 创建的主题 问与答 Windows 下浏览器复制如何复制纯文本?
粘贴时按 Ctrl+Shift+V 一般软件就按纯文本处理了

实在不行可以浏览器插件, Chrome 有个 "拷贝猫" 挺好用, 其他的也行
2023-03-05 23:21:39 +08:00
回复了 xwanjia 创建的主题 推广 有过一些经历,决定输出知识
希望 OP 能输出点知识, 先让我们看看?
好心提醒, 你这直接收费那么贵, 潜在客户可能觉得是 "故意发使用弱智诈骗短信, 筛选目标人群"
2023-02-20 13:30:25 +08:00
回复了 MonTubasa 创建的主题 分享发现 知乎刷多了,总觉得三观和情绪被知乎给带歪了
> 如果你不持续挖掘,那么不管你的关注列表曾经如何翎顶辉煌,也一定会曲终人散去。你只是在抱怨这个社区大了,这种挖掘难度变得更高了罢了。但是有价值的信源的密度变低了,意味着其绝对数量真的就变少了吗?... 问题最终还是归结于“怎么能有效的提高采集效率”。... 你关注得好,知乎对你就是好地方,你关注得不好,知乎就是个坏地方。

https://www.zhihu.com/question/19666344/answer/823306722
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5056 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 01:16 · PVG 09:16 · LAX 18:16 · JFK 21:16
Developed with CodeLauncher
♥ Do have faith in what you're doing.