V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  tsuijinglei  ›  全部回复第 1 页 / 共 11 页
回复总数  220
1  2  3  4  5  6  7  8  9  10 ... 11  
很不错了
@Clannad0708

评估分为两个视角

首先是性能、成本方面,也就是你说的上下文处理效率,从用户发起一个请求,经过几个环节的 prompt 注入,最后得到一个结果,这中间每一个环节都需要有个留痕,通过 traceid 串起来;

有了这个基础设施之后,我基于目标的 userstory 所对应的场景,每个场景准备 n 个场景的用户 query ,保证 query 覆盖面在实际场景中能占到 70%左右;用这些 query 做端到端的观测,看上下文、skill 、思考过程中有没有什么多余的动作,这些多余的动作有没有额外的 token 消耗;

如果识别到了这种多余的动作或者异常的 token 消耗,就会走一套比较严谨的消融实验来论证要不要优化某个环节的设计;

其次是业务效果方面也会分两块,首先是客观效果,这块其实是关心业务目标,然后基于业务目标,拆解成一套可以刻画业务目标的评估维度,围绕着维度,mock 了一套测试集,定义好输入输出,因为我是销售 agent 场景,你可以理解为长得像这套 salesforce 定义的一套 benchmark,https://huggingface.co/datasets/Salesforce/CRMArena/viewer
通过这套 benchmark ,我们能够定义 agent 出厂的质量;

而主观的质量就要通过缓慢的灰度发布来一步步的和用户磨合了,每周多开一批用户,设定一个灰度预期,然后与用户泡在一起使用,看看有没有没想到的问题,直至推全;好的 agent 产品是规划不出来的;
@shyrock2026

用户五位数,因为是服务销售人员,销售人员大概一万多人吧;
覆盖的客户就多了,日均处理时百万级;所以 token 消耗大
这个好,正好在找
牛逼牛逼!太好用了
2025 年 1 月 6 日
回复了 tsuijinglei 创建的主题 投资 20250103-A 股题材分析-PTA 能追吗?
@Sawyerhou 核心逻辑是不能追,因为 PTA 主要挂钩原油价格,不跟随情绪,涨的也有限。能追的也不敢说,只能提供客观的一些信息收集结果,能不能追还是得大家自己判断。
2024 年 12 月 31 日
回复了 jgl666 创建的主题 程序员 大家进来参谋参谋,微信小程序起名
建议有个动物形象,会更容易植入概念一些,比如:
小喜鹳
或者埋一个伏笔,让人在打开小程序后,看到 solgan 能够觉得:妙啊
比如
小蚯蚓:用心一也。
2024 年 12 月 31 日
回复了 zyxcompany 创建的主题 职场话题 不知道为什么国内招聘第一眼看的是学历不是能力
唉,学历是非常高效的筛选条件,在高学历中捞高能力的人,比在低学历中捞高能力的人的命中率更高。我觉得这可能是大多数企业的想法。

但是如果有些企业,希望追求极致的性价比,比如能力高要价低的人,那也许就会看看低学历的人中有没有沧海遗珠。这种公司一般都是创业公司。

BTW ,我自己也是专升本,痛苦挣扎中。
2024 年 12 月 25 日
回复了 tsuijinglei 创建的主题 投资 我们做了个基于大模型的投研应用,想请你来体验
@leoshcn 谢谢老哥,美股我们会逐步覆盖的
2024 年 12 月 18 日
回复了 tsuijinglei 创建的主题 投资 我们做了个基于大模型的投研应用,想请你来体验
拜谢大家帮忙参与冷启动,希望我们能做成好产品
2024 年 11 月 1 日
回复了 seachal 创建的主题 程序员 关于转行:人生的重要时刻的艰难抉择
我个人觉得,训练模型的开发人员门槛高,需求量也不大。

你可以考虑往算法工程,串 Pipeline 的方向积累一些知识,可以先通过 Coze 上手,然后自己写代码串几个开源的模型和框架,复现一个带有 COZE 工作流概念的 MVP 代码,应该就能找到一份入门的工作。

目前各个大模型团队应该都不在卷模型了,而是在卷工程。
2024 年 9 月 18 日
回复了 sskyy 创建的主题 酷工作 [杭州] AI 初创公司 900/天 招前端、后端实习生
one2x ,月之暗面的产品总监出来创业吧
2024 年 3 月 13 日
回复了 flynnlemon 创建的主题 职场话题 offer 求分析
我是个产品,斗胆帮忙参谋一下,每个 offer 都是大厂,恭喜楼主,楼主实力强大。

可以从年终奖的角度来考虑,一般来说大厂的年终奖,都跟这个业务的发展多多少少有点关系,发展的越好,所在产线的年终系数应该也越高。

1 、CDG 的 Fintech 业务毛利应该是非常高的,而且三方支付平台是民生业务,业务底子不会差,增长也可观,现在海外的微信支付业务应该还有大量的业务场景没闭环,要做的东西多,做下来一块就是实绩,年终系数应该不会低,T1 优先级吧。

2 、抖音搜索,不太清楚实际情况,同类强敌应该是小红书,这个业务线太成熟了,想做出实绩的增长空间感觉有限,可能是个中长期才能看出效果的事情。我感觉抖音的毛利来自于人群标签的推送,而不在搜索结果上排序上,跟淘宝不一样。

3 、拼车业务,也是个民生项目,但是国内打车平台种类繁多,而且毛利应该不算高,可能是个常规营收的活儿,年终系数也就正常。

4 、B 站的搜推业务,跟 B 站的主营收没有强关联,机器学习方向按现在业务视角的 AI 发展风向来看,暂时不属于 AI 了,AI 都在卷大模型的东西。既不是主营,也不是风口,感觉排名最后吧,B 站营收翻番了跟这个业务可能也没什么关系。

以上都是些拙见,不一定对。

比如我在这逼逼各个业务的毛利高低,但 B 站搜索可能就 1 个老哥,成本很低,那再比较下来,人效就巨高了,年终系数可能也不比另外三家差。

所以仅供参考,不一定就是对的。
2022 年 4 月 21 日
回复了 tsuijinglei 创建的主题 求职 看看有没有需要我的公司, 7 年产品, AI 方向
抱歉忘了说明,Base 上海最好,苏杭也可。
@chenlee9876 是要的兄弟
@kangmang92
我也愿意做你朋友,我还在敝司,有兴趣了解真相吗。
@zouxcs 有的,前后端都有,Java\python 都要
@xxxrubyxxx 您好,不卡学历的。
但是需要有心里准备的是,如果学历上没有突出的地方,
那项目经验和技术能力可能会有更高的要求。
建议您把自己的 Github 和技术博客多展示一些出来。
@efaun ai 测试没人能发布了(滑稽
1  2  3  4  5  6  7  8  9  10 ... 11  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   960 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 18:57 · PVG 02:57 · LAX 11:57 · JFK 14:57
♥ Do have faith in what you're doing.