如何能训练 AI 操作软件?

69 天前
 wildmaker

发现一个需求,工作中要用多个仿真软件,软件操作重复性高,软件现成的接口几乎没有,求教有什么方法可以自动化?

看了看开源项目,依然没有思路,🤣

话说我觉得这需求可以商业化,不过容易被 AGI 一下子干死

能搞钱的需求太难找了,现在找到的需求都 TOO HARD ,无力吐槽

1950 次点击
所在节点    奇思妙想
14 条回复
GooMS
69 天前
RPA
sillydaddy
69 天前
现在的大语言模型应该就可以做到。只需要开放给它通过 UI 操作软件的权限。

我最近正好也想找一个这样的工具,平时的开发工作,编码完成后,需要点击很多次 UI 来调试时,也可以用到。
line
69 天前
要直接将屏幕内容输入给 AI 目前还是很难的,AI 自主再通过操作鼠标键盘操作 PC 。 这个难度相当于:操作二维世界的机械手。
gaobh
69 天前
通过无头浏览器操作,传统爬虫怎么搞的原理一样
iloveayu
69 天前
1 楼正解,对接 UI Path 这类的 RPA 软件,应该是最快的。
windmoonwind
69 天前
具体啥操作啊,如果就是规律的条件化操作,感觉你这需求按键精灵类的就能做到,用不着上大模型啊....
或者用这个水哥版 RPA
https://github.com/xlbljz/waterRPA
SWALLOWW
69 天前
这么说我能大模型玩游戏啦
youyoumarco
69 天前
按键精灵+1
wildmaker
69 天前
@windmoonwind 不是路径严格的操作,需要根据结果判断下一步动作
cat9life
69 天前
之前记得在 hackernews 上见过一款调用 chatgpt 来操作的软件。
windmoonwind
69 天前
@SWALLOWW 今天刚看到一则新闻,有个团队趁热训练 AI 打黑悟空,死了 1000 多次,把第一关过去了...
lneoi
69 天前
向大模型解释各个参数信息,然后返回参数数据,实际调整由另外的软件去操作
Baymaxbowen
68 天前
web 端有类似工具吗,我想让设计个 agent ,来实现类似 UI 自动化的操作
rekulas
57 天前
你这需求似乎 cradle 很适合 https://github.com/BAAI-Agents/Cradle

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1070144

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX