我这种需求应该去学什么

[sg8011]

最近碰到一个需求，业务部门想要统计业务系统里的某个业务参数，但是业务系统里面并没有提供这项参数的统计功能，也没办法导出 excel 表来自己统计，只能在点开每个详情一一里面查看。但是这个业务每个月至少有 4000 多件，一件一件点进去的话算，非常费时费力，应该学点什么技术，可以实现提取并汇总每个项目详细信息里的这项数据，然后进行统计呢？

[tool2dx]

可以用 sql 统计，业务数据一般都是存在数据库里的。

[zsh2517]

@tool2dx 普通人应该没权限接触数据库。我建议学一下 js 和油猴脚本（或者一些爬虫相关的知识），从前端把数据扒拉下来

[sg8011]

@tool2dx 这个业务系统是上头开发的，不可能给你数据库权限

[sg8011]

目前只是模糊的感觉应该是爬虫方向或 rpa 方向，但我们这个是内部网络，不连互联网的，rpa 我看很多都得联网才能用

[Frankcox]

python selenium 爬虫

[greycell]

需要学会怎么给上面提需求。

[sagaxu]

内网一般不会反爬，抓一下详情页 API ，这点儿数据量也不用调度

简单学点 python, 依葫芦画瓢调 requests 请求数据，然后用 BeautifulSoup 解析，最后输出 csv

[sillydaddy]

方案 1 ，给老板提预算，招 5 个手下，手工统计。你负责做管理人。

方案 2 ，给老板提预算，5000 块外包解决。你整理几个模板页面，花 2000 块找个外包开发抓取功能是，自己挣 3000 块的辛苦费。

方案 3 ，给老板提预算，自己需要 1 个月的时间来学习爬虫。这段时间好好学点技术。

[sillydaddy]

让老板肉疼，他就会去找上面做业务的，用一个 SQL 语句解决这个问题。

[fanersai]

感觉是你们信息科的这个项目没有给尾款/维保费用克扣，甚至验收的时候数据库并没有给信息科的工程师开放，兼职愚蠢！

[Ranhao]

如果你不是开发相关，#9 说得好

[kw8023cn]

爬虫麻烦了，让 chatgpt 给你写一个脚本，脚本要求如下：
通过业务列表接口获取所有所有业务 id ，至于接口是啥，自己 f12 在列表页扒一下，
然后遍历这个接口返回的数据集合，取出里边的 id 字段，接着把这个 id 拼装到业务详情接口，至于接口是啥，自己 f12 在详情页面拔，一般详情页面的地址栏就能看到，这样能拿到业务详情数据，把接口返回的数据的 key 作为表头，value 作为一行内容，输出到一个 excle 中。
这样你就能得到一个汇总了所有详情数据的表格。

[kw8023cn]

当然接口是需要登录的，你需要 f12 把你们系统的登录凭证复制一下，使用 python 添加到请求头里，告诉 chatgpt 就行了

[zhangkai1024]

使用 postman 一次性请求所有数据，pageSize=4000
将 response 中 data 的不分贴给 chatGPT 生成表格

[sg8011]

统一回复楼上各位，这系统不是我们开发的，是上面的总公司找软件商开发的，我们只是用而已。什么 SQL 数据库提需求的啥的就不要想了，提预算也不可能给你。就是得自己解决

[RandomJoke]

爬虫方向没问题，而且也没多复杂，上面说的那些用请求的，前提都是前后端分离的

[min]

rpa 加 excel （或者统计分析软件）

[hackhu2019]

可以看看 rpa 工具，比如「影刀」，图形化配置，然后抓数据下来操作

[leejinhong]

合理利用 chatgpt ，把你的需求结合你们业务系统的网页结构直接描述给 chatgpt 生成脚本去执行。至于什么脚本语言都是可以的，看哪种比较容易看得懂，比如 js 、php 什么的。

[sg8011]

如果要通过爬虫解决,现在什么爬虫框架比较好,python 和 go 语言都会一点
还是要学习 selenium puppeteer 之类的工具?