想找满足这 5 个特性的低代码爬虫

2023-11-13 12:24:52 +08:00
 sillydaddy
  1. 方便获取稳定的 selector 。最好可以在页面上直接选取元素,获得 selector 。
  2. 准确提取 data 。可以解析常见数据类型,如提取文本数字。也可以自定义解析脚本。
  3. 存储到指定的位置。将上述的 data 与 db 对应起来,最好可以用连线的方式,可视化的编辑 1 对 1 的关系。
  4. 构建循环的流程。爬虫一般都有循环结构,要能简单方便的构建流程,例如简单的逻辑不需要写代码。
  5. 异常的处理。如果采集过程中出错,要能够指定后续的流程。是返回上一级,还是抛出异常,还是加入到队列。

想请问常用爬虫工具的 v 友,有没有满足这些条件的低代码爬虫工具呢?

3589 次点击
所在节点    程序员
21 条回复
macaodoll
2023-11-23 08:43:51 +08:00
最近正好在做一个开源的,跟你说的差不多,但是还没这么快写完

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/991427

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX