Macos 上有没有好用的图形化采集工具/爬虫

[c0py7hat]

临时需要爬点东西，python 懂得很少很少，因为不怎么用到爬虫之类的

临时需要爬取点东西，直接就是保存当前页面源码为 html 格式到本地就行

我看火车头没有 mac 版本，后羿那玩意也得需要 py 还要钱，我的量比较大

大概百万以上

有么有大佬推荐下

[also24]

@c0py7hat #19
重点在于：
1 、是否需要配置大量的请求参数
2 、是否存在限制 IP 、链接时效性之类的


如果没有太多限制的话，可以自己只写拆 URL 出来的那部分，然后把需要下载的页面的 URL 灌入 aria2c 的 RPC API 来添加任务，多线程的部分就交给 aria2c 来处理。


如果确实涉及到比较多的流程需要敲代码来搞下载部分，那建议碰一下 aiohttp 这个库：
https://docs.aiohttp.org/en/stable/

[wangyzj]

图形化？
虚机搞 win10
装个火车头

[c0py7hat]

@also24 好的 多谢

[charlie21]

爬虫无脑 wget

[tikazyq]

crawlab 的可配置爬虫了解一下？

[gen900]

curl 了解一下

[Cmdhelp]

python