最近在做一个爬虫系统,本地的爬虫端我我做的,包含了几款 app 的登录爬取操作,后台是后端兄弟用 springboot 做的,现在在进行对接,他那边下发任务通过 redis 消息通道,我这边要上报心跳和任务爬取状态,要支持并发。 想问下,我这边客户端怎么做并发操作,就是定时节点心跳上报同时开站爬虫、任务采集状态上报。 难道用进程和线程吗? python 这边有没有比较好的异步处理方案或者工具
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
https://www.v2ex.com/t/809595
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.