Python 扫描工具实现求助

最近在写一个扫描工具

网页端发送一个任务，后台根据任务类型，调用 celery 的服务，进行相应的扫描。现在能够运行，但是效率很低。

我想进行几处优化： 1. 把分发任务的代码当作一个 worker，多启几个实例 2. 再有一个类似 scheduler 的角色，将网页端发的任务，做个负载均衡的功能，转发给 worker 3. worker 再每隔一定时间给网页端返回一个心跳

各位大佬，能不能给我介绍能够实现我需求的框架 /思路？

fiht

2017-07-04 16:44:38 +08:00

1. 效率很低
为什么很低？是完成一个任务需要的周期长还是任务太多但是完成一个任务所需要的时间很短？
如果是单个任务周期长的话多开几个消费者就可以了
如果是单个任务周期短的话多开几个消费者也可以了
另外如果是单个任务周期长的话有没有考虑过让单个任务周期变短呢？
其实还是得看具体的任务背景啦~
一楼说得对，你思路已经有了，只是懒得实现而已

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/372957

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

Python 扫描工具 实现求助

Python 扫描工具实现求助