如何一键启动并监控多个 Python +requests 爬虫

[Hiyokunotori]

我知道 scrapy 可以使用 scrapyd 来监控 可是我有很多 requests 写的爬虫该如何监控呢？ 我目前的做法是在 pycharm 里一个个去运行程序 然后在 run 栏里会出来多个标签可以监控输出 或者是打开多个 cmd 每个里面 python xxxx 但是这样当电脑重启再来启动多个爬虫很麻烦 有没有好的方法或者 pycharm 现成的设置能让我配置好所有爬虫程序后一键启动并且分成多个标签让我来监控程序的输出呢？

[ModerRAS]

你可以直接写一个调用其他爬虫 main 函数的脚本，然后直接输出控制台就好了

[genius2k]

logger

[Luxurious]

把 requests 爬虫分下类, 放到一个文件夹, 另外写一个脚本来管理这些文件夹下的爬虫

[fakeman]

用 supervisor 即可

[rocketman13]

脚本就可以一键启动，日志管理就可以监控输出

[lowman]

进程管理工具

[tikazyq]

这个需求太符合 Crawlab 了！ Crawlab 是分布式爬虫管理平台，非常适合爬虫任务调度、任务监控、数据分析。欢迎来试用

Github: https://github.com/tikazyq/crawlab

[huaerxiela6]

进程管理工具

[Hiyokunotori]

@fakeman win 的话使用什么呢。。

[fakeman]

@Hiyokunotori http://doc.pm2.io

[Hiyokunotori]

@fakeman 十分感谢