我用 scrapy 写了好几个网站的爬虫,就是抓取一些简单的文字。
现在希望爬虫能定时启动去爬取内容。
1 能够设置定时任务,各个爬虫可以设置不同的启动时间。 2 足够灵活,能够修改/取消。 3 爬虫 log 能够收集起来,到 redis 之类的
有没有比较好的方案啊?看了一下 pyspider 感觉挺好,但是不好灵活修改启动时间。