我在写个爬虫，想问一下大家这种思路是不是错误的。

[jakeyfly]

因为是监控很多个一个网站的很多个不同的目标源，所以我决定用 APS 启动多个异步任务抓取（根据每个任务的特征，判断启动时间与结束时间，请求间隔设成五分钟一次这样）

然后这些抓取的内容先不洗清，按事先搞好分类扔进不同的 KAFKA 频道。

另一边不同的洗清模块从不同的 KAFKA 频道抽取，进行清洗，并存入 SQL 数据库，一般是 MYSQL

这样的话，我很容易就写成，抓取与清洗是两个程序。等于需要启动两个程序。一个启动爬虫抓，另一个启动清洗程序，是否成熟的作法是只有一个入口文件，启动后两个都开始执行？

[leonme]

第一个分号之前的内容都没读明白

[leonme]

@leonme 逗号，不是分号

[Wincer]

抓取和清洗应该是两个模块，但可以不用是两个程序。

[jakeyfly]

@Wincer 我是两个模块，只是我现在写成，两个入口文件了，是不是写的有问题

[zn]

说得挺明白了。

这么说吧，两种方法都可以，并没太大优劣之分。

如果是我，我会分开，会更方便开发和调试。还能一边默默爬，一边调试清洗程序，互不干涉。

[kslr]

一个项目随便跑一个 queue 不就行了
我觉得分开比较好，因为可能速度不一致