scrapy 爬取代理，检查代理的程序放在 pipelines 里面合适吗？

[hujianxin]

使用 scrapy 爬取代理，如果想检查代理可用性的话，使用单独的程序检查合适呢，还是放在 pipelines 里面检查合适呢？

我是想通过并发的检查代理。

[scnace]

我的 proxypool 放在了 pipeline 里检查 考虑到免费代理的生命周期和稳定性 其实抓取代理并维护一个代理的数据结构 开一个协程定期 selfcheck 我觉得更合适点。。。

[hujianxin]

@scnace 谢谢回复，我也觉得另起一个程序检查好，因为第一遍检查完了，它还是会过期的。另外请教一下，这个代理池使用一个表存储好呢还是使用两个表（一个存储没检查的，一个存储可用的）。这两种那一种方便呢？

[scnace]

@hujianxin 我用了一个 k v 表存(即所谓的“池”

[dsg001]

过期代理也不能完全抛弃，有些还会复活的