请教一下 Python 爬虫问题

[coolair]

目前是先爬列表页，然后取出各个详情页的 id 放到一个 queue 中，另外开几个线程从 queue 中取 id 爬数据。
但是，爬取详情数据的时候会出现失败，想把失败的 id 重新放入 queue 中，但是有一个线程往 queue 中放数据了，这个时候 queue 就一直是满的，导致爬详情数据的线程都挂起了。
有什么好的解决办法吗？

[csx163]

加个 redis ？

[ClutchBear]

详情页 url,
存到 redis 或者 kafka

[sheep3]

加快消费速度
增大队列长度

[martinsu]

队列优先级