Python 多线程跑着跑着挂了，该如何处理

[shiweifu]

在写一个爬虫，用Queue配合thread来实现线程池，爬完一个地址，调用一次queue.task_done()
但在爬的过程中，有可能出一些Error，比如TimeOutError什么的，这样的话线程就挂了，永远也不会返回，也就调用不了queue.task_done()，最后就卡住了

请问这种情况该如何处理？

我想的是重写个queue.join()，在其中判断queue是否为空，如果是空的，就说明已经都爬完了，然后就退出，有没有更好的解决方法？

[quake0day]

try catch pass 不行？

[Livid]

用 try catch 处理异常。

[shiweifu]

@quake0day Exception能捕获，Error捕获不了，直接就挂了 ＝ ＝！

[INT21H]

global队列，然后 while len(q) > 0:
try-except判断是否timeout，若timeout，该线程q.get()

不能让一个线程挂掉

[Livid]

或者你可以重新写一下你的程序，用 celery 来实现多任务并行处理。

[sivacohan]

守护进程。。。。
我是这么干的，一会检查一下那些进程挂掉了。。。。

[clowwindy]

try except finally 为什么不行？楼主贴一下 except 代码，和异常堆栈信息看看。

[reus]

用multiprocessing.Pool

[shiweifu]

@all 已解决，谢谢大家

[gonbo]

scrapy 这种框架已经很无敌啦。。。。

[zealot]

scrapy +1