推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 4350 天前的主题，其中的信息可能已经有所发展或是发生改变。
在写一个爬虫，用Queue配合thread来实现线程池，爬完一个地址，调用一次queue.task_done()
但在爬的过程中，有可能出一些Error，比如TimeOutError什么的，这样的话线程就挂了，永远也不会返回，也就调用不了queue.task_done()，最后就卡住了
请问这种情况该如何处理？
我想的是重写个queue.join()，在其中判断queue是否为空，如果是空的，就说明已经都爬完了，然后就退出，有没有更好的解决方法？
但在爬的过程中，有可能出一些Error，比如TimeOutError什么的，这样的话线程就挂了，永远也不会返回，也就调用不了queue.task_done()，最后就卡住了
请问这种情况该如何处理？
我想的是重写个queue.join()，在其中判断queue是否为空，如果是空的，就说明已经都爬完了，然后就退出，有没有更好的解决方法？
 |
1
quake0day 2012-05-27 09:55:56 +08:00  2
try catch pass 不行？
|
 |
2
Livid MOD 2
用 try catch 处理异常。
|
 |
4
INT21H 2012-05-27 09:58:25 +08:00 1
global队列，然后 while len(q) > 0:
try-except判断是否timeout，若timeout，该线程q.get() 不能让一个线程挂掉 |
|
5
Livid MOD 2
或者你可以重新写一下你的程序，用 celery 来实现多任务并行处理。
|
 |
6
sivacohan 2012-05-27 10:52:10 +08:00 1
守护进程。。。。
我是这么干的，一会检查一下那些进程挂掉了。。。。 |
 |
7
clowwindy 2012-05-27 10:53:41 +08:00 1
try except finally 为什么不行？楼主贴一下 except 代码，和异常堆栈信息看看。
|
 |
8
reus 2012-05-27 13:54:06 +08:00 1
用multiprocessing.Pool
|
 |
10
gonbo 2012-05-28 10:33:56 +08:00
scrapy 这种框架已经很无敌啦。。。。
|
 |
11
zealot 2012-06-09 12:17:31 +08:00
scrapy +1
|
Select Language