首页   注册   登录
 hanssx 最近的时间轴更新

hanssx

V2EX 第 350569 号会员,加入于 2018-09-19 11:30:43 +08:00
celery worker 多线程执行完后卡住假死
Python  •  hanssx  •  39 天前  •  最后回复来自 hanssx
17
celery 到底能不能动态添加周期任务
Python  •  hanssx  •  52 天前  •  最后回复来自 hanssx
13
vmware manjaro network 上不了网
Linux  •  hanssx  •  56 天前  •  最后回复来自 hanssx
9
sqlalchemy 中 column 类型为 list 的情况
Flask  •  hanssx  •  116 天前  •  最后回复来自 strict
7
使用 pycharm 对 Python 项目调试遇到非常诡异的现象
Python  •  hanssx  •  217 天前  •  最后回复来自 EdwardChu
8
logging format 如何优雅地对齐
Python  •  hanssx  •  322 天前  •  最后回复来自 hanssx
5
hanssx 最近回复了
39 天前
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 嗯,我使用得是你说的 nmap 的 Python 封装库,源码里面使用得也是 subprocess.Popen(),额,需要时可加我扣扣,随时欢迎师父加我。
40 天前
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
已确定为 logging 死锁问题,50 块钱由崔庆才师父和 @neoblackcap 师父平分,
@neoblackcap 师父,加我一下扣扣 9 六 14 六 2392,把支付宝账号发我即可。
44 天前
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
多进程可以解决这个问题,之前 @崔庆才师父说可能是 logging 死锁的问题,很有可能,待下一步确定。
45 天前
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
2019-09-03 Update:
已经修改为 multiprocessing 多线程,但实际测试时,celery 不能直接使用 multiprocessing,解决方案参见 https://stackoverflow.com/questions/30624290/celery-daemonic-processes-are-not-allowed-to-have-children
因为使用 cavas 改动比较大,所以我直接使用得 import billiard as multiprocessing
目前运行中,持续观察。
45 天前
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@xixijun 感谢 xixijun 师父的回答,请问师父你说的可以,是指使用多进程来代替多线程吗?我这边扫的是公司全网,就是扫完之后 celery worker 就卡住假死了,具体详情可查看一下问题描述。
46 天前
回复了 lbfeng 创建的主题 Python Thread join 有点困惑
正如 4l 所说,t1.join()有意义,t5 所需时间比 t1 长,所以这个代码可以只用 t5.join(),但是实际当中复杂场景你怎么知道哪个线程时间长呢?
另附 join vs. wait 中文区别
线程运行 sleep()或 join()方法后,线程进入 Sleeping 状态。区别在于 sleep 等待固定的时间,而 join 是等待子线程执行完。当然 join 也可以指定一个“超时时间”。从语义上来说,如果两个线程 a、b, 在 a 中调用 b.join(),相当于合并(join)成一个线程。最常见的情况是在主线程中 join 所有的子线程。
46 天前
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 我不明白为啥不可以,我先试试用多进程,你也说了 celery 对线程支持有缺陷,网络请求的阻塞是必然的。
46 天前
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@neoblackcap 谢谢,gevent 实现 nmap 的功能基本不可能,必须得使用 subprocess.Popen 去调用 nmap,这种情况下,我使用多进程代替多线程可以吗?你之前说进程或者 gevent 都可以。
46 天前
回复了 akmonde 创建的主题 Python celery 处理结果的入库问题
考虑做成 RPC ?
46 天前
回复了 hanssx 创建的主题 Python celery worker 多线程执行完后卡住假死
@sazima 嗯,本身触发任务的时候,就是用的 apply_async(),应该和这个关系不大。
关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   990 人在线   最高记录 5043   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.3 · 24ms · UTC 19:18 · PVG 03:18 · LAX 12:18 · JFK 15:18
♥ Do have faith in what you're doing.