V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
taomujian
V2EX  ›  Python

Python rq job 没执行完毕就停止

  •  
  •   taomujian · 2021-01-05 16:41:05 +08:00 · 1490 次点击
    这是一个创建于 1422 天前的主题,其中的信息可能已经有所发展或是发生改变。

    用 rq 管理任务队列,每个工作任务里是开了线程执行其它任务,为啥程序没执行完就停止不执行了呢?并且出现 job ok 提示,明明没执行完,我在开的线程里循环输出 0-1000,有的 job 能全部输出,有的输出等到 600 就结束了,这是咋回事?烦请各位大佬指教.

    3 条回复    2021-01-05 16:57:15 +08:00
    Latin
        1
    Latin  
       2021-01-05 16:51:38 +08:00
    不贴代码 怎么看
    taomujian
        2
    taomujian  
    OP
       2021-01-05 16:55:51 +08:00
    scan_data = {
    'target': target,
    }
    scan = Scan(mysqldb)
    q.enqueue(scan.async_exe, scan_data)

    def async_exe(self, kwargs):
    thread = threading.Thread(target = self.run, args=(kwargs,), daemon = True)
    thread.start()

    def run(self, kwargs):
    for i in range(1000):
    print(i)
    taomujian
        3
    taomujian  
    OP
       2021-01-05 16:57:15 +08:00
    #!/usr/bin/env python3

    from redis import Redis
    from multiprocessing import Pool
    from rq import Queue, Worker, Connection

    redis_conn = Redis(host = '127.0.0.1', password = '', port = 6379)

    def worker(listen):
    with Connection(redis_conn):
    worker = Worker(map(Queue, listen))
    worker.work()

    if __name__ == "__main__":
    listen = ['high', 'default', 'low']
    worker(listen)
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1542 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 17:06 · PVG 01:06 · LAX 09:06 · JFK 12:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.