首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Flask

在 flask 中 redis 订阅数据持久化到 mysql 的问题

  •  
  •   ingin · 363 天前 · 1996 次点击
    这是一个创建于 363 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在有一个 flask 项目,写了一个下任务的接口,下完任务需要调用第三方接口去做一个诊断服务,诊断完毕后会把结果推送到 redis 上,我需要订阅 redis 的 channel 来监控数据,所以我写了一个工具方法来监控这个 redis 的数据变化,监控到数据变化就持久化到 mysql,可是使用 gunicorn 来开四个进程跑 flask 服务的时候会同时写入 mysql 四条数据,总不能为了监控 redis 数据就只能使用一个进程来跑服务吧。

    7 回复  |  直到 2019-07-07 19:50:04 +08:00
        1
    whl619969187   363 天前
    redis 的消息订阅是广播类型的,所有会造成重复消费;
    可以用阻塞队列,起线程监听
    或者用 kafka 吧这个支持同消费组一条消息只消费一次的
        2
    ingin   363 天前
    @whl619969187 #1 redis 推送数据那个是第三方接口,所以我只能在我这边做改动
        3
    whusnoopy   363 天前 via Android
    单开一个监听 redis 的服务进程? gunicorn 的 web 不去管这事

    或者用 celery 之类的做定时任务,一分钟去检查一次 redis,不要让 redis 自己推送
        4
    feverzsj   363 天前
    先进 mysql
        5
    ingin   363 天前
    @whusnoopy #3 目前我就是这样做的,但这就相当于两个项目了,还是想做到在一个项目内。
        6
    whusnoopy   363 天前
    @ingin 项目还是可以是一个项目,代码在一块,只是部署时分开启一个 flask web app 和一个 celery app,另外如果需要维持 beat,还要给 celery 启一个 celery-beat
        7
    liwb2   130 天前
    实现一个外部锁,当 4 个进程取到消息之后,先取请求锁,取得锁的进程开始写 db。
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2781 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 27ms · UTC 11:54 · PVG 19:54 · LAX 03:54 · JFK 06:54
    ♥ Do have faith in what you're doing.