V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
answerw
V2EX  ›  Python

python+mongodb 多进程写入的问题。

  •  
  •   answerw · 2015-03-12 11:58:19 +08:00 · 6144 次点击
    这是一个创建于 3552 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近在做一个日志收集和处理系统,用到了mongodb。每个客户端收集数据解析成json通过zeromq发给服务器端处理入库,在入库的时候我想开多个进程往mongodb里面写入,但是多进程环境下,如果多个进程同时修改一个文档
    例如这样的句子:
    update_key = ".".join([channel,grid])
    up_rv = mvod.update(
    {"day":day},
    {"$inc":{update_key:totalbyte}}
    )

    会不会产生脏数据,如果有那么请问是怎么规避的呢?大家有没有在多进程环境下使用mongodb的经验吗,如果有的话是怎样实现的呢?

    5 条回复    2016-04-18 17:03:20 +08:00
    EPr2hh6LADQWqRVH
        1
    EPr2hh6LADQWqRVH  
       2015-03-12 12:07:34 +08:00   ❤️ 1
    不会,$inc操作是atomic的
    futursolo
        2
    futursolo  
       2015-03-12 12:10:49 +08:00   ❤️ 1
    锁库就可以了。
    等处理完一条再把库解锁。
    或者等等3.0的文档级锁。

    有在用MongoDB,不过是异步的Tornado。
    cevincheung
        3
    cevincheung  
       2015-03-12 12:15:18 +08:00   ❤️ 1
    postgresql
    answerw
        4
    answerw  
    OP
       2015-03-12 16:58:12 +08:00
    谢谢大家!
    所有操作都修改成mongodb的update operators ($set,$push,$inc)了。我用版本是2.4.12,看文档上说貌似读写删都会锁,mongodb默认是有锁的,也就是说只要使用了mongodb的更新操作器的原子操作之后,就不会有脏数据写入了。postgresql的话,不想从一个坑再跳到另一个坑了。
    sxiong
        5
    sxiong  
       2016-04-18 17:03:20 +08:00
    请问楼主你多个进程可以功用一个 MongoClient 吗?希望给个代码
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1147 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 18:11 · PVG 02:11 · LAX 10:11 · JFK 13:11
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.