首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Tornado Documentation
http://www.v2ex.com/tornado/
Tornado on GitHub
https://github.com/facebook/tornado/
Tornado Gists
http://tornadogists.org/
V2EX  ›  Tornado

Tornado中有个handler执行一条时间很长的sql,导致其他正访问网站的连接也会一起等待

  •  
  •   foomorrow · 2013-10-16 14:41:36 +08:00 · 7190 次点击
    这是一个创建于 2191 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我的/a 这个handler中,有个要查询很长时间的sql,大概5秒。在这5秒期间 有其他用户访问tornado网站 也会跟着一起等待,这个有没有办法解决呢。
    21 回复  |  直到 1970-01-01 08:00:00 +08:00
        1
    Livid   V2EX Moderator   2013-10-16 14:42:41 +08:00 via iPhone
    启动多个 Tornado,然后通过 Nginx 做负载均衡。
        2
    shiny   2013-10-16 14:42:43 +08:00   ♥ 1
    用异步的数据库驱动。。。
        3
    foomorrow   2013-10-16 15:18:41 +08:00
    @Livid 目前是这么做的 由于服务器是双核 所以就用supervisor开了2个实例
        4
    foomorrow   2013-10-16 15:20:37 +08:00
    @shiny 我现在用的是sqlalchemy。尝试写成
    jsonmap = yield gen.Task(self.get_data)
    这个样子 是否可行?
        5
    ipconfiger   2013-10-16 15:33:20 +08:00
    @foomorrow 没用的,可以试试我的这个项目 https://github.com/ipconfiger/TorCast 将长时间执行的任务用redis分发到后端的worker进程,然后异步等待返回
        6
    Livid   V2EX Moderator   2013-10-16 16:01:18 +08:00 via iPhone
    @foomorrow 如果不会经常锁表的话,多开几个进程吧。
        7
    est   2013-10-16 16:17:26 +08:00
    @foomorrow @shiny 我觉得 @ipconfiger 说的是对的。如果你db卡了。前端在怎么异步都没用。因为无论你多少个tornado实例,最终heavylifting还是一个mysqld 进程来执行所有查询操作。
        8
    shiny   2013-10-16 16:20:41 +08:00
    @est 但是 mysql 有多线程啊亲!起码不会影响其他用户的访问。
        9
    est   2013-10-16 16:37:25 +08:00
    @shiny 你猜猜mysqld默认线程上限是多少个?
        10
    shiny   2013-10-16 16:58:04 +08:00
    @est 明白了,不过用队列代码会越来越复杂…… 还是优化 SQL、拆分数据库、加缓存方便?
        11
    est   2013-10-16 17:05:55 +08:00   ♥ 2
    @shiny 数据库是瓶颈就应该调教数据库。

    比如我这里

    show variables like 'max_connections';
    +-----------------+-------+
    | Variable_name | Value |
    +-----------------+-------+
    | max_connections | 151 |
    +-----------------+-------+
    1 row in set (0.00 sec)


    如果 show variables like 'thread_handling'; 返回 one-thread-per-connection

    再假设一个用户一个连接,每个连接查询5秒,你可以很容易算出来自己的服务器每秒钟能最多接待多少用户。
        12
    ipconfiger   2013-10-16 17:22:01 +08:00
    @shiny 如果要执行5秒的数据库操作,你打算优化的目标是多少? 用我的异步队列方案的话你可以和网站复用相同的业务逻辑代码,我自己的项目就是复用同一份逻辑代码,所以不会增加代码复杂度,不过这个要看你的设计功力了。
        13
    wwqgtxx   2013-10-16 18:01:11 +08:00 via Android
    感觉需要优化一下sql性能,看看有没有办法优化mysql,或者可能的话把数据库服务器和网站服务器分离,可能会好一些
        14
    zenliver   2013-10-16 21:31:03 +08:00
    1. 优化mysqli性能, 2. 用future.executor
        15
    VYSE   2013-10-16 22:46:06 +08:00 via Android
    以前碰到这种情况就两个选择,换pg或换FLASK+GEVENT。你也可以试试一些改的ASYNC MYSQLDB
        16
    superisaac   2013-10-17 09:46:30 +08:00
    haha, 用这种异步框架又非原生异步的典型问题之一。
        17
    superisaac   2013-10-17 09:47:42 +08:00
        18
    foomorrow   2013-10-17 10:37:55 +08:00
    那如果是这样的话 那tornado比nodejs的优势在哪呢
        19
    zenliver   2013-10-17 16:40:44 +08:00
    @foomorrow 差不多的东西, 唯一的区别是nodejs中你能用到的基本都异步实现的, tornado就少了
        20
    unionx   2013-10-18 09:36:14 +08:00
    @VYSE pg就不需要异步读取数据库或者缓存了么?
        21
    VYSE   2013-10-28 21:17:11 +08:00
    @unionx pg主要有原生的异步库,mysql搞gevent+umysql倒是可以,tornado框架下就少有好的方案了
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3278 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 28ms · UTC 10:31 · PVG 18:31 · LAX 03:31 · JFK 06:31
    ♥ Do have faith in what you're doing.