V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xiaoshouchen
V2EX  ›  PHP

高并发, PHP 请求超时, CPU 占用上不去

  •  1
     
  •   xiaoshouchen · 2020-09-16 16:48:11 +08:00 · 4326 次点击
    这是一个创建于 1289 天前的主题,其中的信息可能已经有所发展或是发生改变。
    服务器是阿里云的 8 核 8G
    当有稍微高一点的并发时,PHP 就会超时 504 或者 502,然后 CPU 占用率在 30 %左右上不去
    PHP 用的 Docker + Alpine-fpm 7.2

    pm=static
    pm.max_children=16

    我尝试把 max_children 提高,CPU 占用率还是低
    27 条回复    2020-09-17 10:58:50 +08:00
    opengps
        1
    opengps  
       2020-09-16 16:52:07 +08:00
    你的问题不一定是配置问题,更像是单个站点下的某些资源占用较大成为瓶颈点了
    思路一:找出来代码操作资源使用的瓶颈点,代码优化,提高单站点负载能力
    思路二:如果不从优化资源占用代码角度讲的话,适合用多个站点来“负载均衡”
    ben1024
        2
    ben1024  
       2020-09-16 16:54:46 +08:00
    排查下有没有 磁盘 IO 或者 DB 操作限制
    qq1340691923
        3
    qq1340691923  
       2020-09-16 16:56:18 +08:00
    代码问题
    owenliang
        4
    owenliang  
       2020-09-16 16:57:00 +08:00
    空接口能跑上去,那就不是 PHP 配置问题了。
    wakzz
        5
    wakzz  
       2020-09-16 16:57:24 +08:00
    1. 输出红火图,查看应用 CPU 时间分片占用分布
    Aliencn
        6
    Aliencn  
       2020-09-16 16:57:58 +08:00
    pm.max_children=16
    这个值太小了吧。
    wakzz
        7
    wakzz  
       2020-09-16 16:58:16 +08:00
    2. 执行命令`dstat 1`,监控一下压测期间服务器的 CPU,IO,网络,中断的数据情况
    keepeye
        8
    keepeye  
       2020-09-16 16:59:15 +08:00
    php-fpm 进程数量太低了,加到 256

    你这个大概率是 io 瓶颈,跟 cpu 没啥关系,检查下你的代码吧,是否有远程调用或者数据库是否慢查询了。
    xiaoshouchen
        9
    xiaoshouchen  
    OP
       2020-09-16 16:59:46 +08:00
    @Aliencn 请问大概多大的比较合适,我曾经请教过别人,别人给我的回复时,CPU 切换本身也是消耗资源的,CPU 本身的限制在那,过多的提高 max_children 没有效果,反而有副作用( CPU 切换消耗资源)。
    sagaxu
        10
    sagaxu  
       2020-09-16 17:02:53 +08:00 via Android
    @xiaoshouchen 瞎 jb 扯,fpm 先加到 100 再说
    zibber
        11
    zibber  
       2020-09-16 17:04:45 +08:00
    8g 内存,把每个进程占用内存调小, max_children 调到 500 没问题
    xiaoshouchen
        12
    xiaoshouchen  
    OP
       2020-09-16 17:05:42 +08:00
    @keepeye 数据库用的阿里云的 RDS,没有查到慢查询的记录,而且 CPU 和内存的占用率也很低。除了微信分享、登录之外,基本上没有第三方的请求。磁盘 IO 占用率也不高买的是 IO 优化版的服务器。php-fpm 进程开太多,会不会导致 CPU 切换时间片本身消耗 CPU 资源。
    xiaoshouchen
        13
    xiaoshouchen  
    OP
       2020-09-16 17:10:10 +08:00
    @sagaxu 可否详细说明一下,FPM 进程数和配置的关系,”进程数过多,CPU 时间片切换消耗资源“这个说法的错误之处在什么地方呢?
    janxin
        14
    janxin  
       2020-09-16 17:22:15 +08:00
    @xiaoshouchen 你现在 CPU 的占用很低,没有到 max_children 敏感的阶段。还是需要加大的。其他的要看周边的数据影响,比如是否 DB 拖慢 etc
    zpfhbyx
        15
    zpfhbyx  
       2020-09-16 17:25:17 +08:00
    贴下 fpm 配置?
    GM
        16
    GM  
       2020-09-16 17:30:36 +08:00
    别听上面的人瞎扯,fpm 进程数量没必要太大的,50 个已经非常大了。
    每个 fpm 进程都要单独消耗一份内存,假设每个 50M 内存,100 个进程那就是 5G 内存,256 个那就是 12.5G 内存,别的程序还跑不跑了?
    keepeye
        17
    keepeye  
       2020-09-16 17:39:19 +08:00
    @GM 进程数量是动态的,max 只是一个理论最大值而已,而且也不是每个进程都一直占用 30M 内存不释放的
    keepeye
        18
    keepeye  
       2020-09-16 17:41:30 +08:00
    具体定个什么值还是要靠实际压测,总比一开始小气吧啦的好,爆内存了再说
    GM
        19
    GM  
       2020-09-16 18:33:19 +08:00
    @keepeye pm=static 的时候就不是动态了
    GM
        20
    GM  
       2020-09-16 18:36:46 +08:00
    @keepeye
    至于每个进程占多少,这个不好说,要看是什么框架,也要看具体业务代码怎么写。
    而且,框架本身也要占不少内存,如果是轻量级框架还好,占得少点,如果是 Laravel 之类重量级框架,那预留 50M 很正常的。
    buliugu
        21
    buliugu  
       2020-09-16 18:37:04 +08:00
    建议上火焰图看看,凭空 profiling 都是扯淡
    brader
        22
    brader  
       2020-09-16 18:38:36 +08:00
    16 核 16G
    pm=static
    pm.max_children=400
    3 万多个用户
    brader
        23
    brader  
       2020-09-16 18:39:07 +08:00
    服务已经稳定跑了 1 年了。
    xiaoshouchen
        24
    xiaoshouchen  
    OP
       2020-09-16 18:40:55 +08:00
    @buliugu 抱歉,不太清楚火焰图是什么,如何查看,可否指教?
    wangritian
        25
    wangritian  
       2020-09-16 19:29:49 +08:00
    fpm 是多进程单线程的吧,你的业务代码应该是有高耗时 IO,导致 16 个 fpm 进程全被阻塞,新请求进不来,不改架构的优化方法:
    磁盘 IO:开启 opcache 缓存,尤其是各种框架一堆 php 文件的,别每个请求都挨个读一遍;如果业务有处理大量小文件的,看能不能合并一个大文件
    网络 IO:mysql/redis 机器放本机或局域网,索引优化好,text 字段没用到别查;第三方功能 api 换延迟低的
    但治标不治本,进程模型处理 IO 任务很不科学,应该换多线程或协程,比如 swoole/workerman
    sutex777
        26
    sutex777  
       2020-09-16 19:44:48 +08:00
    炫富啊。。多少流量啊
    Aliencn
        27
    Aliencn  
       2020-09-17 10:58:50 +08:00
    @xiaoshouchen 这个值调多大主要是看业务特性,没有一个明确的定义。

    既然你有调整过还会出现 5XX 的错误,建议你把 PHP 相关的日志都打印出来。看在出现 5XX 错误的时候 PHP 都报什么错误。即使是进程数不够日志里也会有相关信息输出的。

    如果没有产生错误的话那就看看 PHP 前端的程序(比如 Nginx )有没有相关报错。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   949 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 21:34 · PVG 05:34 · LAX 14:34 · JFK 17:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.