TCP 长连接负载均衡问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2314 天前的主题，其中的信息可能已经有所发展或是发生改变。

(10W 客户) -----TCP 长连接-----> Nginx/HAproxy/LVS(软件负载) ------TCP 长连接-----> (实际业务，多台业务 PC 主机)

客户端 TCP10W 长连接到 Nginx/HAproxy 这一步，没有问题。
软件负载到实际业务这里，由于负载均衡(Nginx) 是采用转发的方式进行处理的，本地会创建连接，当转发超出 65535 时，(Nginx)就不能建立长连接了。请问要进行哪些配置？

Ps: Linux 系统调优参数基本已经设置过了，应该不是这里的问题。

V2er 人才多，有没有遇到过的大佬。

第 1 条附言 · 2017-12-15 16:00:37 +08:00

HAProxy https://www.linangran.com/?p=547
Nginx https://nginx.org/r/proxy_bind
谢谢楼下答主.

Nginx

TCP

负载

连接

7 条回复 • 2020-04-02 16:17:02 +08:00

yaoliyc

2017-12-15 15:22:38 +08:00

65535 那是 ipv4 协议本身的限制，配什么应该没什么用，nginx 到实际业务之间为什么要长连接？

pubby

2017-12-15 15:37:28 +08:00 via Android

端口用光了吧，实际业务配多个端口或开多个业务进程可解决单机连接数限制

gstqc

2017-12-15 15:45:04 +08:00

我处理过 50 万长连接的业务

nginx --> 实际业务服务器
在 nginx 这里采用多个内网 IP，这些 IP 使用 proxy_bind 来指定

可参考
https://nginx.org/r/proxy_bind

play78

2017-12-15 15:58:36 +08:00

@gstqc
谢谢你，应该就是这个了。ヾ(･ω･`｡)

play78

2018-01-05 08:46:54 +08:00

@gstqc
你好，还是想问一下你，你这个 nginx.conf 是怎么配置的，
我配置了几个虚拟网卡，但是通过 proxy_bind 好像只能指定到一个 IP
下面这个只能绑定一个 IP，如果要绑定多个 IP 要怎么操作
proxy_bind 192.168.0.1;
下面这个动态绑定，但是只能根据客户端连接进来的 IP，进行分配，不能进行负载
proxy_bind $server_addr;

请问，proxy_bind 有没有类似 proxy_pass 一样可以后面接一个 upstream 的，然后可以进行负载均衡的
如果没有，是要自己写脚本分配，还是有插件可以用。

谢谢，希望你能回复。

gstqc

2018-01-05 09:08:33 +08:00 via iPhone

@play78 可以配合 map 指令
按一定的算法，把连接平均分为若干份，每份 map 到一个本地 IP 的变量
然后 proxy_bind 这个变量

比如
map $remote_addr $proxy_bind_ip {
*1 192.168.0.1;
*2 192.168.0.2;
...
}

proxy_bind $proxy_bind_ip;

zhengdai1990

2020-04-02 16:17:02 +08:00

想问下 nginx 用 proxy_bind 这种方法最多能撑多少量级的长连接