千兆网卡一直跑不满千兆？

[JuicyJ]

刚买的迷你主机，折腾了好几天千兆网卡一直跑不满。

• iperf3 测试：发送最多 800 Mbps，接收最多 600Mbps。
• Samba 复制：发送 100 MB/s、接收 70 MB/s，跟 iperf3 测试结果一致。
• 尝试更换系统，Ubuntu / Windows Server 测试结果无差别。
• 尝试更换驱动，测试结果无差别。
• 控制变量法排除了线材（其实我用的超六类线（ CAT6A ），跑千兆根本毫无压力）、路由器、其他机器网卡问题（其他机器可以跑到 950Mbps ）。

这机器网卡是 Realtek 的 RTL8168 千兆网卡，应该是属于比较次的，但是也不至于会是这种水平。

1. 如果在给我一次机会我不会再买这种小厂家的产品，直接加钱 nuc 算了。机器是占美的，这厂家在本站口碑算是很不错的。奉劝想买同类产品的 V 友三思。
2. 有解决思路的 V 友提供一下意见，非常感谢。

[terrytw]

你和卖家商量啊
应该可以换一个的

[xenme]

CPU 满美满？
盒子一般可能瓶颈在 CPU

[hugee]

占美口碑好？呵呵哒

[JuicyJ]

@terrytw 说实话我并不相信这是个案...

@xenme 看网卡设置，网卡 Offload 全打开情况下，CPU 50%左右，网卡 Offload 全部关闭，CPU 90+ %。但是这两种情况下网络性能基本一样。

@hugee 我是屡次在 V 站看到有人推才买的。

[Earthman]

试过直连没有？ PC-PC 直连测试，还有驱动，这都有问题那应该是硬件的问题。

当然一般人没法做硬件的 debug，需要至少 1G 带宽的示波器

[JuicyJ]

@Earthman 也试了，CAT6A 直连，无济于事

[JuicyJ]

@Earthman 驱动我试了官方最新驱动，Windows 自动装的，Ubuntu 自动装的，测试结果都一样

[0ZXYDDu796nVCFxq]

本机测试下，看是不是性能或者磁盘问题

[sky97]

外界个千兆网卡试试

[msg7086]

两种可能：CPU 性能太低；网卡性能太低。
虽然按理说网卡性能应该是没问题的，那就是 CPU 性能太低了？

[flyz]

为什么没有怀疑磁盘太低？

[ironx]

网卡芯片出厂之前，这种基本的测试还是会做的。把你的操作系统版本，网卡设置，测试包类型，长度，时间，都列出来看看。

[yingfengi]

网卡
CPU
硬盘

[ipwx]

你们都怀疑 cpu 和网卡。但是我根据楼主的描述，怀疑主板的 IO 总线。
- - - -

@yingfengi @flyz 首先 iperf 的结果排除了硬盘问题。
其次网卡的型号明朗，我觉得这么便宜的部件应该不会出问题。
再次 cpu 在所有测试中都没满负载。
那么只剩下主板的 IO 总线了。

想当年我用树莓派，IO 总线太渣，无论接什么设备，都无法突破 4MB/s。

[JuicyJ]

@gstqc 本机测试怎么个测法
@flyz 磁盘三星的 SSD...稳得很
@sky97 想过外接，看了 http://www.expreview.com/27105.html USB3.0 的千兆卡跑到 70MB/s 都敢说性能卓越不敢买了..你有推荐么，能跑满的那种
@msg7086 测的时候 CPU 50%左右，会不会是 CPU 的锅

[JuicyJ]

@ipwx 感觉眼前一亮...这让我想起来，我拆开后想自己装个网卡，发现它两个网口都是直接焊在主板上的...

[nevin47]

@ipwx 正解正解，Cpu 没跑满优先排查磁盘 IO 是否阻塞，其次应该检查网卡是否收到主板 IO 总线的限制


@JuicyJ LZ 可以先把磁盘跑个峰值，如果没问题的话就可以大概率怀疑主板的 IO 总线限制了

[JuicyJ]

@ironx Windows Server 2016 Datacenter
TCP 接收
[ ID] Interval Transfer Bitrate
[ 5] 0.00-10.00 sec 844 MBytes 708 Mbits/sec sender
[ 5] 0.00-10.00 sec 844 MBytes 708 Mbits/sec receiver
UDP 接收
[ ID] Interval Transfer Bitrate Jitter Lost/Total Datagrams
[ 5] 0.00-10.00 sec 1.16 GBytes 1000 Mbits/sec 0.000 ms 0/863224 (0%) sender
[ 5] 0.00-10.00 sec 151 MBytes 127 Mbits/sec 2.051 ms 727003/836301 (87%) receiver
TCP 发送
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 997 MBytes 836 Mbits/sec sender
[ 4] 0.00-10.00 sec 997 MBytes 836 Mbits/sec receiver
UDP 发送
[ ID] Interval Transfer Bandwidth Jitter Lost/Total Datagrams
[ 4] 0.00-10.00 sec 702 MBytes 589 Mbits/sec 0.174 ms 3/89897 (0.0033%) sender
[ 5] 0.00-10.05 sec 702 MBytes 586 Mbits/sec 0.174 ms 3/89897 (0.0033%) receiver
两个明显异常值：UDP 接收时，指定带宽 1000M，发送方 1.16GB 的流量，只接收了 182MB，丢包率 87%。UDP 发送时，我同样指定了 1000M 的带宽，但是设备只能达到 589Mbps。

[alcarl]

什么 cpu 都不说下，传个文件 cpu 能到 90 ％？

[JuicyJ]

@alcarl N3150，是跑 iperf3 不是传文件。

[ChangeTheWorld]

别折腾了 RTL 的千兆网卡也就能跑个 600Mbps，要千兆请用 Intel 的卡

[YanwenSun]

查查是不是中断太多了 限制中断数目或者开 MSI-X+RSS

[yingfengi]

@ipwx 这么说，我想起了当初的那台小主机，确实有可能是这个原因。

[ironx]

如果是网卡的问题，UDP 丢包那么多，那么 TCP 不可能到 708Mbps。网卡才不会区分是 TCP 还是 UDP。

你试试把 UDP 缓存调大再测试。

怀疑是其他部分，内存带宽 ?

[sky97]

@JuicyJ 这个没有，不过你主板有雷电 3 接口可以看看有没有雷电 3 接口的，应该比 USB3.0 的快很多

[flynaj]

什么主板，什么接口，总线，800 估计总线就是 800 自然没有办法突破

[innoink]

跑 dpdk 啊

[mingl0280]

@JuicyJ N3150 的跑千兆没问题（正在用着），怀疑是干扰或数据包大小设置问题，以及内存是不是爆了？

[mingl0280]

另外我现在 NAS 服务器就是用的 RTL8168，跑千兆完全没问题。

Test Complete. Summary Results:
[ ID] Interval Transfer Bandwidth
[ 4] 0.00-10.00 sec 1.09 GBytes 940 Mbits/sec sender
[ 4] 0.00-10.00 sec 1.09 GBytes 940 Mbits/sec receiver
CPU Utilization: local/sender 8.2% (1.5%u/6.7%s), remote/receiver 0.4% (0.1%u/0.3%s)

能不能在本地跑一下 IO 测试？看下磁盘 IO 和内存 IO 是不是有问题？

[chenlu]

是不是背板速率的问题

[littlesubgirl]

我用 nuc 3050 （双核）和技嘉 3150 （ 4 核）也遇到 samba 跑不满千兆的问题，双机直连都不行。但用 fastcopy 通过 samba 读写文件可以跑满千兆。按道理来讲这 cpu 和网卡跑满千兆都是无压力的，fastcopy 的复制速度也证明了是可以跑满千兆的（网卡速度达到了 970mbs ），所以我怀疑是 cpu 调度有什么策略限制了速度。

[james19820515]

有结论了吗？