最近由于家中路由断电,猫重新拨了一次号
给我了一个 IP 为 101.88.26.53 然后便糟糕了 碰巧是网络高峰
我访问一切国际网页都如龟速( CN2 的 VPS 除外),vultr 各大测试节点的下载都达不到 5M 的水管( 200M 宽带)
根据猫的信息 这个 IP 网关为 101.88.24.1
在某-TAP 中 延时测试结果
https://i.imgur.com/kWbHOzo.jpg
神奇的路由走法:
https://i.imgur.com/mioN7AA.jpg
实在让人忍受不了 当即决定再次拨号
结果怎么也换不掉 始终在 101.88.24.1 网关下的 IP 跳动 而且这个网关下的 IP 几乎全部上不了外网
最后 把猫停了 20 分钟再起来 换到一个 222.70.60.1 网关下的 IP
结果完全不一样
https://i.imgur.com/XGVSb6S.png
vultr 软银等 VPS 瞬间恢复正常 甚至比原来还好得多
PS:用到现在 高峰 Vultr 洛杉矶可以跑到 5MB/S 延时 160ms (早上 135ms )
最后总算搞清楚了,在此总结一下:
1.电信的路由没有均衡负载,由于不同的网关下,出口的路由可能不同,所以延时差异可能很明显。
2.上海出口汇聚、国外运营商Peer双重枷锁:
华南地区大部分的流量会从四面八方集中到上海(或广东)的出口机房的路由上,结果上海电信的出口路由当时设计时没有想到这么大的流量,不足以应对华南地区所带来的大流量,于是还没到国外先在国内上海出口这里炸开了。
结果好不容易从上海出去到国外 在国外BGP又炸开了,尽管第一次爆炸也保护性地限制了出国流量,但电信和其它国外运营商peer的水管还要小(一般电信只肯签署10G 20G的水管,而高峰甚至超过100G的流量来袭,那拥堵程度就可想而知了)会在国外发生明显的二炸,这就是为什么trace时,有的第一次到国外的电信机房会有190-220ms的延时 再到其它运营商就到300ms的原因。 *洛杉矶 圣何塞 标准延时应该在125-140ms
1
dot2017 2019-01-22 16:48:19 +08:00
因为电信出口从来没用路由负载均衡
|
2
intoext 2019-01-22 17:49:37 +08:00
那是因为你有公网地址 俺等移动网络宽带没有公网地址的 怎么拨也没用
|
3
jousca 2019-01-22 19:42:46 +08:00
@intoext 不是没有公网,是看你当时被分配到哪条出局线上。电信现在其实也不给公网地址,大部分给光猫都是 100.64 开头的地址段(运营商级 NAT )。
|
4
hlz0812 2019-01-22 21:42:18 +08:00 via iPhone
一个段里路由是一样的,但是最近出口国内汇聚炸了,所以看脸,这里同一个段路由都是相同的,但是爆炸程度不同。不同段路由直接可能不同,比如江苏电信 58/114 开头的软银走北京回程,其他的基本走上海回来
|
5
bclerdx 2019-01-23 23:42:22 +08:00
@hlz0812 江苏电信 58/114 开头的软银走北京回程,其他的基本走上海回来,这个是江苏电信故意在路由器上做的策略路由?
|
6
CernetBoom 2019-01-24 04:09:29 +08:00 via Android
@bclerdx 上海电信还全部走北京回来(Softbank 大阪除外),Softbank 的问题
|
7
EdifierDrew 2019-01-24 08:37:37 +08:00 via iPhone
我的 IP 运营商也是 eonix 的,服务器位于西雅图,延迟 300-400ms 为什么楼主的 ping 值这么低
|
9
sjlleo OP @EdifierDrew
电信: 最近由于未知原因,电信 SJO 登陆数据中心不能直达西雅图,节点全部要往美国其他地区绕 然后电信和那些地区的 peer 水管本来就小,就爆炸了(你可以看到登陆美国圣何塞 SJO 时的 IP AS4134 是延时正常的,然后 peer 到另外一个自治边界,延时猛增,后面就开始疯狂掉包,我从 VPS 回程 TCP Traceroute,看了一下情况还要糟糕) 但是并不是绝对的,有那么几个特定的电信 ip 段(我反复拨号去测试),会在洛杉矶 LAX 登陆,然后走 Telia AS1299 再回圣何塞 SJO 去然后一路顺着 telia 直连西雅图,再切 wowrack 和 eonix peer,这样延时只有 156ms 左右。 如果你有公网的话,你需要做的只是不断的重新拨号,拨到你的 IP 路由路径是走洛杉矶的即可 [注意猫 IP 网关的变化,如果只是 IP 变化,网关依旧不变,则无效] 另外 高峰时回程 电信和 Telia peer 经常炸 延时也会飙到 240ms+ 联通: 上海 /浙江 /江苏等地的联通连 eonix 会抽风去绕北京联通,然后到美国联通由于水管不够大,炸的飞起。。 移动: 魔都长江三角洲的移动网络会选择移动的上海出口到美国圣何塞 SJO 移动,然后去洛杉矶和 AS174 cogentco peer 但是还是瓶颈问题,比起联通的拥堵要好很多,但是平时的延时还是要在 250-340ms (高峰)左右 通过以上分析,我得出了一个结论,eonix 的西雅图节点并不适合给大陆用户使用。 现在:我已经弃疗,加钱买双向 CN2 VPS 去了..... (顺便说一句,日本的 SBcloud 软银限速真心难受,高峰 BBR 也优化不了多少,最大 3M 的样子 qwq ) [VPS 100M 水管] |
10
xxq2112 2019-01-24 12:53:37 +08:00
联通到 Eonix 走的是 Telia,但是联通的北京、广州的美洲方向 Telia 是日常拥塞,高峰炸是很自然的
|
11
CernetBoom 2019-01-24 12:54:24 +08:00 via Android
@sjlleo 163 在上海就炸了,SBCloud 也救不了整个 163 上海出
|
12
sjlleo OP @CernetBoom 上海 163 到洛杉矶 CC 机房应该还是可以的吧? 163 去日本 IJJ NTT Softblank 都日常炸
最近准备尝试一下 CN2 韩国的 T2 不知道怎么样 |
13
CernetBoom 2019-01-24 13:33:31 +08:00 via Android
@sjlleo 一样的,炸在 163 上海
|
15
bclerdx 2019-01-24 16:14:01 +08:00 1
@CernetBoom hlz0812 兄也提到了,电信的 CN1 炸在了国内上海电信的汇聚层。上海电信与国际出口的部分没问题。
|
16
sjlleo OP @bclerdx @CernetBoom
我家是电信+移动(铁通)双网 原来是这样啊,但是我有一点不是很懂,求指点。 我看到每次高峰时期电信在上海最后一跳都是好的,到美国也是 140ms 的正常延时但是到 Telia、Level3 就爆炸,就误以为是在国际出口外面 Peer 的问题。。。那么我们平时看到的一离开电信自己的自治边界又各种丢包异常现象是怎么一回事呢(在 TCP 状态下,UDP 丢包很正常,毕竟路由对 UDP 包的优先级是最低的) |
17
CernetBoom 2019-01-24 20:46:23 +08:00 via Android
@bclerdx 本来就是这样的
|
18
CernetBoom 2019-01-24 20:47:38 +08:00 via Android 1
@sjlleo 到 Telia 之类的开始就是 163-Telia 带宽不够,现在只是 163 上海那边也在炸
|
19
sjlleo OP |
20
sjlleo OP @CernetBoom @bclerdx 懂了,感谢二位解答!
|
21
zhaohanqing 2019-01-24 21:20:13 +08:00 via Android
这边电信也有类似情况,拨号到 124 开头的 IP 时连接莫斯科某机房延迟 160ms 左右,拨号到 113 117 219 时延迟 400+ms ……明明路由完全一样……
|
22
hlz0812 2019-01-25 09:14:13 +08:00 via iPhone 1
@sjlleo 现在电信和 level3、telia 的 peer 炸的不算很厉害了,有些机房路由调 ntt 后分了一部分流量,我感觉主要问题还是国内汇聚,国外 peer 炸的时候 bbr 和锐速可以救一下,这个国内汇聚是真的没法搞,遇上汇聚堵随便怎么优化都只有 12Mbps 左右
|
23
hlz0812 2019-01-25 09:15:10 +08:00 via iPhone
@zhaohanqing 回程绕路了
|
24
sjlleo OP @hlz0812
是的,电信不会给 163 扩容,整天声称扩容 CN2,然后 CN2 到晚上居然还会炸,真的是搞笑。电信拒绝和国外的大型运营商签署大流量交互,于是都靠免费流量过日子,加之电信用户都爱折腾日本 VPS,导致往日本 4 线全废。我原来是真的没看到汇聚炸这个事情,因为去程在 trace 中根本看不出来,现在从 VPS 返程 trace 才发现,是返程路由汇聚炸的太明显了。 锐速\BBR 线路不好救不了,加之最近某墙流量识别能力非常强,某 R 用几天就废了,必须用 V2RAY 等非主流协议工具才行 。 PS:电信某下面分公司私自搞外服加速器好久了,卖的贵的要死,然后通过卖自己的 CN2 流量出口赚钱。 |
25
hlz0812 2019-01-25 20:08:02 +08:00 via iPhone
@sjlleo 电信日本软银不炸啊,汇聚的问题,softbank 接了电信 40G 呢,cn2 炸一般是因为 ddos 问题
|
26
hlz0812 2019-01-25 20:11:43 +08:00 via iPhone
@sjlleo 海外段不炸就不能说是外面的问题,日本 softbank、日本 163 直连都很好,国内汇聚早晚会扩容,这个应该要等墙的设备到位,去年就是。但是像 ntt 这种线路,国内汇聚就算不炸也没法用
|
29
CernetBoom 2019-01-26 00:19:06 +08:00 via Android
|
30
CernetBoom 2019-01-26 00:26:43 +08:00 via Android
|
32
sjlleo OP @CernetBoom @hlz0812
我主要说的是 163 情况 毕竟 CN2 独立 IP 终究不是谁想用就用的上的 不过最近不是新开了 NCP 嘛 排除国内汇聚问题 理论上可以跑到 110ms 另外感谢两位纠正了一些错误,加之我拿到的信息比较早,有些错误请谅解。 |
34
CernetBoom 2019-01-26 11:19:23 +08:00 via Android
@sjlleo 恩,202.97.95.201/202 两端确实可以 110ms
|
36
justs0o 2019-01-26 18:51:43 +08:00
@hlz0812
@CernetBoom @sjlleo 引用某位电信大佬的话:最近都在扩容带宽,搞得某设备处理跟不上了,ISP 协调找过工信部,工信部在找有关部门协调,这个流程很漫长,只能等。 @bclerdx 你可以携带某些东西去上海市浦东新区康桥镇秀浦西路,然后你就为好几亿网民做贡献了 |
39
maple52ck 2019-03-23 19:55:24 +08:00
-_-||~~
请问什么是某-TAP 啊,是什么测试延迟的工具吗? 谢谢 |