云原生公私混合企业网

[jeffreystoke]

我有个不成熟的企业网想法, 具体是实现如下功能:

1. Kubernetes service 直访
2. Kubernetes pod 隔离
3. 总部, 分部均有私有云, 所有云之间能互访
4. 公有云, 私有云互访
5. 网络访问管理

我目前想法比较混乱, 暂时的想法是:

1. 公有云部署一套 BGP 路由服务, 自定义路由策略和访问控制
2. 私有云部署 calico 与公有云的 BGP peering, 传播 pod/service network 路由
3. 公有云 BGP 过滤掉 pod network => 不同私有云的 pod network 可以重合
4. calico 协调 ClusterIP => 所有云共用一个 service network
5. 如果没有专线, 总部分部之间使用 wireguard 实现互联 (类似 tailscale 建立 mesh)

不知道有没有人这么做过, 或者有没有这种方案提供商.

非专业网工, 感觉还有很多问题在里面, 请大家多多指教!

这个想法的初衷是要避免用 mpls-vpn 那一套，如果分部只是要用总部的服务，那成本就太高了，完全可以把钱花在总部的出口带宽上优化体验。

感觉这和 sd-wan 应用其实没啥区别，不过是融入了私有网，可能叫 sd-private-wan 更合适？如果我理解得每次那么和现有 network service mesh 也有点类似，但是我感觉 nsm 复杂度很高，应用场景比较偏向数据中心。

建了一个 tg 群，欢迎有兴趣的加群交流

https://t.me/joinchat/NujpBBvKww_4aSVzKGsO6Q

[Sunmxt]

有类似的想法。正在尝试做类似的开源项目。 不过目前在 Just for fun 的阶段：）

[jeffreystoke]

@Sunmxt 抱歉，因为好奇顺着你的用户名找了一下，如有冒犯还请见谅。不过你说的 poc 是指 https://github.com/CrossMesh/fabric 这个吗，刚刚大概看了一下好像和 tailscale 有点像，不知道我理解得对不对？

[hrxlove]

大体上可以走专线（电信有云专网，移动联通应该也有相应产品，可以接到几大公有云和地市），路由静态 or bgp，具体的访问控制可以在各接入点的防火墙控制

[jeffreystoke]

@hrxlove 用专线做基础架构肯定是可以，关于互联这块我想的主要是能不依赖专线就不依赖，甚至用家宽降低接入成本。

至于我的重点是在使用这种互联模式下暴露
Kubernetes service network 给所有集团网络，不知道有没有这样应用 BGP 的先例？

[Sunmxt]

@jeffreystoke 想做的是一个 overlay network tool 。在公有云、私有云互联的基础上，能方便创建和管理多个虚拟的二层网络（类似 flannel 已经砍掉的的 multiple network ？），并且能够将容器、虚拟机加入到某个虚拟的网络上。所以互联只是第一步？看了一下 tailscale，目前项目的样子确实比较像 tailscale （可能是因为还是 poc，在 early development 的阶段吧）。想得很多，但我觉得无论是 concept，还是最终设计，都还有不少工作要做。

[jeffreystoke]

@Sunmxt 是的，但是如果只是需要多网络，我觉得可以考虑基于 multus 做个 controller，加入多集群的控制支持。

[Sunmxt]

@jeffreystoke 嗯。楼主看起来对 k8s 比较了解。对于容器多网络的确比较想基于 multus 。但对于 underlay，项目本身也考虑整合非专线下的互联，其实就是控制面利用 gossip 协议传播 peer 间的网络信息，数据面利用内核支持的一些网络特性（ ipsec，wireguard，gre 等等）来实现，这样使用会比较方便，这是目前我在做的。这样一说其实目前有一种实现了一个 功能不太多的 p2p vpn 的感觉。我感觉这个跟楼主的想法有点类似，就来回复啦：）。

[Sunmxt]

@jeffreystoke 仔细看了下楼主的想法。我们最终想实现的可能有点不一样？

[jeffreystoke]

@Sunmxt 你说的没错, 不过我现在还不太能理清我的想法, 目前看来我应该是要一个类似 network service mesh 的解决方案. 当然之前我只是提供我觉得可能有用的建议, 如有冒犯还请见谅.

[Sunmxt]

@jeffreystoke 我不是专业的。楼主的建议也对我有启发，并没有冒犯的说法：）。

[jeffreystoke]

@Sunmxt 我也是半吊子而已, 感觉要做的东西还是有点相似的, 有机会可以交流一下 XD

[labulaka521]

我目前也在做这方面的事，我想做的是一个类似 zerotier 的软件，主要想改善的一点就是协议的问题，目前也是早期阶段，可以一起交流哈
@Sunmxt
@jeffreystoke

[tkl]

你这和 k8s 有关系么 自己搞一个网络的控制面呗

[ericbize]

不跨境的话， 找线路商拉光纤 或者是 买带宽，不买 bgp 的话， 线路很便宜

[jeffreystoke]

@tkl 就是要 Kubernetes 控制网络啊，充分利用 calico 的 BGP 和 network policy，为什么还要自己搞一个控制面，你是说的数据面？

[jeffreystoke]

@ericbize 拉光纤买带宽不应该比 mpls-vpn 还贵吗？云原生不应该追求最低成本啊😂

[jeffreystoke]

@labulaka521 好啊，想法多一点不是坏事，不过我这只是个不成熟的想法，还没有实际去做的打算😂

[ericbize]

@jeffreystoke 单线移动 不超 10 元 /m， 两边 1G 也就 2w 一个月，1G 的公网 vpn 也可以了吧

[jeffreystoke]

@ericbize 这是 dc 的价格吧，但是如果说一个月只跑 1G，那 1M 的 mpls-vpn 不仅稳定，价格还更低。。而且代码，素材，数据库备份同步可能几天就有 1G 流量吧，不用说还有 voip，视频会议之类的。

[Sunmxt]

@labulaka521 可以来交流呀。

[labulaka521]

@Sunmxt
@jeffreystoke 好哇 留个联系方式

[jeffreystoke]

@labulaka521 gh 同名可以找到我的邮箱，或者建个 tg 群？

[labulaka521]

@jeffreystoke 你来建个 tg 群吧

[bing0]

挖草，上来就 BGP，不贵嘛？
单线专线点对点吧，怕抖就不同运营商备份。
相信我，我企业大内网就是这么干 openvpn 啧啧啧。
哦。。现在还有个什么腾讯云的物理互联 IDC 到 POP 点，不过没了解过，算起来感觉好像能省钱

[Sunmxt]

@labulaka521 gh 同名有邮箱。或者来个电报群吧。

[jeffreystoke]

建了一个 tg 群，欢迎有兴趣的加群交流

https://t.me/joinchat/NujpBBvKww_4aSVzKGsO6Q

[jeffreystoke]

@bing0 这种只需要 ibgp 加私有 asn 吧，而且可以用开源的 frr 或者 bird，云端部署两三个 route reflector 用 vpn 连接我觉得成本并不高，成本最大的应该是带宽传输，也是这个想法里要解决的数据平面的问题

[menyakun]

感觉事实上是一个容器网络层面的 VPC 解决方案？
如果企业网已经提供了 VPC 能力，然后把 k8s 的网络能力借助 VPC 来实现，这样是不是就方便多了，不用从头开始造轮子。

[jeffreystoke]

@menyakun 我的想法正好是反过来，用 kubernetes 和 BGP 控制物理网络实现 VPC，加上一定的人工隔离