V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
OysterQAQ
V2EX  ›  分享发现

分享工作环境中所使用到的开发与网络设备

  •  
  •   OysterQAQ · 2022-01-06 22:49:16 +08:00 · 1415 次点击
    这是一个创建于 1059 天前的主题,其中的信息可能已经有所发展或是发生改变。

    拓扑结构

    主无线路由为 padavan 系统的小米 ac2100 ,斐讯 n1 安装了 openwrt 作为旁路网关,各个设备连接到千兆交换机,主力开发机与服务器都配备有万兆光网卡使用 sfp+光缆链接。

    拓扑

    服务器

    image-20220106222914810

    配件一览
    cpu i7 8700
    主板 msi b360m mortar
    内存 4*8g
    电源 大水牛 500w
    散热 雅浚 g3
    机箱 银欣 ps16
    存储 镁光 256g mlc 、三星 970 evo plus 1t 、wd mybook 拆机 8t 、西数 WD40PURX 4t*2 、hgst 1t
    网卡 Mellanox CX341A
    简要介绍

    服务器安装的是Proxmox VE,作为虚拟化环境,目前虚拟化了黑群晖与测试服务器(负责本地测试环境安装,监控远端等)。

    先说说硬件,银欣 ps16 是一款特别能装的 matx 机箱,最大可以容纳 3 个 3.5 寸硬盘(实际光驱位还可以扩展一下)与 3 个 2.5 寸硬盘。使用的 cpu 、内存与主板均是之前上一套黑苹果平台换下来的,不然的话现在购买 amd 的 cpu 似乎更加合适(同价格比较,核心更多,制成更先进)。显卡的话估计得等价格回落弄张 n 卡,进可炼丹,退可虚拟化 windows 玩玩 steam 串流的游戏方案。电源方面当初考虑的不充分,实际的花费上电源的比重是要再多加一些的,毕竟一块盘就比电源贵了。万兆网卡是著名的洋垃圾方案了(由于加了转接板,在我这张主板上挡住了 audio 接口),这张卡的性能实际上是要比主力机上用的 intel 寨卡性能还是要好的,能开启 sr-iov ,很可惜的是主板的 bios 并不支持开启,我在 msi 的中文论坛上找到了一个老哥提供了他自己 mod 的 bios 可以开启,但考虑到刷 bios 的风险还是不做尝试了。

    软件方面,宿主机上 pve 安装与使用都挺顺利的。虚拟机方面黑群晖的安装过程中为了能用上 virtio ,需要找 mod 过的引导(群晖 6.2 是内核没有 virtio 驱动),并且最好使用单独一张 u 盘装群晖的引导,直通 usb 接口,这样可以能正常的看到硬盘状况信息,也能在硬盘管理中隐藏引导盘。由于四张盘都是给群晖用的,就直通了主板的 sata 控制器给虚拟机,硬盘的休眠可以正常的使用。

    使用体验

    服务器空载下功耗为 43w 左右,群晖关闭后为 27w 。pve 的界面非常的直观,安装后需要做的事也不多(去除了订阅提醒,安装了 nginx 来使用自定义域名与证书,修改软件源)。在黑群晖虚拟机上,virtio 效果拔群,两个 4t 盘 raid 0 后通过万兆网卡可以跑 3Gbps ,传输过程中 cpu 负载几乎不变化。

    开发机

    image-20220106222848322

    配件一览
    cpu i9 10910
    主板 msi b460m mortar
    显卡 迪兰 rx480 8g
    内存 4*16g
    电源 鑫谷 GP600G 黑金版
    散热 利民 FC140
    机箱 乔思伯 C3-PLUS 银色
    显示器 Dell 2720qm
    存储 Intel 760p 512g 、海康 c2000pro 512g
    有线网卡 Intel x520-sr1(hengshun)
    无线网卡 fenvi t919
    简要介绍

    各个配件的选购基本都是以黑苹果为导向的,intel 历年芯片组中的微星迫击炮系列使用基数是相当大的,因此 github 上迫击炮系列的 efi 的维护都更积极(在外国可能是技嘉)。cpu 是根据 smbios 中 imac 20,2 的 cpu 来选购的,实际上这个版本也是 intel 给苹果定制的 cpu ,来源当然是 imac 拆机。由于考虑到 cpu 可能发热更大,散热器换了 fc140 ,比起之前的更重也更大了,整机快递成为了不可能。网卡方面万兆网卡选择了 x520 寨板,通过 smalltree 的驱动实现万兆互联。无线网卡是博通的翻新卡,用了一年多了目前还没出现问题,不过跑不到商品页面实际介绍的速度。

    使用体验

    总体使用上都挺不错的,在加装万兆网卡之前几乎是完美的状态,但是加装了万兆网卡以后,实际测试三次睡眠可能就会睡死一次,找了很久都没找到解决方案,只能强迫自己关机。所幸万兆网卡速度可以跑满,iperf3 单线程 9.9Gbps ,万兆直连黑苹果端需手动设置 ip 与 mask 并把 gateway 置空,pve 端需要新建一个 Linux Bridge ,设置好 ip 与 mask 。万兆链路直连黑苹果与 pve ,没有设置网关也无法广播,导致了 mac os 没办法在万兆链路上自动发现黑群晖 smb 服务(只在千兆链路上自动发现并出现在 finder 中)。

    其他

    斐讯 n1 是性价比十分高的一个设备,安装了 openwrt 之后作为旁路网关,在公网带宽超过 500m 之前都能很好的满足我的需求。小米 ac2100 使用中还算不错,到手就刷了 padavan 。交换机是普通水星铁壳傻瓜交换机,胜在便宜。

    Rorysky
        1
    Rorysky  
       2022-01-07 13:07:05 +08:00
    感谢分享 挺有意思
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2692 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 15:09 · PVG 23:09 · LAX 07:09 · JFK 10:09
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.