8 台还是 8 张，节点内可以走 nvlink 或者 pcie ，节点间如果要低延时可以走 IB 或者 RoCE 。一般而言推理并不需要高带宽，但是需要低延迟的产品。所以如果是 8 台机器最好上 IB 或者 RoCE ，这个比以太网好太多，如果是单机八卡那么其实上 nvlink 意义不大，重点还是要用正经的推理引擎，ollama 的目标是为了能兼容多种硬件。

可以跟别人卷 mlsys

开发机，小模型（ CV ）推理。

@allegory BOSS 搜一下呢？这个主要是搞 RoCE 拥塞控制，各种监控，各种识别，然后与 nccl 协同。

当然还有比如新华三这种做 RoCE 协议开发的。

建议找个实习搞 RDMA ，这个可能方向性上面更好，AI 强依赖这个。

无论从需求到场景都会更多。

@ruanimal

Base 湾区 $130k-170k/yr, 0.5%-1.5% equity
Base 国内面议

用 ceph 之前先看看自己的场景，一般 rbd>rgw>fs ，块设备的话问题应该比较小，文件系统风险最大。

同时要考虑好部署服务对象，以及具体要求，如果是小文件很多的场景，那么 fs 压力会非常大，而且经常容易 OOM 。

所以存储不能解决所有场景的问题，最简单的办法就是简化问题，放到垂直领域，用最简单的功能，减少复杂功能的使用。

如果要细节，那就太多了，我也不是专业的，只是刚毕业的时候搞了两年存储。

- ebpf
- 高性能网络，RDMA ，RoCE

10G 网卡一般指的是 10Gbps ，对应而言就是 1.25GB/s 。
NVMe 的一般顺序读写速度，大概率应该会大于网络速度，具体可以实测下 FIO 。

RDMA 这个基本上可以不用考虑的，万兆没必要。

这里面的变量在于你的内存以及存储的文件数量，如果你随机读取，而存储文件数量巨大，那么寻址将会带来额外的磁盘开销，内存大小决定了你能缓存多少文件 metadata 。

羽毛球在北京最大的难题是订不到场地，如果临时定场地，周末基本上没有。

Solaris 内核->Kubernetes->Kubeflow->LLM 系统

具体的方案可以参考这里： https://zhuanlan.zhihu.com/p/398369404

参考方案就是阿里的 cGPU ，腾讯的 qGPU 。

主要实现的思路就是 ioctl 层面的拦截，干预调度和显存管理。

@liang723 规模大了的话，一般大厂规模会更大。不过现在小厂也是随便有百卡（盲猜）。

说下我的感受，做 AI 平台+系统 接近 8 年：
1. K8s 现在针对 AI 平台，技术点主要包括：调度器（ Gang Scheduler ），Training-Operator 这种；这里面可做的点比如：调度器性能优化，调度器调度优化解决碎片问题，解决高低优先级问题，节点内亲和性，节点间 RDMA 网络亲和性； Operator 里面结合调度，如何做容错等；

2. K8s 结合存储系统，类似 Fluid 或者其他存储方案，如何针对性提升，或者针对存储解决 AI 训练或推理场景的问题，比如训练的低延迟，推理的高吞吐；是否可以搞个缓存系统，缓存如何优化，Dataloader 如何搞；

3. K8s 结合网络，这里主要是 SRIOV 相关的技术，基于 sriov-Operator ，以及网络上 multus 就差不多；

4. K8s 结合 GPU ，GPU Device plugin ，GPU Operator 以及其他，基于 nv 的卡都具备了，GPU 可以搞搞虚拟化，容器 GPU 虚拟化，虚拟机咋接，怎么调度这些；

5. AI 平台流程化，比如熟悉 AI 算法的开发流程，调试流程，上线流程，CV 和 LLM 的特点是啥，数据集管理这些；

6. 需要了解 AI 任务分布式特点，如何建立，如何容错，如何与 K8s 结合，这部分就是 Training Operator 的内容，需要知道。

7. 进一步就是了解 AI 算法本身，比如大模型计算过程，参数量啥的，还有推理优化、预训练优化等等；

类似脉脉的思路，辅助生成答案？

国内的话可以试试 haixingcloud.com ，专为游戏配置的高主频 CPU ，RTX 3090,4090 显卡。

@lufeng666 是的，所以才是少见，但是感觉是刚需，即便把这个做成一个服务，都会有人付费的。

@lufeng666 现有的开源的 app 就没有云图的。