V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  mightybruce  ›  全部回复第 1 页 / 共 27 页
回复总数  524
1  2  3  4  5  6  7  8  9  10 ... 27  
7 小时 0 分钟前
回复了 sodalingsoda 创建的主题 程序员 想转容器化开发
打错了几个字
是云边协同, 这个前几年很火, 还有一个就是多云集群,集群联邦。

现在大模型这几年很火,要提高高端 gpu 显卡的利用率,开发和运维一样都少不了,侧重资源层面的像 gpu operator, hami ( Heterogeneous AI Computing Virtualization Middleware ) 道客搞的。
侧重训练任务编排和调度 kubeflow
7 小时 12 分钟前
回复了 sodalingsoda 创建的主题 程序员 想转容器化开发
准确来说,v2ex 上没几个做 k8s 相关工作的人,上面这些人基本都没做过,不过你多看看 JD 是不错的,
k8s 本身分成好几块开发
运维开发
二次开发 很多涉及到魔改,需要懂源码,就说几个吧,模拟的 api-server, 聚合 api,魔改 kubelet 能够跑 wasm, 能够跑
微服务相关的开发 比如 istio, serverless 这些
云边协调就涉及到很多魔改 kubelet, 魔改 api-server 的开发,尤其是一些物联网、车企


operator 属于基本,如果做一些基础设施运维开发这些也是必会的。operator 封装 低代码开发, 不使用 kubebuilder 的框架,kubevela. kcl.

微服务开发
这部分
istio sofastack, serverless 也有很多比如 knative, openfunction 之类,做这些偏微服务的上层开发有不少互联网公司。

最近这两年热门是国内大模型独角兽和一些国企搞 k8s gpu 调度策略 和提高 GPU 资源利用率方案和开发。

这些东西都无法速成,需要学习不少时间,市面上更是没有什么课程,都是一些割韭菜的 K8s 管理系统和 Operator 简单入门的坑人课程,你自己要考虑。
13 小时 33 分钟前
回复了 sodalingsoda 创建的主题 程序员 想转容器化开发
容器开发 和 K8s 开发是两码事,你先理解要做什么再说吧。
容器开发难度更高,属于 linux 内核上的开发。
14 小时 10 分钟前
回复了 wanmyj 创建的主题 职场话题 面试有感-写程序真的不是能靠年龄积累经验的行业
就看招聘要求里面写的是什么,因为很多招聘就写了必须要懂该行业的知识,而不是所谓的互联网公司那一套东西。
14 小时 11 分钟前
回复了 wanmyj 创建的主题 职场话题 面试有感-写程序真的不是能靠年龄积累经验的行业
这个只对一些互联网公司成立,很多行业软件和领域都不成立。
14 小时 36 分钟前
回复了 lithium148 创建的主题 Linux 除了免费, Linux 好处都有啥
就这么说吧,redis 在 windows 的那个版本只能叫做模拟 linux 环境,windows 都没有相应的 linux 系统调用。
docker 的实现 是严重依赖 Linux 提高 cgroup 和 namespce, windows 是借助 hyper-v 的,也是完全不一样
15 小时 5 分钟前
回复了 xjhou00007 创建的主题 Web Dev c++ go rust 谁更适合开发 嵌入式 Linux 上的 web 后台服务
https://github.com/cesanta/mongoose
这个 西门子,三星,谷歌 都在用
civetweb 有 lua 模块,写一些嵌入式也比较方便
15 小时 9 分钟前
回复了 xjhou00007 创建的主题 Web Dev c++ go rust 谁更适合开发 嵌入式 Linux 上的 web 后台服务
看来你这个内存比较富裕,golang 等一堆语言也是可以用的。
直接做嵌入式 web 服务的话,c 推荐 mongoose, civetweb 。
go 标准库就可以搞,也不需要借助其他。
18 小时 17 分钟前
回复了 xjhou00007 创建的主题 Web Dev c++ go rust 谁更适合开发 嵌入式 Linux 上的 web 后台服务
嵌入式 web 基本都是 C, C++ , 这种不是多的很。何必找一些不成熟的项目。
这种项目首先要考虑的就是资源占用,占用大的一概不考虑了。

https://github.com/civetweb/civetweb
6 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
https://arthurchiao.art/blog/gpu-advanced-notes-1-zh/
可以看看这个人写的一些科普吧。
6 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
模型权重分担在各个计算节点上内存和 GPU 显存,每一次推理不是一张显卡,是好几张显卡同时计算。
你只要买英伟达的专门用来大模型训练的高端显卡比如 A100, H100 或国内华为相应的显卡昇腾 910B 训练机器, 人家自然会告诉你存储、网络,cpu, 交换机的选择。
6 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
模型的参数 就是在各个服务器的内存以及 GPU 大模型的 专门的显存里面的。
我语气有一点冲,不过你的确是在自我想象

RDMA 现在已经有支持以太网的方案,并非一定要 IB
6 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
存储使用 PCIE 接口的带宽都不适合 70B 大模型 以上的多卡训练和推理的大模型, 你去云计算厂商和 AI 大模型公司那里多了解了解吧。
6 天前
回复了 nakroy 创建的主题 程序员 AI 大模型的分布式存储方案
兄弟你就别自我意淫吧,没搞过就别想什么了。 大模型训练是不可能每次从磁盘上读取的, 另外大模型非常大,神经网络都是多块 gpu 每个计算一部分,通过高速网络和缓存并尽量减少 cpu 和 操作系统的占用。
传统的 PCIE 都嫌慢,你还跟我说用磁盘,哈哈,我都笑死了。
了解 RDMA 是什么技术,
IB, 以太网 RoCE 都可以支持 RDMA.
你要是 2016 年来提这个问题,我还有点兴趣,那时候微服务治理发展阶段才开始不久。

这个问题现在还不知道怎么解决,我只能说你们上微服务就是错误的选择。
17 天前
回复了 wangclack 创建的主题 问与答 求指点国产手机品牌关系
不玩游戏,强力推荐 oppo find X7 X8 , 自带端侧 70 亿参数大语言模型,而不需要联网调用一些大模型厂商的 API 就能处理很多一些办公相关的任务。
32 天前
回复了 perbugwei 创建的主题 职场话题 到底什么是奋斗
睡不好,吃点褪黑素片。
建议平时多锻炼锻炼身体,然后扩展一下社交圈,这样以后有用。
35 天前
回复了 webszy 创建的主题 程序员 有没有开源的 serverless 平台
有开源的 serverless 平台,不过如果你不懂 k8s 和 istio 以及一些服务网格, 你也搞不定。
1  2  3  4  5  6  7  8  9  10 ... 27  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1239 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 26ms · UTC 23:15 · PVG 07:15 · LAX 16:15 · JFK 19:15
Developed with CodeLauncher
♥ Do have faith in what you're doing.