V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  wxm1997  ›  全部回复第 1 页 / 共 9 页
回复总数  168
1  2  3  4  5  6  7  8  9  
6 天前
回复了 Woolaman 创建的主题 Local LLM 公司要搭建本地大模型,推荐配置。
70b 模型 BF16 精度 2 张 a100/a800 ,int4 要 1 张,买不到可以换成 4 张 4090
感觉可以看看外面的机会了
如果你说的线上包括客户端的话,那可以用 kazumi ,pc 版也有
op 是前同事,技术很🐂,人非常靠谱,欢迎大家投简历
88 天前
回复了 assiadamo 创建的主题 求职 大佬们,一人来一个内推,年后准备跳槽
@assiadamo 大祥老师被疯狂回旋镖呀
@jojoadv #31 我感觉国外 waze 更好用,google 用来导航地铁火车啥的好使
94 天前
回复了 xietianxiao 创建的主题 Android 国补换机,求推荐安卓手机
一加 13 ,能解 bl
98 天前
回复了 v2zzzzz 创建的主题 Linux 2025 年了,大家服务器用的什么 Linux 版本
ubuntu server -> debian
主要是槽钩的 snap
107 天前
回复了 anivie 创建的主题 机器学习 模型部署的姿势
@anivie #8 可以看下 bentoml ,这个项目允许你在现有的推理代码上简单包一层就可以部署生产级别的服务
111 天前
回复了 anivie 创建的主题 机器学习 模型部署的姿势
生产级别的主流开源推理框架有 tgi vllm sglang tensorrt-llm lmdeploy ,这些框架都支持直接启动 openai compatible 的 http server ,后面可以接 rag 或者那种 chatbot gui 来调 api ,性能和兼容性略有不同
vllm 支持的模型应该是最多,trt-llm/sglang 性能更好
自己部署着玩可以用 ollama
一加 13 ,江苏国补刚买了台 16+512 4k5 现在可以刷外版的 OOS
1  2  3  4  5  6  7  8  9  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2760 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 30ms · UTC 14:54 · PVG 22:54 · LAX 07:54 · JFK 10:54
Developed with CodeLauncher
♥ Do have faith in what you're doing.