部署 langchain 需要什么硬件配置

[jedeft]

不知道办公台式机能玩的开不？

[hao7Chen]

langchain 就是个编排框架，不需要啥配置，看你用的啥本地模型

用 cpp 就得内存大，cpu 大
用 gpu 就缓存越大越好吧

[sleeepyy]

langchain 就是个 library 啊，本身又不做 llm inference ，不需要啥硬件

[smalltong02]

langchain 是一套简化大语言模型加载推理的框架，而且还提供 Agent 和各种工具的集成，它本身并不需要什么硬件配置。真正吃硬件的还是你想加载的模型，鉴于一般办公台式机的 GPU 都没有或者很差，那建议你只能玩玩 gguf 的量化模型了。