这是一个创建于 378 天前的主题，其中的信息可能已经有所发展或是发生改变。
有下面几个要求：
1 、本地部署开源的大模型
2 、有知识库管理
3 、可提供接口
有没有满足的产品呀
 |
1
2kCS5c0b0ITXE5k2 2024-04-02 08:53:30 +08:00
ollama AnythingLLM
|
 |
2
andytao 2024-04-02 09:01:22 +08:00
|
 |
3
NoobNoob030 2024-04-02 09:03:16 +08:00
1. 大模型单独部署，huggingface 或者魔搭社区看看文档就能部署
2. 知识库管理+接口这种 AI 平台，想傻瓜式开箱即用的，国内推荐 fastgpt ，国外推荐 langflow 。想自己开发就用 langchain |
 |
4
jjyyryxdxhpyy OP @NoobNoob030 谢谢
|
|
5
jjyyryxdxhpyy OP @andytao 谢谢，我看看
|
|
6
jjyyryxdxhpyy OP @emeab ollama 我知道，本地部署了，现在在想怎么集成知识库
|
|
7
andytao 2024-04-02 09:14:24 +08:00
|
|
8
andytao 2024-04-02 09:17:08 +08:00
楼主考虑的是编程集成吧？
比如用已有知识库训练模型，调用 API 输出想要的结果等，最好把后续细节细化一下，或许有更多有可行性的建议； |
 |
9
seeyourface 2024-04-02 09:23:03 +08:00
同问，通过知识库外部引用和使用知识库作为训练集微调模型，有没有这方便的大佬知道哪种方式的效果更好吗
|
|
10
jjyyryxdxhpyy OP @andytao 是这样，本地部署一个类似 ollama 的服务，集成开源大模型，然后基于这个模型，集成知识库，对面前端来说，可以调用接口，做进一步修改，适配项目
|
|
11
jjyyryxdxhpyy OP @andytao 谢谢，我看看
|
 |
12
Lockeysama 2024-04-02 09:32:27 +08:00
本地模型和其它可以分开的话，可以试试 https://github.com/langgenius/dify
支持接入本地模型 |
 |
13
tricker1215 2024-04-02 09:51:42 +08:00
话说有没那些本地“小模型”。
基于特定的文本内容做成一个问答机器人，文本内容短，但是准确性要求高。 |
 |
14
fredweili 2024-04-02 10:00:40 +08:00
hugging face 去找找
|
|
15
jjyyryxdxhpyy OP @fredweili 太难找了
|
|
16
jjyyryxdxhpyy OP @tricker1215 这不就是，和我要求差不多，本地部署，需要集成知识库
|
|
17
jjyyryxdxhpyy OP @Lockeysama 可以
|
 |
18
NewHere 2024-04-02 10:26:09 +08:00
英伟达的 Chat with RTX 呢，那个好像是分析本地文件的
|
 |
19
kuqma98 2024-04-02 10:36:50 +08:00
Langchain-chatchat
|
 |
20
supergeek1 2024-04-02 11:00:46 +08:00
https://github.com/chatchat-space/Langchain-Chatchat
这个应该完全符合你的要求，支持本地模型、知识库管理问答、API 页面都有 |
|
21
jjyyryxdxhpyy OP @supergeek1 可以可以，感谢
|
|
22
jjyyryxdxhpyy OP @kuqma98 感谢
|
|
23
supergeek1 2024-04-02 11:42:12 +08:00
@jjyyryxdxhpyy #21 不过这个项目的代码感觉有点杂了（好像也快出 0.3 版本了），如果会开发的话你的需求用 langchain+fastapi 搞一搞也很快能实现
|
 |
24
wwhc 2024-04-02 12:00:53 +08:00
|
 |
25
echoyangjx 2024-04-02 12:37:04 +08:00
网易有道这个满足你的需求，https://qanything.ai/
|
 |
26
Adelell 2024-04-02 12:43:25 +08:00 via iPhone
|
 |
27
jackrebel 2024-04-02 12:47:41 +08:00
留眼学习
|
|
28
jjyyryxdxhpyy OP @wwhc 收到
|
 |
29
isquare 2024-04-02 15:30:11 +08:00  1
fastgpt 比较符合你的需求，dify 我也用过，但是好像外国人做的水土不服。再一个它支持可视化的高级编排 workflow ，上手比较容易，很方便快速搭建。
1. 本地部署开源大模型，这一点跟知识库本身没关系，你自己随便部署 2. 知识库，fastgpt 我觉得做的比较好，它比较早使用 QA 问答对儿的模式去构建知识库，后来其他框架比如 dify 也抄了这个模式 3. fastgpt 的知识库接口兼容 openai 接口的调用，也有自己的格式（用 chatid 存储对话历史之类的），调用比较方便 |
|
30
jjyyryxdxhpyy OP @isquare 非常感谢
|
 |
31
charexcalibur 2024-04-02 17:40:23 +08:00
ollama ➕dify
|
 |
32
yukYaoT 2024-04-02 18:31:14 +08:00
fastGPT 吧,今天我们也在部署这个
|
 |
34
7VO54YYGvw3LOF9U 2024-04-02 20:11:09 +08:00 via iPhone
一直不太懂如果本地部署大模型不是为了商用，有什么意义
|
|
35
jjyyryxdxhpyy OP @hugi 有些内网环境
|
|
36
jjyyryxdxhpyy OP @yukYaoT 可以
|
 |
37
conglovely 2024-04-03 09:01:02 +08:00
我用 ChatGLM3 + Langchain-chatchat 搭起来了
拯救者 4060 8G 显存跑满，还借用了点内存 模型要能再精简点就好了 |
 |
39
skykk1op 123 天前
大佬，参考下方案。我现在也有类似的需求
|
Select Language