@james2012

多谢指正，等 Sora 或者 Vidu 可以使用了就配真正的视频。

只有游离在法律的边缘才能赚大钱吗？

在 windows 平台下可以，前提是内存够大，不怕推理慢。

@kenshinhu

看起来是 Linux 机器，你可以部署 8bit 的量化模型，16GB 的显存够用了。

@secondwtq

经过测试 Llama-3 和 Phi-3 都能够和 Function Calling 和代码解释器一起使用。其实 Function Calling 对模型的能力要求要低一些，代码解释器要求模型的能力要高一些。对于 Function Calling ，大部分模型在几轮对话之后都会失去调用 Function 的能力，只有 GPT-4 模型在这块做的是最好的。

@kenshinhu

7B 模型如果不进行量化，仅仅使用 16G 的显存加载模型并推理不太够用，尤其是 Linux 系统，必须要保证显存足够。如果是 windows 系统，是会向内存借用一部分保证不会报内存不足错误，但也会导致推理降速。建议 7B 模型使用 3090 或者 4090 显卡进行测试。

@euph

目前还没有测试过呢。

@lanlanye

量化模型最主要的问题就是精度会有一些损失，有点类似于有损压缩。两个数据很近的话，比如第一个是 0.2385637 ，第二个是 0.2385644 ，那么量化之后很可以这两个值都落在同一个 int 值上面，这就会造成精度损失。量化模型偶尔会有输出乱或者不停止，通常就是这种问题造成的。

@SylarQAQ

我的这个项目偏向于对热门模型进行各种任务测试并可进行横向比较用的，更倾向于摸清模型在各种任务中的实际表现。

比如你在使用其它开源项目的时候可能会有这样的烦恼。比如 text-generation-webui 项目，它可以适配大部分的离线模型，但不支持在线模型。LM Studio 项目，它可以使用 CPU 跑任何模型，但它仅支持 GGUF 格式模型。ComfyUI 对图像模型的支持生成非常专业，但它仅此而已。Open Interpreter 项目可以让你在本地运行代码解释器，但它仅仅支持 GPT-4 等在线模型，离线模型需要接入其它开源项目。

当你想对不同的模型（包括在线模型和各种离线模型）在相同环境下测试 RAG 任务，接入代码解释器，使用 Function Calling ，搜索引擎，或者接入 TTS ，生成图像的时候，你发现你需要使用一个或者多个开源项目互相配合才能达到目的，并且很可能多个开源项目还无法同时接入。当你想比较离线模型和 GPT-4 ，Gemini 这种闭源在线模型在搭配相同工具在各种任务中表现差异的时候，你会发现很难或者可能根本就做不到。

我的这个开源项目就是针对这类问题才做的，它可以加载各种在线模型，也支持各种热门的离线模型（包括量化模型）。
并且提供了相同的工具，包括
1. 接入搜索引擎
2. Function Calling
3. 角色扮演
4. 代码解释器
5. 接入 TTS （语音输入和输出）
6. 接入图像识别模型
7. 接入图像生成模型

举例说明：
这是一个早期的例子，将图像模型接入 llama-2-7b-chat 模型，让它也可以想多模态模型那样，拥有从图像生成另一幅图像的能力：

https://youtu.be/crQ5mJSJzrg
https://youtu.be/30yoa3lCnB8

@fredweili 是的，而且这次 MS 的 Phi-3 也不错，3B 的模型也都可以完成这些任务，只不过成功率低一些。

不错，不过我想做一个可以离线生成漫画的 AI 工具，语言模型和图像生成模型可以自由选择。

那是因为 ollama 加载的是 gguf 的量化模型。

我的开源项目已经支持 gemma ，并且提供了 Webui 。整体测试下来效果一般，没有经过微调的话很多任务无法完成测试，并且也拥有小模型的通病，输出 token 停不下来。并且 gemma 7b 输出是乱码，我试过 LM Studio ，也是这个情况，所以感觉像是模型的问题。

https://github.com/smalltong02/keras-llm-robot

我这个项目支持 safetensors 的模型，如果你想使用 gguf 的模型，可以使用 LM Studio 最新版。

@wangkai0956 其实花不了太多时间，目前我这个项目仅花了四个月左右。技术栈的话 python 一定要熟悉，能够自己开发前端和后端。主流的 LLM 框架 langchain 要花时间学习一下。

当你有这样一个项目之后，当 Huggingface 上有新的优秀模型发布你就可以很快去适配和测试它，而不仅仅只能看它的各项评测分数（很多模型都有刷分的问题）。比如看看它在 RAG 任务中的表现，或者能否将自然语言翻译成图像生成的提示词。是否拥有较少的幻觉，知道什么时候调用搜索引擎，什么时候调用 Function 。能否按照要求稳定输出特定格式的结果，能否正确编写代码并调用代码解释器完成复杂的任务等等。

@smalltong02 我这一个项目里面几乎包含了大部分的机器学习落地项目:
1. 本地离线模型和量化模型推理
2. OpenAI 和 Google 在线模型推理
3. 语音识别和输出
4. 图像识别和生成
5. RAG 知识库
6. 代码解释器
7. 智能搜索引擎

可以先找一些比较好的开源项目参考一下，比如我的...
https://github.com/smalltong02/keras-llm-robot

添加了代码解释器功能，支持 Open-Interpreter ，可以使用大语言模型在本地计算机中运行任务:

https://youtu.be/lU4S-Ak0PPs

Sora 生成的视频太逼真了，肯定会有人把 Sora 用在不好的地方，比如黄色产业，造假等等。

这个总结的很好，收藏了！