我的开源项目已经支持 gemma ，并且提供了 Webui 。整体测试下来效果一般，没有经过微调的话很多任务无法完成测试，并且也拥有小模型的通病，输出 token 停不下来。并且 gemma 7b 输出是乱码，我试过 LM Studio ，也是这个情况，所以感觉像是模型的问题。

https://github.com/smalltong02/keras-llm-robot

我这个项目支持 safetensors 的模型，如果你想使用 gguf 的模型，可以使用 LM Studio 最新版。

@wangkai0956 其实花不了太多时间，目前我这个项目仅花了四个月左右。技术栈的话 python 一定要熟悉，能够自己开发前端和后端。主流的 LLM 框架 langchain 要花时间学习一下。

当你有这样一个项目之后，当 Huggingface 上有新的优秀模型发布你就可以很快去适配和测试它，而不仅仅只能看它的各项评测分数（很多模型都有刷分的问题）。比如看看它在 RAG 任务中的表现，或者能否将自然语言翻译成图像生成的提示词。是否拥有较少的幻觉，知道什么时候调用搜索引擎，什么时候调用 Function 。能否按照要求稳定输出特定格式的结果，能否正确编写代码并调用代码解释器完成复杂的任务等等。

@smalltong02 我这一个项目里面几乎包含了大部分的机器学习落地项目:
1. 本地离线模型和量化模型推理
2. OpenAI 和 Google 在线模型推理
3. 语音识别和输出
4. 图像识别和生成
5. RAG 知识库
6. 代码解释器
7. 智能搜索引擎

可以先找一些比较好的开源项目参考一下，比如我的...
https://github.com/smalltong02/keras-llm-robot

添加了代码解释器功能，支持 Open-Interpreter ，可以使用大语言模型在本地计算机中运行任务:

https://youtu.be/lU4S-Ak0PPs

Sora 生成的视频太逼真了，肯定会有人把 Sora 用在不好的地方，比如黄色产业，造假等等。

这个总结的很好，收藏了！

我之前有过测试
https://youtu.be/yFK62Tn_f4Q

这是得益于 Google Lens 的加持，并不完全依赖 gemini 模型本身的多模态能力。

请问你用的什么模型？最近在 huggingface 上发布的一个 177M 的小模型也可以去除背景，我使用了一下效果蛮不错的。也许你可以更新一下你的模型，也许可以部署到移动端去。模型名称是 RMBG-1.4

@shendaowu
谢谢提醒！

@Nile20
非常感谢，回答很详细！

@BaseException
谢谢，我试试 imgur

我这个项目就可以让 AI 做写简单的事情：
https://github.com/smalltong02/keras-llm-robot

比如画图，搜索，知识库检索等等

开源，让世界更美好！

如果你可以把音频提取出来，也可以试一下 Qwen-Audio-Chat 模型，它可以按照自然语言的要求处理音频，比如列出音频内容的提纲。

gemini 可以处理 2 分钟以内的视频

@junhua13

谢谢支持！新春快乐！

@buyno1

目前图像生成模型仅适配了 2 个开源的本地模型 OpenDalleV1.1 和 ProteusV0.2 ，它们可以完成简单的图生图和文生图，嵌入各种 style 类型的字体现在还不支持。