Visual OpenLLM = ChatGLM + Visual ChatGPT + Stable Diffusion
Visual OpenLLM 是一个用开源模型实现的中文版 "Visual ChatGPT"。
- ChatGLM 用的是开源的 6B 模型,然后通过 Finetune 后,拥有识别用户绘画意图的能力,并抽取出需要绘画的内容,给到 SD 模型
- 套用了 Visual ChatGPT 的壳子,把 OpenAI(CloseAI)换成了上面的 Finetune 好的 LLM
- Stable Diffusion 目前直接套用开源模型,没做改动
项目地址: https://github.com/visual-openllm/visual-openllm
效果:
目前只实现了 对话 和 文生图的功能,之后会加入更多图像模型的支持。
知乎: https://zhuanlan.zhihu.com/p/617228238