V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
mumbler
V2EX  ›  Local LLM

win&mac 下开箱即用的本地大模型+知识库,支持数十种开源模型

  •  1
     
  •   mumbler · 149 天前 · 1657 次点击
    这是一个创建于 149 天前的主题,其中的信息可能已经有所发展或是发生改变。

    官网: https://flashai.com.cn

    这可能是目前最简单的本地大模型+知识库部署方案

    大模型所有基础功能永久免费

    flashai flashai

    功能特色

    无需 docker,无需命令行操作,无需 GPU

    基于 ollama ,直接将大模型打进包,选择一个大模型,下载 zip 包,解压,运行即可

    无需任何配置,开箱即用

    支持 win10,win11 ,mac11+

    图形界面,不用自己安装 webgui

    自带 embedding 库,支持上传 pdf,docx,txt,md 创建知识库

    文档翻译工作流,一次翻译整本书

    知识树,从大模型压榨数据

    离线使用,所有数据都在本地,充分保护隐私

    更多的应用正在开发中:视频字幕翻译,长文写作工具...

    本地大模型的三大优势

    1.隐私敏感数据保护

    2.不依赖网络,可在无网环境使用

    3.无限 token ,对于密集计算应用,比如翻译整本书,比云端订阅更划算

    欢迎大家下载使用,多提意见

    18 条回复    2024-08-28 08:46:50 +08:00
    creazyrabbit
        1
    creazyrabbit  
       149 天前
    翻译用哪个模型比较好
    iorilu
        2
    iorilu  
       149 天前
    换一个模型就要重下一套软件?

    不能安装多模型吗
    mumbler
        3
    mumbler  
    OP
       149 天前
    @creazyrabbit #1 gamme2 9B 翻译超强,比 qwen2,llama3 都强得多,跟 deepl 没有肉眼区别
    mumbler
        4
    mumbler  
    OP
       149 天前
    @iorilu #2 一个包一个模型,需要哪个启动哪个,这个设计是为了做到开箱即用,否则还涉及到下载模型操作,其实 r 软件不大,模型大小占包 90%以上
    tailaqumos
        5
    tailaqumos  
       149 天前 via Android
    本地模型有提供 api 接口吗
    mumbler
        6
    mumbler  
    OP
       149 天前 via Android
    @tailaqumos #5 可以全部提供,包括 AI ,知识库,向量索引的 api ,我们正在做一个框架,方便启动 api 开发的应用
    SWALLOWW
        7
    SWALLOWW  
       148 天前
    我次奥,试试
    SWALLOWW
        8
    SWALLOWW  
       148 天前
    这些模型和能力能不能有个可视化图形让我们这些小白参考选择啊~大大
    mumbler
        9
    mumbler  
    OP
       148 天前
    @SWALLOWW #8 不知道怎么选择,无脑选 gemma2 9B 就行了,中文能力,逻辑能力都一流,特别翻译能力超过 qwen2 ,各种模型排行榜可以看 https://chat.lmsys.org/?leaderboard
    DaiShu888
        10
    DaiShu888  
       147 天前
    Gemma2_27b 的模型什么时候出?
    mumbler
        11
    mumbler  
    OP
       147 天前 via Android
    @DaiShu888 正在上传,很快就好
    DaiShu888
        12
    DaiShu888  
       144 天前
    悄悄地问下,能调教个 AI 女友出来吗?无限制 NSFW 的那种
    mumbler
        13
    mumbler  
    OP
       144 天前 via Android
    @DaiShu888 未审查模型一般都是小作坊出的,不太稳定
    DaiShu888
        14
    DaiShu888  
       144 天前
    所以楼主就搞一个稳定的 NSFW 模型,肯定卖爆了
    DaiShu888
        15
    DaiShu888  
       143 天前
    楼主什么时候能让本地模型获得网络访问和搜索权限,并且把搜索结果一键添加到知识库。
    封装本地模型就是为了使用方便,但如果本地模型不能自己上网搜索东西,这个模型也没有什么用的。

    还有,能不能搞个预设的提示词库,类似 chatgpt 的 AI 商店。或者支持微调和手动添加提示词。

    我说的这些功能好像你们都有,但用起来又好像不是我们这种小白要的东西,说实话还是有点门槛。
    mumbler
        16
    mumbler  
    OP
       142 天前
    @DaiShu888 #15 感谢建议,这些功能都在计划内,正在开发中
    flymeto
        17
    flymeto  
       114 天前
    长文本翻译不行哎,不能自己设置修改最大字符量么
    mumbler
        18
    mumbler  
    OP
       113 天前
    @flymeto ollama 默认上下文是 2K ,增加上下文会大幅增加内存占用,可以试试文档翻译功能,会自动拆分,可以无限长度翻译
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1431 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 17:23 · PVG 01:23 · LAX 09:23 · JFK 12:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.