爱意满满的作品展示区。
ikw
3.04D

一觉醒来, HackerNews 上前三了

  •  2
     
  •   ikw ·
    zwpaper · Jan 13, 2025 · 19162 views
    This topic created in 661 days ago, the information mentioned may be changed or developed.

    项目地址: https://github.com/TabbyML/tabby

    主要是用 Rust 做企业级编程助手,欢迎大家围观,更欢迎各种意见和建议

    94 replies  •  2025-01-31 00:03:09 +08:00
    litchinn
    litchinn
    Jan 13, 2025❤️2
    1
    我发现之前就 star 过了,是不是上过 trending ,居然是本站大佬的作品,厉害
    guotie
    guotie
    Jan 13, 2025❤️2
    2
    巨佬
    ikw
    ikw
    OP
    Jan 13, 2025❤️1
    3
    @guotie @litchinn 哈哈,没有没有,我也只是其中一员,虽然目前我们人也不多就是了。
    MoGeJiEr
    MoGeJiEr
    Jan 13, 2025❤️1
    4
    相当屌
    zhixiao
    zhixiao
    Jan 13, 2025
    5
    请教一下,是不是必须配合 server 使用,如果我只想使用 tabby vscode 插件+deepseek api 行不行呢?刚刚配置失败了
    ikw
    ikw
    OP
    Jan 13, 2025
    6
    @zhixiao 必须要配合 Server 使用的,Server 在 LLM API 之外会做很多事情,就像读取文档,代码库,然后根据这些信息,再给你补全和生成代码。

    配合 Server 也不复杂,目前 release 里就是两个二进制文件,放到 PATH 下的目录里就好,很容易就能跑起来
    zhixiao
    zhixiao
    Jan 13, 2025
    7
    @zwpaper 多谢,我晚点试试看,就是不知道对比 copilot ,deepseek 的效果究竟咋样
    ikw
    ikw
    OP
    Jan 13, 2025
    8
    @zhixiao #7 Copilot 确实是强劲的对手,我们算是互有优势吧,一直在争取有一天能说我们比 Copilot 强

    deepseek 的话,主要说的是模型吧?我们本身也是可以用 deepseek 的模型的
    cloudzhou
    cloudzhou
    Jan 13, 2025
    9
    我之前甚至考虑过一种实现,就是配合麦克风、当前页面:
    当我按某个快捷键,说明开始和 ai 交互,开始语言输入,然后说出指令,就自动提示代码

    考虑到编程很多是繁琐的细节,这一块能完成,效率简直 x3
    yh7gdiaYW
    yh7gdiaYW
    Jan 13, 2025❤️12
    10
    话说为啥要取名 tabby ,已经有一个 6 万 star 的 tabby 了,搜索时结果混淆在一起有点蛋疼
    4UyQY0ETgHMs77X8
    4UyQY0ETgHMs77X8
    Jan 13, 2025
    11
    @cloudzhou 技术部秒变客服部
    cloudzhou
    cloudzhou
    Jan 13, 2025
    12
    @q1102389095 也别这么说,也可以说技术人员更高阶了,hhh
    4UyQY0ETgHMs77X8
    4UyQY0ETgHMs77X8
    Jan 13, 2025
    13
    @cloudzhou 我说的是有了这个以后技术部从原本敲代码方式转变成叨叨叨了,这样降噪等问题以及说错话还有方言、感冒带鼻音等都要处理,前段时间我感冒了说的很多东西不准确,我的智能家居开始已读乱回
    cloudzhou
    cloudzhou
    Jan 13, 2025
    14
    @q1102389095 我自己用了 wx ,感觉准确率可以,对于编程来说,术语、特定语言在一个小范围,理论上更加精准才对,并且,局部的不精准,不影响全局的理解。

    如果那一天编程到了这一步,编程的方式都有些变化了
    viking602
    viking602
    Jan 13, 2025❤️2
    15
    @yh7gdiaYW 确实我第一反应是那个 tabby 太容易混淆了
    tars13344
    tars13344
    Jan 13, 2025
    16
    @cloudzhou #9 你是否在找 罗永浩-TNT
    cloudzhou
    cloudzhou
    Jan 13, 2025❤️1
    17
    @tars13344 如果都用语音识别,确实有些傻瓜瓜,但是考虑到语音识别的准确性、快速响应进步,在一些场景确实可以的,我不大使用 AI 一个原因是,有时候打了一大段字描述一个问题,来回的时候(各种微调)我都可以自己写代码了
    magzza
    magzza
    Jan 13, 2025
    18
    第一眼以为是终端软件 tabby 。
    ikw
    ikw
    OP
    Jan 13, 2025
    19
    @cloudzhou #9 抛开语音识别,并且把当前页面限制到 VSCode ,目前的实现其实就是类似的效果,当然,一些更好的体验其实也受限于当前 LLM 的能力,实际做下来体验不如预期,还得等 LLM 再进化
    ikw
    ikw
    OP
    Jan 13, 2025
    20
    @yh7gdiaYW 可以用 ML 后缀来区别,Tab by ML ,所以去掉 ML 就是产品名,和终端 Tabby 重名也确实是巧合了
    1016
    1016
    Jan 13, 2025
    21
    我之前在 vs code 里面使用过 tabby ,我也不知道啥原因感觉不太“聪明”的样子。后来我就没用了。

    现在才知道要配置一些东西才好用....
    nagisaushio
    nagisaushio
    Jan 13, 2025 via Android
    22
    @cloudzhou 什么 tnt
    SilenceLL
    SilenceLL
    Jan 13, 2025
    23
    同感,看成终端软件了,以为终端里面加了 ai 。
    Q81vlT1d47v4fq42
    Q81vlT1d47v4fq42
    Jan 13, 2025
    24
    能部署到 NAS 么
    yh7gdiaYW
    yh7gdiaYW
    Jan 13, 2025
    25
    @zwpaper 但 google 的搜索结果官网是"Tabby - Opensource, self-hosted AI coding assistant",Github 的仓库也是"tabby",如 23 楼所说真的很容易以为是 tabby 加了 ai
    hujnnn
    hujnnn
    Jan 13, 2025
    26
    之前就 Star 了, 好奇的是付费用户多么? 🐶头保命🤣
    QlanQ
    QlanQ
    Jan 13, 2025
    27
    以前就试过,感觉本地部署还是很占资源的,Mac 用不起
    RicardoY
    RicardoY
    Jan 13, 2025
    28
    @yh7gdiaYW +1 ,这个名字楼主团队是否可以考虑换一下
    liuliuliuliu
    liuliuliuliu
    Jan 13, 2025
    29
    有没有和其他助手的对比?
    xfn
    xfn
    Jan 13, 2025
    30
    感觉 continue 比较像,和 continue 相比有什么优势么?
    crackidz
    crackidz
    Jan 13, 2025
    31
    之前看到了,确实挺不错的
    FightPig
    FightPig
    Jan 13, 2025
    32
    之前才看过,没想到作者居然在 v2
    ikw
    ikw
    OP
    Jan 13, 2025
    33
    @yh7gdiaYW #25 Tabby 这个名字现在积累了一定的产品力了,肯定不会轻易考虑换,而且和终端的 Tabby 毕竟也不是一个赛道的
    ikw
    ikw
    OP
    Jan 13, 2025❤️1
    34
    @FcukYouTony 肯定是可以的,但是 NAS 的话,一般得用远端的 API 了,或者 NAS 本身能力比较强大也是可以的,毕竟还是依赖 LLM 的能力
    ikw
    ikw
    OP
    Jan 13, 2025
    35
    @QlanQ 资源大头还是在 LLM 上,Server 本身占用的资源不算多,所以说实话,目前 Mac 上我主要也是开发场景在用,生产场景还是依赖远端的 LLM
    ikw
    ikw
    OP
    Jan 13, 2025
    36
    @liuliuliuliu @xfn 我们目前没有对比的文章,但是从个人体验上说,Tabby 会获取更多的上下文,包括编辑器里能获取的,还有 Server Side 保存的,在 Chat 或者补全的时候都会有更高的命中率
    Ironben
    Ironben
    Jan 13, 2025❤️2
    37
    @zwpaper 今天第一个 star 。 果然是能力越大,头像越黑😉
    lynan
    lynan
    Jan 13, 2025 via iPad
    38
    @devdes 奇怪的关注点增加了😂
    46fo
    46fo
    Jan 13, 2025
    39
    要英伟达的显卡?
    Echoleung
    Echoleung
    Jan 13, 2025 via Android
    40
    本地无显卡,怎么使用现有模型 api 作为远端服务呢?有教程吗,windows 的?
    jonsmith
    jonsmith
    Jan 13, 2025
    41
    star 了,等有显卡了试试
    Liftman
    Liftman
    Jan 13, 2025❤️1
    42
    挺好的,适合我们自建。我之前还在烦呢。因为 cursor 跑 ollama 比较麻烦,每个人都配置一下也挺烦,而且 cursor 也不是每个人都首选。 这个就不错。
    TimPeake
    TimPeake
    Jan 13, 2025
    43
    按教程 docker 部署完毕, http://localhost:8080 或者指定其他端口,无法打开 ,什么情况
    ikw
    ikw
    OP
    Jan 13, 2025
    44
    @xdeng @Echoleung @jonsmith 本地有显卡是最好的,可以本地跑模型,尤其对于企业来说,数据还很重要的。

    没有显卡的情况下,Tabby 也支持使用远端的模型 API ,针对不同的厂商,我们也都有对应的文档,可以参考一下,例如最近很火的 Deepseek V3 和 Deepseek Coder 都可以通过 Deepseek 的 API 运行: https://tabby.tabbyml.com/docs/references/models-http-api/deepseek/
    ikw
    ikw
    OP
    Jan 13, 2025
    45
    @TimPeake 得看一下具体的日志和报错,之前碰到过的 docker 绑了 IPv6 ,还碰到过 localhost 解析异常,或者 GPU 异常,之类的问题

    或者各位有条件的话,可以加一下我们的 Slack ,我们可以更好的当好客服工作,哈哈

    https://links.tabbyml.com/join-slack-landing
    Entropy0
    Entropy0
    Jan 13, 2025
    46
    如果可以先用 Gemini 体验一下就好了,刚刚看了下文档似乎没提到 Gemini
    ikw
    ikw
    OP
    Jan 13, 2025
    47
    @a174871 因为 Gemini 只有 Chat 模型,所以关注度不算高,不过好像也确实可以把 Chat 模型给他加上,毕竟也是个 LLM 大哥
    Rrrrrr
    Rrrrrr
    Jan 13, 2025
    48
    如果在本地跑,还得用你们的 api 吗?有些公司不让上网的,所以就用不了?
    a132811
    a132811
    Jan 13, 2025
    49
    允许将整个本地项目代码加入上下文吗?或者指定本地的几个目录的代码作为上下文
    TimPeake
    TimPeake
    Jan 13, 2025
    50
    @zwpaper #45 可能我电脑性能不太行,200 秒左右启动成功, 刷新可以打开了。安装了 cuda toolkit, 试了下 tab 补全的时候 3050 显卡瞬间飙升到 70%+使用率
    Alias2023
    Alias2023
    Jan 13, 2025
    51
    能本地部署了,这个怎么还需要订阅
    JZen
    JZen
    Jan 13, 2025❤️1
    52
    牛逼,先点 Star ,等会部署玩玩
    looplj
    looplj
    Jan 13, 2025
    53
    很早就看到了,没想到是国内厂商,支持。
    ikw
    ikw
    OP
    Jan 13, 2025
    54
    @TimPeake #50 LLM 基本都是这样,不同模型对显卡的利用率也不一样
    ikw
    ikw
    OP
    Jan 13, 2025
    55
    @Rrrrrr "我们的 API" 就是指的本地运行的这个 Server API ,公司不让上网指的应该是不让上互联网吧,公司内网部署 Tabby ,然后内部都访问这个 API 就行
    ikw
    ikw
    OP
    Jan 13, 2025
    56
    @a132811 是的,允许添加 GitHub/GitLab 等仓库,会自动去拉取,或者本地的 Git 仓库也都是可以的
    ikw
    ikw
    OP
    Jan 13, 2025
    57
    @Alias2023 个人本地部署基本没有限制,有一些企业功能是限制了需要订阅才可以的,这也是我们的商业模式
    ikw
    ikw
    OP
    Jan 13, 2025
    58
    @ZSeptember 哈哈,互联网时代,主要还是看产品
    Rrrrrr
    Rrrrrr
    Jan 13, 2025
    59
    @zwpaper #55 有没有推荐什么配置,能跑得比较好?
    jlak
    jlak
    Jan 13, 2025 via iPhone
    60
    这种是不是很吃 token
    abeholder
    abeholder
    Jan 13, 2025
    61
    只能使用本地的模型吗 ,能接其他 LLM 的 API 么?
    cyhulk
    cyhulk
    Jan 13, 2025
    62
    膜拜,先 star
    Echoleung
    Echoleung
    Jan 13, 2025 via Android
    63
    @zwpaper 使用远端模型,配置好 config 后执行.\tabby.exe serve 启动就行吗?
    c7zoki9
    c7zoki9
    Jan 13, 2025
    64
    厉害,点个 star 部署试试
    ScjMitsui
    ScjMitsui
    Jan 14, 2025❤️1
    65
    厉害的!我同学是你们中一员,在朋友圈宣传过几次
    Remember
    Remember
    Jan 14, 2025
    66
    你这跟哪个 ssh 客户端重名了呀,我吓一跳,以为那作者说中文了。
    Entropy0
    Entropy0
    Jan 14, 2025
    67
    @zwpaper #47 感谢回复,您提到 Gemini 只有 chat 模型,是因为 tabby 还需要其他模型吗 比如 Embedding ?我印象中 Google 的 AI studio 中提供的 API 和 OpenAI 中提供的都是只有 chat 吧?
    lovestudykid
    lovestudykid
    Jan 14, 2025
    68
    有点不太理解,其他一些工具不都是插件+api 就行了么,为什么还需要一个单独的程序
    pigzzz
    pigzzz
    Jan 14, 2025
    69
    还以为是那个 terminal
    f1ynnv2
    f1ynnv2
    Jan 14, 2025
    70
    @cloudzhou vscode+copilot 里,command+两次不就是你说的这个效果吗?我自己在家的时候一直是语音说需求,copilot 给我改代码的
    f1ynnv2
    f1ynnv2
    Jan 14, 2025
    71
    @f1ynnv2 command+i 两次
    isSamle
    isSamle
    Jan 14, 2025
    72
    怎么没有中文文档😂
    astkaasa
    astkaasa
    Jan 14, 2025
    73
    已 star, 今天去试用一下, 有没有和 CodeGPT 跑本地模型的对比?
    ikw
    ikw
    OP
    Jan 14, 2025
    74
    @a174871 #67 是的,全能力需要 3 个模型,Chat 、Completion 、Embedding ,

    Google 有 Chat 和 Embedding

    OpenAI 三个都有,只是 Completion 已经 Deprecated 了
    ikw
    ikw
    OP
    Jan 14, 2025
    75
    @Rrrrrr #59 我个人的经验是 codestral 22b 一个模型对于 Completion 和 Chat 处理得都挺不错的,显卡能跑起来这个模型的话,体验上应该就很不错了
    ikw
    ikw
    OP
    Jan 14, 2025
    76
    @Echoleung #63 是的
    zzzlight
    zzzlight
    Jan 14, 2025
    77
    star 好久了 看到你发才知道原来是本站佬的作品
    sanquan
    sanquan
    Jan 14, 2025 via iPhone
    78
    巨佬你好
    astkaasa
    astkaasa
    Jan 14, 2025
    79
    vscode 和 intellij 里面的 chat 页面出不来, 代码补全是正常的
    astkaasa
    astkaasa
    Jan 14, 2025
    80
    @astkaasa 这样启动的
    tabby serve --device metal --model Qwen2.5-Coder-7B --chat-model Qwen2.5-Coder-7B-Instruct --port 10000 --no-webserver
    Entropy0
    Entropy0
    Jan 14, 2025
    81
    @zwpaper #74 感谢回复,那能否像 Dif 一样,可以分别配置 chat 、Completion 、Embedding 所使用的模型,比如我可以把 Embedding 使用本地部署的,而 chat 使用 Gemini 呢?
    cloudzhou
    cloudzhou
    Jan 14, 2025 via iPhone
    82
    @f1ynnv2 那太先进了,我只是自己的一个想法,程序员真要变革了
    twohappy
    twohappy
    Jan 14, 2025
    83
    屌啊,相当屌
    devzhaoyou
    devzhaoyou
    Jan 14, 2025
    84
    牛叉 留名
    ikw
    ikw
    OP
    Jan 14, 2025
    85
    @a174871 #81 可以的,参考这里几个不同的厂商,可以组合使用,也可以本地远端组合使用
    https://tabby.tabbyml.com/docs/references/models-http-api/deepseek/
    ikw
    ikw
    OP
    Jan 14, 2025
    86
    @jlak 会有点,不过现在 token 价格也都越来越便宜了,而且只会更便宜,另外就是本地有显卡的话,本地模型能力也会越来越强的
    monkeyWie
    monkeyWie
    Jan 15, 2025 via Android
    87
    没懂这个和 cline 插件有啥区别
    ikw
    ikw
    OP
    Jan 15, 2025
    88
    @astkaasa #80 可以到 GitHub 或者 Slack 里贴一下详细的问题,才能定位一下怎么回事
    ikw
    ikw
    OP
    Jan 15, 2025
    89
    @monkeyWie Tabby 会整合更多的相关信息,不仅仅是一个代码助手
    weank
    weank
    Jan 15, 2025❤️1
    90
    牛的👍,最近也在企业内部做代码生成工具,看了下 repo ,感觉能学到很多
    weank
    weank
    Jan 15, 2025
    91
    但是 rust 是一个门槛,无论对开发者还是想要接入服务的企业来说,存在一定的障碍。
    ikw
    ikw
    OP
    Jan 15, 2025
    92
    @weank #91 语言只是实现途径之一,用 Rust 也是考虑生态之后的选项,实际开发体验下来也都挺好的,我也知道 Rust 的花边新闻,不过最终产出才是中最要的。

    对于开发者,主要是有一个上手门槛,但是现在像 Tabby 这样的助手出现,也能很大程度的降低这个门槛。

    对于企业,主要还是看产品,一般也不会过多关注具体的实现方式
    synrise
    synrise
    Jan 28, 2025
    93
    @zwpaper #44 谢谢大佬的贡献,想问下,如果是调用远端 api 的话,是不是 docker 部署就把--model StarCoder-1B --chat-model Qwen2-1.5B-Instruct --device cuda 这些去掉?
    ikw
    ikw
    OP
    Jan 31, 2025❤️1
    94
    @unbridle 对,还得在 config.toml 上配置一下远端 api 的信息,需要自己 mount 这个配置文件进去
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1409 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 117ms · UTC 19:05 · PVG 03:05 · LAX 11:05 · JFK 14:05
    ♥ Do have faith in what you're doing.