有无用于输入法联想的本地（小）大模型

[TrackBack]

国内的输入法都是偷隐私大户，尤其是开了云联想输入一个字上传一个字
现在用的 fcitx ，虽然干净也能导入词库但是没有联想很多时候还是得一个字一个字打
但是这个根据前面的内容生成最可能的后面的内容的场景简直就是大模型的拿手好活啊，理论上这个场景下只需要很小的上下文输入/输出范围，模型可以裁剪到非常小，不需要多少性能也能跑

所以有没有开源的项目在做这个方向的？

[luckykong]

难，需要区分不同软件，获取上下文，不容易做。
要不然容易把 word 里的上文，用来预测微信里和妹子聊天，
或者把跟女朋友调情的上文，用来预测跟上司的聊天，
都挺可怕的

[ospider]

iOS 的就内置了 transformer 啊，去年还是前年的 WWDC 特地说了

[TrackBack]

@luckykong 这部分应该是输入法处理的，不过上下文倒也不用那么长吧，我只想快速联想一个词或者一句，不用一大段

[TrackBack]

@ospider ios 的我又没法拿出来自己用...

[ospider]

@TrackBack #4 至少证明了这个方向是可行的，你的想法不是空想

[liangdi]

这个想法我也想过，不过用了各种模型的补全功能后，目前阶段可能存在不太好调和的平衡点：
即速度和效果的平衡。
小模型效果不好，大模型速度慢，输入是需要非常快速的联想的，对比程序员的代码补全，模型的联想时间稍微长一点还能接受，但是输入就不一定能接受了， 不然产品就变成了另外的形态：输入后等待补全，选择继续...

[rbw]

可以反向操作，学形码（比如五笔、虎码），打字也还是一个一个字打，但不用去看候选框。这样不会出现隐私和候选不合适的问题。

[1yndonn3u]

有相同需求，持续关注···

[xfxz]

@liangdi 有没有可能先用模型跑出最常用的一些词的词频，形成固定搭配；再内置一个 mini 模型来解决实时联想的问题。

[wancaibida]

手机这么搞会不会比较耗电 🤔️

[newdongyuwei]

这个我测试过，最好用的是 berth 模型，响应时间快，资源消耗小。不太长的短句输入足够了。

开源的可以参考 https://github.com/renatoviolin/next_word_prediction ，下载模型需要可以翻墙，或者设置 HF_ENDPOINT=https://hf-mirror.com 使用国内镜像。

英文的使用 bert-base-uncased 模型，中文使用 bert-base-chinese 模型比较好。我之前在阿里云上部署测试过，网络延迟 200ms 左右，本地部署的话 50ms 左右延迟（当然我本机是 M3 Max ，计算性能高很多）。

[newdongyuwei]

我之前给网友定制 iOS 输入法使用过上面提到的 bert 模型。

[GeekGao]

我觉得最简单的就是部署 Phi-3 这类的小模型， 不过如果是跨终端使用的话，还是要自己建立一个推理服务，实现相关的 API 和输入法对接程序

[Coelacanthus]

fcitx5 好几年前就有基于 3-gram 的联想了，然后也有人在做基于 LLM 的

[cheetah]

试试 Chrome 内置的 Gemini 小模型呢

[stucom]

想法很好，我目前所在的部门就是做输入法

[TrackBack]

@Coelacanthus 有没有相关的链接，浅搜了一下没搜到

[TrackBack]

@newdongyuwei 感谢！这个看着挺靠谱，至少有个实例了

[Coelacanthus]

@TrackBack 前者 fcitx5-chinese-addons 装好就有（注意是 fcitx5 不是 4 ），后者的话是在 fcitx5 android 的群里

[kevan]

用 B 站的 index-B ，4BIT 1GB 版本，很快。