需要一个尊重上下文的输入法

[cj323]

一直用自带输入法，总是发现打出的文字不尊重上下文。

比如我在打三国相关的文字，前面输入了“陆逊“，那么之后打”lvmeng“应该把”吕蒙“的优先级大幅调高。然而实际操作中苹果输入法还是傻傻得提示”绿盟“啥的。

现在 AI 这么强，达到这个效果不难吧。有没有能实现的？

[lswlray]

你选择三国词库就有了

[Mithril]

AI 容易，但实现难。大概有两点比较麻烦：

1. 如何捕获“上下文”。
我能想到最简单的就是全屏 OCR ，但这个显然是相当耗性能的操作。特别是你要跟上输入的频率，最差也得几秒钟做一次。
如果直接接入各种编辑器里，实际上就是个拼写检查了。这个倒是能快很多。
2. AI 推理的性能。
你打个拼音十几秒后才出结果显然是不可接受的。只能用本地的小模型，那效果如何就难说了。

更别说权限问题了，想解释清楚也很麻烦。最简单的就是在整句输入里面使用简单的推理，这个倒是很容易做到，而且上下文不多，小模型推理也快。

[cj323]

@lswlray #1 不是有不有的问题，是有提示但是不是依赖上下文重新排列优先级。自带输入法也有吕蒙，但是优先级没有被上下文影响。依赖上下文的输入法应该是打了充电器优先提示绿盟；打过装修优先提示铝门……

[cj323]

我抛砖引玉一个实现：

本地起一个模型。每次打字通过定制的输入法喂给 AI 选择过的文字，一次也就几 byte 。每次提示前通过已知信息重排选项。模型尽量小以缩小延迟，尽量向小 token 优化。再慢就缩小缓存/上下文长度，并只优化简体中文。现在简单的模型都能秒出结果了，就吐几个 token 应该能接近输入法输入频率了吧。

[xiaket]

都不需要 AI, 后面有一个矢量数据库就够了.

[lloovve]

输入法不难，难得在于频次太高了，其实魔改一下 asr 大模型数据库就是了

[ysxb1145]

@Mithril 要是真能看上下文有些人又要说输入法获取内容上传甚至审查了

[lswlray]

你对对输入法选择专业词库有误解啊~~ 选择专业词库，就意味着相关的词会有优先权重
@cj323

[gadfly3173]

我试了下搜狗 linux 版没你题目里这个问题，手机上的讯飞也可以。

[Ketteiron]

什么都上 AI 模型只会让各种工具越来越慢。
就算是最小的模型，你能接受它的体积吗，你能接受以后你的电脑上安装几百个软件附带几百个大模型吗。
按主楼用例来看，你需要的是类似智能调整词库权重的东西，当连续/高频命中关键词时调高对应词库权重，正常输入法都会有这种机制，但自带输入法不会考虑这种场景，所以你要做的是换一个输入法，而不是屁大点事都上大模型，它不是万能许愿机。

[jybox]

@Mithril 一个比较简单的做法就是记住之前一段时间通过输入法输入的文字，作为上下文，当然这有个问题就是如果频繁地切换（比如工作的同时也在聊天）可能会比较混乱。