token 的中文翻译，正式定为词元，如何？

[tactac]

个人认为很不错，语言的最小单元，和字节这个翻译类似。有没有人去注册一家词元跳动的公司？🤣

[youngteam99]

这公司名 25 年就有了

[passive]

国内的编译原理课上你们把 token 叫什么？

[axuadm19]

支持！应该把 web\http\com\这些洋文都换成中文，体现文化自信，大国的遥遥领先。同时还要注意，用洋文的都是潜在的行走五十万，要列入重点观察名单里。

[letwewell]

一进来就看见小丑在表演，一天的心情都好了

[loveqianool]

不是 兔啃 吗？

[alect]

我觉得好，信达雅。

[askfilm]

很好， 比 token 好理解多了

[meetyuan]

就读 "掏啃" ，大家都能理解啊！

[akorn]

我是穿越了吗?
https://zh-v2.d2l.ai/chapter_recurrent-neural-networks/text-preprocessing.html#id3

[Solis]

@axuadm19 搁着搞意思形态呢

[dcdlove]

编程
语言解析器语法树中几十年前就有词元的定义了

[kfpenn]

我也觉得还不错，上面抵制的没必要这么暴躁，以前 token 只在程序员圈子里用，这种专业词不翻译没什么，但随着 ai 技术的普及，这个词肯定要被大众所知所用，如果不找个合适的翻译，以后想要和日语一样在日常用语中参杂大量的英文？

[dajj]

我觉得不如叫数字粮票

[dcdlove]

@kfpenn

别误导其他人，ｔｏｋｅｎ语法解析中就有词元的中文名称了不是刚出来的

[hash]

个人觉得既然因为大语言模型导致很多普通人需要开始理解 token 那么进行中文化翻译完全没问题
但是翻译成词元...我说实话普通人也很难理解的

[JiafuYuan]

http 请求时的 token 也是词元吗,一帮专家闲着没事干

[dcdlove]

@akorn

[saranz]

说实话，不是很明白为什么像 token 、Ai 这类的单词为什么非要翻译出一个中文词汇。

[dcdlove]

@Solis AI 　人工智能　也在征名，北方很多火车站，地铁也在用拼音了

[chandlerbing9317]

@dajj 叫话费吧

[Solis]

@dcdlove #19 换成中文也仅仅是基操，有多少外来词都是这样，要么是音译，要么是代替词。

[break]

@saranz 如果 token 可以用英文名这个逻辑成立，外来文化直接用他们原文，那我们说其它国家名称的时候是不是学的美国就是 America 、日本就是にほん呢？那对于新生代来讲，会需要学会全世界语言来接受外来文化的基础教育。

一个国家不是所有人都学了英语，站在更高的高度去看 14 亿人，考虑的问题需要更全面。也许新知识的推广，后期新生代的教育，有些东西需要编入文档，编入教材，转化成一个中国知识结构里面的内容，最终融汇到“文化”里面去。

[break]

token 在都理解的人群里面沟通交流，完全可以继续使用 token 。但是给它翻译成汉字也很重要，有它使用的场景

[Chicagoake]

我在多邻国学一些简单的日语想着以后万一出国了能用，结果被假名整崩溃了。

[liu731]

「 An Inquiry into the Nature and Causes of the Wealth of Nations 」
「国民财富的性质和原因的研究」
「国富论」

[Dispatcher]

@alect 信达雅个锤子。
token 就是 token ，强行命名适得其反，我给完全不懂这个 it 技术的老婆说这个词，反而我还要解释什么叫分词，为什么要消耗 token ，生成视频又怎么计算的等等。然后和我说一句，不明所以。

@Chicagoake 日本人也很苦恼片假名，所以你不用太担心。true 、false 都有片假名谁敢信……

[wudaye]

虽然但是，大模型流行之前，我一直以为 token 是临时会话密钥的意思啊

[dajj]

@chandlerbing9317 话费不震撼。 今天我用了 1 亿数字粮票， 听起来就有钱

[zli]

那

OAuth Token

就是“经国家网信办等有关部门官方认证的词元”了吧

可以安全调用（手动狗头）

[murmur]

@saranz 不翻译就跟日本一样，全民片假名+英语，作为一个语言必须有吸纳新鲜事物的能力

[murmur]

@zli 英文的一词多义本来就很问题

以前就有讨论

cookies 怎么翻译，这东西本身在英文里语义就模糊，翻译出来更模糊，只能背下来，因为这是术语

[layxy]

@axuadm19 你说的这些其实是英文缩写,这些本来就有对应官方中文,只是大家都习惯英文缩写

[TUTOO]

翻译成词元个人感觉挺好，又不是说写入法条强制规定要用，正式的翻译为正式的文件提供了参考、统一标准。习惯用 token 、掏坑、花费、粮票的继续用就好了，又不会被出警。

[NewYear]

“词元”可以接受

我印象中最近有一个翻译成“新 XX”（ xx 忘记是什么了），就不太行。

[18bili]

偷啃

[lujiaxing]

这东西为什么非要翻译呢? 就叫 token 不行吗????? 不翻译就叫 token 统一叫 token 会死吗

[glacer]

@lujiaxing 规范新闻媒体使用，不是每个人都会英语的，你自己用 token 也没人管你。

[yuzii]

词元 token
图元 primitive
片元 fragment
体元 voxel

[Procumbens]

@NewYear 新智元

[cmdOptionKana]

我看有人建议翻译为“偷啃”就挺好的，偷啃你的钱包

[lujiaxing]

@glacer 新闻媒体也用 token 就好了啊 大家统一

[murmur]

@lujiaxing 采访的时候可以用 token ，字幕要么翻译要么备注

[cmdOptionKana]

@lujiaxing 程序员思维、精英主义思维不利于赚钱。对于很多 AI 潜在消费者来说，token 这个英语单词确实不太友好。

你会反对 browser 翻译为浏览器吗，你会反对 programming 翻译成“编程”吗，你会反对 computer 翻译为电脑吗？如果不反对，为什么偏偏要反对 token 呢。

[NO9527]

token 指代东西太多了

[lujiaxing]

@murmur 可以不翻译/备注啊.
"目前 Deepseek-R3 单次使用支持的 token 数量已经来到了 2 兆的水平, 位于行业前列"

[wowawesome]

不如 话费

[lujiaxing]

@cmdOptionKana 因为 Programming, Computer, Web-Brow-ser 这些词又长读起来又拗口. Pro-gram-ming, Com-pu-ter 读起来都很麻烦, 不如 "编程", "电脑", "浏览器" 读起来简洁明了. 写起来也不如中文简洁

[shintendo]

@lujiaxing browser 是两个音节，浏览器是三个音节。还是说简不简洁看你感觉？

[lujiaxing]

@shintendo 三个. b-row-ser...

[cdwyd]

token 这个词本身就挺模糊的，词元比 token 好理解。

[shintendo]

@lujiaxing 你看你连音节都不会数，还是别讨论翻译问题了

[ChineseTeacher]

我都不知道上面这么多人在应激什么。“词元”这个翻译明明很好啊，让我想到把“byte”翻译成“字节”。

每个 byte 能承载一个 ASCII 字母，所以翻译成“字节”。token 翻译成词元，“元”引申单元，也指最基础的、小的处理单位，我觉得很好听。

其他领域内 token 翻译成令牌、代币，那是其他领域的事。你如果能认为 LLM 的 token 跟翻译成令牌、代币的 token 是一回事，那证明你对这些概念的理解有重大错误。

维基百科“token”在电脑领域下给了七八个不同的词条，都可以叫 token 。session token （网页会话）、security token （指 yubikey 这种东西）、access token （这种情况下翻译成令牌），还有虚拟货币的 token （翻译成代币）全都是不同的词条，LLM 的 token 的词条叫 tokenization ，这几个概念差别很大，英语里却只有一个词。搞一个新词出来方便一般公众理解，合适得不得了。

我还是觉得最适合跟词元这个翻译类比的是字节。字节和 byte 也没关系，但纯意译就搞了这么个翻译出来。mouse 英文就是老鼠，但计算机领域给翻译成鼠标。switch 在生活里可以指墙上的开关，动词可以指开关的动作，也可以指切换；专业领域里可以指铁路铁轨的道岔，还能指任天堂的游戏机；但是计算机领域里就给翻译成“交换机”。在实际可行的时候，根据实际含义来细化英文词汇的中文翻译，是理所当然的。如 switch 一样，一个英文单词对应多个中文含义的情况是非常多见的，token 能有 3 个中文翻译，分别对应不同情况，反倒对公众的理解是好事。

在日本人四处往语言里塞片假名的时候，我跟着一起喷。在微软把 sit back and relax 翻译成“坐和放宽”的时候，我也跟着一起喷。但词元这个翻译既不是片假名，也不是坐和放宽这种垃圾翻译，我无法理解为什么还会有人喷。你爱用 token 就用，就像你用 byte 一样。

[PrinceofInj]

@JiafuYuan http 请求的时候叫令牌啊，中文现在这种是最好的，我是想不明白为什么同样是 token ，在两个环境下有两个完全不同的意思。英语简直是…

[vasto]

难以理解

[zyzdxb]

2 token 就是二次元了

[micean]

@PrinceofInj 英语造词能力太弱了

[TimG]

日文假名的含金量飙升 hhhh

[tinydancer]

@axuadm19 这也能上来阴阳两句😅

[zachary99]

确实比 token 更加贴切和容易理解

[tangping]

点卡

[fredweili]

无所谓，我就用英文说，简单无歧义

[mangmaimu]

问了下 ai ，词元都还是缩写，全称是词法单元，早就有了

[answeryou]

辞猿

[woodfizky]

人类语言系统本身也是屎山 习惯就好
英文和中文都算很好的了，那天刷 B 站看到阿拉伯语的一些科普好悬没给我干成脑溢血。

token 在什么上下文下面的意思和中文翻译应该也是不一样的。
有官方翻译也只应该在 AI 产业的上下文里翻译成这个，别哪天 subway token 翻译成地铁词元。
token 这个词甚至用拼音读出来也没有什么读音分歧，不像英语里面从其它语言借来的各种法语词，比如什么 resume ，读音完全没有规律可循。

不过在我经历过某天发现 vacuum 在我 3 个不同的同事嘴巴里出现 3 种不同的错误读音之后
我就知道有官方翻译还是挺重要的。。

[back0893]

也不错

[sddyzm]

好像是早就有了

[usVexMownCzar]

叫什么都行，关键要给出词语的解释。

[Quik]

感觉不太合适，毕竟 token 里面也有不是词，或者是标点符号等部分，但我也没有想到更好的翻译。

这就像 Transformer 在毕业论文里总不能硬翻译成“变压器”和“变形金刚”之外，最后只能继续写英文。

[zhch602]

@zli 别手动🐶了，换成🐷吧，都翻墙出来了英文都没学过？ Right 只能翻译成右边么？

[herewego]

我感觉不少 v2er 有点儿高高在上的。。。。

[zsqduke]

我主张直接音译，叫透肯或者投肯。

你试图信达雅，今天你说叫这个，明天我说叫那个，一千个人一千个想法

其实具体叫什么不重要、重要的是共识。比如像日语音译。有一个固定规则，可以翻译所有外来词，这样任何新词所有人都可以直接知道别人会怎么说

这就是音译的好处

而中文引入外来词的体系，每次都需要这个词进入大众视野以后等大家都需要用它了，然后再憋出来一个所谓“信达雅”的正式翻译，然后这个翻译又要一段时间被大众接受，最终才能成为中文自己的词汇。这个过程所花的时间、菜都凉了。

因为在没有语言能表达这个概念的时候这个概念只能在小范围内传播、这阻碍阻碍了各种概念的引入，阻碍了思想的交流

[Leeeeex]

@zhch602 看到这个回答忍不住笑出声了。

[zsqduke]

@PrinceofInj
怎么会想不明白呢

英语思维的视角其实都是同一个意思，token 就是 token 的意思。brother 就是 brother 的意思。

中文思维去理解不得不拆成不同词汇

举个简单反面例子，打：打人，打电话，打水，打针，打球

分别是，hit ，call ，fill ，inject ，play 的意思，都是完全不相干的

看，看书，看电视
是 read 和 watch ，也是不同的

可以想象写汉语的外国人的崩溃程度吗

[Leeeeex]

@zsqduke
但是音译真的好吗？
日本人同意你代表他们支持日语音译了吗？
那一长串假名，看过去都不知道是啥东西，还得脑内转换一遍英语真的方便吗？

[wupher]

还是新加坡聪明

[zsqduke]

@break
走极端了，肯定不是用所有外语呀。至少可以允许拉丁字母。所有非拉丁字母的语言都有拉丁化方案的呀

[stabc]

@glacer 规范新闻里怎样说 iphone, pro, max,mate?

[zsqduke]

@glacer 或者也可以反过来🐶
1.修改新闻媒体的规范
2. 有人不懂英语？加强英语教育

[jetsung]

想当初，Google 中文定名为 “谷歌” 时，也一堆人反对。然并...
官方翻译的主要是给它官方公文使用而已。不会影响什么。

[artiga033]

上面一堆说 access token 的真是闹麻了，把多义词 token 拆成几个不同的表述（词元、令牌）不是天大的好事吗。

为意识形态和民族主义站队就没必要了。

因为相反，我还支持把“内存”和“外存”叫回 memory 和 storage ，或者记忆体和存储😅

[zsqduke]

@Leeeeex 音译，意译本来就是各有利弊，音译的弊端我就不赘述了。刚才说了一下音译的好处就是快速造词

你觉得现在非专业人士在用这些 ai 领域的名词的时候有几个人真的知道这些词是什么意思的？不影响人们需要用这些词啊。语言只是一个标签，本身没有含义，重要的是这个标签和指代物的对应关系

不管是汉字还是表音文字的单词，最终其实都只是一个标签

[Inn0Vat10n]

如果我遇到一个程序说今天又消耗了一百万的词元,我会觉得他是傻逼

[asAnotherJack]

叫什么中文名都会有人不满意的
先不谈能不能普及开这个叫法，至少从语义上我觉得还不错。
直接提到 token 这个单词我最先想到的是令牌，鉴权那些东西，而不是大模型里那个 token

[Leeeeex]

@zsqduke #81
但是音译在我看来就是破罐子破摔了
明明可以造出来「词元」这样信达雅的词，为什么非得选择音译呢？
「鲁棒性」这个垃圾音译翻译，到现在多少年了也依然被人诟病

[skydcnmana]

@asAnotherJack 其实不如就叫代币，令牌含义本质也是源自地铁票这种使用场景，也是代替货币在一定范围内使用的

[hellozzh]

支持，从根本上防范被西化

[zsqduke]

@Leeeeex
那一长串假名，看过去都不知道是啥东西，还得脑内转换一遍英语真的方便吗？

我学过日语，在学日语的时候确实是这样的感觉。但是我觉得不能把我们日语学习者的经历直接代入到日本人自己是这样。因为假名是他们原生文字


从我们对我们自己的原生文字汉字的经历来推导，日常常用的词就不说了。举个例子，阿玛尼，我觉得我们中国人看到阿玛尼这三个字，是要脑子里转化成 armani ，然后再理解到是那个品牌吗，听到阿玛尼就直接反应出来啦，不需要想到英文的

再来讨论碰到不认识的假名的情况。比如有个人没听说过阿玛尼。他认识的过程也不是去查阿玛尼的英文是什么呀。当然是直接去把阿玛尼和阿玛尼这家店关联在一起呀，不需要通过英文的

通过英文是中国的日语学习者臆想的

[murmur]

@artiga033 这就是意识形态，无论外国人怎么用外来词，包括二游也一样，你小圈子怎么用无所谓，只要上了正式场合，在国内拿版号，就必须说中文

某种程度这个要求是利远大于弊的

[chairuosen]

信达雅

[murmur]

@Leeeeex 鲁棒性是个凑合的翻译，喷这个词说明你就没仔细考虑过，都是跟风的，首先他以性结尾，说明这个是特性，虽然不知道，但是肯定是个术语，毕竟是表示某种特性，而且表音，这就是合格线水平了

类似得翻译很多，吞拿<鱼>，士多<店>，萨姆<导弹>，奇异<果>，卡布奇诺<咖啡>，你别管是什么音译，表意的部分不能丢

反倒是一些常用的音译词，马达没有马，麦克风没有风，镭射没有雷，而且我们有电动机、话筒这种更接底气的翻译，然而前面的词是港台搞得他就牛逼

鲁棒性是我们自己搞得就 low

这不还是崇洋媚外

[guagusi]

说 token 简单没歧义的，是没用过一个叫“令牌”的东西么

[zsqduke]

@Leeeeex #84

语言最重要的是共识，就是我知道这东西叫 a ，我也知道你知道这东西叫 a ，所以我说 a 的时候我就是知道你知道我在说什么

信达雅固然好，的代价是，达成这个共识需要的时间更长，代价更高。对于我们已经在用的词汇，信达雅当然是好的，那是因为历史上已经承担了时间代价。

其实不仅仅是时间代价，还有翻译门槛被提高。比如 token 是因为现在 llm 进入大众视野所以翻译被提上日程。但是还有几万个小众领域亚文化的词汇，可能永远都不会被央视提及，这些词汇永远不会被正式翻译。

就比如游戏词汇，buff ，debuff 。事实上已经出圈了。如果中文有标准音译系统的话，这些词就可以更方便地被传播

我个人受到困扰的是心理学和其他社会科学的很多词汇，意译过来模棱两可，很多概念用中文无法表达

[lukesy]

v2 也这么无聊了么,

[oisadfo]

贴切又精妙

[fpure]

我觉得完全没有必要把常见单词翻译为中文，这种反而会让中文语言演化越来越排外，中英文混合表达本已成为生活中的习惯

[Leeeeex]

@murmur #90
你当真的吗？
robustness 你觉得以特性结尾还算不错，是因为词根就决定了结尾就是性
如果真的全音译成鲁棒思，那这个翻译是真的不如我的擦屁股纸了

[Leeeeex]

@zsqduke #92
我觉得你说的对
我们共识的一个词就可以用来代称某样东西，但是问题是现在不止是程序员群体需要这个词
AI 爆火，现在需要对不同领域不同年龄的人宣传，那这时候还是只站在自己的角度去考虑就不负责任了
至于时间代价，我觉得是因为之前压根没考虑过需要翻译这个词，没想到 ai 现在爆火到这种程度，已经需要到了普通民众也会去了解的程度，实际上真的想要去做到信达雅的翻译，单从技术上来说我觉得是不需要很长的时间。
像你说的 buff 这种词，就是邻居二大爷一辈子都不需要、也不想知道的词。

[murmur]

@Leeeeex 只要是翻译肯定有好有坏，但是不能说港台词的音译就全盘照收，大陆的词就吹毛求疵

比如把钢丝翻译成威亚来提高逼格

[murmur]

@Leeeeex 当然我针对的不是你，我说的是这个大环境，音译词里，大众使用的音译词里，翻的拉跨的一大把，尤其是像，盖世太保，歇斯底里，可口可乐，这种你得单独背才能找出几个信达雅的

[Nuttertoo1s]

这个翻译也还好吧，程序员之间用 token 大家都懂，如果 ai 要大众推广的话，用词元也没毛病