虽然“词元”出现在学术怎章里时间不太长，至少也比 gpt3 时间长吧。 type-token 的概念在语言学里都上百年了。 不知道大家吵的“词元”翻译有什么意思？ 如果不是搞 NLP 的，单拿出来 token ，谁会知道这是个“形符”？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Supplement 1 · 13h 16m ago
我发现这个问题有些乱！
到底大家把什么翻译成“词元”了？这得考虑预警吧？
最早 NLP 和语言学课本里，管语料库里的 token （元素）叫词元。
看大家帖子，怎么 access token 都变词元了？
所以这问题到底出在哪？
到底大家把什么翻译成“词元”了？这得考虑预警吧？
最早 NLP 和语言学课本里，管语料库里的 token （元素）叫词元。
看大家帖子，怎么 access token 都变词元了？
所以这问题到底出在哪？
Supplement 2 · 13h 5m ago
我明白了，原来大家争论的不是技术问题。
不管什么语境，总之 token 不能叫“词元”。
谢谢大家提点。
不管什么语境，总之 token 不能叫“词元”。
谢谢大家提点。
Supplement 3 · 7 mins ago
看了大家评论，怎么感觉越来越乱了。
大家好歹都是受过高等教育的，咱智商不要跟着闭路电视走好不好。
咱把“authentication/access token >> 词元”这种智障言论过滤下吧。翻译哪有不看语境的？机翻都没这么傻。 吵这种话题的，不是蠢就是坏。咱还是正常点吧。
大家好歹都是受过高等教育的，咱智商不要跟着闭路电视走好不好。
咱把“authentication/access token >> 词元”这种智障言论过滤下吧。翻译哪有不看语境的？机翻都没这么傻。 吵这种话题的，不是蠢就是坏。咱还是正常点吧。
 |
101
Swimming 2h 37m ago
NBA 不是又改回 NBA 了
|
 |
102
labubu 2h 36m ago via Android  1
等着吧，今天只是和你说 token 要翻译成词元，明天还用 token 的人就是境外势力了
|
 |
103
Dream4U 2h 31m ago
闲的蛋痛，喜欢用啥用啥呗，还得逼着人用啊，看不惯忍着
|
 |
104
walkon 2h 26m ago
看了这么多回复, 没看到一个比词元更好的翻译. 令牌就算了吧, 更差. 反正计算机领域内部继续用 token 就是了, 对大众还是要宽容些. 说到这个, 我想到设计领域的一个翻译:包豪斯, 尼玛第一次看到直接给我干懵逼了.
|
 |
106
kome 2h 20m ago via iPhone
发动 XXX 效果，在场地上放置 2 个词元(Token)！
|
 |
107
4seasons 2h 4m ago
其一，「词元」拉低了整体的中文水平，翻译的狗屁不通。
其二，「词元」是为了怎样而怎样的典型产物。 |
 |
108
jayhuang0044 2h 3m ago
说 "词元" 就只是 AI 领域下的翻译
说 这个世界上还有 99% 的人是不懂 AI 原理的普通人 那就坐等看,非 AI 领域,用"词元"的笑话呗. 看非 AI 领域 "词元"会不会强行代替 token... 现在说普通人不懂 token,不懂 AI 原理的人 看到时候你们是不是也说普通人不懂"词元". |
 |
109
coldmonkeybit 2h 0m ago
@zhengqiang64 #49 那希望我以后说 token 不会有人出来纠正我吧，哈哈
|
 |
110
DefoliationM 2h 0m ago via Android 1
这个翻译是明显的错误，多模态模型也叫词元吗？ gpt 的图像生成也是用 token 计费的。
|
 |
111
Shazoo 1h 51m ago
文科生的逆袭吗？单 llm 领域，翻译较为通顺。别的模型，用词元这词，就驴唇不对马嘴……
弄这词的人，技术不懂，政治正确倒是一把好手…… 不如叫信元呢…… |
 |
112
fredweili 1h 48m ago
我就只说 token ，中英文夹杂怎么了，有些英文单词表意准确无歧义
|
 |
113
Xalen 1h 48m ago
我一般用微软大战代码写代码， 你们呢？
|
 |
114
0x1001 1h 47m ago
跟个傻 B 一样，以为这样就自信了？
|
 |
115
keenkiller 1h 44m ago
我觉得词元这个翻译确实不太好，甚至不如币圈的“代币”概念。
相比之下“算元”都好一点。。 |
 |
116
muooOOO 1h 43m ago 1
官媒都发文了，一个翻译问题都上升的话语权，还在那洗白。既然更政治沾边，就会有人反对有人支持。
洗白的理由很搞笑，说是为了普通人，其实“词元”还是会有很多人看不懂，就更中文编程一样，强行造一个新词去解释，只会浪费沟通成本。 对于不符合中文语境的单词，我的看法是音译，音译不是洪水猛兽，佛教中有大量的梵文音译。 |
 |
117
Essaim 1h 38m ago
@zhengqiang64 不知道你在纠结什么，我强调的根本就不是缩写还是词，本质上只是为了对一个新兴事务在表达传播上进行定义，还是你喜欢日本人那样全用片假名拼音？
|
 |
118
jjianwen68 1h 36m ago
已经上升到政治高度了，还不闭嘴，是想被打成境外势力吗
|
 |
119
padapen 1h 36m ago
看楼里回复就知道了，哪些人是为了反而反
|
 |
120
whitedew 1h 36m ago
当一件事，从约定成俗，到强制规定或者概念灌输，那味道就变了
|
 |
121
lanweizhujiao 1h 34m ago
个人听感上有点难受， 比如 本次请求消耗了 1000 词元， 听起来像用了 1000 个词。
|
 |
122
Allonsy 1h 33m ago
词元本身也不是啥好翻译, 啥也不懂的普通人咋可能直白的理解. 真要方便普通人理解你还不如给 token 改名叫 Q 币呢. 反正都是计费单位, Claude: 今天已消耗 100000000 Q 币, 平均每次对话消耗 1000 Q 币, 是不是直观多了
|
 |
123
devilte 1h 32m ago
重新定义“科技话语权”
|
 |
124
lewurui 1h 29m ago
有些人太敏感了
|
 |
125
cwcc 1h 28m ago
感觉就是没有中文语境下的东西，有点类似古代王朝造的词。不过语言这个东西不管是谁发明的，有人用才是真的有用，不然我可以和任何一个人两个人之间自造别人都不懂的语言。就看词元用的人多不多，接受程度怎么样了，这非一群技术人员能决定的事情。
对于非计算机的场景，且面向对英语一窍不通的普通人，词元或许是一个不错的翻译。但对于技术而言，使用英语也确实能减少歧义。 |
 |
126
lovelyxiaod 1h 27m ago
政治下场后, 那就只能使用"词元"而不能使用"token"了
只能二选一 后面会快进到用"token"就是装, 就是崇洋,就是行走的 1450 |
 |
127
yuhuai 1h 26m ago
中文互联网烂不是没有原因的，非要扯什么这这那那的干什么，你非要给多场景下不同含义的词定个中文的性，最后的结果就是被中文互联网上海量的网民滥用，最后所有的词性都乱了，时间长了，没有多少人在乎这个词原本应该怎么表达，不信再过几十年再回头来看这个问题
|
 |
129
Cruzz 1h 21m ago
@zhengqiang64 #52 查一查语言的本质是啥把，在中文里单个汉字的含义只有在语境里才能确定，英语也一样，单个单词在特定语境的表达不一致很正常，和你说话没有上下文？就比如我刚才说的这句话，单拿出这个·单·字你知道他是啥意思，只有我说完这句话你才能知道这是啥意思。这不是很正常？
|
 |
130
8008wj 1h 18m ago
应该造一个汉字，就像当年造“熵”一样，叫“电文”，读 wen
|
 |
131
slation 1h 14m ago
说白了这也是开倒车的一部分
|
 |
132
xz410236056 1h 13m ago
讨厌的不是“词元”这个词儿，就跟丁真一样，讨厌的不是他。烦的是什么都喜欢当爹，然后下一步拿走利润大头。
|
 |
133
Admstor 1h 11m ago 1
身处在一个什么都讲政治的国家，居然还有人试图辩解不要什么都往政治上扯，可真会自欺欺人啊
|
 |
134
Orange2269 1h 9m ago
存在感，话语权。
爱咋咋地，我叫我的`偷啃` |
 |
135
s8702623 1h 8m ago
反感的原因是多方面的：
一、时机问题：该管的时候不管，不该抢的时候抢 "鲁棒性"（ robust 的音译兼意译）、"套接字"（ socket ）这类真正望文生义、容易让人产生误解的词，当初翻译成这样的时候，规范化的声音在哪里？这些词的翻译质量明显更值得商榷，却从来没人下场"正本清源"。反倒是在"token"这种业内早已约定俗成、大家心照不宣的词上较起真来，挑柿子挑软的捏，选择性执法的意味太浓。 二、翻译本身立不住：以偏概全,还搞"一刀切" "token"这个词横跨编译原理（词法单元）、密码学（令牌）、经济学（代币）、如今又是大模型领域（词元），本身就是一个高度语境依赖、跨领域复用的概念。单凭 AI 这一个应用场景就下场"钦定"译名，其他领域怎么办？不管了？ 这就像玩《暗黑破坏神 2 》时汉化组处理 blade 、sword 、saber 的问题——"刀""剑"这些中文词本身语义就有交叉重叠，天生没有一一对应的干净译法，硬翻只会显得生硬。非要靠一纸行政命令强行拍板，还要把这个拍板行为的地位拔得很高（"话语权要抓在手里"倒是能理解），只会让人觉得既武断又好为人师。 三、雷声大雨点小,没打好"第一仗"就想立威 计算机领域里大量术语都是行业内长期使用、约定俗成的（哪怕翻译得不咋地），如今想要下场统一规范，那你至少得打一场漂亮的"百团大战"，先立住威信，之后再去推行其他术语的规范化才能服众。 可现在的情况是：本该在"太行山"打的伏击仗没打，偏偏跑去"太原"这种没什么把握的地方开打，还打得稀烂——一个论坛内部都能为"词元"吵得不可开交，共识远没建立起来，就急着往上"拔高度"、讲情怀讲责任，这套路未免太熟悉了。 总结一下： 不能代表最广大网友的根本利益——一个论坛都能吵翻天，谈何"深得民心"； 不能代表先进生产力的发展要求——业内早已用"token"高效沟通多年，强推新词徒增翻译成本和交流摩擦，谈不上促进"生产力"; 也代表不了什么"先进文化的前进方向"——真正该规范的历史遗留烂翻译不去碰，专挑一个跨领域、本就没有唯一正确译法的词来立威，这本身就说明缺乏系统性眼光和长远规划，谈不上"先进"，更像是一次仓促且缺乏调研的拍脑袋决策。 PS：哈哈我让 AI 给我总结了下 |
 |
136
vipfts 1h 8m ago
反共是中产阶级的特征
|
 |
137
edisonwong 1h 5m ago
在小红书看到一些段子
华为 mate20(记不清有没有这个型号了)promax 应该叫伙伴 20 专业巨大 ai 应该叫硅头 :D |
 |
138
propc 45 mins ago
@edisonwong 应该叫钱元，烧钱的东西~~
|
 |
139
xiaofeilongyy555 38 mins ago
@Tink 因为 token 这个技术词在不同语境下含义是不一样的
|
 |
140
cherishtoby 36 mins ago
技术圈想保留其约定俗成的、精确的、排他的意义。
行政/传播体系想赋予其面向大众的、便于管理的、与国家叙事同步的意义。 个体开发者则想捍卫自己对一个词的习惯性理解和使用权。 但是内核始终不变的，符号的意义需要由人赋予。 |
 |
141
ddczl 33 mins ago 1
我觉得现在很多人只是对“词元”这个翻译有点过度反应，也许过段时间用习惯了可能也就好了。
就像“熵”一样，我最开始也觉得这个词很拗口，后来了解了 entropy 的含义，以及“熵”这个字的翻译和造字背景，反而觉得翻得非常漂亮，很佩服当时翻译者的智慧。 如果那个年代有互联网，我估计 entropy 刚被翻译成“熵”的时候，一样会吵得不可开交：“这什么怪字？”“为什么非要造个新词？”，那个年代的嘴炮程度大家也是了解的。 Token 当然不是 AI 时代才有的概念，但大模型的发展让它第一次如此大规模地进入普通人的视野。既然它已经成为一个高频、明确的技术概念，有一个稳定的中文术语并没有什么不好。 “词元”现在听着陌生，不代表以后也陌生。语言本来就是这样慢慢长出来的。 |
 |
142
aogu555 15 mins ago
@Bluecoda bus 叫公交车但在计算机领域翻译成总线、port 港口在计算机领域翻译成端口，mouse 老鼠也没人要求你在计算机领域叫老鼠而不是鼠标。一大堆 driver(司机/驱动)、bank(银行/岸边)、match(比赛/匹配)，甚至还有 issue 这种在普通英语和技术英语里南辕北辙的多义单词。
英语搞一词多义那是它的问题，翻译从来不是一对一的翻译。连中文都有多义词，英语有多义词你怎么就绕不过弯呢。 |
|
143
cherishtoby 14 mins ago
我个人也觉得“词元”不算多精妙的翻译，但是我也不觉得它有错。
一个很现实的好处是——你不需要费劲给父母或长辈解释什么是 Token ，说“词元”他们至少能有一个模糊可理解的概念。 这正是汉语作为表意文字的优势：基础知识在阅读层面是相对平等的，很少会有“看到了但完全不会念、无法理解”的情况。翻译的首要目的，有时不是为了学术精确，而是为了降低认知门槛。 |
 |
144
7beloved 13 mins ago
叫词元还是叫 token ，跟你我有什么关系
|
 |
145
zhaol 7 mins ago
@Bluecoda #91 为什么你这么二极管的认为两个不同的语言某个单词一定要存在一一对应的情况? 不论是中文还是英文本身,有时候同一个词在不同语境下都表达不同意思, 你甚至还要求中文跟英文必须一一对应的翻译? Token 在 api 语境下对应翻译令牌, 在 ai 语境下翻译词元, 哥们, 你现在调用大模型还有 agent 给你管理上下文呢, 你生活的世界是不需要上下文的?
|
|
146
aogu555 7 mins ago
@Bluecoda 你用玄奘的"五不翻"来论证实际上是大错特错，五不翻第一条就是“秘密故不翻”，保持它的神秘性，另一方面有利于保持广大的佛教信徒对佛的敬畏感。
而目前流传最广的版本也不是玄奘版，而是鸠摩罗什版。如果你去读英文版的佛经，你会发现那些佛经非常直白，用非常简单易懂的句子来讲道理，而中文版恰恰就是受到了你说的"五不翻"搞的神秘莫测，看完都不知道讲什么，甚至当成了咒语来用这种啼笑皆非的事情。 计算机不是神秘学，就不要用什么宗教的"五不翻"了 |
 |
147
ZYXDemo 1 min ago
大概是为了表现自己对 token 的认识深刻，自己走在技术前沿的虚荣
|
Select Language