今天看到 opencode 发版了, 才注意到这个三天前的 PR: https://github.com/anomalyco/opencode/pull/40977
PR 里的讨论现在还不多，但是已经有偏离技术和翻译本身的迹象了。 不过抛开其他因素不谈，我也自始至终都觉得这是个糟糕的翻译。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
101
GDSR 13h 31m ago via Android
@catazshadow 翻译的拉不垃圾跟政治没什么关系，就算不是“词元”，翻译成“文元”、“话费”，目的也会是为了“话语权”，重要的不是翻译本身的质量，而是有没有对应的翻译，所以你说“词元”翻的垃圾只是表面，本质上就是因为是中国政府翻译的，你反对而已。
|
 |
102
zhengqiang64 13h 29m ago
@catazshadow 来，你给我截图看看，这个 PR 有那个字提过话语权了？明明是你自己带着有色眼镜，看到的东西都有问题。
|
 |
103
Sajo 13h 28m ago  1
露阴癖太多了
|
 |
104
RichardPlus 13h 28m ago
LLM 的处理单位叫'token', 也是用着用着用出正统性来的, 不是与生俱来的. 中文翻译叫啥, 任何人有自己的绝妙翻译大可以提; 如果没有, 纠结这个问题干嘛呢? token 这个词被用于 LLM 的处理单位它本身在英语语境里符合该语境的"信达雅"? 也不见得吧
|
 |
105
Maboroshii 13h 26m ago
编译原理里，应该有 token 的翻译成 词法单元 的 。 词元这个词很早了
|
 |
106
GeruzoniAnsasu 13h 26m ago
我觉得应该先把仓库卫生打扫打扫好
然后这个开发人员吧，这个人员考勤要做好，对吧 一个开发团队，得先有组织有纪律，才有精神，才能写出好代码 我特意找我之前一个体校的哥们，教武术的，录了一期完整的八段锦的录像 那个……小刘，你给仓库的维护者说一下，把这个录像放到什么贡献指南里去 大家每天写代码前先锻炼锻炼身体，身体好才好干活嘛 |
|
107
RichardPlus 13h 21m ago
突然有个脑洞, "词"这个字还有个兄弟叫"辞", 直接给"辞"这个字加一个"大预言模型的处理单位"的解释, 也挺好的, 毕竟这个字本来就和"词"相通, 作为时代发展下赋予的新意思. 又不会与其他场景混在一起
|
 |
108
catazshadow 13h 21m ago
|
|
109
catazshadow 13h 20m ago
|
 |
110
lsearsea 13h 17m ago via Android
@catazshadow 难绷，但是和当前 pr 的把“令牌”改为“词元”有何关系
|
|
111
catazshadow 13h 16m ago
@lsearsea 整个这一波不就是因为某些人开始搞政治鼓动，煽动民族情绪吗？
|
|
112
lsearsea 13h 9m ago via Android
@catazshadow 和本帖相关性不大吧，相比于使用“令牌”这更不词不达意的翻译，“词元”更符合，要我觉得鼓动民族情绪的话题，不如 pr 下面的“👉🌶🐷又在污染文明世界了”，本来另一贴词元讨论支持和反对分半，因为这个，本贴一堆都直接踩对面了
|
 |
113
VirgilMing 13h 6m ago
@RichardPlus 「我今天蹬了一亿辞」……好像也不是不行？
|
|
114
GDSR 13h 6m ago via Android
@catazshadow 翻译的准确性优先还是政治优先呢？你不是不希望涉及政治吗？那自然是准确性优先，那是“令牌”更能达意，还是“词元”更能达意呢？
|
 |
115
jhdxr 13h 0m ago 1
@keyu1103 #61 我觉得能接受『词元』这个翻译的都是外行或者半瓶水的。如果只是局限在纯文本的语境下，『词元』这个词的确可以说信达雅，可是在这个词被钦点的 2026 年，token 在 LLM 的语境下已经远远不只是文本的含义。图片、视频、音频同样用 token 。这种情况下你用英文你知道这是一个你不理解的概念，但你用『词元』只会增加困惑
|
|
116
catazshadow 12h 54m ago
@GDSR token 最达意
|
|
117
catazshadow 12h 53m ago
@lsearsea token 用的好好的，你猜为什么突然一大堆人在乎翻译不翻译了？
|
 |
118
strobber16 12h 51m ago via Android
建议调成英文界面使用
|
|
119
lsearsea 12h 48m ago via Android
@catazshadow 阿这，你能不能先看看 pr ，并不是把“token”改为“词元”，而是把“令牌”改为“词元”好吧
|
|
120
lsearsea 12h 46m ago via Android
如果我理解错了你的话，但我还是说，和本帖 pr 不相关
|
 |
121
Mandelo 12h 42m ago
官方写新闻为了正式用"词元"就算了,
普通人跟着凑啥热闹?你平时跟别人交流会说"你今天用了多少词元"吗? 所以我的观点就是:关普通人屁事! |
 |
122
vivipure 12h 28m ago
我觉得本地化挺好的，像韩语和片假名那样偷懒，才是真的可怕。
|
 |
123
itbeihe 12h 6m ago 1
相对于之前翻译成“令牌“，还是”词元“更好一些。
心目中最好还是 token 别翻译。 |
|
124
RichardPlus 11h 59m ago
@VirgilMing 我觉得挺好呀, 买了一<斤>菜, 进口一<百万><吨>大豆, 蹬了一<兆><辞>, 套餐内含一<京><辞>, 作为"unit", 单字才是中文的王道, 欧姆来了也得叫欧, 帕斯卡也得叫帕, 😏
|
 |
125
yvescheung 11h 30m ago
谁去提交个 pr 把 opencode 翻译成奥本科德或者开放代码编辑器
|
 |
126
Busy 11h 19m ago
习惯用英文的人，应该用不到词元出现的中文界面
习惯用中文的人，不宏大叙事，词元挺信雅达的 只有一种人会别扭，平时中文夹杂着中小学英文单词的人 |
 |
127
ffgrinder 11h 16m ago
@Erona 请给出词元这个词的翻译不好的理由，你用什么，业界习惯用什么，和这个词是否应该有一个中文翻译无关。同样，我觉得 tokenizer 作为分词器也比较靠谱，就好像 tokenizer 你也只是习惯，这词表达什么也不是“tokenizer”这个字母里面蕴含的。
这个 PR 我也看了，人家明确提到和“token(令牌）做区分”。我不理解你用“塞”这个词有什么意思。 还有打拳的， [现代简中] 就是国务院推行的，这就是官方语言，我感觉讨论这个问题的政治意味是没有任何意义的。 |
 |
128
zerovoid 11h 6m ago
没看懂这次节奏，
是因为官媒发了一个《话语权》，所以各个借着这个反官方？ 那不如大大方方直接反。 token 这个词本来就应该翻译， 当初官方翻译还没出来的时候（远在所谓话语权之前）， 就很多人在讨论怎么翻译， 当时支持词元的就很多了， 这居然还有说保留英文， 不应该翻译的， 出于什么立场能说出这种逆天的话， 你说中国应该讲英语我都觉得还有点道理， token 不能翻译这是什么逻辑。 |
 |
129
genesislive 10h 48m ago
词元翻译没什么问题，看一下日语翻译：トークン
|
|
130
VirgilMing 10h 48m ago
@RichardPlus 《辞海》：我没意见
|
 |
131
xAI 10h 31m ago
其实还好，LLM Token 和以前验证使用的 Token 还是不一样的，区分一下挺好的，这可是相当于一个单位词，不可能不翻译。
|
 |
132
qqlax 10h 20m ago
就非翻译不可？那要不也把 pull request 和 issue 也翻译了
|
 |
133
greatbody 10h 16m ago
词元这个翻译说我首创的，我觉得信达雅不一定，但是一定平权。你想想，非 IT 领域的用户，有不通晓英语或者计算机行业词汇的权利，人家只是普通使用者。从中文世界的使用者的利益的角度出发，词元是更合适的。
或许别的语言会有别的语言的翻译，但肯定不是令牌或词元。所以尊重普通人，让世界更美好。并不影响我们技术圈继续叫英文的 token 。 |
|
134
lsearsea 10h 4m ago via Android
https://github.com/anomalyco/opencode/pull/41532 不要争了，现在又由“词元”改成“token”了😅
|
 |
135
wolfie 9h 50m ago
有些东西可以翻译，但在程序员这个领域就不应该翻译。
边界在哪里呢。 |
 |
136
spark 9h 29m ago
@GyroZeppeli13 当然是变形金刚了
|
|
137
VirgilMing 9h 25m ago
@wolfie 其实不是不应该翻译。只能说现在还没有出现一个足以服众的翻译。
|
|
138
RichardPlus 9h 1m ago
@VirgilMing <<辞海>>肯定没意见, 大模型收<辞>和吐<辞>本来就<海>了去了 😄
|
 |
139
hellsakura 8h 34m ago
词元的翻译总感觉差点，但已经算是挺好的翻译了，要是能和「流明」 lumen 这种翻译能让人一眼理解就好了
|
 |
140
Tink 8h 31m ago via iPhone
@catazshadow 要不先看一下 pr 内容？
|
 |
141
Rinndy 8h 31m ago via iPhone
把 CCTV 改成中文再来说把
|
 |
142
cosette 6h 45m ago
AI 、Agents 、LLM 、Token 、harness 等等这些我觉得都不需要翻译，如果你也认同，那我觉得你可以直接使用 English ，别来凑中文翻译的热闹了
|
 |
144
flyqie 6h 21m ago via Android
个人角度非常不喜欢
大众角度勉强折中 |
 |
146
yulon 5h 21m ago
@jhdxr #115 你才是真正的半瓶水，本来不想说得那么重，不过也算是在复读你的话。
计算机只能读二进制数字，所以计算机概念中的字或词（英语是 word ），就是指一串数字（老外先用的 word ，还真和中文翻译没关系），所以二进制 CPU 能操作的原生单位被称为机器字，二进制数据最小的储存单位是字节，因为二进制本来就是逢 1 进位，最小计算单位直接就用位（ bit ）了。 如果顺着你的逻辑，除了文本文件的数据单位都不能用含有「字（ word ）」的名称了，那才是天大的误解。 因为机器字在日常中使用较少，几乎不会被非专业提及，但字节在日常经常会称呼，而字节又不会与日常用词有冲突，这本来就是一种翻译的讨巧。如果真要区分文件类型，把音频文件的数据单位成为音节，你发现了没，不仅增加了称呼复杂度，还有极大可能会与日常用词产生碰撞。 |
 |
147
Anarchy 2h 18m ago
按照传统应该使用音译，当下环境对于简单英文民间一般是直接使用，所以直接叫 Token 是最佳方案，但是官方场合又不能使用英文，所以搞了个“词元”。
我是不喜欢“词元”这个翻译，会让人联想到词根或者词的源头也就是生产词的某种东西，这个概念放在汉语环境会非常难理解，脑子里会觉得是一种非常抽象非常神秘的东西，只是看到这个词负担就不小。如果一定要翻译的话，不如采取传统的单位使用音译的方式，要不就把“韬”定理的“韬”拿过来用吧  。 |
 |
148
Rrrrrr 46 mins ago
虽然但是，确实也没有其他更好的翻译了。很多人觉得不用翻译，但是你可以口头上叫 token ，不妨碍它在中文叫词元。元代表计价单位，虽然不是特别好，但是没有其他的好代替了。或者你根本左右不了官方。
|
 |
149
Exxfire 43 mins ago
有更好的解决方案吗？
|
 |
150
reoah2 42 mins ago
@GyroZeppeli13 变形金刚
|
 |
152
349551 30 mins ago
这个改动就是完全正确的，跟其他方面没有任何关系。我研究生期间我们课题组一直都是将词元作为正确翻译，一开始就是这样没有变过已经三四年了，现在我都毕业了，我们课题组从来没有叫过令牌，也没有看到别人称呼为令牌，令牌就是一个机器翻译
|
 |
153
Lockroach 21 mins ago
我觉得没问题，本来就是 i18n 里面的词汇，对于非计算机背景的人来说，从「令牌」一词到「词元」绝对是更加直观好理解的。
|
|
154
349551 21 mins ago
官方公布之前我们研究大模型的就一直在叫词元了，已经是领域内公认翻译了
|
 |
155
mosfet 14 mins ago
确实魔怔
恶意过于强烈 |
 |
157
Vipcw95 2 mins ago
大模型方面 token 叫词元很贴切啊，虽然日常也是直接用英文，但是反对的人可以提出自己的翻译而不是一味的说用英文。而且其他方面可以有其他翻译。
|
Select Language