Insolitude

之前看过一个说法，llm 每一个的 token 所对应的 1024 ，2024 维高维空间，可以存储的信息远远超过常人的想象。

原因在于，语言学上的 llm 使用正交的矢量来作为各种相互独立的概念，比如“热的”，“东京”。那这是不是意味着，1024 维的 token 只能表示 1024 个概念组合的语义呢？并没有，一方面，我们发现即使两个“概念”再怎么不相关，总会有些微妙的连接，也就是我们可以容许正交的矢量稍微有一点夹角在 90°附近。另一方面，不在高维空间中，这种两两近似正交的矢量组的个数，正比于维度的指数次方 e^{N}，对于 100 维的空间，我们可以表达近似 10000 个概念，对于 1024 维的空间，近似有 2×10 ＾ 8 个独立概念。

现在的 llm token 的维度更多，虽然最后输出的 token 要包含前文所有的 token 的信息（ 256k ，1m 上下文），但我们还远没有用完 token 所代表的高维语义空间。

我是把搜索留着，用组策略把联网搜索和商店推荐给关了，现在就只能搜已安装的应用和本地文件，还是挺好用的。

跑点微调破限的模型给玩酒馆的？

之前玩过微调的 gemma4 31b ，玩挺花的，可惜 agent 能力废了，没法搞个能涩涩的 assistant

给 ssh config 顶部加上心跳包，就行。应该是长时间 tcp 没有数据被切断了
# 对所有 ssh 生效 Host * ServerAliveInterval 60 ServerAliveCountMax 3

三星国行最新系统自带了个 China Hidden Menu_16.0.00.1.apk ，默认拥有所有权限，无法取消，只能通过 adb 禁用，无法卸载。还是我挂梯子发现耗电异常才发现的，至于有什么用，就不知道了

没有 spark 独占的功能，甚至由于 GPU 架构的细微差异，导致能在同代的 rtx pro 6000 显卡上能跑的模型，到 spark 上反而有问题

应该可以，我看有人 6 台组集群，每个牌子的各两台

据说内存大小上有些差异，导致 hp 还是哪家的同样的设置就它会爆显存，一般调小 vllm 的显存占用就行。公版的散热会差点，满负荷运行会降频

建议去 NVIDIA 官方的 spark 论坛，那里有各种折腾教程。

核显上 850w 电源，很 overkilling 了

旧服务器是啥，便宜出吗？

目前在用 s9+ 写笔记一般，三星用的 OLED 硬屏，浅色下有挺严重的彩虹纹，不是很习惯。

终端远程访问确实好用，推荐装个 tiny computer ，相当于是 Linux 虚拟机，可以装 ARM64 Linux 的 vscode ，配合键鼠（我用的是三星官方的键盘触控板保护套+蓝牙鼠标，自带的触控板太小，而且开了鼠标直通会有 bug ，方向不对）。基本上可以当个 13 英寸的轻薄本来用，续航还长。


s9 好像是最后一代高通的 soc ，开虚拟机可以用显卡硬件加速，原生分辨率也不卡。s10 开始用发哥的，不知道还行不行