字节的互联网时期过来了！字节要被代替了，代替它的是token

字节的互联网时期过来了！字节要被代替了，代替它的是token

这个掌握体系的运转方法没有是断定性的，而是统计性的。

这是一大米底层计较的范式挪动。

token是隐约的，一个词能够是一个token，也能够被拆成两个。

这好像从牛顿力学进去量子力学。

一个字符8个bit，准确，断定，没有会失足。您写一个1，存出来便是1，读进去仍是1。

要是顺着这个类比往下推：

守旧计较机：CPU处置惩罚字节 → 内乱核更改过程 → 掌握体系办事用户

AI时期：LLM处置惩罚token → Agent编排使命 → AI OS办事用户

底层的数据单元变了，下面的系数王人得随着变。

Karpathy把LLM比故故CPU，Agent比故故掌握体系内乱核。

与其讲读是对于上一代的降级，没有如讲读是透顶换了轨讲读。

字节的时期属于互联网，token的时期属于Agent。

过来六十年，计较机的天下确立在字节上。

全部互联网、全部软件、全部数据库，王人确立在这大米断定性上。

BYTE ERA ➤ TOKEN ERA

字节的天下里，谁把握更多的数据（字节）谁就赢。

准确退位于概率，断定退位于统计。

但他补了一个很症结的细节：

LLM处置惩罚的数据单元没有是字节，是token。

Karpathy昨天在推上回了Python之父Guido一句话：LLM = CPU，Agent = 掌握体系内乱核。

目前LLM来了。它的基础单元是token，没有是字节。

掌握体系要誊写，软件要重作念，人跟计较机的交互方法要从新计划。

token的天下里，谁把握更多的token谁就赢。

它的输出是概任性的，统一个输入跑两遍能够失掉差别的成果。字节要被代替了，代替它的是token。