跳转到正文

学习系列

沿着一条线索,慢慢把知识串起来。

Java 实践笔记

操作系统

AI 学习笔记

CS336 Tokenization

从字符、字节与词的编码出发,理解 Tokenizer 的设计选择与 BPE 的基本思路。