CS336

CS336 Tokenization

从字符、字节与词的编码出发，理解 Tokenizer 的设计选择与 BPE 的基本思路。