1 篇文件帶有標籤「Tokenizer」

了解大模型如何透過 Tokenizer 將文字轉換為可計算的 Token，以及 BPE 演演算法如何高效地進行文字壓縮。