標記器，回顧！

完成這一章，辛苦了！

在深入研究標記器之後，您應該：

• 能夠使用舊的標記器作為模板來訓練新的標記器
• 瞭解如何使用偏移量將標記的位置映射到其原始文本範圍
• 瞭解 BPE、WordPiece 和 Unigram 之間的區別
• 能夠混合和匹配 🤗 Tokenizers 庫提供的塊來構建您自己的標記器
• 能夠在 🤗 Transformers 庫中使用該標記器

< > Update on GitHub