2024-11-19 厉飞雨 阅读(2) 评论(0) 赞(0)

WordPiece 也是一种子词构建算法，我们在中文语料中使用的 BertTokenizer 就是使用这种分词算法，从这一点来看，WordPiece 算法要比 BPE 算法更加适合中文语料的分词场景。 ``` class BertTokenizer(PreTrainedTokenizer): Construct a BERT tokenizer. Based on W...