分词 Tokenization

按规则把文本转换成模型或特征流水线所使用的词元序列。