直接用字符串方式 split(“。“) 来切句，固然能把句子拆开，但无法和 BERT ...

❗️直接字符串切割的问题：

• 会丢失原始 token 的起止位置（比如第几个 token）
  
• 无法和 BERT 模型的 token 位置对应（embedding 用不上）
  
• 碰到标点、空格、英语等语言混合情况，会切禁绝
  

这里 无法和 BERT 模型的 token 位置对应该如何明白，下面详细解释。
   “无法和 BERT 模型的 token 位置对应”
  这个意思是：
如果你直接用字符串方式 split("。") 来切句，固然能把句子拆开，但BERT tokenizer 是按子词（subword）来切的，不是按字或句子切的，以是它的 token 和你切出来的句子之间的位置是对不上的。

---