手把手带你了解和实践扩充 LLaMA 大语言模型的 tokenizer 模型（实现中文to ...

现在，大语言模型呈发作式的增长，此中，基于llama家族的模型占据了半壁江山。而原始的llama模型对中文的支持不太友好，接下来本文将讲解如何去扩充vocab里面的词以对中文举行token化。
一般的，现在比较主流的是利用sentencepiece练习中文词库。安装指令也很简单：pip install sentencepiece。然后，我们准备好语料，这里我们利用的语料是斗破苍穹小说。

1. with open("data.txt", "r", encoding="utf-8") as fp:
2.     data = fp.read().strip().split("\n")
3. sentences = []
5. for d in data:
6.     d = d.strip()
7.     if "===" in d or len(d) == 0 or d == "《斗破苍穹》来自:":
8.         continue
9.     sentences.append(d)
11. with open("corpus.txt", "w", encoding="utf-8") as fp:
12.     fp.write("\n".join(sentences))

复制代码

1. !pip install sentencepiece

复制代码

1. Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
2. Requirement already satisfied: sentencepiece in e:\miniconda3\lib\site-packages (0.1.99)
5. DEPRECATION: Loading egg at e:\miniconda3\lib\site-packages\whisper_live-0.0.11-py3.11.egg is deprecated. pip 24.3 will enforce this behaviour change. A possible replacement is to use pip for package installation.. Discussion can be found at https://github.com/pypa/pip/issues/12330

复制代码

开始练习，这里面有几个参数要留意一下，model_type分词算法选择bpe，split_digits为True，byte_fallback为True，和LLaMa 保持同等，max_sentence_length设置的大一点，更多参数解释可以检察：https://zhuanlan.zhihu.com/p/655281268 和 https://zhuanlan.zhihu.com/p/639144223

1. import sentencepiece as spm
3. spm.SentencePieceTrainer.train(
4.     input='corpus.txt',
5.     input_format='text',
6.     model_prefix='tokenizer',
7.     vocab_size=10000,
8.     character_coverage=0.9995,
9.     model_type="bpe",
10.     num_threads=32,
11.     split_digits=True,
12.     byte_fallback=True,
13.     max_sentence_length=24000
14. )

复制代码

执行上述练习过程，大概须要30S左右，会在当前目次下生成三个文件，tokenizer.model，tokenizer.vocab。看一下模型的分词结果：

1. import sentencepiece as spm
2. sp_bpe = spm.SentencePieceProcessor()
4. sp_bpe.load('tokenizer.model')
6. print(sp_bpe.encode_as_pieces('The excellence of a translation can only be judged by noting'))
7. print('分词长度:', len(sp_bpe.encode_as_pieces('The excellence of a translation can only be judged by noting')))
8. print(sp_bpe.encode_as_pieces('麒麟，是中国古代神话中的一种瑞兽'))
9. print('分词长度:', len(sp_bpe.encode_as_pieces('麒麟，是中国古代神话中的一种瑞兽')))

复制代码

1. ['▁', '<0x54>', 'h', 'e', '▁', 'e', 'x', 'c', 'e', 'l', 'l', 'e', 'n', 'c', 'e', '▁', 'o', 'f', '▁', 'a', '▁', 't', 'r', 'a', 'n', 's', 'l', 'a', 't', 'i', 'o', 'n', '▁', 'c', 'a', 'n', '▁', 'o', 'n', 'l', 'y', '▁', 'b', 'e', '▁', 'j', 'u', 'd', 'g', 'e', 'd', '▁', 'b', 'y', '▁', 'n', 'o', 't', 'i', 'n', 'g']
2. 分词长度: 61
3. ['▁', '<0xE9>', '<0xBA>', '<0x92>', '麟', ',', '是', '中', '国', '古', '代', '神', '话', '中', '的一种', '<0xE7>', '<0x91>', '<0x9E>', '兽']
4. 分词长度: 19

复制代码

可以看到，因为练习语料几乎都是中文的，对中文的分词结果是好于英文的，中文常见的一些词都变成了一个token，而英文被分的很碎。接下里把这个词表和原生LLaMa的词表举行归并。

1. import os
2. os.environ["PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION"]="python"
3. from transformers import LlamaTokenizer
4. from sentencepiece import sentencepiece_model_pb2 as sp_pb2_model
5. import sentencepiece as spm
7. # 位置
8. llama_tokenizer_dir = "llama2-7b-hf" # llama2模型
9. chinese_sp_model_file ="tokenizer.model" # 刚才训练的模型
11. # 加载
12. llama_tokenizer = LlamaTokenizer.from_pretrained(llama_tokenizer_dir)
13. chinese_sp_model = spm.SentencePieceProcessor()
14. chinese_sp_model.Load(chinese_sp_model_file)
15. llama_spm = sp_pb2_model.ModelProto()
16. llama_spm.ParseFromString(llama_tokenizer.sp_model.serialized_model_proto())
17. chinese_spm = sp_pb2_model.ModelProto()
18. chinese_spm.ParseFromString(chinese_sp_model.serialized_model_proto())
20. # 打印两个词表的大小和原llama的特殊token
21. print(f'llama2的词表大小为{len(llama_tokenizer)}, 刚训练的模型的词表大小为{len(chinese_sp_model)}')
22. print(llama_tokenizer.all_special_tokens) # 特殊token
23. print(llama_tokenizer.all_special_ids) # 特殊token对应的id
24. print(llama_tokenizer.special_tokens_map)

复制代码

1. llama2的词表大小为32000, 刚训练的模型的词表大小为10000
2. ['<s>', '</s>', '<unk>']
3. [1, 2, 0]
4. {'bos_token': '<s>', 'eos_token': '</s>', 'unk_token': '<unk>'}

复制代码

开始往llama词表里添加，这里你也可以直接参加你想要参加词表的词，或者是领域内的特殊词

1. llama_spm_tokens_set=set(p.piece for p in llama_spm.pieces)
3. print(f"添加词表前，词表大小为:{len(llama_spm_tokens_set)}")
4. for p in chinese_spm.pieces:
5.     piece = p.piece
6.     if piece not in llama_spm_tokens_set:
7.         new_p = sp_pb2_model.ModelProto().SentencePiece()
8.         new_p.piece = piece
9.         new_p.score = 0
10.         llama_spm.pieces.append(new_p)
12. print(f"新合并词表的大小为: {len(llama_spm.pieces)}")

复制代码

1. 添加词表前，词表大小为:32000
2. 新合并词表的大小为: 41013

复制代码

41013-32000=9013，可以大小9013跟我们练习的10000词不相等，这是因为归并过程会默认举行去重操纵，去重后的新归并的词表大小为9013。

1. # 保存合并后的模型
2. output_sp_dir = 'merged_tokenizer_sp_test'
3. output_hf_dir = 'merged_tokenizer_hf_test'
5. os.makedirs(output_sp_dir,exist_ok=True)
6. os.makedirs(output_hf_dir,exist_ok=True)
7. with open(output_sp_dir+'/chinese_llama.model', 'wb') as f:
8.     f.write(llama_spm.SerializeToString())
9. tokenizer = LlamaTokenizer(vocab_file=output_sp_dir+'/chinese_llama.model')
11. tokenizer.save_pretrained(output_hf_dir)
12. print(f"Chinese-LLaMA tokenizer has been saved to {output_hf_dir}")

复制代码

1. You are using the default legacy behaviour of the <class 'transformers.models.llama.tokenization_llama.LlamaTokenizer'>. This is expected, and simply means that the `legacy` (previous) behavior will be used so nothing changes for you. If you want to use the new behaviour, set `legacy=False`. This should only be set if you understand what it means, and thoroughly read the reason why this was added as explained in https://github.com/huggingface/transformers/pull/24565
4. Chinese-LLaMA tokenizer has been saved to merged_tokenizer_hf_test

复制代码

1. # 看一下效果
2. llama_tokenizer = LlamaTokenizer.from_pretrained(llama_tokenizer_dir)
3. chinese_llama_tokenizer = LlamaTokenizer.from_pretrained(output_hf_dir)
5. text = "The excellence of a translation can only be judged by noting"
6. print("原始文本:",text)
7. print(f"llama进行token词表分割:{llama_tokenizer.tokenize(text)}")
8. print(f"llama进行token词表长度为:{len(llama_tokenizer.tokenize(text))}")
9. print(f"新合并的token模型词表分割:{chinese_llama_tokenizer.tokenize(text)}")
10. print(f"新合并的token模型词表长度为:{len(chinese_llama_tokenizer.tokenize(text))}")

复制代码

1. 原始文本: The excellence of a translation can only be judged by noting
2. llama进行token词表分割:['▁The', '▁excell', 'ence', '▁of', '▁a', '▁translation', '▁can', '▁only', '▁be', '▁jud', 'ged', '▁by', '▁not', 'ing']
3. llama进行token词表长度为:14
4. 新合并的token模型词表分割:['The', '▁excell', 'ence', '▁of', '▁a', '▁translation', '▁can', '▁only', '▁be', '▁jud', 'ged', '▁by', '▁not', 'ing']
5. 新合并的token模型词表长度为:14

复制代码

可以看到在英文上是没有变化的

1. text = "麒麟，是中国古代神话中的一种瑞兽"
2. print("Test text:\n",text)
3. print("原始文本:",text)
4. print(f"llama进行token词表分割:{llama_tokenizer.tokenize(text)}")
5. print(f"llama进行token词表长度为:{len(llama_tokenizer.tokenize(text))}")
6. print(f"新合并的token模型词表分割:{chinese_llama_tokenizer.tokenize(text)}")
7. print(f"新合并的token模型词表长度为:{len(chinese_llama_tokenizer.tokenize(text))}")

复制代码

1. Test text:
2. 麒麟，是中国古代神话中的一种瑞兽
3. 原始文本: 麒麟，是中国古代神话中的一种瑞兽
4. llama进行token词表分割:['▁', '<0xE9>', '<0xBA>', '<0x92>', '<0xE9>', '<0xBA>', '<0x9F>', '，', '是', '中', '国', '古', '代', '神', '话', '中', '的', '一', '种', '<0xE7>', '<0x91>', '<0x9E>', '<0xE5>', '<0x85>', '<0xBD>']
5. llama进行token词表长度为:25
6. 新合并的token模型词表分割:['<0xE9>', '<0xBA>', '<0x92>', '麟', '，', '是', '中', '国', '古', '代', '神', '话', '中的', '一种', '<0xE7>', '<0x91>', '<0x9E>', '兽']
7. 新合并的token模型词表长度为:18

复制代码

至此，我们完成了LLaMa中文词表的扩充，扩充垂直领域词表也是云云，要准备垂直领域的练习语料，最好和通用领域的练习语料混合一下

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。