【AIGC】大语言模型千问、gpt、智谱token盘算-tiktoken、get_tokenizer等
一、token盘算编码（encode）是指将文本映射为token的数字列表，解码（decode）是指将token的数字列表转化为文本。
给定一个文本字符串（比方"tiktoken is great!"）和编码算法方式cl100k_base， 可以分词为["t", "ik", "token", " is", " great", "!"]，再根据辞书查出数字列表。
留意，各大模型一样平常都提供了盘算token数的工具，可在调用模型前先盘算token。缘故原由：
[*]克制token过长，引发错误
[*]可用来预估自己的花费
1.1 OpenAI
gpt系列都可用tiktoken实现token盘算
import tiktoken
# 具体tokenizer模型
enc = tiktoken.get_encoding("o200k_base")
assert enc.decode(enc.encode("hello world")) == "hello world"
# 具体的chat模型
enc = tiktoken.encoding_for_model("gpt-4o")
enc.encode(text) #获取字典值，
len(enc.encode(text)) # 获取长度，8
编码算法和openai模型间的对应关系：
Encoding nameOpenAI modelscl100k_basegpt-4, gpt-3.5-turbo, text-embedding-ada-002, text-embedding-3-small, text-embedding-3-largep50k_baseCodex models, text-davinci-002, text-davinci-003r50k_base (or gpt2)GPT-3 models like davinci 1.2 通义千问
# 运行前请 pip install tiktoken
from dashscope import get_tokenizer# dashscope版本 >= 1.14.0
# 获取tokenizer对象，目前只支持通义千问系列模型
tokenizer = get_tokenizer('qwen-turbo')
input_str = '通义千问具有强大的能力。'
# 将字符串切分成token并转换为token id
tokens = tokenizer.encode(input_str)
print(f"经过切分后的token id为：{tokens}。")
# 经过切分后的token id为：
print(f"经过切分后共有{len(tokens)}个token")
# 经过切分后共有8个token
# 将token id转化为字符串并打印出来
for i in range(len(tokens)):
print(f"token id为{tokens}对应的字符串为：{tokenizer.decode(tokens)}")
1.3 GLM类模型
GLM类模型，zhipu没有公开任何token盘算工具和方式，在此不做讨论
1.4 其他
待补充
参考
NLP（五十五）tiktoken的使用
官方-tiktoken
官方-tiktoken使用
通义千问计量计费阐明
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]