【课程总结】day21（下）：大模型的三大架构及T5体验
前言在前两篇学习中【课程总结】day19（中）：Transformer架构及留意力机制了解，我们初步了解大模型的公共底层架构Transformer的构成，同时借助对 Transformer 的代码深入了解(【课程总结】day20：Transformer源码深入明白之训练过程)，初步掌握了 Transformer 的训练过程。本篇我们将对大模型的训练阶段进行初步了解，同时部署一个T5模型进行试用体验。
大模型的三大架构
大模型（如大型语言模型）的架构通常有多种类型，以下是三种主要的架构：
Encoder-Decoder 架构
架构：
由两个主要部门组成：编码器（Encoder）息争码器（Decoder），即Transformer 架构。它先明白输入的信息（Encoder部门），然后基于这个明白天生新的、相干的内容（Decoder部门）。
特点：
[*]这种架构就像是翻译家。他先听你说一段话（比如英文），明白它，然后把它翻译成另一种语言（比如中文）。
[*]擅优点理需要明白输入然后天生相干输出的任务，比如翻译或问答系统。
代表公司及产品：
[*]Google：Transformer、T5（Text-to-Text Transfer Transformer）
[*]Facebook：BART（Bidirectional and Auto-Regressive Transformers）
Encoder-Only 架构
架构：
仅包罗编码器部门，即只是使用 Transformer 的 Encoder ，它专注于明白和分析输入的信息，而不是创造新的内容。
特点：
[*]这种架构就像是一个专业的书评家。他阅读和明白一本书（输入的信息），然后告诉你这本书是关于什么的，比如它的主题是爱情、冒险还是悬疑。
[*]擅长明白和分类信息，比如判定一段文本的情绪倾向（积极还是消极）大概主题分类。
代表公司及产品：
[*]Google：BERT（Bidirectional Encoder Representations from Transformers）
[*]Facebook：RoBERTa、DistilBERT
Decoder-Only 架构
架构：
仅包罗解码器部门，即只是使用 Transformer 的 Decoder ，它接收一些信息（开头），然后天生接下来的内容（故事）。
特点：
[*]这种架构就像一个讲故事的人。你给他一个开头，比如“有一次，一只小猫走失了”，然后他会继续这个故事，讲述下去，一直到故事结束。
[*]擅长创造性的写作，比如写小说或自动天生文章。它更多关注于从已有的信息（开头）扩展出新的内容。
代表公司及产品：
[*]OpenAI：GPT-3、GPT-4
三大架构演进图
https://i-blog.csdnimg.cn/blog_migrate/27ee98676043f52b9bab9539e1b08106.png
大模型T5的体验
为了对大模型有个初步感受，本次我们拉取代码在当地部署一个T5模型并体验它。
情况搭建
体验大模型的方法有两种方案：当地情况 和 长途情况。
当地情况
当地情况的设置和使用方法，可以检察往期文章：Windows下安装ubuntu方法。
长途情况
第一步：访问Modelscope平台，注册账号。
https://i-blog.csdnimg.cn/blog_migrate/ca758798180a8e03a2e2d68d1196cf13.png
第二步：启动魔搭平台的PAI-DSW实例
https://i-blog.csdnimg.cn/blog_migrate/3c0837f57e6f029fce4cea8640c20a29.png
https://i-blog.csdnimg.cn/blog_migrate/77d3ffb02e7c5749a65ec98c23a86e9c.png
第三步：在新开的页面中登录阿里云账号
第四步：在PAI-DSW实例中启动终端命令行
https://i-blog.csdnimg.cn/blog_migrate/123930eb8fd08a3cbbcbe8a821837ca1.png
选择模型
在魔搭平台中搜索ChatLM模型，检察中文对话0.2B小模型，选择 模型文件，点击 下载模型。
代码拉取
在终端中输入以下命令，拉取模型代码
git clone https://www.modelscope.cn/charent/ChatLM-mini-Chinese.git
安装依赖
pip install transformers
模型使用
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch
# 因为已经下载了模型，所以model_id改为本地路径
model_id = 'ChatLM-mini-Chinese'
# 判断GPU是否可用
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)
# 加载模型
model = AutoModelForSeq2SeqLM.from_pretrained(model_id, trust_remote_code=True).to(device)
txt = '如何评价Apple这家公司？'
# 对输入内容编码
encode_ids = tokenizer()
input_ids, attention_mask = torch.LongTensor(encode_ids['input_ids']), torch.LongTensor(encode_ids['attention_mask'])
# 调用模型预测结果
outs = model.my_generate(
input_ids=input_ids.to(device),
attention_mask=attention_mask.to(device),
max_seq_len=256,
search_type='beam',
)
# 对输出内容解码
outs_txt = tokenizer.batch_decode(outs.cpu().numpy(), skip_special_tokens=True, clean_up_tokenization_spaces=True)
# 打印输出
print(outs_txt)
运行结果：
https://i-blog.csdnimg.cn/blog_migrate/0bd154dc512b93ff42b819d669ce6de7.png
增补知识
tokenizer 分词器
在Jupyter Notebook中检察tokenizer，可以看到分词器中包罗常见的Token。
PreTrainedTokenizerFast(name_or_path='ChatLM-mini-Chinese', vocab_size=29298, model_max_length=1000000000000000019884624838656, is_fast=True, padding_side='right', truncation_side='right', special_tokens={'eos_token': '', 'unk_token': '', 'pad_token': ''}, clean_up_tokenization_spaces=True),added_tokens_decoder={
0: AddedToken("", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
1: AddedToken("", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
2: AddedToken("", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
3: AddedToken("", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
4: AddedToken("", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
5: AddedToken("", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
6: AddedToken("", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
}
model 模型
在Jupyter Notebook中检察model，可以看到T5模型的结构。
TextToTextModel(
(shared): Embedding(29298, 768)
(encoder): T5Stack(
(embed_tokens): Embedding(29298, 768)
(block): ModuleList(
(0): T5Block(
(layer): ModuleList(
(0): T5LayerSelfAttention(
(SelfAttention): T5Attention(
(q): Linear(in_features=768, out_features=768, bias=False)
(k): Linear(in_features=768, out_features=768, bias=False)
(v): Linear(in_features=768, out_features=768, bias=False)
(o): Linear(in_features=768, out_features=768, bias=False)
(relative_attention_bias): Embedding(32, 12)
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(1): T5LayerFF(
(DenseReluDense): T5DenseActDense(
(wi): Linear(in_features=768, out_features=3072, bias=False)
(wo): Linear(in_features=3072, out_features=768, bias=False)
(dropout): Dropout(p=0.1, inplace=False)
(act): ReLU()
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
)
)
(1-9): 9 x T5Block(
(layer): ModuleList(
(0): T5LayerSelfAttention(
(SelfAttention): T5Attention(
(q): Linear(in_features=768, out_features=768, bias=False)
(k): Linear(in_features=768, out_features=768, bias=False)
(v): Linear(in_features=768, out_features=768, bias=False)
(o): Linear(in_features=768, out_features=768, bias=False)
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(1): T5LayerFF(
(DenseReluDense): T5DenseActDense(
(wi): Linear(in_features=768, out_features=3072, bias=False)
(wo): Linear(in_features=3072, out_features=768, bias=False)
(dropout): Dropout(p=0.1, inplace=False)
(act): ReLU()
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
)
)
)
(final_layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(decoder): T5Stack(
(embed_tokens): Embedding(29298, 768)
(block): ModuleList(
(0): T5Block(
(layer): ModuleList(
(0): T5LayerSelfAttention(
(SelfAttention): T5Attention(
(q): Linear(in_features=768, out_features=768, bias=False)
(k): Linear(in_features=768, out_features=768, bias=False)
(v): Linear(in_features=768, out_features=768, bias=False)
(o): Linear(in_features=768, out_features=768, bias=False)
(relative_attention_bias): Embedding(32, 12)
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(1): T5LayerCrossAttention(
(EncDecAttention): T5Attention(
(q): Linear(in_features=768, out_features=768, bias=False)
(k): Linear(in_features=768, out_features=768, bias=False)
(v): Linear(in_features=768, out_features=768, bias=False)
(o): Linear(in_features=768, out_features=768, bias=False)
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(2): T5LayerFF(
(DenseReluDense): T5DenseActDense(
(wi): Linear(in_features=768, out_features=3072, bias=False)
(wo): Linear(in_features=3072, out_features=768, bias=False)
(dropout): Dropout(p=0.1, inplace=False)
(act): ReLU()
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
)
)
(1-9): 9 x T5Block(
(layer): ModuleList(
(0): T5LayerSelfAttention(
(SelfAttention): T5Attention(
(q): Linear(in_features=768, out_features=768, bias=False)
(k): Linear(in_features=768, out_features=768, bias=False)
(v): Linear(in_features=768, out_features=768, bias=False)
(o): Linear(in_features=768, out_features=768, bias=False)
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(1): T5LayerCrossAttention(
(EncDecAttention): T5Attention(
(q): Linear(in_features=768, out_features=768, bias=False)
(k): Linear(in_features=768, out_features=768, bias=False)
(v): Linear(in_features=768, out_features=768, bias=False)
(o): Linear(in_features=768, out_features=768, bias=False)
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(2): T5LayerFF(
(DenseReluDense): T5DenseActDense(
(wi): Linear(in_features=768, out_features=3072, bias=False)
(wo): Linear(in_features=3072, out_features=768, bias=False)
(dropout): Dropout(p=0.1, inplace=False)
(act): ReLU()
)
(layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
)
)
)
(final_layer_norm): FusedRMSNorm(torch.Size(), eps=1e-06, elementwise_affine=True)
(dropout): Dropout(p=0.1, inplace=False)
)
(lm_head): Linear(in_features=768, out_features=29298, bias=False)
)
[*]检察该模型的结构，其结构是一个典范的Transformer模型结构。
[*](encoder): T5Stack 是编码器，其内部是由10个T5Block组成，(decoder): T5Stack 是解码器，其内部也是由10个T5Block组成。
[*] T5LayerSelfAttention 是自留意力处理模块，T5LayerCrossAttention 是融合留意力处理模块，T5LayerFF 是前馈模块。
[*](lm_head): Linear 是对应Transformer的输出层。
内容小结
[*]大模型有三大架构：Encoderdecoder、Encoder-Only、Decoder-Only。
[*]Encoderdecoder架构就像是翻译家，代表模型是T5模型。
[*]Encoder-Only架构就像是书评家，代表模型是BERT模型。
[*]Decoder-Only架构就像是数学家，代表模型是GPT-4模型。
[*]大模型训练阶段由三个阶段组成：预训练(PT) 、监督微调(SFT) 和 基于人类反馈的强化学习(RLHF) 。
参考资料
CSDN:大语言模型的三种主要架构
CSDN:解析大语言模型训练三阶段
接待关注公众号以得到最新的文章和新闻
https://i-blog.csdnimg.cn/direct/3cbc6766e8e846b882e05a0eb53f6041.png#pic_center
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]