NLP--加载与使用预训练模子
1.NLP中的常用预训练模子2.加载与使用预训练模子的步调
2.1确定须要加载的预训练模子并安装依靠包
2.2加载预训练模子的映射器tokenizer
2.3加载带/不带头的预训练模子
3.使用差别的模子得到输出效果
3.1使用不带头的模子输出
3.2使用带有语言模子头的模子举行输出
1.NLP中的常用预训练模子
[*]BERT
[*]GPT
[*]GPT-2
[*]Transformer-XL
[*]XLNet
[*]XLM
[*]RoBERTa
[*]DistilBERT
[*]ALBERT
[*]T5
[*]XLM-RoBERTa
全部上述预训练模子及其变体都是以transformer为根本，只是在模子布局如神经元毗连方式，编码器隐层数，多头注意力的头数等发生改变，这些改变方式的大部门依据都是由在标准数据集上的表现而定，因此，对于我们使用者而言，不须要从理论上深度探究这些预训练模子的布局计划的优劣，只须要在本身处置惩罚的目的数据上，只管遍历全部可用的模子对比得到最优效果即可.
<hr> 2.加载与使用预训练模子的步调
[*]第一步: 确定须要加载的预训练模子并安装依靠包.
[*]第二步: 加载预训练模子的映射器tokenizer.
[*]第三步: 加载带/不带头的预训练模子.
[*]第四步: 使用模子得到输出效果.
2.1确定须要加载的预训练模子并安装依靠包
[*]在使用工具加载模子前须要安装必备的依靠包
pip install tqdm boto3 requests regex sentencepiece sacremoses
2.2加载预训练模子的映射器tokenizer
import torch
from transformers import AutoTokenizer, AutoModel, AutoModelForMaskedLM, AutoModelForSequenceClassification, AutoModelForQuestionAnswering
mirror='https://mirrors.tuna.tsinghua.edu.cn/help/hugging-face-models/'
def demo24_1_load_tokenizer():
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese",mirror='https://mir
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！qidao123.com:ToB企服之家，中国第一个企服评测及软件市场,开放入驻,技术点评得现金
页:
[1]