LLM模子与实践之基于 MindSpore 实现 BERT 对话感情辨认
安装情况# 该案例在 mindnlp 0.3.1 版本完成适配，如果发现案例跑不通，可以指定mindnlp版本，执行`!pip install mindnlp==0.3.1`
!pip install mindnlp 模子简介
BERT是一种由Google于2018年发布的新型语言模子，它是基于Transformer中的Encoder并加上双向的结构。BERT模子采用了Masked Language Model和Next Sentence Prediction两种方法进行预训练，以捕捉词语和句子级别的representation。预训练之后，BERT可以用于下游任务的Fine-tuning，比如文本分类、相似度判定等。此外，BERT还可以应用于对话感情辨认，帮助企业改善产品的用户交互体验。
import os
import mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn, context
from mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy
# prepare dataset
class SentimentDataset:
"""Sentiment Dataset"""
def __init__(self, path):
self.path = path
self._labels, self._text_a = [], []
self._load()
def _load(self):
with open(self.path, "r", encoding="utf-8") as f:
dataset = f.read()
lines = dataset.split("\n")
for line in lines:
label, text_a = line.split("\t")
self._labels.append(int(label))
self._text_a.append(text_a)
def __getitem__(self, index):
return self._labels, self._text_a
def __len__(self):
return len(self._labels) 数据集
该数据集包括感情分类的类别和经太过词预处理的中文文本，数据由两列组成，以制表符分隔，第一列是感情分类的类别（0表示消极；1表示中性；2表示积极），第二列是经过空格分词的中文文本。数据集读取后进行 Tokenize 处理和 pad 操作。
# download dataset
!wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz
!tar xvf emotion_detection.tar.gz 数据预处理
import numpy as np
def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):
is_ascend = mindspore.get_context('device_target') == 'Ascend'
column_names = ["label", "text_a"]
dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)
# transforms
type_cast_op = transforms.TypeCast(mindspore.int32)
def tokenize_and_pad(text):
if is_ascend:
tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
else:
tokenized = tokenizer(text)
return tokenized['input_ids'], tokenized['attention_mask']
# map dataset
dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])
dataset = dataset.map(operations=, input_columns="label", output_columns='labels')
# batch dataset
if is_ascend:
dataset = dataset.batch(batch_size)
else:
dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
'attention_mask': (None, 0)})
return dataset 模子推理
https://i-blog.csdnimg.cn/direct/4904d7355c7845e19ce921f31a465419.png
总结
BERT是一种新型的预训练语言模子，可以用于多种自然语言处理任务。 123
对话感情辨认是一种重要的对话体系任务，可以用于改善用户交互体验。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]