ToB企服应用市场:ToB评测及商务社交产业平台

标题: LLM模子与实践之基于 MindSpore 实现 BERT 对话感情辨认 [打印本页]
作者: 天空闲话    时间: 2024-7-27 15:55
标题: LLM模子与实践之基于 MindSpore 实现 BERT 对话感情辨认
安装情况

  1. # 该案例在 mindnlp 0.3.1 版本完成适配，如果发现案例跑不通，可以指定mindnlp版本，执行`!pip install mindnlp==0.3.1`
  2. !pip install mindnlp
复制代码
模子简介

BERT是一种由Google于2018年发布的新型语言模子，它是基于Transformer中的Encoder并加上双向的结构。BERT模子采用了Masked Language Model和Next Sentence Prediction两种方法进行预训练，以捕捉词语和句子级别的representation。预训练之后，BERT可以用于下游任务的Fine-tuning，比如文本分类、相似度判定等。此外，BERT还可以应用于对话感情辨认，帮助企业改善产品的用户交互体验。
  1. import os
  3. import mindspore
  4. from mindspore.dataset import text, GeneratorDataset, transforms
  5. from mindspore import nn, context
  7. from mindnlp._legacy.engine import Trainer, Evaluator
  8. from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
  9. from mindnlp._legacy.metrics import Accuracy
  11. # prepare dataset
  12. class SentimentDataset:
  13.     """Sentiment Dataset"""
  15.     def __init__(self, path):
  16.         self.path = path
  17.         self._labels, self._text_a = [], []
  18.         self._load()
  20.     def _load(self):
  21.         with open(self.path, "r", encoding="utf-8") as f:
  22.             dataset = f.read()
  23.         lines = dataset.split("\n")
  24.         for line in lines[1:-1]:
  25.             label, text_a = line.split("\t")
  26.             self._labels.append(int(label))
  27.             self._text_a.append(text_a)
  29.     def __getitem__(self, index):
  30.         return self._labels[index], self._text_a[index]
  32.     def __len__(self):
  33.         return len(self._labels)
复制代码
数据集

该数据集包括感情分类的类别和经太过词预处理的中文文本，数据由两列组成，以制表符分隔，第一列是感情分类的类别（0表示消极；1表示中性；2表示积极），第二列是经过空格分词的中文文本。数据集读取后进行 Tokenize 处理和 pad 操作。
  1. # download dataset
  2. !wget https://baidu-nlp.bj.bcebos.com/emotion_detection-dataset-1.0.0.tar.gz -O emotion_detection.tar.gz
  3. !tar xvf emotion_detection.tar.gz
复制代码
数据预处理

  1. import numpy as np
  3. def process_dataset(source, tokenizer, max_seq_len=64, batch_size=32, shuffle=True):
  4.     is_ascend = mindspore.get_context('device_target') == 'Ascend'
  6.     column_names = ["label", "text_a"]
  7.    
  8.     dataset = GeneratorDataset(source, column_names=column_names, shuffle=shuffle)
  9.     # transforms
  10.     type_cast_op = transforms.TypeCast(mindspore.int32)
  11.     def tokenize_and_pad(text):
  12.         if is_ascend:
  13.             tokenized = tokenizer(text, padding='max_length', truncation=True, max_length=max_seq_len)
  14.         else:
  15.             tokenized = tokenizer(text)
  16.         return tokenized['input_ids'], tokenized['attention_mask']
  17.     # map dataset
  18.     dataset = dataset.map(operations=tokenize_and_pad, input_columns="text_a", output_columns=['input_ids', 'attention_mask'])
  19.     dataset = dataset.map(operations=[type_cast_op], input_columns="label", output_columns='labels')
  20.     # batch dataset
  21.     if is_ascend:
  22.         dataset = dataset.batch(batch_size)
  23.     else:
  24.         dataset = dataset.padded_batch(batch_size, pad_info={'input_ids': (None, tokenizer.pad_token_id),
  25.                                                          'attention_mask': (None, 0)})
  27.     return dataset
复制代码
模子推理


总结

BERT是一种新型的预训练语言模子，可以用于多种自然语言处理任务。 123
对话感情辨认是一种重要的对话体系任务，可以用于改善用户交互体验。 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4