【python】使用Python和BERT进行文本择要：从数据预处理到模子训练与天生 ...

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！
解锁Python编程的无穷大概：《奥妙的Python》带你漫游代码世界
随着信息爆炸期间的到来，海量文本数据的高效处理与理解成为亟待解决的题目。文本择要作为天然语言处理（NLP）中的关键任务，旨在自动天生简明扼要的文本择要，资助用户快速获取关键信息。近年来，基于深度学习的预训练语言模子，尤其是BERT（Bidirectional Encoder Representations from Transformers），在文本理解和天生任务中取得了显着进展。本文深入探讨了怎样使用Python和BERT模子进行文本择要，包括数据预处理、模子构建与训练、择要天生及结果评估等环节。首先，先容了文本择要的基本概念及其在实际应用中的重要性。随后，详细论述了BERT模子的架构及其在文本择要任务中的应用原理。接着，通过实际案例，展示了怎样使用Python进行数据清洗与预处理，并使用Hugging Face的Transformers库构建和训练基于BERT的文本择要模子。文章还涵盖了天生择要的详细方法，包括抽取式和天生式择要技术，并联合代码示例进行详细说明。末了，探讨了模子评估指标及优化计谋，旨在为研究人员和开发者提供一套完备的基于BERT的文本择要解决方案，助力其在信息提取与内容天生领域的创新与实践。
引言

在当今信息爆炸的期间，海量的文本数据如消息报道、学术论文、交际媒体内容等以惊人的速度涌现。怎样高效地从这些海量数据中提取关键信息，成为了天然语言处理（NLP）领域的重要研究方向之一。文本择要作为NLP中的核心任务，旨在自动天生简明扼要的文本择要，资助用户快速获取所需信息，提升信息处理的效率和结果。
传统的文本择要方法主要分为抽取式择要和天生式择要两类。抽取式择要通过从原文中直接提取关键句子或片段来构建择要，而天生式择要则尝试理解原文内容，天生新的句子来表达核心信息。随着深度学习技术的迅猛发展，基于神经网络的文本择要方法渐渐成为研究热门，尤其是预训练语言模子的应用，为文本择要任务带来了革命性的突破。
BERT（Bidirectional Encoder Representations from Transformers）作为一种基于Transformer架构的双向编码器表示模子，自推出以来在多个NLP任务中表现出色。其强盛的语义理解能力使其在文本择要任务中具备巨大的潜力。然而，怎样有用地使用BERT进行文本择要，包括数据预处理、模子构建与训练、择要天生及结果评估，仍然是一个值得深入探讨的题目。
本文旨在系统地先容怎样使用Python和BERT模子进行文本择要任务。通过详细的理论解析与丰富的代码示例，展示从数据预处理到模子训练，再到择要天生的完备流程。同时，探讨模子评估与优化计谋，资助读者全面把握基于BERT的文本择要技术，推动其在实际应用中的落地与创新。
BERT模子概述

Transformer架构

Transformer架构由Vaswani等人于2017年提出，是一种完全基于留意力机制（Attention Mechanism）的神经网络模子，广泛应用于各种NLP任务。与传统的循环神经网络（RNN）相比，Transformer具有更高的并行化能力和更好的长距离依赖建模能力。Transformer主要由编码器（Encoder）和解码器（Decoder）两部分构成，每部分由多个雷同的层（Layer）堆叠而成。
每个编码器层包含两个子层：多头自留意力机制（Multi-Head Self-Attention）和前馈全连接网络（Feed-Forward Neural Network）。每个解码器层则在此底子上增长了一个编码器-解码器留意力机制（Encoder-Decoder Attention）。这种设计使得Transformer在处理序列到序列（Sequence-to-Sequence）任务时表现尤为出色。
BERT模子

BERT（Bidirectional Encoder Representations from Transformers）是Google于2018年提出的预训练语言模子，基于Transformer的编码器部分。BERT的核心创新在于其双向性，即在进行词表示学习时同时思量左右上下文信息，这一特性显着提升了模子的语义理解能力。
BERT通过两个主要任务进行预训练：掩蔽语言模子（Masked Language Model, MLM）和下一句猜测（Next Sentence Prediction, NSP）。MLM任务随机掩蔽输入句子中的一些词汇，模子需根据上下文猜测被掩蔽的词；NSP任务则要求模子判定两句话是否在原文中相邻。这两种任务共同训练出具有深厚语义理解能力的语言表示。
BERT在文本择要中的应用

在文本择要任务中，BERT可以作为编码器，用于理解输入文本的语义信息。联合解码器部分，BERT可以被扩展为天生式择要模子。此外，基于BERT的预训练模子，如BERTSUM，通过调解模子结构和训练目的，专门用于择要天生，取得了良好的结果。
然而，直接使用BERT进行文本择要存在一些挑战，包括天生的择要质量、模子的训练效率以及对大规模数据的顺应能力。本文将探讨怎样通过数据预处理、模子构建与训练、择要天生等步骤，充分发挥BERT在文本择要任务中的潜力。
数据预处理

数据集选择

文本择要任务需要大量的带有择要的文本对作为训练数据。常用的数据集包括：

• CNN/Daily Mail：包含消息文章及其择要，广泛用于文本择要任务。
  
• DUC：由美国国家尺度与技术研究院（NIST）组织的文档理解评估会议提供的数据集。
  
• Gigaword：包含大量的消息择要数据，适用于训练大规模择要模子。
  

本文以CNN/Daily Mail数据集为例，展示数据预处理的详细步骤。
数据清洗与格式化

数据预处理的主要目的是将原始数据转化为模子可以担当的格式，包括去除噪声、统一文本格式、分割训练与测试集等。以下是详细的代码实现：

1. import os
2. import re
3. import json
4. import pandas as pd
5. from tqdm import tqdm
7. # 定义数据集路径
8. DATA_DIR = 'cnn_dm_dataset'
9. TRAIN_FILE = os.path.join(DATA_DIR, 'train.json')
10. VALID_FILE = os.path.join(DATA_DIR, 'valid.json')
11. TEST_FILE = os.path.join(DATA_DIR, 'test.json')
13. # 检查数据文件是否存在
14. for file in [TRAIN_FILE, VALID_FILE, TEST_FILE]:
15.     if not os.path.exists(file):
16.         raise FileNotFoundError(f'文件 {
17.      file} 不存在，请检查数据集路径。')
19. # 加载数据
20. def load_data(file_path):
21.     """
22.     加载JSON格式的数据
24.     参数:
25.     file_path -- 数据文件路径
27.     返回:
28.     texts -- 原文列表
29.     summaries -- 摘要列表
30.     """
31.     texts = []
32.     summaries = []
33.     with open(file_path, 'r', encoding='utf-8') as f:
34.         for line in tqdm(f, desc=f'加载 {
35.      file_path}'):
36.             data = json.loads(line)
37.             text = data['article']
38.             summary = data['highlights']
39.             texts.append(text)
40.             summaries.append(summary)
41.     return texts, summaries
43. # 加载训练、验证和测试集
44. train_texts, train_summaries = load_data(TRAIN_FILE)
45. valid_texts, valid_summaries = load_data(VALID_FILE)
46. test_texts, test_summaries = load_data(TEST_FILE)
48. # 数据示例
49. print(f'训练集样本数: {
50.      len(train_texts)}')
51. print(f'验证集样本数: {
52.      len(valid_texts)}')
53. print(f'测试集样本数: {
54.      len(test_texts)}')
56. # 数据清洗函数
57. def clean_text(text):
58.     """
59.     清洗文本数据，去除特殊字符和多余空格
61.     参数:
62.     text -- 输入文本
64.     返回:
65.     清洗后的文本
66.     """
67.     # 去除特殊字符
68.     text = re.sub(r'[^A-Za-z0-9\s,.!?\'"-]', '', text)
69.     # 替换多个空格为一个空格
70.     text = re.sub(r'\s+', ' ', text)
71.     return text.strip()
73. # 清洗所有数据
74. train_texts = [clean_text(text) for text in tqdm(train_texts, desc='清洗训练集')]
75. valid_texts = [clean_text(text) for text in tqdm(valid_texts, desc='清洗验证集')]
76. test_texts = [clean_text(text) for text in tqdm(test_texts, desc='清洗测试集')]
78. train_summaries = [clean_text(summary) for summary in tqdm(train_summaries, desc='清洗训练集摘要')]
79. valid_summaries = [clean_text(summary) for summary in tqdm(valid_summaries, desc='清洗验证集摘要')]
80. test_summaries = [clean_text(summary) for summary in tqdm(test_summaries, desc='清洗测试集摘要')]
82. # 将清洗后的数据保存为CSV文件，便于后续处理
83. def save_to_csv(texts, summaries, file_name):
84.     """
85.     将文本和摘要保存为CSV文件
87.     参数:
88.     texts -- 原文列表
89.     summaries -- 摘要列表
90.     file_name -- 输出文件名
91.     """
92.     df = pd.DataFrame({
93.    'text': texts, 'summary': summaries})
94.     df.to_csv(file_name, index=False, encoding='utf-8')
95.     print(f'已保存到 {
96.      file_name}')
98. # 保存数据
99. save_to_csv(train_texts, train_summaries, 'train_clean.csv')
100. save_to_csv(valid_texts, valid_summaries, 'valid_clean.csv')
101. save_to_csv(test_texts, test_summaries, 'test_clean.csv')

复制代码

数据分词与编码

在使用BERT进行文本择要任务之前，需要对文本进行分词和编码。BERT使用WordPiece分词器，将词汇拆分为更小的子词单位，以处理未登录词和多样化的词汇形式。以下是详细的实当代码：

1. from transformers import BertTokenizer
3. # 加载预训练的BERT分词器
4. tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
6. # 定义最大序列长度
7. MAX_INPUT_LENGTH = 512
8. MAX_SUMMARY_LENGTH = 128
10. # 分词和编码函数
11. def tokenize_and_encode(texts, summaries, tokenizer, max_input_len=MAX_INPUT_LENGTH, max_summary_len=MAX_SUMMARY_LENGTH):
12.     """
13.     对文本和摘要进行分词和编码
15.     参数:
16.     texts -- 原文列表
17.     summaries -- 摘要列表
18.     tokenizer -- BERT分词器
19.     max_input_len -- 原文最大长度
20.     max_summary_len -- 摘要最大长度
22.     返回:
23.     input_ids -- 原文的编码
24.     attention_masks -- 原文的注意力掩码
25.     summary_ids -- 摘要的编码
26.     summary_attention_masks -- 摘要的注意力掩码
27.     """
28.     input_ids = []
29.     attention_masks = []
30.     summary_ids = []
31.     summary_attention_masks = []
33.     for text, summary in tqdm(zip(texts, summaries), total=len(texts), desc='分词和编码'):
34.         # 编码原文
35.         encoded_dict = tokenizer.encode_plus(
36.             text,
37.             add_special_tokens=True,
38.             max_length=max_input_len,
39.             padding='max_length',
40.             truncation=True,
41.             return_attention_mask=True,
42.             return_tensors='pt'
43.         )
44.         input_ids.append(encoded_dict['input_ids'])
45.         attention_masks.append(encoded_dict['attention_mask'])
47.         # 编码摘要
48.         summary_encoded = tokenizer.encode_plus(
49.             summary,
50.             add_special_tokens=True,
51.             max_length=max_summary_len,
52.             padding='max_length',
53.             truncation=True,
54.             return_attention_mask=True,
55.             return_tensors='pt'
56.         )
57.         summary_ids.append(summary_encoded['input_ids'])
58.         summary_attention_masks.append(summary_encoded['attention_mask'])
60.     # 将列表转换为张量
61.     input_ids = torch.cat(input_ids, dim=0)
62.     attention_masks = torch.cat(attention_masks, dim=0)
63.     summary_ids = torch.cat(summary_ids, dim=0)
64.     summary_attention_masks = torch.cat(summary_attention_masks, dim=0)
66.     return input_ids, attention_masks, summary_ids, summary_attention_masks
68. import torch
70. # 进行分词和编码
71. train_inputs, train_masks, train_summaries_ids, train_summaries_masks = tokenize_and_encode(
72.     train_texts, train_summaries, tokenizer
73. )
74. valid_inputs, valid_masks, valid_summaries_ids, valid_summaries_masks = tokenize_and_encode(
75.     valid_texts, valid_summaries, tokenizer
76. )
77. test_inputs, test_masks, test_summaries_ids, test_summaries_masks = tokenize_and_encode(
78.     test_texts, test_summaries, tokenizer
79. )
81. # 查看编码结果
82. print('原文编码示例:', train_inputs[0])
83. print('摘要编码示例:', train_summaries_ids[0])

复制代码

构建数据加载器

为了高效地将数据输入模子进行训练，需要构建适当的数据加载器。以下代码展示了怎样使用PyTorch的Dataset和DataLoader类进行数据封装：

1. from torch.utils.data import Dataset, DataLoader
3. class SummarizationDataset(Dataset):
4.     """
5.     自定义数据集类，用于文本摘要任务
6.     """
7.     def __init__(self, input_ids, attention_masks, summary_ids, summary_attention_masks):
8.         self.input_ids = input_ids
9.         self.attention_masks = attention_masks
10.         self.summary_ids = summary_ids
11.         self.summary_attention_masks = summary_attention_masks
13.     def __len__(self):
14.         return len(self.input_ids)
16.     def __getitem__(self, idx):
17.         return {
18.    
19.             'input_ids': self.input_ids[idx],
20.             'attention_mask': self.attention_masks[idx],
21.             'summary_ids': self.summary_ids[idx],
22.             'summary_attention_mask': self.summary_attention_masks[idx]
23.         }
25. # 创建数据集对象
26. train_dataset = SummarizationDataset(train_inputs, train_masks, train_summaries_ids, train_summaries

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。