提拔翻译质量的机密武器：硬提示与软提示微调剖析(二) ...

   提拔翻译质量的机密武器：硬提示与软提示微调剖析 （一）
提拔翻译质量的机密武器：硬提示与软提示微调剖析 （二）
  软提示微调实验

在软提示微调实验中，我们不再依靠人工设计的固定提示词，而是通过训练模子主动学习和优化一组嵌入式提示向量。以下代码展示了怎样界说和训练软提示词嵌入，并将其添加到模子输入中。

1. import torch
2. import torch.nn as nn
3. from transformers import MBartForConditionalGeneration, MBart50TokenizerFast
4. from torch.utils.data import Dataset, DataLoader
6. # 定义软提示词嵌入
7. class SoftPrompt(nn.Module):
8.     def __init__(self, hidden_size, prompt_length):
9.         super().__init__()
10.         self.prompt = nn.Parameter(torch.randn(prompt_length, hidden_size))
12. # 加载预训练模型和tokenizer
13. model = MBartForConditionalGeneration.from_pretrained("facebook/mbart-large-50")
14. tokenizer = MBart50TokenizerFast.from_pretrained("facebook/mbart-large-50")
16. # 初始化软提示词嵌入
17. prompt_length = 10  # 可以根据需要调整
18. hidden_size = model.config.d_model
19. soft_prompt = SoftPrompt(hidden_size, prompt_length)
21. # 训练过程
22. optimizer = torch.optim.AdamW(list(model.parameters()) + [soft_prompt.prompt], lr=5e-5)
23. device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
24. model.to(device)
25. soft_prompt.to(device)
27. # --- Few-shot 学习 ---
28. class FewShotDataset(Dataset):
29.     def __init__(self, examples, tokenizer, max_length=512):
30.         self.examples = examples
31.         self.tokenizer = tokenizer
32.         self.max_length = max_length
34.     def __len__(self):
35.         return len(self.examples)
37.     def __getitem__(self, idx):
38.         example = self.examples[idx]
39.         source_text = example['source']
40.         target_text = example['target']
42.         # 将输入和输出文本进行tokenization
43.         inputs = self.tokenizer(source_text, return_tensors="pt", padding=True, truncation=True, max_length=self.max_length)
44.         targets = self.tokenizer(target_text, return_tensors="pt", padding=True, truncation=True, max_length=self.max_length)
45.         
46.         # 返回输入输出ID
47.         return {'input_ids': inputs['input_ids'].squeeze(), 'labels': targets['input_ids'].squeeze()}
49. # 定义 few-shot 示例
50. few_shot_examples = [
51.     {"source": "天气今天非常晴朗。", "target": "The weather is sunny today."},
52.     {"source": "他喜欢打篮球。", "target": "He likes to play basketball."},
53.     {"source": "我们将讨论气候变化问题。", "target": "We will discuss climate change."}
54. ]
56. # 创建数据集和DataLoader
57. dataset = FewShotDataset(few_shot_examples, tokenizer)
58. dataloader = DataLoader(dataset, batch_size=2)
60. # 训练模型
61. model.train()
62. for epoch in range(3):  # 3个epoch
63.     for batch in dataloader:
64.         input_ids = batch['input_ids'].to(device)
65.         labels = batch['labels'].to(device)
67.         # 将软提示词嵌入添加到模型输入
68.         input_ids = torch.cat([soft_prompt.prompt.repeat(input_ids.size(0), 1, 1), input_ids], dim=1)
70.         # 进行前向传播和计算损失
71.         outputs = model(input_ids=input_ids, labels=labels)
72.         loss = outputs.loss
74.         # 反向传播和优化
75.         optimizer.zero_grad()
76.         loss.backward()
77.         optimizer.step()
79.         print(f"Epoch {epoch+1}, Loss: {loss.item()}")
82. # --- 上下文提示 ---
83. class ContextPromptDataset(Dataset):
84.     def __init__(self, examples, tokenizer, max_length=512):
85.         self.examples = examples
86.         self.tokenizer = tokenizer
87.         self.max_length = max_length
89.     def __len__(self):
90.         return len(self.examples)
92.     def __getitem__(self, idx):
93.         example = self.examples[idx]
94.         context_text = example['context']
95.         target_text = example['target']
97.         # 将上下文和目标翻译文本进行tokenization
98.         inputs = self.tokenizer(context_text, return_tensors="pt", padding=True, truncation=True, max_length=self.max_length)
99.         targets = self.tokenizer(target_text, return_tensors="pt", padding=True, truncation=True, max_length=self.max_length)
100.         
101.         # 返回输入输出ID
102.         return {'input_ids': inputs['input_ids'].squeeze(), 'labels': targets['input_ids'].squeeze()}
104. # 定义上下文示例
105. context_examples = [
106.     {"context": "这篇文章讨论了气候变化的影响，包括经济、社会和环境层面的变化。", "target": "This article discusses the impacts of climate change, including economic, social, and environmental changes."},
107.     {"context": "随着科技的发展，人工智能正在逐步改变各个行业的面貌。", "target": "With the development of technology, artificial intelligence is gradually changing the landscape of various industries."}
108. ]
110. # 创建数据集和DataLoader
111. dataset = ContextPromptDataset(context_examples, tokenizer)
112. dataloader = DataLoader(dataset, batch_size=2)
114. # 训练模型
115. model.train()
116. for epoch in range(3):  # 3个epoch
117.     for batch in dataloader:
118.         input_ids = batch['input_ids'].to(device)
119.         labels = batch['labels'].to(device)
121.         # 将软提示词嵌入添加到模型输入
122.         input_ids = torch.cat([soft_prompt.prompt.repeat(input_ids.size(0), 1, 1), input_ids], dim=1)
124.         # 进行前向传播和计算损失
125.         outputs = model(input_ids=input_ids, labels=labels)
126.         loss = outputs.loss
128.         # 反向传播和优化
129.         optimizer.zero_grad()
130.         loss.backward()
131.         optimizer.step()
133.         print(f"Epoch {epoch+1}, Loss: {loss.item()}")
135. # --- 链式推理（CoT） ---
136. class CotPromptDataset(Dataset):
137.     def __init__(self, examples, tokenizer, max_length=512):
138.         self.examples = examples
139.         self.tokenizer = tokenizer
140.         self.max_length = max_length
142.     def __len__(self):
143.         return len(self.examples)
145.     def __getitem__(self, idx):
146.         example = self.examples[idx]
147.         cot_prompt = example['cot_prompt']
148.         target_text = example['target']
150.         # 将链式推理提示和目标翻译文本进行tokenization
151.         inputs = self.tokenizer(cot_prompt, return_tensors="pt", padding=True, truncation=True, max_length=self.max_length)
152.         targets = self.tokenizer(target_text, return_tensors="pt", padding=True, truncation=True, max_length=self.max_length)
153.         
154.         # 返回输入输出ID
155.         return {'input_ids': inputs['input_ids'].squeeze(), 'labels': targets['input_ids'].squeeze()}
157. # 定义链式推理示例
158. cot_examples = [
159.     {"cot_prompt": "请分步推理并翻译以下句子：\n1. 理解句子的含义\n2. 分析句子的结构\n3. 根据目标语言语法进行调整\n4. 生成最终翻译\n待翻译句子：气候变化对全球生态系统产生了深远的影响。",
160.      "target": "Please reason step by step and translate the following sentence:\n1. Understand the meaning of the sentence\n2. Analyze the structure of the sentence\n3. Adjust according to the grammar of the target language\n4. Generate the final translation\nThe sentence to be translated: Climate change has had a profound impact on global ecosystems."}
161. ]
163. # 创建数据集和DataLoader
164. dataset = CotPromptDataset(cot_examples, tokenizer)
165. dataloader = DataLoader(dataset, batch_size=2)
167. # 训练模型
168. model.train()
169. for epoch in range(3):  # 3个epoch
170.     for batch in dataloader:
171.         input_ids = batch['input_ids'].to(device)
172.         labels = batch['labels'].to(device)
174.         # 将软提示词嵌入添加到模型输入
175.         input_ids = torch.cat([soft_prompt.prompt.repeat(input_ids.size(0), 1, 1), input_ids], dim=1)
177.         # 进行前向传播和计算损失
178.         outputs = model(input_ids=input_ids, labels=labels)
179.         loss = outputs.loss
181.         # 反向传播和优化
182.         optimizer.zero_grad()
183.         loss.backward()
184.         optimizer.step()
186.         print(f"Epoch {epoch+1}, Loss: {loss.item()}")
188. # 保存微调后的模型
189. model.save_pretrained("cot_prompt_model")
190. tokenizer.save_pretrained("cot_prompt_model")

复制代码

• Few-Shot 学习
  在软提示微调中，few-shot 学习的实现方式与硬提示有所不同。我们不再将示例添加到输入文本中，而是将这些示例转换成向量表示，并与待翻译的句子一起输入模子举行训练。模子通过学习这些示例向量，可以或许更好地理解翻译使命的目的和模式，并在少量数据的环境下快速适应新的翻译使命。
  
• 上下文提示
  软提示微调中的上下文提示也接纳了向量表示的方式。我们将上下文信息转换成向量，并与待翻译的句子一起输入模子。模子通过学习这些上下文向量，可以或许更好地理解文本的语境和含义，从而天生更准确、更流通的译文。
  
• 链式推理（CoT）
  软提示微调中的链式推理也接纳了向量表示的方式。我们将每个推理步调转换成向量，并按照推理次序依次输入模子。模子通过学习这些推理步调向量，可以或许更好地理解复杂的逻辑关系和语法布局，从而天生更准确、更完整的译文。
  

模子评估

在机器翻译范畴，BLEU (Bilingual Evaluation Understudy) 分数是评估翻译质量的常用指标。BLEU 分数通过比较机器翻译结果和人工翻译结果中 n-gram 的匹配程度来计算，分数越高表示翻译质量越好。
以下代码展示了怎样使用 sacrebleu 库计算 BLEU 分数：

1. import sacrebleu
3. # 加载参考译文
4. references = [
5.     ["This is a test sentence."],
6.     ["This is another test sentence."]
7. ]
9. # 生成机器翻译结果
10. hypothesis = "This is a test sentence."
12. # 计算 BLEU 分数
13. bleu = sacrebleu.corpus_bleu([hypothesis], references)
15. print("BLEU score:", bleu.score)

复制代码

代码阐明：

• references 是人工翻译结果的列表，每个元素是一个句子。
  
• hypothesis 是机器翻译天生的句子。
  
• sacrebleu.corpus_bleu() 函数用于计算 BLEU 分数。
  

实验结果分析

为了评估硬提示和软提示微调的结果，我们接纳了 BLEU 分数作为评价指标。
根据已有的研究和论文，我们可以推测以下实验结果：
模子范例BLEU得分MBART（基线模子）基准MBART（硬提示微调）略高于基准MBART（软提示微调 - Few-shot）高于硬提示MBART（软提示微调 - 上下文提示）高于 Few-shotMBART（软提示微调 - CoT）最高 从模拟的实验结果可以看出，硬提示微调和软提示微调都能提拔机器翻译的质量，但软提示微调的结果更佳。
硬提示微调：BLEU 得分略高于基线模子，表明硬提示可以或许起到一定的引导作用，但提拔幅度有限。
软提示微调：BLEU 得分高于硬提示微调，表明软提示可以或许更有效地引导模子举行翻译，特殊是上下文提示和链式推理方法，可以或许显着提拔翻译质量。 few-shot 方法的结果优于硬提示，但低于上下文提示和 CoT。
分析:
硬提示微调的范围性在于其静态性和人工设计的依靠性。硬提示词通常是固定的文本或模板，难以适应不同的上下文和语言风格，并且必要耗费大量精力举行设计和优化。
软提示微调的优势在于其动态性和自适应性。软提示词是可训练的向量，可以或许根据不同的使命进举措态调解，并且可以或许更好地捕捉语言的细微差异和上下文信息，从而提拔翻译质量。 CoT 方法的结果最佳，由于它可以或许引导模子举行更深入的推理和理解。
总结与展望：精益求精，永无止境
本文详细介绍了硬提示和软提示微调两种技术，并结合模拟的实验结果，展示了怎样利用 few-shot 学习、上下文提示和链式推理等优化策略，进一步提拔机器翻译的结果。模拟实验结果表明，软提示微调在提拔翻译质量方面具有显着优势，特殊是上下文提示和链式推理方法，可以或许有效提拔模子处理复杂句式和逻辑关系的本领。
未来，人们将继续探索更有效的提示词微调方法，例如：
多模态提示词微调：将图像、音频等多模态信息融入提示词中，资助模子更好地理解翻译使命的语境和含义。
跨语言提示词微调：利用不同语言之间的共性和差异，设计更通用的提示词，提拔模子的跨语言翻译本领。
个性化提示词微调：根据用户的翻译需求和偏好，定制个性化的提示词，提供更精准的翻译服务。
信任随着技术的不停进步，提示词微调技术将在机器翻译范畴发挥越来越重要的作用，为我们带来更准确、更流通、更自然的翻译体验。
参考文献
关于提示词微调 (Prompt Tuning) 的论文：

• Lester, B., Al-Rfou, R., & Constant, N. (2021). The Power of Scale for Parameter-Efficient Prompt Tuning. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, 3045–3059. (这篇论文提出了 Parameter-Efficient Prompt Tuning，是软提示微调的重要基础)
  
• Khashabi, D., Cohan, A., & Choi, Y. (2021). Prompting with Discrete Prompts: A Survey. Transactions of the Association for Computational Linguistics, 10, 866–883. (这篇论文对离散提示举行了综述，可以作为硬提示微调的参考)
  
• Li, X. L., & Liang, P. (2021). Prefix-Tuning: Optimizing Continuous Prompts for Generation. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), 4582–4597. (这篇论文提出了 Prefix-Tuning，是另一种提示词微调方法，可以作为对比或增补)
  

关于链式推理 (Chain-of-Thought Prompting) 的论文：

• Wei, J., Wang, X., Schuurmans, D., Bosma, M., Ichter, B., Xia, F., … & Zhou, D. (2022). Chain-of-thought prompting elicits reasoning in large language models. Advances in Neural Information Processing Systems, 35. (这篇论文提出了链式推理方法，可以作为 CoT 提示的理论基础)
  

关于 few-shot learning 的论文：

• Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901. (这篇论文探讨了语言模子作为 few-shot learners 的本领，可以作为 few-shot 学习的理论参考)
  

关于 WMT 数据集和 BLEU 评估指标的论文：

• Papineni, K., Roukos, S., Ward, T., & Zhu, W. J. (2002). Bleu: a method for automatic evaluation of machine translation. Proceedings of the 40th annual meeting of the Association for Computational Linguistics, 311-318. (这篇论文提出了 BLEU 评估指标，是机器翻译范畴的重要参考文献)
  
• Bojar, O., Buck, C., Federmann, C., Haddow, B., Koehn, P., Leveling, J., … & Zampieri, M. (2014). Findings of the 2014 Workshop on Statistical Machine Translation. Proceedings of the Ninth Workshop on Statistical Machine Translation, 12–58. (这篇论文介绍了 WMT 评测和数据集，可以作为 WMT 数据集的参考)
  

关于 MBART 模子的论文：

• Liu, Y., Gu, J., Goyal, N., Li, X., Edunov, S., Ghazvininejad, M., … & Lewis, M. (2020). Multilingual denoising pre-training for neural machine translation. Transactions of the Association for Computational Linguistics, 8, 726-742. (这篇论文提出了 MBART 模子，可以作为 MBART 模子的参考)
  

   提拔翻译质量的机密武器：硬提示与软提示微调剖析 （一）
提拔翻译质量的机密武器：硬提示与软提示微调剖析 （二）
  想要系统学习深度学习理论？这个专栏将带你深入理解神经网络的基石，从反向流传到各种经典网络布局，为你的深度学习之旅打下结实基础！点击进入：AI 进阶之路
本文为原创内容，未经许可不得转载。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。