AI开发-三方库-Hugging Face-Pipelines

1 需求

需求1：pipeline支持的任务类型
需求2：推理加速使用CPU还是GPU
需求3：基于pipeline的文本分类示例
需求4：pipeline实现原理

---

---

模型使用步骤（Raw text -》Input IDs -》Logits -》Predictions）：

• 第一步：数据预处理（Raw text -》Input IDs）
  
• 第二步：模型调用（Input IDs -》Logits）
  
• 第三步：效果后处理（Logits -》Predictions）
  

以下是对这个流程的表明：
一、Raw text -＞ Input IDs

• 原始文本处理：
  
  
  
  • “Raw text” 即原始文本，可能是一段自然语言的语句、文章段落等。
    
  • 在自然语言处理任务中，首先需要将原始文本举行预处理，以便模型可以或许理解和处理。
    
  
  
• 分词与编码：
  
  
  
  • 通常使用分词器（tokenizer）将原始文本分割成一个个的词或子词单位。例如，对于英文文本，可能会将单词拆分成词根、词缀等更小的单位；对于中文文本，可能会按照字、词等举行分割。
    
  • 然后，分词器会为每个分割后的单位分配一个唯一的整数标识符，即 “Input IDs”。这些整数标识符可以被模型识别和处理。
    
  • 例如，使用 Hugging Face 的 Transformers 库中的分词器，可以这样将原始文本转换为输入 ID 序列：
    
  
  

1. text = "今天天气不错"
3. # 第一步：数据预处理（Raw text -》Input IDs）
4. from transformers import BertTokenizer
6. tokenizer = BertTokenizer.from_pretrained('./model')
7. inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True)
8. print(inputs)

复制代码

二、Input IDs -＞ Logits

• 模型处理输入：
  
  
  
  • “Input IDs” 被输入到深度学习模型中，例如 Transformer 架构的语言模型。
    
  • 模型会对输入的 ID 序列举行一系列的计算和处理，包罗嵌入（embedding）、多头注意力（multi-head attention）、前馈神经网络（feed-forward neural network）等操纵。
    
  
  
• 天生对数概率：
  
  
  
  • 经过模型的计算，最终会输出一个向量，称为 “Logits”。Logits 是模型对每个可能的输出类别的对数概率。
    
  • 例如，在文本分类任务中，如果有两个类别（正面和负面），那么 Logits 可能是一个长度为 2 的向量，分别表示输入文本属于正面类别和负面类别的对数概率。
    
  • 以下是一个简单的示例，使用预训练的模型天生 Logits：
    
  
  

1. # 第二步：模型调用（Input IDs -》Logits）
2. from transformers import BertForSequenceClassification
4. model = BertForSequenceClassification.from_pretrained('./model')
5. # print(model.config)
6. outputs = model(**inputs)
7. logits = outputs.logits
8. print(logits)

复制代码

三、Logits -＞ Predictions

• 概率计算与预测：
  
  
  
  • “Logits” 通常是未经过处理的对数概率，需要进一步转换为概率值。可以使用 softmax 函数将 Logits 转换为概率分布。
    
  • Softmax 函数会将每个对数概率转换为一个介于 0 和 1 之间的概率值，而且所有概率值之和为 1。
    
  • 然后，根据概率分布，可以选择概率最高的类别作为模型的预测效果。
    
  • 例如：
    
  
  

1. # 第三步：结果后处理（Logits -》Predictions）
2. import torch
4. predictions = torch.nn.functional.softmax(logits, dim=-1)
5. predictions_class = torch.argmax(predictions).item()
6. print(predictions_class)
7. print(model.config.id2label.get(predictions_class))

复制代码

这个流程是自然语言处理中常见的文本分类任务的根本步骤，不同的任务和模型可能会有所不同，但总体上都遵循这个从原始文本到最终预测的过程。

---

2 接口

关键参数 

• task：指定任务类型
  
• model：指定模型
  
• tokenizer：指定分词器
  
• device：指定使用GPU举行推理加速
  

常见调用方式

• pipeline(task="text-classification")
  
• pipeline(task="text-classification", model="./model")
  
• pipeline(task="text-classification", model="./model", tokenizer="./model")
  
• pipeline(task="text-classification", model="./model", tokenizer="./model", device=-1)
  

---

3.1 支持任务类型

1. from transformers.pipelines import SUPPORTED_TASKS
3. for k, v in SUPPORTED_TASKS.items():
4.     print(k)

复制代码

---

3.2 推理加速使用CPU还是GPU

1. from transformers import pipeline
3. pipe = pipeline(task="text-classification", model="./model", tokenizer="./model")
5. print(pipe.model.device)

复制代码

---

3.3 基于pipeline的文本分类示例

1. from transformers import pipeline
3. pipe = pipeline(task="text-classification", model="./model", tokenizer="./model", device=-1)
4. result = pipe("今天天气不错")
5. print(result)

复制代码

---

3.4 pipeline实现原理

1. text = "今天天气不错"
3. # 第一步：数据预处理（Raw text -》Input IDs）
4. from transformers import BertTokenizer
6. tokenizer = BertTokenizer.from_pretrained('./model')
7. inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True)
8. print(inputs)# 第二步：模型调用（Input IDs -》Logits）
9. from transformers import BertForSequenceClassification
11. model = BertForSequenceClassification.from_pretrained('./model')
12. # print(model.config)
13. outputs = model(**inputs)
14. logits = outputs.logits
15. print(logits)# 第三步：结果后处理（Logits -》Predictions）
16. import torch
18. predictions = torch.nn.functional.softmax(logits, dim=-1)
19. predictions_class = torch.argmax(predictions).item()
20. print(predictions_class)
21. print(model.config.id2label.get(predictions_class))

复制代码

---

4 参考资料

https://huggingface.co/docs/transformers/main_classes/pipelines
https://hf-mirror.com/docs/transformers/main_classes/pipelines
https://blog.csdn.net/weixin_48007632/category_12725843.html

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。