模型摆设实战：PyTorch生产化指南

‌一、为什么要做模型摆设？‌

模型摆设是将训练好的模型‌投入现实应用‌的关键步骤，涉及：

• 模型格式转换（TorchScript/ONNX）
  
• 性能优化（量化/剪枝）
  
• 构建API服务
  
• 移动端集成
  

 本章使用ResNet18实现图像分类，并演示完整摆设流程。
‌二、模型转换：TorchScript与ONNX‌

‌1. 准备预训练模型

1. import torch
2. import torchvision
4. # 加载预训练模型
5. model = torchvision.models.resnet18(weights='IMAGENET1K_V1')
6. model.eval()
8. # 示例输入
9. dummy_input = torch.rand(1, 3, 224, 224)

复制代码

 ‌2. 导出为TorchScript

1. # 方法一：追踪执行路径（适合无控制流模型）
2. traced_model = torch.jit.trace(model, dummy_input)
3. torch.jit.save(traced_model, "resnet18_traced.pt")
5. # 方法二：直接转换（适合含if/for的模型）
6. scripted_model = torch.jit.script(model)
7. torch.jit.save(scripted_model, "resnet18_scripted.pt")
9. # 加载测试
10. loaded_model = torch.jit.load("resnet18_traced.pt")
11. output = loaded_model(dummy_input)
12. print("TorchScript输出形状:", output.shape)  # 应输出torch.Size([1, 1000])

复制代码

‌3. 导出为ONNX格式

1. torch.onnx.export(
2.     model,
3.     dummy_input,
4.     "resnet18.onnx",
5.     input_names=["input"],
6.     output_names=["output"],
7.     dynamic_axes={
8.         'input': {0: 'batch_size'},
9.         'output': {0: 'batch_size'}
10.     }
11. )
13. # 验证ONNX模型
14. import onnx
15. onnx_model = onnx.load("resnet18.onnx")
16. onnx.checker.check_model(onnx_model)
17. print("ONNX模型输入输出:")
18. print(onnx_model.graph.input)
19. print(onnx_model.graph.output)

复制代码

‌三、构建API服务‌

‌1. 使用FastAPI创建Web服务

1. from fastapi import FastAPI, File, UploadFile
2. from PIL import Image
3. import io
4. import numpy as np
5. import torchvision.transforms as transforms
7. app = FastAPI()
9. # 加载TorchScript模型
10. model = torch.jit.load("resnet18_traced.pt")
12. # 图像预处理
13. preprocess = transforms.Compose([
14.     transforms.Resize(256),
15.     transforms.CenterCrop(224),
16.     transforms.ToTensor(),
17.     transforms.Normalize(
18.         mean=[0.485, 0.456, 0.406],
19.         std=[0.229, 0.224, 0.225]
20.     )
21. ])
23. @app.post("/predict")
24. async def predict(image: UploadFile = File(...)):
25.     # 读取并预处理图像
26.     image_data = await image.read()
27.     img = Image.open(io.BytesIO(image_data)).convert("RGB")
28.     tensor = preprocess(img).unsqueeze(0)
29.    
30.     # 执行推理
31.     with torch.no_grad():
32.         output = model(tensor)
33.    
34.     # 获取预测结果
35.     _, pred = torch.max(output, 1)
36.     return {"class_id": int(pred)}
38. # 运行命令：uvicorn main:app --reload

复制代码

‌2. 测试API服务

1. import requests
3. # 准备测试图片
4. url = "https://images.unsplash.com/photo-1517849845537-4d257902454a?auto=format&fit=crop&w=224&q=80"
5. response = requests.get(url)
6. with open("test_dog.jpg", "wb") as f:
7.     f.write(response.content)
9. # 发送预测请求
10. with open("test_dog.jpg", "rb") as f:
11.     files = {"image": f}
12.     response = requests.post("http://localhost:8000/predict", files=files)
13.     print("预测结果:", response.json())  # 应输出对应类别ID

复制代码

‌四、移动端摆设（Android/iOS）‌

‌1. 转换Core ML格式（iOS）

1. import coremltools as ct
3. # 从PyTorch转换
4. example_input = torch.rand(1, 3, 224, 224)
5. traced_model = torch.jit.trace(model, example_input)
7. mlmodel = ct.convert(
8.     traced_model,
9.     inputs=[ct.TensorType(shape=example_input.shape)]
10. )
11. mlmodel.save("ResNet18.mlmodel")

复制代码

‌2. 使用PyTorch Mobile（Android）

1. // Android示例代码（Java）
2. Module module = Module.load(assetFilePath(this, "resnet18_traced.pt"));
3. Tensor inputTensor = TensorImageUtils.bitmapToFloat32Tensor(
4.     bitmap,
5.     TensorImageUtils.TORCHVISION_NORM_MEAN_RGB,
6.     TensorImageUtils.TORCHVISION_NORM_STD_RGB
7. );
8. Tensor outputTensor = module.forward(IValue.from(inputTensor)).toTensor();

复制代码

五、性能优化技巧‌

‌1. 模型量化（淘汰体积/提升速率）

1. # 动态量化
2. quantized_model = torch.quantization.quantize_dynamic(
3.     model, {torch.nn.Linear}, dtype=torch.qint8
4. )
5. torch.jit.save(torch.jit.script(quantized_model), "resnet18_quantized.pt")
7. # 测试量化效果
8. print("原始模型大小:", sum(p.numel() for p in model.parameters()))
9. print("量化模型大小:", sum(p.numel() for p in quantized_model.parameters()))

复制代码

2. ONNX Runtime加速推理

1. import onnxruntime
3. ort_session = onnxruntime.InferenceSession("resnet18.onnx")
4. ort_inputs = {ort_session.get_inputs().name: dummy_input.numpy()}
5. ort_outputs = ort_session.run(None, ort_inputs)
7. print("ONNX Runtime输出形状:", ort_outputs.shape)

复制代码

六、常见问题解答‌

‌Q1：如那边理模型版本兼容性问题？‌

• 保持PyTorch版本一致（使用requirements.txt固定版本）
  
• 转换时指定opset_version：
  

1. torch.onnx.export(..., opset_version=13)

复制代码

‌Q2：摆设时出现形状不匹配错误？‌

• 检查预处理是否与训练时一致
  
• 使用Netron可视化模型输入输出：
  

1. pip install netron
2. netron resnet18.onnx

复制代码

‌Q3：如何监控API性能？‌

• 添加中间件记载响应时间：
  

1. @app.middleware("http")
2. async def add_process_time(request, call_next):
3.     start_time = time.time()
4.     response = await call_next(request)
5.     response.headers["X-Process-Time"] = str(time.time() - start_time)
6.     return response

复制代码

‌七、小结与下篇预报‌

• ‌本文重点‌：
  
  
  
  • 模型格式转换（TorchScript/ONNX）
    
  • 构建高并发API服务
    
  • 移动端摆设与性能优化
    
  
  
• ‌下篇预报‌：
  第六篇将深入PyTorch生态，介绍分布式训练与多GPU加速策略，实现工业级训练效率！
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。