关于 c10::Half 类型和float不匹配

相关错误

1. # error-1 ; (all-no-half) self-attn RuntimeError: expected m1 and m2 to have the same dtype, but got: float != c10::Half
2. # error-2 : (embed-half) self-attn RuntimeError: "addmm_impl_cpu_" not implemented for 'Half'
3. # error-3 : model(half) embed(no-half) conv RuntimeError: Input type (float) and bias type (c10::Half) should be the same
4. # error-4 : model(half) embed(half) conv RuntimeError: Input type (float) and bias type (c10::Half) should be the same
5. # cuda + half all : RuntimeError: Input type (float) and bias type (c10::Half) should be the same

复制代码

我在跑大模子推理的时间，碰到了上面的错误。
起首有一个题目需要考虑：

• 我希望模子以半精度的方式推理，所以在from_pretrained的时间，是以float16的方式加载的
  

1. self.llama_model = LlamaForCausalLM.from_pretrained(
2.                 args.llama_model,  torch_dtype=torch.float16, )

复制代码

• 我希望模子可以在gpu上面推理，但是我默认了模子会自动加载到gpu上面。。。
  

办理方法

• 检查llama模子是不是正确加载到gpu，一半出现 c10:Half 这个类型，模子很大概率是加载到CPU上面去推理的，所以只要修改到gpu上就不会报错了
  
• 模子推理的时间，记得加上autocase
  

1. with torch.cuda.amp.autocast():
2. ....

复制代码

末了代码

由于是修改R2genGPT的，所以代码如下：

1. class Generator:
2.     def __init__(self):
3.         pass
5.     def generate(self, input_conv, img_list):
6.         raise NotImplementedError
7.    
8.    
9. class R2genGPT_shallow(Generator):
10.     def __init__(self):
11.         super().__init__()
12.         args = parser.parse_args()
13.         # args.precision = "fp16"
14.         args.delta_file = "../checkpoints/R2genGPT/shallow_checkpoint_step14102.pth"
15.         args.vision_model = "microsoft/swin-base-patch4-window7-224"
16.         args.llama_model = "../checkpoints/Llama-2-7b-chat-hf"
17.         self.filed_parser = FieldParser(args)
18.         self.model = R2GenGPT(args)
19.         self.model.eval()  
20.         self.model.cuda()
21.         print("device : ", self.model.device)
23.     def adapt(self, query):
24.         query = query.replace("<image>", " ")
25.         return query
27.     def get_image_tensor(self, img_file):
28.         with Image.open(img_file) as pil:
29.             array = np.array(pil, dtype=np.uint8)
30.             if array.shape[-1] != 3 or len(array.shape) != 3:
31.                 array = np.array(pil.convert("RGB"), dtype=np.uint8)
32.             image = self.filed_parser._parse_image(array)
33.             image = image.to(self.model.device)
34.         return image
35.    
36.     def generate(self, query, img_list):
37.         self.model.llama_tokenizer.padding_side = "right"
39.         images = []
40.         for img_file in img_list:
41.             image = self.get_image_tensor(img_file)
42.             images.append(image.unsqueeze(0))
43.         
44.         self.model.prompt = self.adapt(query)
45.         img_embeds, atts_img = self.model.encode_img(images)
46.         img_embeds = self.model.layer_norm(img_embeds)
47.         img_embeds, atts_img = self.model.prompt_wrap(img_embeds, atts_img)
49.         batch_size = img_embeds.shape[0]
50.         bos = torch.ones([batch_size, 1],
51.                          dtype=atts_img.dtype,
52.                          device=atts_img.device) * self.model.llama_tokenizer.bos_token_id
53.         bos_embeds = self.model.embed_tokens(bos)
54.         atts_bos = atts_img[:, :1]
56.         inputs_embeds = torch.cat([bos_embeds, img_embeds], dim=1)
57.         attention_mask = torch.cat([atts_bos, atts_img], dim=1)
59.         with torch.inference_mode():
60.             with torch.cuda.amp.autocast():
61.                 outputs = self.model.llama_model.generate(
62.                     inputs_embeds=inputs_embeds,
63.                     num_beams=self.model.hparams.beam_size,
64.                     do_sample=self.model.hparams.do_sample,
65.                     min_new_tokens=self.model.hparams.min_new_tokens,
66.                     max_new_tokens=self.model.hparams.max_new_tokens,
67.                     repetition_penalty=self.model.hparams.repetition_penalty,
68.                     length_penalty=self.model.hparams.length_penalty,
69.                     temperature=self.model.hparams.temperature,
70.                 )
71.             
72.         answer = self.model.decode(outputs[0])
73.         return answer
74.    

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。