《k230-AI_DEMO》物体辨认

《k230-AI
  

1. from libs.PipeLine import PipeLine, ScopedTiming
2. from libs.AIBase import AIBase
3. from libs.AI2D import Ai2d
4. import os
5. import ujson
6. from media.media import *
7. from time import *
8. import nncase_runtime as nn
9. import ulab.numpy as np
10. import time
11. import utime
12. import image
13. import random
14. import gc
15. import sys
16. import aidemo
17. from machine import PWM, FPIOA
19. # 配置蜂鸣器IO口功能
20. beep_io = FPIOA()
21. beep_io.set_function(43, FPIOA.PWM1)
23. # 初始化蜂鸣器PWM通道
24. beep_pwm = PWM(1, 4000, 50, enable=False)  # 默认频率4kHz,占空比50%
27.                           
28. # 自定义YOLOv8检测类
29. class ObjectDetectionApp(AIBase):
30.     def __init__(self,kmodel_path,labels,model_input_size,max_boxes_num,confidence_threshold=0.5,nms_threshold=0.2,rgb888p_size=[224,224],display_size=[1920,1080],debug_mode=0):
31.         super().__init__(kmodel_path,model_input_size,rgb888p_size,debug_mode)
32.         self.kmodel_path=kmodel_path
33.         self.labels=labels
34.         # 模型输入分辨率
35.         self.model_input_size=model_input_size
36.         # 阈值设置
37.         self.confidence_threshold=confidence_threshold
38.         self.nms_threshold=nms_threshold
39.         self.max_boxes_num=max_boxes_num
40.         # sensor给到AI的图像分辨率
41.         self.rgb888p_size=[ALIGN_UP(rgb888p_size[0],16),rgb888p_size[1]]
42.         # 显示分辨率
43.         self.display_size=[ALIGN_UP(display_size[0],16),display_size[1]]
44.         self.debug_mode=debug_mode
45.         # 检测框预置颜色值
46.         self.color_four=[(255, 220, 20, 60), (255, 119, 11, 32), (255, 0, 0, 142), (255, 0, 0, 230),
47.                          (255, 106, 0, 228), (255, 0, 60, 100), (255, 0, 80, 100), (255, 0, 0, 70),
48.                          (255, 0, 0, 192), (255, 250, 170, 30), (255, 100, 170, 30), (255, 220, 220, 0),
49.                          (255, 175, 116, 175), (255, 250, 0, 30), (255, 165, 42, 42), (255, 255, 77, 255),
50.                          (255, 0, 226, 252), (255, 182, 182, 255), (255, 0, 82, 0), (255, 120, 166, 157)]
51.         # 宽高缩放比例
52.         self.x_factor = float(self.rgb888p_size[0])/self.model_input_size[0]
53.         self.y_factor = float(self.rgb888p_size[1])/self.model_input_size[1]
54.         # Ai2d实例，用于实现模型预处理
55.         self.ai2d=Ai2d(debug_mode)
56.         # 设置Ai2d的输入输出格式和类型
57.         self.ai2d.set_ai2d_dtype(nn.ai2d_format.NCHW_FMT,nn.ai2d_format.NCHW_FMT,np.uint8, np.uint8)
59.     # 配置预处理操作，这里使用了resize，Ai2d支持crop/shift/pad/resize/affine，具体代码请打开/sdcard/libs/AI2D.py查看
60.     def config_preprocess(self,input_image_size=None):
61.         with ScopedTiming("set preprocess config",self.debug_mode > 0):
62.             # 初始化ai2d预处理配置，默认为sensor给到AI的尺寸，您可以通过设置input_image_size自行修改输入尺寸
63.             ai2d_input_size=input_image_size if input_image_size else self.rgb888p_size
64.             self.ai2d.resize(nn.interp_method.tf_bilinear, nn.interp_mode.half_pixel)
65.             self.ai2d.build([1,3,ai2d_input_size[1],ai2d_input_size[0]],[1,3,self.model_input_size[1],self.model_input_size[0]])
67.     # 自定义当前任务的后处理
68.     def postprocess(self,results):
69.         with ScopedTiming("postprocess",self.debug_mode > 0):
70.             result=results[0]
71.             result = result.reshape((result.shape[0] * result.shape[1], result.shape[2]))
72.             output_data = result.transpose()
73.             boxes_ori = output_data[:,0:4]
74.             scores_ori = output_data[:,4:]
75.             confs_ori = np.max(scores_ori,axis=-1)
76.             inds_ori = np.argmax(scores_ori,axis=-1)
77.             boxes,scores,inds = [],[],[]
78.             for i in range(len(boxes_ori)):
79.                 if confs_ori[i] > confidence_threshold:
80.                     scores.append(confs_ori[i])
81.                     inds.append(inds_ori[i])
82.                     x = boxes_ori[i,0]
83.                     y = boxes_ori[i,1]
84.                     w = boxes_ori[i,2]
85.                     h = boxes_ori[i,3]
86.                     left = int((x - 0.5 * w) * self.x_factor)
87.                     top = int((y - 0.5 * h) * self.y_factor)
88.                     right = int((x + 0.5 * w) * self.x_factor)
89.                     bottom = int((y + 0.5 * h) * self.y_factor)
90.                     boxes.append([left,top,right,bottom])
91.             if len(boxes)==0:
92.                 return []
93.             boxes = np.array(boxes)
94.             scores = np.array(scores)
95.             inds = np.array(inds)
96.             # NMS过程
97.             keep = self.nms(boxes,scores,nms_threshold)
98.             dets = np.concatenate((boxes, scores.reshape((len(boxes),1)), inds.reshape((len(boxes),1))), axis=1)
99.             dets_out = []
100.             for keep_i in keep:
101.                 dets_out.append(dets[keep_i])
102.             dets_out = np.array(dets_out)
103.             dets_out = dets_out[:self.max_boxes_num, :]
104.             return dets_out
106.     # 绘制结果
107.     def draw_result(self,pl,dets):
108.         with ScopedTiming("display_draw",self.debug_mode >0):
109.             if dets:
110.                 pl.osd_img.clear()
111.                 for det in dets:
112.                     x1, y1, x2, y2 = map(lambda x: int(round(x, 0)), det[:4])
113.                     x= x1*self.display_size[0] // self.rgb888p_size[0]
114.                     y= y1*self.display_size[1] // self.rgb888p_size[1]
115.                     w = (x2 - x1) * self.display_size[0] // self.rgb888p_size[0]
116.                     h = (y2 - y1) * self.display_size[1] // self.rgb888p_size[1]
117.                     pl.osd_img.draw_rectangle(x,y, w, h, color=self.get_color(int(det[5])),thickness=4)
118.                     l_in=int(det[5])
119.                     l_in=self.labels[l_in]
120.                     pl.osd_img.draw_string_advanced( x , y-50,32," " + self.labels[int(det[5])] + " " + str(round(det[4],2)) , color=self.get_color(int(det[5])))
121.                     if l_in == "person":
122.                         
123.                                             
124.                      # 使能PWM通道输出
125.                         beep_pwm.enable(1)
126.                                                    # 延时50ms
127.                         time.sleep_ms(50)
128.                                                    # 关闭PWM输出 防止蜂鸣器吵闹
129.                         beep_pwm.enable(0)
130.                        
131.             else:
132.                 pl.osd_img.clear()
135.     # 多目标检测 非最大值抑制方法实现
136.     def nms(self,boxes,scores,thresh):
137.         """Pure Python NMS baseline."""
138.         x1,y1,x2,y2 = boxes[:, 0],boxes[:, 1],boxes[:, 2],boxes[:, 3]
139.         areas = (x2 - x1 + 1) * (y2 - y1 + 1)
140.         order = np.argsort(scores,axis = 0)[::-1]
141.         keep = []
142.         while order.size > 0:
143.             i = order[0]
144.             keep.append(i)
145.             new_x1,new_y1,new_x2,new_y2,new_areas = [],[],[],[],[]
146.             for order_i in order:
147.                 new_x1.append(x1[order_i])
148.                 new_x2.append(x2[order_i])
149.                 new_y1.append(y1[order_i])
150.                 new_y2.append(y2[order_i])
151.                 new_areas.append(areas[order_i])
152.             new_x1 = np.array(new_x1)
153.             new_x2 = np.array(new_x2)
154.             new_y1 = np.array(new_y1)
155.             new_y2 = np.array(new_y2)
156.             xx1 = np.maximum(x1[i], new_x1)
157.             yy1 = np.maximum(y1[i], new_y1)
158.             xx2 = np.minimum(x2[i], new_x2)
159.             yy2 = np.minimum(y2[i], new_y2)
160.             w = np.maximum(0.0, xx2 - xx1 + 1)
161.             h = np.maximum(0.0, yy2 - yy1 + 1)
162.             inter = w * h
163.             new_areas = np.array(new_areas)
164.             ovr = inter / (areas[i] + new_areas - inter)
165.             new_order = []
166.             for ovr_i,ind in enumerate(ovr):
167.                 if ind < thresh:
168.                     new_order.append(order[ovr_i])
169.             order = np.array(new_order,dtype=np.uint8)
170.         return keep
172.     # 根据当前类别索引获取框的颜色
173.     def get_color(self, x):
174.         idx=x%len(self.color_four)
175.         return self.color_four[idx]
178. if __name__=="__main__":
179.     # 显示模式，默认"hdmi",可以选择"hdmi"和"lcd"
180.     display_mode="lcd"
181.     if display_mode=="hdmi":
182.         display_size=[1920,1080]
183.     else:
184.         display_size=[800,480]
185.     # 模型路径
186.     kmodel_path="/sdcard/examples/kmodel/yolov8n_320.kmodel"
187.     labels = ["person", "bicycle", "car", "motorcycle", "airplane", "bus", "train", "truck", "boat", "traffic light", "fire hydrant", "stop sign", "parking meter", "bench", "bird", "cat", "dog", "horse", "sheep", "cow", "elephant", "bear", "zebra", "giraffe", "backpack", "umbrella", "handbag", "tie", "suitcase", "frisbee", "skis", "snowboard", "sports ball", "kite", "baseball bat", "baseball glove", "skateboard", "surfboard", "tennis racket", "bottle", "wine glass", "cup", "fork", "knife", "spoon", "bowl", "banana", "apple", "sandwich", "orange", "broccoli", "carrot", "hot dog", "pizza", "donut", "cake", "chair", "couch", "potted plant", "bed", "dining table", "toilet", "tv", "laptop", "mouse", "remote", "keyboard", "cell phone", "microwave", "oven", "toaster", "sink", "refrigerator", "book", "clock", "vase", "scissors", "teddy bear", "hair drier", "toothbrush"]
188.     # 其它参数设置
189.     confidence_threshold = 0.2
190.     nms_threshold = 0.2
191.     max_boxes_num = 50
192.     rgb888p_size=[320,320]
194.     # 初始化PipeLine
195.     pl=PipeLine(rgb888p_size=rgb888p_size,display_size=display_size,display_mode=display_mode)
196.     pl.create()
197.     # 初始化自定义目标检测实例
198.     ob_det=ObjectDetectionApp(kmodel_path,labels=labels,model_input_size=[320,320],max_boxes_num=max_boxes_num,confidence_threshold=confidence_threshold,nms_threshold=nms_threshold,rgb888p_size=rgb888p_size,display_size=display_size,debug_mode=0)
199.     ob_det.config_preprocess()
201.     clock = time.clock()
203.     while True:
205.         clock.tick()
207.         img=pl.get_frame() # 获取当前帧数据
208.         res=ob_det.run(img) # 推理当前帧
209.         ob_det.draw_result(pl,res) # 绘制结果到PipeLine的osd图像
211.         pl.show_image() # 显示当前的绘制结果
212.         gc.collect()
214.         print(clock.fps()) #打印帧率

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。