工创视觉——Openmv(开源)

目次
前言
一、结果展示
二、完整代码展示
三、关键词

---

前言

各位小伙伴大家好，今天我来分享一下我所利用的工创视觉代码。openmv做视觉是非常方便的，因为他有各种集成好的API，功能都已经封装好了，我们要利用什么功能就直接调用对应的API就可以了，并且只要我们了解API的参数的含义，就可以调解到我们想要的结果（openmv官网有对API参数的表明 ）。openmv对于视觉小白们来说，照旧容易上手的。下面我就利用openmv来实现工创视觉任务。本人学识尚浅，如有不对的地方，还望各位大佬批评指正，谢谢。
阅读保举：
有一些底子的小伙伴们可以先大要看一遍代码，然后在继承任意看看本人的浅见。
没有底子或者没了解过openmv的小伙伴。可以直接利用我提供的代码去运行，整体代码我也调节测试过了。
一、结果展示

色环

二、完整代码展示

在代码中我已经标注了详细的解释，假如另有不理解的参数，可以去openmv的文档看一下。

1. #视觉部分代码
2. #整体以状态机方式运行
4. import sensor, image
5. import  time,json
6. import struct
7. from machine import UART
8. from pyb import UART
9. import pyb
12. uart=UART(3,9600)     #初始化串口3
16. #状态机初始状态
17. flag=0x02
19. ACK=0x00
21. #默认为0x00无色，0x01为红色，0x02为蓝色，0x03为绿色
22. colour=0x01
24. #工作变量次数
25. ACK_num=0
28. #发送数据包
29. def send_data(x,y):
31.     #包头 数据位 状态机状态 目标级别 x坐标 y坐标 包尾
32.     UART_Date=bytearray([
33.                         0XFF,
34.                         0x04,
35.                         flag,
36.                         colour,
37.                         x,
38.                         y,
39.                         0XFE])
40.     print(UART_Date)
41.     uart.write(UART_TXDATA)
44. #应答数据包
45. def send_ACK():
47.     #包头 数据位 应答位 包尾
48.     UART_Date=bytearray([
49.                         0XFF,
50.                         0x01,
51.                         0x11,
52.                         0XFE])
53.     print(UART_Date)
54.     uart.write(UART_TXDATA)
56. #接收数据包
57. def RX_date():
59.     if len(data) >= 5:
60.         if data[0] == 0x00 and data[1] == 0x02 and data[4]==0x11:
61.             data1 = data[2]
62.             data2 = data[3]
63.             print("数据1:", data1, "数据2:", data2)
64.         else:
65.             data1=0x00
66.             data2=0x00
67.             print("数据格式错误")
68.     else:
69.         data1=0x00
70.         data2=0x00
71.         print("接收到的数据长度不足")
74. sensor.reset()
75. sensor.set_pixformat(sensor.RGB565)
76. sensor.set_framesize(sensor.QQVGA)
77. sensor.set_auto_whitebal(False)
78. sensor.skip_frames(30)
79. sensor.set_auto_gain(False)
83. #色环阈值#红、蓝、绿
84. ring_colour=[(40, 71, 11, 40, -1, 69),
86.                 (28, 62, -72, 20, -81, -22),
88.                 (56, 77, -53, -18, -72, 33)]
92. Binarzation=[(100,255)]#二值化阈值
98. while(True):
101.     #图像帧
102.     img = sensor.snapshot()
107.     #二维码查找部分
108.     if flag==0x00:
110.         #在二维码部分要关闭自动白平衡部分
111.         #sensor.set_auto_whitebal(False)
112.         #桶形畸变，调节下面这个函数参数大小即可
113.         img.lens_corr(1.8)
114.         #寻找二维码
115.         for code in img.find_qrcodes():
116.             #打印二维码信息
117.             #code数组说明:0为x坐标，1为y坐标，2像素宽，3像素高，4二维码内容
118.             print(code)
123.             #串口发送部分(hex格式为准)
124.             UART_TXDATA=bytearray([0XFF,code[0],code[1],code[2],code[3],0XFE])
125.             uart.write(UART_TXDATA)
128.             #等待下位机确认信息并发送ACK
129.             if uart.any():
130.                 ACK=uart.read()
132.             #状态机置1
133.             if ACK==0x11:
134.                 ACK=0x00
135.                 flag=1
139.     #物流识别拿取部分
140.     #后期还要调节最小像素大小threshold，根据摄像头高度调节
144.     #货物颜色阈值
145.     #(30, 57, 25, 54, 10, 42)红色机器阈值
146.     #(0, 57, -128, 53, -128, -35)蓝色机器阈值
147.     #(59, 87, -73, -31, -128, 62)绿色机器阈值
151.     if flag==0x01:
153.         #降低图像分辨率避免openmv物理空间栈不足
154.         sensor.reset()
155.         sensor.set_pixformat(sensor.RGB565)
156.         sensor.set_framesize(sensor.QQVGA)
157.         sensor.skip_frames(time = 2000)
158.         #关闭摄像头自动增益
159.         sensor.set_auto_gain(False)
160.         #关闭自动白平衡
161.         sensor.set_auto_whitebal(False)
162.         clock = time.clock()
165.         #一次拿取3次物品，应答3次就退出当前状态
167.         while(True):
169.             #图像帧
170.             img = sensor.snapshot()
175.             #红部分
176.             if colour==0x01:
178.                 for c in img.find_circles(threshold = 3500, x_margin = 10, y_margin = 10, r_margin = 10,
179.                         r_min = 2, r_max = 100, r_step = 2):
181.                     area = (c.x()-c.r(), c.y()-c.r(), 2*c.r(), 2*c.r())
183.                     #area为识别到的圆的区域，即圆的外接矩形框
184.                     #像素颜色统计
185.                     statistics = img.get_statistics(roi=area)
186.                     #打印呀圆形信息
187.                     print(statistics)
188.                     #阈值调节
189.                     if 30<statistics.l_mode()<57 and 25<statistics.a_mode()<54 and 10<statistics.b_mode()<42:
190.                         #白色的圆框出来
191.                         img.draw_circle(c.x(), c.y(), c.r(), color = (255, 255, 255))
192.                         #打印坐标信息
193.                         print(c.x(),c.y())
196.                 #打印运行帧率
197.                 print("FPS %f" % clock.fps())
201.             #蓝部分
202.             if colour==0x02:
204.                 for c in img.find_circles(threshold = 3500, x_margin = 10, y_margin = 10, r_margin = 10,
205.                         r_min = 2, r_max = 100, r_step = 2):
207.                     area = (c.x()-c.r(), c.y()-c.r(), 2*c.r(), 2*c.r())
209.                     #area为识别到的圆的区域，即圆的外接矩形框
210.                     #像素颜色统计
211.                     statistics = img.get_statistics(roi=area)
212.                     #打印呀圆形信息
213.                     print(statistics)
214.                     #阈值调节
215.                     if 0<statistics.l_mode()<57 and -128<statistics.a_mode()<53 and -128<statistics.b_mode()<-35:
216.                         #白色的圆框出来
217.                         img.draw_circle(c.x(), c.y(), c.r(), color = (255, 255, 255))
218.                         #打印坐标信息
219.                         print(c.x(),c.y())
222.                 #打印运行帧率
223.                 print("FPS %f" % clock.fps())
226.             #绿部分
227.             if colour==0x03:
229.                 for c in img.find_circles(threshold = 3500, x_margin = 10, y_margin = 10, r_margin = 10,
230.                         r_min = 2, r_max = 100, r_step = 2):
232.                     area = (c.x()-c.r(), c.y()-c.r(), 2*c.r(), 2*c.r())
234.                     #area为识别到的圆的区域，即圆的外接矩形框
235.                     #像素颜色统计
236.                     statistics = img.get_statistics(roi=area)
237.                     #打印呀圆形信息
238.                     print(statistics)
239.                     #阈值调节
240.                     if 59<statistics.l_mode()<87 and -73<statistics.a_mode()<31 and -128<statistics.b_mode()<62:
241.                         #白色的圆框出来
242.                         img.draw_circle(c.x(), c.y(), c.r(), color = (255, 255, 255))
244.                         #打印坐标信息
245.                         print(c.x(),c.y())
249.                 #打印运行帧率
250.                 print("FPS %f" % clock.fps())
255.             if ACK_num==3:
256.                 ACK_num=0
257.                 flag=2
258.                 break
264.     if flag==0x02:
267.         #一共识别三次色环
269.         while True:
271.             #图像帧
272.             img = sensor.snapshot()
274.             #红部分
275.             if colour==0x01:
276.                 img.binary([ring_colour[0]])#红色阈值,图像二值化
277.                 #滤波器的直径是2，0.1较小的值意味着将只模糊与中心像素颜色相近的像素，1滤波器在颜色空间中的敏感度
278.                 img.bilateral(2, color_sigma=0.1, space_sigma=1)#双边滤波
279.                 #卷积核越大运算量越大
280.                 img.dilate(5)#卷积核为5x5的膨胀
283.                 #graythreshold颜色阈值，pixels_threshold的最大像素数量，area_threashold的最小像素数量，merge允许相近图像重叠合并
284.                 #返回一个符合图像对象的列表
285.                 blobs=img.find_blobs(Binarzation,pixels_threshold=2025,area_threashold=1600,merge=True)
286.                 #判断满足要求的对象是否只有一个
287.                 if len(blobs)==1:
289.                     #比较色块大小，取最大
290.                     Blobmax=blobs[0]
291.                     for blob in blobs:
292.                         if blob.pixels() > Blobmax.pixels():
293.                             Blobmax=blob
295.                         else:
297.                             Blobmax=Blobmax
301.                     #返回边沿信息并画框
302.                     img.draw_rectangle(Blobmax.rect())
303.                     #打印中心坐标S
304.                     print(Blobmax.cx(),Blobmax.cx())
307.             #蓝部分
308.             if colour==0x02:
309.                 img.binary([ring_colour[1]])#蓝色阈值,图像二值化
310.                 #滤波器的直径是2，0.1较小的值意味着将只模糊与中心像素颜色相近的像素，1滤波器在颜色空间中的敏感度
311.                 img.bilateral(2, color_sigma=0.1, space_sigma=1)#双边滤波
312.                 #卷积核越大运算量越大
313.                 img.dilate(5)#卷积核为5x5的膨胀
316.                 #graythreshold颜色阈值，pixels_threshold的最大像素数量，area_threashold的最小像素数量，merge允许相近图像重叠合并
317.                 #返回一个符合图像对象的列表
318.                 blobs=img.find_blobs(Binarzation,pixels_threshold=2025,area_threashold=1600,merge=True)
319.                 #判断满足要求的对象是否只有一个
320.                 if len(blobs)==1:
322.                     #比较色块大小，取最大
323.                     Blobmax=blobs[0]
324.                     for blob in blobs:
325.                         if blob.pixels() > Blobmax.pixels():
326.                             Blobmax=blob
328.                         else:
330.                             Blobmax=Blobmax
334.                     #返回边沿信息并画框
335.                     img.draw_rectangle(Blobmax.rect())
336.                     #打印中心坐标S
337.                     print(Blobmax.cx(),Blobmax.cx())
340.             #绿部分
341.             if colour==0x03:
342.                 img.binary([ring_colour[2]])#绿色阈值
343.                 #滤波器的直径是2，0.1较小的值意味着将只模糊与中心像素颜色相近的像素，1滤波器在颜色空间中的敏感度
344.                 img.bilateral(2, color_sigma=0.1, space_sigma=1)#双边滤波
345.                 #卷积核越大运算量越大
346.                 img.dilate(5)#卷积核为5x5的膨胀
349.                 #graythreshold二值化阈值，pixels_threshold的最大像素数量，area_threashold的最小像素数量，merge允许相近图像重叠合并
350.                 #返回一个符合图像对象的列表
351.                 blobs=img.find_blobs(Binarzation,pixels_threshold=2025,area_threashold=1600,merge=True)
352.                 #判断满足要求的对象是否只有一个
353.                 if len(blobs)==1:
355.                     #比较色块大小，取最大
356.                     Blobmax=blobs[0]
357.                     for blob in blobs:
358.                         if blob.pixels() > Blobmax.pixels():
359.                             Blobmax=blob
361.                         else:
363.                             Blobmax=Blobmax
367.                     #返回边沿信息并画框
368.                     img.draw_rectangle(Blobmax.rect())
369.                     #打印中心坐标S
370.                     print(Blobmax.cx(),Blobmax.cx())

复制代码

三、关键词

帧率

实在假如有利用openmv做过一些小玩具或者项目标小伙伴们应该都发现了一个小题目，那就是他的帧率。每次当我们编写步调复杂了一些，他的帧率就会特别低。帧率低代表的他的图像流也会很小，普通一点就是机器反应变慢了。那我们要是想进步机器反应的速度，那我们可以优化我们的代码，比如淘汰数据空间栈，减小图像处置惩罚的卷积核大小，减小运算量等等。都是是可以进步帧率的办法。
例如(减小图像处置惩罚卷积核大小):

在这个代码里面我利用的卷积核大小为5X5的，如许他的结果就会好一些，不过同时也会低落帧率的大小。有利有弊，假如你的openmv提示你的空间栈不足，你可以把卷积核大小改成3X3的，如许应该就可以了。
阈值

颜色阈值设置，我们可以利用openmv的阈值编辑器来调节出符合的结果。调节技巧，可以在我已经调节好的阈值上面举行微调，正负3的调节。
例如(每次调解阈值都要上电检测比对结果):
要调节红色物体的阈值
调节前参考标准：(30, 57, 25, 54, 10, 42)
调节过程：(33, 60, 28, 57, 13, 45)
发现结果变好，那就再次增加
调节过程：(36, 63, 31, 60, 16, 48)
结果开始变差
那就知道阈值结果差不多在(33-36, 60-63, 28-31, 57-60, 13-16, 45-48)之间。

色环

实在这个色环一开始我利用的处置惩罚办法和物资的处置惩罚办法一样都是利用霍尔圆API直接检测的，但是我发现结果不行(网络模型练习应该也是不可以的)。以是我跑到网上去拜读了几篇处置惩罚的办法，就有了现在简洁的办法。
色环检测思绪：
图像帧的颜色筛选并二值化——再举行简朴的滤波——再举行膨胀(连接每个小色环，使其为整体)——再利用API返回处置惩罚后的图像帧(包罗了辨认到的对象)——末了再利用API筛选出全部对象中最大的色块(这个色块就是色环)
物资

物资辨认就应该没啥可以说的了，就是把颜色阈值调节好和把要辨认的霍尔圆像素大小设置好，应该就没啥了。（可以装车了在调节一遍）

二维码

二维码我利用的就是openmv官网的历程，辨认结果看起来还不错。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。