基于边缘检测和HSV的图像识别算法

DryDetect.h

1. #pragma once
2. #include <iostream>
3. #include <io.h>
4. #include <fstream>
5. #include <algorithm>
6. #include "opencv2/opencv.hpp"
7. #include "opencv2/core.hpp"
8. #include "opencv2/imgproc.hpp"
9. #include "opencv2/highgui.hpp"
11. using namespace std;
12. using namespace cv;
14. struct DryParam
15. {
16.         //cv::Rect DryCard = cv::Rect(375, 95, 295, 505); //1, x,y,w,h (375，95), 670,600)
17.         //cv::Rect DryCard = cv::Rect(880, 385, 420, 745); //2, (880,385), (1300,1100)
18.         cv::Rect DryCard = cv::Rect(1070, 300, 390, 710); //8, (1070,300), (1460,1010)
19.         int drydetect = 1; //if 0, 不用算法定位
20.         float resizeRatio = 0;
21.         //边缘检测法
22.         double thresh1 = 40;   //边缘检测阈值
23.         double thresh2 = 255;
24.         int minWidth = 80;  //限制格子的最大最小宽高
25.         int minHeight = 80;
26.         int maxWidth = 130;
27.         int maxHeight = 130;
28.         float alpha = 2; //图像对比度
29.         float beta = 5;   //图像亮度
31.         cv::Vec3b lower_black = cv::Vec3b(26, 14, 24);
32.         cv::Vec3b upper_black = cv::Vec3b(115, 158, 125);     // 黑色
33.         cv::Vec3b lower_black1 = cv::Vec3b(14, 0, 0);
34.         cv::Vec3b upper_black1 = cv::Vec3b(70, 148, 82);     // 黑色1
35.         cv::Vec3b lower_black2 = cv::Vec3b(14, 0, 0);
36.         cv::Vec3b upper_black2 = cv::Vec3b(110, 255, 82);     // 黑色2
37.         /*cv::Vec3b lower = cv::Vec3b(55, 24, 134); //白色
38.         cv::Vec3b upper = cv::Vec3b(95, 50, 200);*/
39.         cv::Vec3b lower = cv::Vec3b(43, 18, 134); //白色
40.         cv::Vec3b upper = cv::Vec3b(95, 80, 200);
41.         cv::Vec3b lower_white = cv::Vec3b(0, 0, 130); // 0, 0, 95); //亮白色
42.         cv::Vec3b upper_white = cv::Vec3b(150, 50, 250); // 150, 42, 250);
43.         cv::Vec3b lower_blue = cv::Vec3b(90, 133, 42);  //深蓝
44.         cv::Vec3b upper_blue = cv::Vec3b(107, 255, 155);
45.         cv::Vec3b lower_blue2 = cv::Vec3b(65, 113, 30);  //暗蓝
46.         cv::Vec3b upper_blue2 = cv::Vec3b(95, 255, 124);
47.         cv::Vec3b lower_green = cv::Vec3b(28, 151, 55);       // 绿色
48.         cv::Vec3b upper_green = cv::Vec3b(40, 255, 145);
49.         cv::Vec3b lower_green2 = cv::Vec3b(54, 74, 75);       // 浅绿
50.         cv::Vec3b upper_green2 = cv::Vec3b(71, 145, 140);
51.         //HSV颜色空间法
52.         //L(26, 21, 42), H(118, 156, 130)
53.         //亮白色 0,95,0,18,252,255
54.         //蓝色：: 86,95,148,225,71,124
55.         //浅白色： 55，95，24，50，134，200
56.         // 绿色：28，40，216，250，74，148
57.         //浅绿： 59,73,77,135,80,126
58. };
60. void PrintCostTime(const char* str, double& t1, double& t2);
61. void getFiles(string path, vector<string>& files);
62. bool findSquares(const Mat& image, std::vector<cv::Rect>& resultBoxes, DryParam& DP);
63. void BrightnessContrast(Mat& src, DryParam& DP);
65. void get_mask_image(Mat &HSV, Mat &mask_img, DryParam& DP);
66. void get_morphology_image(Mat &mask_img);
67. bool HSVDet(Mat& input, std::vector<cv::Rect>& detectBoxes, DryParam& DP);
68. bool CannyDet(Mat& _input, std::vector<cv::Rect>& detectBoxes, DryParam& DP);
70. void sort_boxes(std::vector<cv::Rect>& resultBoxes);
71. /*
72. DryAlg       干化学检测卡定位接口函数
73. src:         裁剪后的干化学图片
74. resultBoxes: 识别定位的结果
75. DP:          定位算法可调参数
76. */
77. int DryAlg(Mat& src, std::vector<cv::Rect>& resultBoxes, DryParam& DP);

复制代码

DryDetect.cpp

1. #include "DryDetect.h"
3. void PrintCostTime(const char* str, double& t1, double& t2) {
4.         double t = (t2 - t1) * 1000 / cv::getTickFrequency();
5.         printf("%s ===> %.2f ms\n", str, t);
6. }
8. void getFiles(string path, vector<string>& files)
9. {
10.         //文件句柄
11.         intptr_t hFile = 0;
12.         //文件信息
13.         struct _finddata_t fileinfo;
14.         string p;
15.         char* files_format[2] = { "\\*.jpg" ,"\\*.png" };
16.         for (int i = 0; i < sizeof(files_format) / sizeof(char*); i++) {
17.                 p.assign(path).append(files_format[i]);
18.                 hFile = _findfirst(p.c_str(), &fileinfo);
19.                 if (hFile != -1)
20.                 {
21.                         do
22.                         {
23.                                 //如果是目录,迭代之,如果不是,加入列表
24.                                 if ((fileinfo.attrib &  _A_SUBDIR))
25.                                 {
26.                                         if (strcmp(fileinfo.name, ".") != 0 && strcmp(fileinfo.name, "..") != 0)
27.                                                 getFiles(p.assign(path).append("\").append(fileinfo.name), files);
28.                                 }
29.                                 else
30.                                 {
31.                                         files.push_back(p.assign(path).append("\").append(fileinfo.name));
32.                                 }
33.                         } while (_findnext(hFile, &fileinfo) == 0);
34.                         _findclose(hFile);
35.                 }
36.         }
37. }
39. bool cmp(cv::Rect a, cv::Rect b)
40. {
41.         bool big = a.width * a.height > b.width * b.height;
42.         return big;
43. }
45. int sort_indexes(std::vector<cv::Rect>& b)
46. {
47.         std::sort(b.begin(), b.end(), cmp);
48.         return 0;
49. }
51. static inline float intersection_area(const cv::Rect& a, const cv::Rect& b)
52. {
53.         const float eps = 1e-5;
54.         //cv::Rect_<float> inter = a & b;
55.         float x1max = max(a.x, b.x);  // 求两个窗口左上角x坐标最大值
56.         float x2min = min(a.width + a.x, b.width + b.x);  // 求两个窗口右下角x坐标最小值
57.         float y1max = max(a.y, b.y);  // 求两个窗口左上角y坐标最大值
58.         float y2min = min(a.height + a.y, b.height + b.y);  // 求两个窗口右下角y坐标最小值
59.         float overlapWidth = x2min - x1max;   // 计算两矩形重叠的宽度
60.         float overlapHeight = y2min - y1max;  // 计算两矩形重叠的高度
61.         if (overlapHeight > 0 && overlapHeight > 0) {
62.                 float inter1 = overlapWidth * overlapHeight;
63.                 return inter1;
64.         }
65.         else {
66.                 return -1;
67.         }
68.         //float inter2 = inter.area();
69.        
70. }
72. std::vector<cv::Rect> nms_sorted_bboxes(std::vector<cv::Rect>& boxes, float nms_threshold)
73. {
74.         sort_indexes(boxes);
75.         std::vector<cv::Rect> finalResults;
76.         std::vector<int> keep;
77.         finalResults.clear();
78.         keep.clear();
79.         const int n = boxes.size();
81.         std::vector<float> areas(n);
82.         for (int i = 0; i < n; i++)
83.         {
84.                 areas[i] = boxes[i].width * boxes[i].height;
85.                 keep.push_back(1);
86.         }
87.         for (int i = 0; i < n; i++)
88.         {
89.                 const cv::Rect& a = boxes[i];
90.                 if (keep[i]) {
91.                         for (int j = i + 1; j < n; j++)
92.                         {
93.                                 const cv::Rect& b = boxes[j];
94.                                 // intersection over union
95.                                 float inter_area = intersection_area(a, b);
96.                                 if (inter_area > 0) {
97.                                         float union_area = areas[i] + areas[j] - inter_area;
98.                                         // float IoU = inter_area / union_area
99.                                         if (inter_area / union_area > nms_threshold)
100.                                                 keep[i] = 0;
101.                                 }
102.                         }
103.                 }
104.         }
105.         for (int i = 0; i < n; i++)
106.         {
107.                 if (keep[i])
108.                 {
109.                         finalResults.push_back(boxes[i]);
110.                 }
111.         }
112.         return finalResults;
113. }
115. bool CannyDet(Mat& _input, std::vector<cv::Rect>& detectBoxes, DryParam& DP)
116. {
117.         Mat input = _input.clone();
118.         Mat gray, canny, gray2;
119.         BrightnessContrast(input, DP);
120.         cv::cvtColor(input, gray, cv::COLOR_BGR2GRAY);
121.         //cv::threshold(gray, canny, 20, 255, cv::THRESH_OTSU);
122.         //cv::adaptiveThreshold(gray, gray2, 255, cv::THRESH_BINARY_INV, cv::ADAPTIVE_THRESH_GAUSSIAN_C, 5,4);
123.         Canny(gray, canny, DP.thresh1, DP.thresh2);
125.         //auto kernel = cv::getStructuringElement(cv::MORPH_ELLIPSE, cv::Size(3, 3));
126.         Mat kernel = Mat::ones(cv::Size(5, 5), CV_8UC1);
127.         morphologyEx(canny, canny, cv::MORPH_CLOSE, kernel);
128.         //morphologyEx(canny, canny, cv::MORPH_OPEN, kernel);
129.         std::vector<std::vector<cv::Point>> Contours;
130.         cv::findContours(canny, Contours, cv::RETR_TREE, cv::CHAIN_APPROX_NONE);
131.         if (int(Contours.size()) == 0) {
132.                 return false;
133.         }
134.         //int boxNumber = 0;
135.         for (int i = 0; i < int(Contours.size()); i++)
136.         {
137.                 vector<Point> p = Contours[i];
138.                 //auto Area = contourArea(p);
139.                 cv::Rect rect = boundingRect(p);
140.                 if (rect.width < DP.minWidth || rect.height < DP.minHeight)
141.                 {
142.                         continue;
143.                 }
144.                 if (rect.width > DP.maxWidth || rect.height > DP.maxHeight)
145.                 {
146.                         continue;
147.                 }
148.                 //boxNumber += 1;
149.                 detectBoxes.push_back(rect);
150.                 //cout << "area: " << "   w,h: " << rect.width << "x" << rect.height << endl;
151.                 //rectangle(image, rect, Scalar(0, 0, 255), 1, 8); //画矩形
152.         }
153.         return true;
154. }
155. bool HSVDet(Mat& input, std::vector<cv::Rect>& detectBoxes, DryParam& DP)
156. {
157.         Mat blur, mask_img;
158.         Mat HSV = Mat(input.size(), CV_8UC3);
159.         //GaussianBlur(input, blur, Size(5, 5), 0);
160.         //medianBlur(input, blur, 5);
161.         cvtColor(input, HSV, COLOR_BGR2HSV);
162.         get_mask_image(HSV, mask_img, DP); //获取二值化图像
163.         get_morphology_image(mask_img);
165.         std::vector<std::vector<cv::Point>> Contours;
166.         cv::findContours(mask_img, Contours, cv::RETR_TREE, cv::CHAIN_APPROX_SIMPLE);
167.         if (int(Contours.size()) == 0)
168.         {
169.                 return false;
170.         }
171.         //int boxNumber = 0;
172.         for (int i = 0; i < int(Contours.size()); i++)
173.         {
174.                 vector<Point> p = Contours[i];
175.                 cv::Rect rect = boundingRect(p);
176.                 if (rect.width < DP.minWidth || rect.height < DP.minHeight)
177.                 {
178.                         continue;
179.                 }
180.                 if (rect.width > DP.maxWidth || rect.height > DP.maxHeight)
181.                 {
182.                         continue;
183.                 }
184.                 //boxNumber += 1;
185.                 detectBoxes.push_back(rect);
186.         }
187.         return true;
188. }
189. bool findSquares(const Mat& _src, std::vector<cv::Rect>& resultBoxes, DryParam& DP)
190. {
191.         std::vector<cv::Rect>detectBoxes;
192.         resultBoxes.clear();
193.         detectBoxes.clear();
194.         Mat image = _src.clone();
195.         Mat blur, gray, dst, canny, hsv, mask;
196.         //medianBlur(image, blur, 5);
197.         //GaussianBlur(image, blur, Size(5, 5), 0);
198.         HSVDet(image, detectBoxes, DP);  // HSVDet
200.         CannyDet(image, detectBoxes, DP); // CannyDet
202.         if (int(detectBoxes.size()) == 0) {
203.                 return false;
204.         }
205.         resultBoxes = nms_sorted_bboxes(detectBoxes, 0.35);
206.         //resultBoxes = detectBoxes;
207.         //for (int i = 0; i < int(resultBoxes.size()); i++)
208.         //{
209.         //        rectangle(image, resultBoxes[i], Scalar(0, 0, 255), 1, 8); //画矩形
210.         //}
211.         //cout << "boxNumber: " << resultBoxes.size() << endl;
213.         //cv::imshow("result", image);
214.         //cv::waitKey(0);
215.         if (int(resultBoxes.size()) == 8) {
216.                 return true;
217.         }
218.         return false;
219. }
221. void BrightnessContrast(Mat& src, DryParam& DP)
222. {
223.         int height = src.rows;
224.         int width = src.cols;
225.         //float alpha = 1.3;
226.         //float beta = 30;
227.         //dst = Mat::zeros(src.size(), src.type());
228.         for (int row = 0; row < height; row++) {
229.                 uchar *pixel = src.ptr<uchar>(row);
230.                 for (int col = 0; col < width; col++) {
231.                         if (src.channels() == 3) {
232.                                 pixel[0] = saturate_cast<uchar>(pixel[0] * DP.alpha + DP.beta);
233.                                 pixel[1] = saturate_cast<uchar>(pixel[1] * DP.alpha + DP.beta);
234.                                 pixel[2] = saturate_cast<uchar>(pixel[2] * DP.alpha + DP.beta);
235.                                 pixel += 3;
236.                         }
237.                         else if (src.channels() == 1) {
238.                                 pixel[col] = pixel[col] * DP.alpha + DP.beta;
239.                         }
240.                 }
241.         }
242. }
244. void get_mask_image(Mat &HSV, Mat &mask_img, DryParam& DP)
245. {
246.         Mat mask1, mask2, mask3, mask4, mask5, mask6;
247.         cv::inRange(HSV, DP.lower_black2, DP.upper_black2, mask_img);
248.         bitwise_not(mask_img, mask_img);
250.         /*cv::inRange(HSV, DP.lower, DP.upper, mask6);
251.         cv::inRange(HSV, DP.lower_white, DP.upper_white, mask1);
252.        
253.         cv::inRange(HSV, DP.lower_blue, DP.upper_blue, mask2);
254.         cv::inRange(HSV, DP.lower_blue2, DP.upper_blue2, mask5);
255.         cv::inRange(HSV, DP.lower_green, DP.upper_green, mask3);
256.         cv::inRange(HSV, DP.lower_green2, DP.upper_green2, mask4);
257.         mask_img = mask6 +mask2 + mask3 + mask4 + mask5 + mask1;*/
258.         //bitwise_not(mask_img, mask_img);
260. }
262. void get_morphology_image(Mat &mask_img)
263. {
264.         auto kernel = cv::getStructuringElement(cv::MORPH_ELLIPSE, cv::Size(5, 5));
265.         morphologyEx(mask_img, mask_img, cv::MORPH_CLOSE, kernel);
266.         morphologyEx(mask_img, mask_img, cv::MORPH_OPEN, kernel);
267. }
269. bool cmp2(cv::Rect a, cv::Rect b)
270. {
271.         return a.x < b.x;
272. }
273. bool cmp3(cv::Rect a, cv::Rect b)
274. {
275.         return a.y < b.y;
276. }
278. void sort_boxes(std::vector<cv::Rect>& boxes)
279. {
280.         std::vector<cv::Rect> xBoxes, yBoxes;
281.         xBoxes.clear();
282.         yBoxes.clear();
283.         std::sort(boxes.begin(), boxes.end(), cmp2);
284.         xBoxes.insert(xBoxes.end(), boxes.begin(), boxes.begin() + 4); //左边一列
285.         yBoxes.insert(yBoxes.end(), boxes.begin() + 4, boxes.end());   //右边一列
286.         std::sort(xBoxes.begin(), xBoxes.end(), cmp3);
287.         std::sort(yBoxes.begin(), yBoxes.end(), cmp3);
288.         boxes.clear();
289.         boxes.insert(boxes.end(), xBoxes.begin(), xBoxes.end());
290.         boxes.insert(boxes.end(), yBoxes.begin(), yBoxes.end());
291. }
293. int DryAlg(Mat& src, std::vector<cv::Rect>& resultBoxes, DryParam& DP)
294. {
295.         if (!src.data) {
296.                 //cout << "load image error..." << endl;
297.                 return -1;
298.         }
299.         Mat input;
300.         //将原图裁剪并缩小 resizeRatio；
301.         //Mat img = src(DP.DryCard);
302.         Mat img = src.clone();
303.         int col = img.cols;
304.         int row = img.rows;
305.         if (DP.resizeRatio > 0) {
306.                 cv::resize(img, input, Size(col * DP.resizeRatio, row * DP.resizeRatio));
307.         }
308.         else {
309.                 input = img;
310.         }
311.         //double t1 = cv::getTickCount();
312.         if (!findSquares(input, resultBoxes, DP))
313.         {
314.                 return 0;
315.         }
316.         sort_boxes(resultBoxes);
317.         //double t2 = cv::getTickCount();
318.         //PrintCostTime("findSquares:", t1, t2);
319.         for (int i = 0; i < resultBoxes.size(); i++)
320.         {
321.                 //rectangle(input, resultBoxes[i], Scalar(0, 0, 255), 1);
322.                 //将检测坐标映射回原图
323.                 if (DP.resizeRatio > 0) {
324.                         resultBoxes[i].x /= DP.resizeRatio;
325.                         resultBoxes[i].y /= DP.resizeRatio;
326.                         resultBoxes[i].width /= DP.resizeRatio;
327.                         resultBoxes[i].height /= DP.resizeRatio;
328.                 }
329.                 //rectangle(img, resultBoxes[i], Scalar(0, 0, 255), 2);
330.                 //resultBoxes[i].x += DP.DryCard.x;
331.                 //resultBoxes[i].y += DP.DryCard.y;
332.                 //rectangle(src, resultBoxes[i], Scalar(0, 0, 255), 2);
333.         }
334.         //cv::resize(src, src, Size(src.cols * 0.5, src.rows * 0.5));
335.         cv::imwrite("out.jpg", src);
336.         //cv::imshow("out", src);
337.         //cv::imshow("result", img);
338.         //cv::waitKey(0);
339.         return 1;
340. }

复制代码

main.cpp

1. #include "DryDetect.h"
3. int main()
4. {
5.         Mat src = cv::imread("H:\\ImageProcess\\Dry\\image\\7.jpg");
6.         /*
7.         -1:传入图片错误
8.         0:没有检测到框
9.         1:成功检测到了框
10.         */
11.         DryParam DP;
12.         //以下参数做成配置文件可修改
13.         DP.minWidth = 80;   // 可调参数，限制格子的最大最小宽高
14.         DP.minHeight = 80;
15.         DP.maxWidth = 180;
16.         DP.maxHeight = 180;
17.         DP.drydetect = 1; //if 0, 不用算法定位
19.         std::vector<cv::Rect> resultBoxes; //算法识别结果
20.         /*
21.         Dryflag:
22.         -1: 传入图片错误
23.         0:  没有检测到框
24.         1:  成功检测到了框
25.         */
26.         int Dryflag;
27.         if (DP.drydetect = 0)  //0: 不调用算法定位
28.         {
29.                 Dryflag = 0;
30.         }
31.         else
32.         {
33.                 Dryflag = DryAlg(src, resultBoxes, DP);
34.         }
36.         switch (Dryflag)
37.         {
38.         case -1:
39.         {
40.                 cout << "load image error..." << endl;
41.                 break;
42.         }
43.         case 0:
44.         {
45.                 cout << "detect box fail..." << endl;
46.                 break;
47.         }
48.         default:
49.                 break;
50.         }
51.         return 0;
52. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。