【深度学习】OCR中的Shrink操纵详解

OCR中的Shrink操纵详解

在光学字符辨认（OCR）中，shrink操纵用于对文本框多边形进行缩放，以生成用于训练和检测的特征图。本文将介绍shrink操纵的背景、实现方法及其应用。以下是用户提供的代码，详细展示了怎样实现这一过程。
背景介绍

在OCR任务中，文本通常以多边形的形式标注于图像中。为了更好地训练检测模型，通常需要将这些多边形进行肯定比例的缩放（shrink），以生成不同大小的特征图，从而提高模型的泛化能力和精度。shrink操纵的目标是将文本框缩小，以淘汰噪声对检测结果的影响。
代码实现

以下是实现shrink操纵的详细代码：

1. import numpy as np
2. import cv2
3. import pyclipper
4. from shapely.geometry import Polygon
6. def shrink_polygon_py(polygon, shrink_ratio):
7.     """
8.     对框进行缩放，返回去的比例为1/shrink_ratio 即可
9.     """
10.     cx = polygon[:, 0].mean()
11.     cy = polygon[:, 1].mean()
12.     polygon[:, 0] = cx + (polygon[:, 0] - cx) * shrink_ratio
13.     polygon[:, 1] = cy + (polygon[:, 1] - cy) * shrink_ratio
14.     return polygon
16. def shrink_polygon_pyclipper(polygon, shrink_ratio):
17.     polygon_shape = Polygon(polygon)
18.     distance = (
19.         polygon_shape.area * (1 - np.power(shrink_ratio, 2)) / polygon_shape.length
20.     )
21.     subject = [tuple(l) for l in polygon]
22.     padding = pyclipper.PyclipperOffset()
23.     padding.AddPath(subject, pyclipper.JT_ROUND, pyclipper.ET_CLOSEDPOLYGON)
24.     shrinked = padding.Execute(-distance)
25.     if shrinked == []:
26.         shrinked = np.array(shrinked)
27.     else:
28.         shrinked = np.array(shrinked[0]).reshape(-1, 2)
29.     return shrinked
31. class MakeShrinkMap:
32.     def __init__(self, min_text_size=8, shrink_ratio=0.4, shrink_type="pyclipper"):
33.         shrink_func_dict = {
34.             "py": shrink_polygon_py,
35.             "pyclipper": shrink_polygon_pyclipper,
36.         }
37.         self.shrink_func = shrink_func_dict[shrink_type]
38.         self.min_text_size = min_text_size
39.         self.shrink_ratio = shrink_ratio
41.     def __call__(self, data: dict) -> dict:
42.         image = data["img"]
43.         text_polys = data["text_polys"]
44.         ignore_tags = data["ignore_tags"]
46.         h, w = image.shape[:2]
47.         text_polys, ignore_tags = self.validate_polygons(text_polys, ignore_tags, h, w)
48.         gt = np.zeros((h, w), dtype=np.float32)
49.         mask = np.ones((h, w), dtype=np.float32)
50.         shrinked_polygons = []
51.         for i in range(len(text_polys)):
52.             polygon = text_polys[i]
53.             height = max(polygon[:, 1]) - min(polygon[:, 1])
54.             width = max(polygon[:, 0]) - min(polygon[:, 0])
55.             if ignore_tags[i] or min(height, width) < self.min_text_size:
56.                 cv2.fillPoly(mask, polygon.astype(np.int32)[np.newaxis, :, :], 0)
57.                 ignore_tags[i] = True
58.             else:
59.                 shrinked = self.shrink_func(polygon, self.shrink_ratio)
60.                 shrinked_polygons.append(shrinked)
61.                 if shrinked.size == 0:
62.                     cv2.fillPoly(mask, polygon.astype(np.int32)[np.newaxis, :, :], 0)
63.                     ignore_tags[i] = True
64.                     continue
65.                 cv2.fillPoly(gt, [shrinked.astype(np.int32)], 1)
67.         data["shrink_map"] = gt
68.         data["shrink_mask"] = mask
69.         data["shrinked_polygons"] = shrinked_polygons
70.         return data
72.     def validate_polygons(self, polygons, ignore_tags, h, w):
73.         if len(polygons) == 0:
74.             return polygons, ignore_tags
75.         assert len(polygons) == len(ignore_tags)
76.         for polygon in polygons:
77.             polygon[:, 0] = np.clip(polygon[:, 0], 0, w - 1)
78.             polygon[:, 1] = np.clip(polygon[:, 1], 0, h - 1)
80.         for i in range(len(polygons)):
81.             area = self.polygon_area(polygons[i])
82.             if abs(area) < 1:
83.                 ignore_tags[i] = True
84.             if area > 0:
85.                 polygons[i] = polygons[i][::-1, :]
86.         return polygons, ignore_tags
88.     def polygon_area(self, polygon):
89.         return cv2.contourArea(polygon)
91. if __name__ == "__main__":
92.     # 示例图像
93.     image = np.ones((200, 200, 3), dtype=np.uint8) * 255
95.     # 示例文本框多边形
96.     text_polys = [
97.         np.array([[50, 50], [150, 50], [150, 100], [50, 100]]),
98.         np.array([[60, 120], [140, 120], [140, 160], [60, 160]])
99.     ]
101.     # 示例忽略标志
102.     ignore_tags = [False, False]
104.     # 构建输入数据字典
105.     data = {
106.         "img": image,
107.         "text_polys": text_polys,
108.         "ignore_tags": ignore_tags
109.     }
111.     # 初始化 MakeShrinkMap 类
112.     make_shrink_map = MakeShrinkMap(min_text_size=8, shrink_ratio=0.4, shrink_type="pyclipper")
114.     # 调用类处理数据
115.     result = make_shrink_map(data)
117.     # 获取生成的shrink_map和shrink_mask
118.     shrink_map = result["shrink_map"]
119.     shrink_mask = result["shrink_mask"]
120.     shrinked_polygons = result["shrinked_polygons"]
122.     # 在原图上绘制shrink前的多边形
123.     original_image = image.copy()
124.     for polygon in text_polys:
125.         cv2.polylines(original_image, [polygon.astype(np.int32)], True, (0, 0, 255), 2)
127.     # 在原图上绘制shrink后的多边形
128.     shrinked_image = image.copy()
129.     for polygon in shrinked_polygons:
130.         cv2.polylines(shrinked_image, [polygon.astype(np.int32)], True, (0, 255, 0), 2)
132.     # 保存结果图像
133.     cv2.imwrite("original_image.png", original_image)
134.     cv2.imwrite("shrinked_image.png", shrinked_image)
135.     cv2.imwrite("shrink_map.png", shrink_map * 255)  # 将shrink_map转换为图像
136.     cv2.imwrite("shrink_mask.png", shrink_mask * 255)  # 将shrink_mask转换为图像
138.     # 显示结果
139.     # cv2.imshow("Original Image", original_image)
140.     # cv2.imshow("Shrinked Image", shrinked_image)
141.     # cv2.imshow("Shrink Map", shrink_map)
142.     # cv2.imshow("Shrink Mask", shrink_mask)
143.     # cv2.waitKey(0)
144.     # cv2.destroyAllWindows()

复制代码

代码详解

• Shrink算法实现
  代码中实现了两种不同的shrink算法：shrink_polygon_py和shrink_polygon_pyclipper。
  
  
  
  • shrink_polygon_py：通过计算多边形的中央点，然后将多边形的每个点按照缩放比例向中央点收缩。
    
  • shrink_polygon_pyclipper：利用pyclipper库进行多边形缩放，计算更为精确，实用于复杂多边形。
    
  
  
• MakeShrinkMap类
  MakeShrinkMap类用于将图像中的文本多边形进行shrink操纵。类的构造函数接受最小文本尺寸、缩放比例和缩放类型作为参数。__call__方法处理输入数据字典，并生成缩放后的特征图和掩码。
  
• 代码示例
  在__main__部分，创建了一个示例图像和文本多边形，并利用MakeShrinkMap类进行shrink操纵。结果图像包括原始多边形和缩放后的多边形，并将生成的特征图和掩码生存为图像文件。
  

应用

Shrink操纵在OCR中有广泛的应用，如：

• 文本检测：通过缩放文本框生成特征图，可以提高文本检测模型的准确性和鲁棒性。
  
• 噪声过滤：缩小多边形可以淘汰背景噪声对检测结果的干扰。
  
• 数据增强：生成不同缩放比例的特征图，有助于提升模型的泛化能力。
  

总结

本文介绍了OCR中shrink操纵的实现方法和应用，通过详细的代码示例展示了怎样对文本多边形进行缩放。shrink操纵在提高OCR模型性能方面具有重要作用，是文本检测和辨认过程中不可或缺的一

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。