opencv&ocr识别手机摄像头拍摄的指定区域笔墨，笔墨符合规则就语音报警 ...

• 安装python，pycharm，自行安装。
  
• Python下安装OpenCv
  2.1 打开cmd,先安装opencv-python
  

1. pip install opencv-python --user -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

2.2 再安装opencv-contrib-python

1. pip install opencv-contrib-python --user -i https://pypi.tuna.tsinghua.edu.cn/simple

复制代码

3.Pycharm安装opencv-python
打开pycharm，然后打开setting，打开python解析器

点击Go to tool window。下面红框处管理和下载python依赖包

点击下图的设置，然后点击管理仓库

新增python包仓库： https://pypi.tuna.tsinghua.edu.cn/simple/

在这里搜索并下载opencv-python，numpy

下载完成，新建py文件，执行代码。有窗口输出该路径的图片就阐明乐成了。

1. import cv2 as cv
3. # 这段代码是测试opencv是否正常安装。运行下面这段代码出现图片就是成功的
4. src = cv.imread("C:\\Users\Administrator\Desktop\\city1.jpg")
5. cv.namedWindow("input image",cv.WINDOW_AUTOSIZE)
6. cv.imshow("input image",src)
7. cv.waitKey(0)
8. cv.destroyAllWindows()
9. print("hi python")

复制代码

• 下载Tesseract OCR，去官网 https://github.com/UB-Mannheim/tesseract/wiki
  下载exe。安装完成后，需要设置Tesseract-OCR的系统环境。详细看这篇文章
  https://blog.csdn.net/qq_38463737/article/details/109679007
  
• 下载Tesseract OCR的语言包，中文语言包和英文语言包。
  去官网 https://github.com/tesseract-ocr/tessdata 下载eng.traineddata和chi_sim.traineddata
  
  
  
  然后把那两个文件放到**/Tesseract-OCR/tessdata
  
  
  
  
• pycharm 的python包 安装pytesseract
  
  
  
  
• 在项目文件.venv/Lib/site-packages/pytesseract/pytesseract.py 文件中修改变量tesseract_cmd，路径自行修改。 这是为了办理BUG：”tesseract is not installed or it‘s not in your PATH“
  
  
  
  
• 安装gTTS 谷歌语音播报，pillow，pyttsx3 离线语音播报。
  
  
  
  
• 在手机上下载“IP 摄像头”，并安装。这里我在应用宝里下载了 IP 摄像头。利用该软件，要电脑毗连手机热门，同处在局域网内。
  
  
  
  10，全部py代码如下
  

1. # 本代码参考了https://blog.csdn.net/weixin_35752233/article/details/142606296  ， https://blog.csdn.net/m0_58892312/article/details/120923578 和 AI
2. # 人脸模型库文件“ haarcascade_frontalface_default.xml ”，帮助摄像头获取的画面去对比
3. # 1. 第二句代码中的admin为我的IP摄像头用户名， admin为我的IP摄像头密码，这个可以在手机APP的设置里查看和修改，代码中的要使用自己的用户名、密码。
4. # 2. @后面的地址是局域网IP地址，这个在打开IP摄像头服务器之后的界面就能看到，也需要修改为自己的地址。
5. # 3.代码的其他部分无需修改。
6. import time
7. import cv2 as cv
8. import pytesseract
9. import numpy as np
10. import pyttsx3
11. from gtts import gTTS
13. # 图像的裁剪和缩放是图像预处理的两个基本操作。裁剪主要是根据需要对图像的特定区域进行选取，剔除无效或干扰信息。缩放则是为了满足特定的分辨率或图像尺寸需求，对图像的大小进行调整。
14. # 裁剪图片
15. def crop_image(image, x, y, width, height):
16.     return image[y:y + height, x:x + width]
18. # 缩放图片
19. def resize_image(image, width, height):
20.     return cv.resize(image, (width, height))
22. # 灰度化.        图像的灰度化和二值化是将图像从彩色转换到灰度图像和黑白图像的过程，这些转换对于提高OCR的准确性和效率至关重要。
23. def to_grayscale(image):
24.     return cv.cvtColor(image, cv.COLOR_BGR2GRAY)
26. # 二值化.
27. def to_binary(image, threshold=127, maxval=255):
28.     return cv.threshold(image, threshold, maxval, cv.THRESH_BINARY)[1]
30. # 噪声去除是图像预处理中非常重要的一步。它通常通过滤波技术实现，可以减少图像中的随机噪声，提高图像质量，有助于后续的文字检测和识别。
31. def remove_noise(image, kernel_size=3):
32.     return cv.medianBlur(image, kernel_size)
34. # 文本行检测                     和字符分割是预处理的高级步骤，它们是为了从图像中准确地分离出单独的字符或文本行，这对于OCR识别至关重要。
35. def detect_text_lines(image):
36.     # 使用Canny边缘检测算法
37.     edged = cv.Canny(image, 100, 200)
38.     # 找到轮廓
39.     contours, _ = cv.findContours(edged, cv.RETR_LIST, cv.CHAIN_APPROX_SIMPLE)
40.     return contours
42. # 字符分割
43. def segment_characters(image, contours):
44.     characters = []
45.     for contour in contours:
46.         x, y, w, h = cv.boundingRect(contour)
47.         roi_image = image[y:y + h, x:x + w]
48.         characters.append(roi_image)
49.     return characters
51. # 识别并截取红色区域
52. def extract_red_region(image):
53.     # 转换为HSV颜色空间
54.     hsv = cv.cvtColor(image, cv.COLOR_BGR2HSV)
56.     # 定义红色的范围
57.     lower_red = np.array([0, 120, 70])
58.     upper_red = np.array([10, 255, 255])
59.     mask1 = cv.inRange(hsv, lower_red, upper_red)
61.     lower_red = np.array([170, 120, 70])
62.     upper_red = np.array([180, 255, 255])
63.     mask2 = cv.inRange(hsv, lower_red, upper_red)
65.     # 合并两个掩码
66.     mask = mask1 + mask2
68.     # 形态学操作
69.     kernel = np.ones((5, 5), np.uint8)
70.     mask = cv.morphologyEx(mask, cv.MORPH_CLOSE, kernel)
71.     mask = cv.morphologyEx(mask, cv.MORPH_OPEN, kernel)
73.     return mask
75. # 文字保存为临时mp3文件
76. def text_to_speech(text, lang='en'):
77.     # 创建gTTS对象
78.     tts = gTTS(text=text, lang=lang)
79.     # 保存为临时文件
80.     temp_file = "temp_audio.mp3"
81.     tts.save(temp_file)
82.     return temp_file
84. # 读取视频信息。 # @前为账号密码，@后为ip地址
85. cap = cv.VideoCapture("http://admin:admin@192.168.169.143:8081/video")
86. # cap = cv.VideoCapture(0)
87. while cap.isOpened():
88.     # 读取一帧图片
89.     f, image = cap.read()
90.     # 保存当前帧为图片文件
91.     cv.imwrite('captured_image.jpg', image)
92.     print("图片已保存为 captured_image.jpg")
93.     time.sleep(0.5)
94.     # 项目相对路径下captured_image.jpg，自行修改文件路径
95.     picture = cv.imread("D:\\download_software\\python_project\\camera_test\\captured_image.jpg")
96.     # 提取红色区域 -> 红色底纹白颜色文字
97.     red_mask = extract_red_region(picture)
98.     # 查找轮廓
99.     contours, _ = cv.findContours(red_mask, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
100.     for contour in contours:
101.         x, y, w, h = cv.boundingRect(contour)
102.         roi = picture[y:y + h, x:x + w]
103.         # ps：没有必要灰度处理和二值化处理，因为红色区域的图像已经很清楚了
104.         # # 转换为灰度图像
105.         # gray_picture = cv.cvtColor(roi, cv.COLOR_BGR2GRAY)
106.         # # 二值化处理
107.         # _, binary_picture = cv.threshold(gray_picture, 200, 255, cv.THRESH_BINARY_INV)
109.         # 使用Tesseract OCR识别文字
110.         text = pytesseract.image_to_string(roi, config='--psm 6',lang="eng")
111.         print("OCR识别结果：" + text)
112.         cv.imshow("Red Region", roi)
113.         # 如果文本包含MAU或者AHU，播放mp3语音进行报警
114.         if "MAU" in text or "AHU" in text:
115.             # 创建语音引擎
116.             engine = pyttsx3.init()
117.             # 进行语音播报 指定要播报的文本
118.             engine.say(text)
119.             # 阻止 没播报完程序就退出
120.             engine.runAndWait()
121.     # 使用OpenCV的自定义函数进行图像预处理
122.     # # 设定裁剪区域的坐标和尺寸
123.     # x, y, width, height = 100, 100, 200, 200
124.     # cropped_image = crop_image(image, x, y, width, height)
125.     #
126.     # # 设定缩放尺寸
127.     # new_width, new_height = 300, 300
128.     # resized_image = resize_image(cropped_image, new_width, new_height)
130.     # 读取图片并转换为灰度图
131.     # gray_picture = cv.cvtColor(picture, cv.COLOR_BGR2GRAY)
132.     # 读取图片并进行二值化
133.     # _, binary_picture = cv.threshold(gray_picture, 0, 255, cv.THRESH_BINARY_INV + cv.THRESH_OTSU)
134.     # 读取图片并去除噪声
135.     # noise_free_picture = remove_noise(binary_picture)
137.     # 使用Tesseract进行OCR处理     chi_sim | eng
138.     # text = pytesseract.image_to_string(noise_free_picture,lang="eng")
139.     # 打印OCR结果
140.     # print("OCR识别结果：" + text)
141.     # cv.imshow("Video Stream", picture)
143.     #退出视频识别
144.     if cv.waitKey(1) & 0xFF == ord('q'):
145.         break
147. cap.release()
148. cv.destroyAllWindows()

复制代码

• 运行效果展示。我手机的IP摄像头拍摄正对着wps那块区域，识别出来的赤色区域在左上角。因为OCR识别利用我用的是english语言包，所以识别笔墨内容不太准确，汉字没有识别出来，但是我这里的需求只要识别英文单词就可以了。此时，电脑正在播放识别出来的笔墨内容。大抵需求已经实现了。
  
  
  
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。