【利用PyQt5和YOLOv11开辟电脑屏幕地区的实时分类GUI】——选择检测地区 ...

这个系列专栏是为了记录在研一打仗到的第一个横向课题中的实际应用，我的任务包括，练习一个多分类的深度学习模型，为模型开辟一个GUI方便无盘算机背景的人利用。同时我盼望将它打包成一个exe文件，当其他人的电脑没有对应的python环境时也可以利用该系统。在编程语言的选择上，我对python最为熟练，C++稍微差一些，因此起首选择python开辟，在日后如有机会，盼望可以利用C++重写该系统。
  设计思绪：

• 要对屏幕中的指定地区举行实时检测，因此必要编写一个DiagnosisAreaSelector.py选择检测地区，还必要一个ScreenCapture.py来实时捕获屏幕。
  
• 当诊断地区选择成功后，必要利用DLInference.py对实时捕获的屏幕举行推理。
  
• 当得到推理效果后，我们必要利用ResultPlot.py将效果可视化，方便观察
  
• 利用PyQt5绘制页面，编写信号与槽函数将一些相关功能绑定在按钮上，必要为实时捕获屏幕和模型推理功能放置在不同的线程中防止主线程卡死。
  

   在实际的检测过程中，也许我们并不必要对屏幕中的所有内容举行深度学习模型的推理，以是我在这里设计了一个选择模型推理地区的功能。在这里我将该类起名为：DiagnosisAreaSelector.py
  一、代码：

可以解开print语句的注释调试代码。

1. import numpy as np
2. import cv2
3. import pyautogui
4. from MouseController import mouse_listener
5. from PIL import ImageGrab
6. import time
9. class DiagnosisArea:
10.     def __init__(self):
11.         self.lt_xy = None
12.         self.rb_xy = None
13.         self.frame_count = 0
14.         self.start_time = time.time()
15.         pass
17.     def acquire_accord(self, wh_format: bool, looklike_window: str):
18.         '''
19.         :param wh_format: 是否需要宽高形式的数据：left, top, width, height。如果选择False，则会返回lt_xy, rb_xy，分别是区域左上坐标的元组和右下坐标的元组。
20.         :param looklike_window: 相似区域的图像
21.         :return: 以不同格式表示的检测区域
22.         '''
23.         # looklike_window，如果每次启动程序要检测的区域都很相似，那么可以传入一个looklike_window,他会自动找到屏幕上的这部分区域，并将其设置为检测区域
24.         left, top, width, height = -1, -1, -1, -1
25.         # 在我的实际应用中并没有使用left, top, width, height格式的数据，因此就没有将它设置为属性
26.         try:  # 如果能找到完全相同的区域，直接返回该区域坐标
27.             left, top, width, height = pyautogui.locateOnScreen(looklike_window)
28.         except (
29.                 pyautogui.ImageNotFoundException
30.         ):  # 如果找不到完全相同的区域，就通过鼠标监听的方式获取区域坐标
31.             # print("The image was not found on the screen.")
32.             # print("Start listening for the image...")
33.             window = mouse_listener()
34.             window.listen()
35.             if len(window.accord) == 2 and window.accord[0] != window.accord[1]:
36.                 self.lt_xy = window.accord[0]
37.                 self.rb_xy = window.accord[1]
38.                 if self.lt_xy[0] > self.rb_xy[0] or self.lt_xy[1] > self.rb_xy[1]:
39.                     # print(
40.                     #     "错误：请先在区域的左上角按下鼠标，再在区域的右下角松开鼠标。"
41.                     # )
42.                     self.acquire_accord(
43.                         wh_format=False, looklike_window=looklike_window
44.                     )  # 递归调用以重新选择
45.                 # else:
46.                 #     # print("窗口区域已设置：", self.lt_xy, self.rb_xy)
47.             else:
48.                 # print("未能获取正确的坐标。请重新选择。")
49.                 self.acquire_accord(
50.                     wh_format=False, looklike_window=looklike_window
51.                 )
52.         if wh_format:
53.             if self.lt_xy is not None and self.rb_xy is not None:
54.                 left = self.lt_xy[0]
55.                 top = self.lt_xy[1]
56.                 # 计算宽度和高度
57.                 width = self.rb_xy[0] - self.lt_xy[0]
58.                 height = self.rb_xy[1] - self.lt_xy[1]
59.                 # 返回左上角坐标和宽高
60.             return left, top, width, height
61.         else:
62.             if left != -1 and top != -1 and width != -1 and height != -1:
63.                 self.lt_xy, self.rb_xy = self.caculate_accord(left, top, width, height)
64.             return self.lt_xy, self.rb_xy
66.     def cap_screen(self, looklike_window: str):
67.         if self.lt_xy is None and self.rb_xy is None:
68.             # print("执行了这段代码")
69.             self.acquire_accord(wh_format=False, looklike_window=looklike_window)
70.         screen = self.lt_xy + self.rb_xy
71.         img = ImageGrab.grab(screen)
72.         return img
74.     def caculate_accord(self, left, top, width, height):
75.         lt_xy = (left, top)
76.         rb_xy = (left + width, top + height)
77.         return lt_xy, rb_xy
79.     # --------------------------------测试用函数------------------------------------
80.     def dispaly_realtime(self, looklike_window):
81.         while True:
82.             self.frame_count += 1
83.             current_time = time.time()
84.             elapsed_time = current_time - self.start_time
85.             if elapsed_time > 1:  # 每秒计算一次帧率
86.                 frame_rate = self.frame_count / elapsed_time
87.                 print(f"接收到图像的帧率Frame rate: {frame_rate} frames per second")
88.                 self.frame_count = 0
89.                 self.start_time = current_time
90.             img = self.cap_screen(looklike_window)
91.             img_np = cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR)
92.             cv2.imshow("Diagnosis Area", img_np)
93.             if cv2.waitKey(1) & 0xFF == ord("q"):
94.                 break
96.     def draw_rect(self, lt_xy, rb_xy):
97.         screenshot = pyautogui.screenshot()
98.         frame = np.array(screenshot)
99.         frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
100.         cv2.rectangle(frame, lt_xy, rb_xy, (0, 255, 0), 2)
101.         cv2.imshow("window", frame)
102.         cv2.waitKey(0)
103.         cv2.destroyAllWindows()
106. if __name__ == "__main__":
107.     window = DiagnosisArea()
108.     looklike_window = "D:/Desktop/srm_GUI/assets/like_window.png"
109.     window.cap_screen(looklike_window)
110.     window.dispaly_realtime(looklike_window)
111.     cv2.destroyAllWindows()

复制代码

二、总结：

• 这里的Image.grab()方法有点慢，在实际中利用了mss库方法。
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。