利用OpenCV和MediaPipe库——吸烟检测（姿态监控）

目录
吸烟检测的运用
1. 安全监控
(1) 公共场所禁烟羁系
(2) 工业安全
2. 智能城市与执法
(1) 城市违章吸烟检测
(2) 无人值守管理
3. 健康管理与医疗
(1) 吸烟习惯分析
(2) 远程监护
4. AI 监控与商业分析
(1) 保险行业
(2) 商场营销
5. 技能实现
(1) 盘算机视觉
(2) 传感器检测
(3) 结合物联网（IoT）
6. 挑衅与优化
(1) 误报问题
(2) 夜间检测难度
(3) 隐私问题
代码实现思绪
实现思绪
1. 初始化检测模型
2. 读取视频流
3. 手部检测
4. 香烟检测
5. 嘴部检测
6. 吸烟举动判断
7. 可视化输出
8. 运行主循环
完整代码
效果展示

---

---

吸烟检测的运用

1. 安全监控

(1) 公共场所禁烟羁系

• 应用场景：机场、火车站、地铁站、医院、商场、学校等禁烟区域。
  
• 作用：利用摄像头自动检测吸烟举动，触发警报或通知管理人员干预，镌汰人工巡逻成本。
  

(2) 工业安全

• 应用场景：化工厂、加油站、煤矿、堆栈等易燃易爆场所。
  
• 作用：实时监测吸烟举动，防止安全变乱，提高生产安全管理。
  

---

2. 智能城市与执法

(1) 城市违章吸烟检测

• 应用场景：公交站、公共茅厕、电梯、餐厅等区域。
  
• 作用：结合智能监控体系，对违规吸烟举动进行抓拍、存证，乃至自动处罚。
  

(2) 无人值守管理

• 应用场景：智能楼宇、写字楼、电影院等无人巡逻区域。
  
• 作用：通过 AI 检测+语音提醒，劝阻违规吸烟者。
  

---

3. 健康管理与医疗

(1) 吸烟习惯分析

• 应用场景：医院、戒烟中心、健康管理 APP。
  
• 作用：记载个人吸烟次数、时间、环境等数据，资助戒烟筹划订定。
  

(2) 远程监护

• 应用场景：养老院、神经病院等特别场所。
  
• 作用：监测老年人或患者是否有吸烟举动，防止健康风险。
  

---

4. AI 监控与商业分析

(1) 保险行业

• 应用场景：人寿保险、健康保险公司。
  
• 作用：检测投保人是否吸烟，调整保费或健康建议。
  

(2) 商场营销

• 应用场景：便利店、烟草店。
  
• 作用：分析吸烟人群的特性，优化营销计谋。
  

---

5. 技能实现

(1) 盘算机视觉

• 算法：基于 YOLO、Faster R-CNN 等目标检测模型。
  
• 数据：训练数据包罗吸烟者的手部、嘴部、烟雾等特性。
  

(2) 传感器检测

• 红外摄像头：检测烟头的温度特性。
  
• 空气质量传感器：监测 PM2.5、尼古丁气味等。
  

(3) 结合物联网（IoT）

• 智能监控摄像头：内置 AI 识别体系，边缘盘算当地处理数据。
  
• 云平台：吸收数据并发出警报。
  

---

6. 挑衅与优化

(1) 误报问题

• 误将吸烟动作与喝水、拿笔等动作混淆。
  
• 解决方案：利用时间序列分析、骨骼检测等方法提高正确率。
  

(2) 夜间检测难度

• 夜间光照条件差，平凡摄像头难以检测烟雾。
  
• 解决方案：接纳 红外摄像头 结合 AI 算法提高夜间识别率。
  

(3) 隐私问题

• 监控摄像头涉及个人隐私，大概引发争议。
  
• 解决方案：利用 边缘盘算，仅上传检测结果，不存储人脸信息。
  

---

---

---

代码实现思绪

实现思绪

1. 初始化检测模型

• MediaPipe Hands：用于检测 手部位置，得到手的边界框（bounding box）。
  
• dlib 人脸关键点检测：用于检测 嘴部关键点，确定嘴巴的位置。
  
• YOLOv3：用于检测 香烟，必要加载权重（yolov3.weights）、配置文件（yolov3.cfg）和种别标签（coco.names）。
  

---

2. 读取视频流

• 通过 cv2.VideoCapture(0) 打开摄像头，逐帧读取视频。
  

---

3. 手部检测

• MediaPipe Hands 处理帧图像，返回检测到的手部 关键点。
  
• 盘算手部的 边界框（x_min, y_min, x_max, y_max）。
  
• 利用 cv2.rectangle() 画出手部边界框。
  

---

4. 香烟检测

• 通过 YOLOv3 目标检测 识别图像中的物体（包括香烟）。
  
• 过滤出 种别为 "cigarette" 的目标，并记载香烟的边界框信息（cigarette_bboxes）。
  
• 利用 cv2.rectangle() 画出香烟的位置。
  

---

5. 嘴部检测

• 通过 dlib 人脸检测器 定位人脸，并利用 68个面部关键点 识别嘴部（第48-67号点）。
  
• 盘算 嘴部中心位置。
  
• 用 cv2.polylines() 画出嘴部区域。
  

---

6. 吸烟举动判断

• 遍历每只 手的边界框：
  
  
  • 判断是否持有香烟（手与香烟的 IOU 交并比 是否凌驾阈值 0.3）。
    
  • 盘算手部到嘴部的间隔：
    
    
    
    • 获取手部中心 (hand_center_x, hand_center_y)。
      
    • 盘算与 最近的嘴部中心 的欧几里得间隔 distance。
      
    
    
  • 综合判断吸烟举动：
    
    
    
    • 若 手持香烟 且 间隔嘴部<100像素，则判断 正在吸烟。
      
    • 若 手部靠近嘴部<50像素，但未持有香烟，则 大概在吸烟（警告）。
      
    
    
  
  

---

7. 可视化输出

• 假如检测到 正在吸烟：
  
  
  
  • 在屏幕上显示 "WARNING: Active Smoking Detected!"（红色警告）。
    
  
  
• 假如 疑似吸烟（手靠近嘴但未持烟）：
  
  
  
  • 显示 "otential Smoking!"（黄色提示）。
    
  
  
• 画出全部检测到的 手部、香烟、嘴部。
  

---

8. 运行主循环

• 不断读取摄像头画面，并调用 detect_smoking(frame) 进行检测。
  
• 按下 ESC 退出步伐。
  

---

---

---

完整代码

1. import cv2
2. import numpy as np
3. import dlib
4. import mediapipe as mp
6. # 初始化MediaPipe手部检测
7. mp_hands = mp.solutions.hands
8. hands = mp_hands.Hands(
9.     max_num_hands=2,
10.     min_detection_confidence=0.7,
11.     min_tracking_confidence=0.5
12. )
14. # 初始化dlib人脸检测
15. detector = dlib.get_frontal_face_detector()
16. predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
18. # 加载YOLOv3模型（需包含自定义训练的香烟类别）
19. net = cv2.dnn.readNet("yolov3.weights", "yolov3.cfg")
20. layer_names = net.getLayerNames()
21. output_layers = [layer_names[i - 1] for i in net.getUnconnectedOutLayers().flatten()]
23. with open("coco.names", "r") as f:
24.     classes = [line.strip() for line in f.readlines()]
27. def is_holding_cigarette(hand_bbox, cigarette_bboxes, iou_threshold=0.3):
28.     """判断手部是否持有香烟（基于IOU）"""
29.     for cig_bbox in cigarette_bboxes:
30.         # 计算IOU
31.         x1 = max(hand_bbox[0], cig_bbox[0])
32.         y1 = max(hand_bbox[1], cig_bbox[1])
33.         x2 = min(hand_bbox[2], cig_bbox[2])
34.         y2 = min(hand_bbox[3], cig_bbox[3])
36.         intersection = max(0, x2 - x1) * max(0, y2 - y1)
37.         area_hand = (hand_bbox[2] - hand_bbox[0]) * (hand_bbox[3] - hand_bbox[1])
38.         area_cig = (cig_bbox[2] - cig_bbox[0]) * (cig_bbox[3] - cig_bbox[1])
40.         iou = intersection / (area_hand + area_cig - intersection)
41.         if iou > iou_threshold:
42.             return True
43.     return False
46. def detect_smoking(frame):
47.     # 转换为RGB格式（MediaPipe需要）
48.     rgb_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
50.     # 手部检测
51.     hand_bboxes = []
52.     results = hands.process(rgb_frame)
53.     if results.multi_hand_landmarks:
54.         for landmarks in results.multi_hand_landmarks:
55.             # 获取手部边界框
56.             x_coords = [lm.x * frame.shape[1] for lm in landmarks.landmark]
57.             y_coords = [lm.y * frame.shape[0] for lm in landmarks.landmark]
58.             x_min, x_max = min(x_coords), max(x_coords)
59.             y_min, y_max = min(y_coords), max(y_coords)
60.             hand_bboxes.append((x_min, y_min, x_max, y_max))
61.             cv2.rectangle(frame, (int(x_min), int(y_min)),
62.                           (int(x_max), int(y_max)), (255, 0, 0), 2)
64.     # YOLOv3香烟检测
65.     cigarette_bboxes = []
66.     blob = cv2.dnn.blobFromImage(frame, 0.00392, (320, 320), swapRB=True)
67.     net.setInput(blob)
68.     outs = net.forward(output_layers)
70.     for out in outs:
71.         for detection in out:
72.             scores = detection[5:]
73.             class_id = np.argmax(scores)
74.             confidence = scores[class_id]
75.             if confidence > 0.5 and classes[class_id] == "cigarette":
76.                 center_x = int(detection[0] * frame.shape[1])
77.                 center_y = int(detection[1] * frame.shape[0])
78.                 w = int(detection[2] * frame.shape[1])
79.                 h = int(detection[3] * frame.shape[0])
80.                 x = center_x - w // 2
81.                 y = center_y - h // 2
82.                 cigarette_bboxes.append((x, y, x + w, y + h))
83.                 cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
85.     # 人脸关键点检测
86.     mouth_positions = []
87.     faces = detector(frame)
88.     for face in faces:
89.         landmarks = predictor(frame, face)
90.         mouth_points = [(landmarks.part(i).x, landmarks.part(i).y)
91.                         for i in range(48, 68)]
92.         mouth_center = np.mean(mouth_points, axis=0)
93.         mouth_positions.append(mouth_center)
94.         # 绘制嘴巴区域
95.         cv2.polylines(frame, [np.array(mouth_points, dtype=np.int32)],
96.                       True, (0, 0, 255), 2)
98.     # 综合判断逻辑
99.     warning = False
100.     for hand in hand_bboxes:
101.         # 判断是否持烟
102.         holding = is_holding_cigarette(hand, cigarette_bboxes)
104.         # 计算手部中心点
105.         hand_center = ((hand[0] + hand[2]) / 2, (hand[1] + hand[3]) / 2)
107.         # 找最近的人脸
108.         min_distance = float('inf')
109.         for mouth in mouth_positions:
110.             distance = np.sqrt((hand_center[0] - mouth[0]) ** 2 +
111.                                (hand_center[1] - mouth[1]) ** 2)
112.             min_distance = min(min_distance, distance)
114.         # 判断条件
115.         if holding and min_distance < 100:  # 持烟且距离<100像素
116.             warning = True
117.         elif min_distance < 50:  # 未持烟但手部靠近嘴部
118.             cv2.putText(frame, "Potential Smoking!",
119.                         (int(hand[0]), int(hand[1]) - 10),
120.                         cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 255), 2)
122.     if warning:
123.         cv2.putText(frame, "WARNING: Active Smoking Detected!",
124.                     (20, 50), cv2.FONT_HERSHEY_SIMPLEX,
125.                     1, (0, 0, 255), 3, cv2.LINE_AA)
127.     return frame
130. # 视频处理主循环
131. cap = cv2.VideoCapture(0)
132. while cap.isOpened():
133.     ret, frame = cap.read()
134.     if not ret:
135.         break
137.     frame = cv2.flip(frame, 1)  # 镜像翻转
138.     result = detect_smoking(frame)
140.     cv2.imshow('Smoking Detection', result)
141.     if cv2.waitKey(1) == 27:
142.         break
144. cap.release()
145. cv2.destroyAllWindows()

复制代码

---

效果展示

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。