JavaCV的摄像头实战之十四：口罩检测

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

• 本文是《JavaCV的摄像头实战》系列的第十四篇，如标题所说，今天的功能是检测摄像头内的人是否带了口罩，把检测结果实时标注在预览窗口，如下图所示：
  
  
• 整个处理流程如下，实现口罩检测的关键是将图片提交到百度AI开放平台，然后根据平台返回的结果在本地预览窗口标识出人脸位置，以及此人是否带了口罩：
  
  

问题提前告知

• 依赖云平台处理业务的一个典型问题，就是处理速度受限
  
• 首先，如果您在百度AI开放平台注册的账号是个人类型，那么免费的接口调用会被限制到一秒钟两次，如果是企业类型账号，该限制是十次
  
• 其次，经过实测，一次人脸检测接口耗时300ms以上
  
• 最终，实际上一秒钟只能处理两帧，这样的效果在预览窗口展现出来，就只能是幻灯片效果了（低于每秒十五帧就能感受到明显的卡顿）
  
• 因此，本文只适合基本功能展示，无法作为实际场景的解决方案
  

关于百度AI开放平台

• 为了正常使用百度AI开放平台的服务，您需要完成一些注册和申请操作，详情请参考《最简单的人脸检测（免费调用百度AI开放平台接口）》
  
• 现在，如果您完成了百度AI开放平台的注册和申请，那么，现在手里应该有可用的access_token，那么现在可以开始编码了
  

编码：添加依赖库

• 本文继续使用《JavaCV的摄像头实战之一：基础》创建的simple-grab-push工程
  
• 首先是在pom.xml中增加okhttp和jackson依赖，分别用于网络请求和JSON解析：
  

1. <dependency>
2.         <groupId>com.squareup.okhttp3</groupId>
3.         <artifactId>okhttp</artifactId>
4.     <version>3.10.0</version>
5. </dependency>
6. <dependency>
7.         <groupId>com.fasterxml.jackson.core</groupId>
8.     <artifactId>jackson-databind</artifactId>
9.     <version>2.11.0</version>
10. </dependency>

复制代码

编码：封装请求和响应百度AI开放平台的代码

• 接下来要开发一个服务类，这个服务类封装了所有和百度AI开放平台相关的代码
  
• 首先，定义web请求的request对象FaceDetectRequest.java：
  

1. package com.bolingcavalry.grabpush.bean.request;
3. import com.fasterxml.jackson.annotation.JsonProperty;
4. import lombok.Data;
6. /**
7. * @author willzhao
8. * @version 1.0
9. * @description 请求对象
10. * @date 2022/1/1 16:21
11. */
12. @Data
13. public class FaceDetectRequest {
14.     // 图片信息(总数据大小应小于10M)，图片上传方式根据image_type来判断
15.     String image;
17.     // 图片类型
18.     // BASE64:图片的base64值，base64编码后的图片数据，编码后的图片大小不超过2M；
19.     // URL:图片的 URL地址( 可能由于网络等原因导致下载图片时间过长)；
20.     // FACE_TOKEN: 人脸图片的唯一标识，调用人脸检测接口时，会为每个人脸图片赋予一个唯一的FACE_TOKEN，同一张图片多次检测得到的FACE_TOKEN是同一个。
21.     @JsonProperty("image_type")
22.     String imageType;
24.     // 包括age,expression,face_shape,gender,glasses,landmark,landmark150,quality,eye_status,emotion,face_type,mask,spoofing信息
25.     //逗号分隔. 默认只返回face_token、人脸框、概率和旋转角度
26.     @JsonProperty("face_field")
27.     String faceField;
29.     // 最多处理人脸的数目，默认值为1，根据人脸检测排序类型检测图片中排序第一的人脸（默认为人脸面积最大的人脸），最大值120
30.     @JsonProperty("max_face_num")
31.     int maxFaceNum;
33.     // 人脸的类型
34.     // LIVE表示生活照：通常为手机、相机拍摄的人像图片、或从网络获取的人像图片等
35.     // IDCARD表示身份证芯片照：二代身份证内置芯片中的人像照片
36.     // WATERMARK表示带水印证件照：一般为带水印的小图，如公安网小图
37.     // CERT表示证件照片：如拍摄的身份证、工卡、护照、学生证等证件图片
38.     // 默认LIVE
39.     @JsonProperty("face_type")
40.     String faceType;
42.     // 活体控制 检测结果中不符合要求的人脸会被过滤
43.     // NONE: 不进行控制
44.     // LOW:较低的活体要求(高通过率 低攻击拒绝率)
45.     // NORMAL: 一般的活体要求(平衡的攻击拒绝率, 通过率)
46.     // HIGH: 较高的活体要求(高攻击拒绝率 低通过率)
47.     // 默认NONE
48.     @JsonProperty("liveness_control")
49.     String livenessControl;
51.     // 人脸检测排序类型
52.     // 0:代表检测出的人脸按照人脸面积从大到小排列
53.     // 1:代表检测出的人脸按照距离图片中心从近到远排列
54.     // 默认为0
55.     @JsonProperty("face_sort_type")
56.     int faceSortType;
57. }

复制代码

• 其次，定义web响应对象FaceDetectResponse.java：
  

1. package com.bolingcavalry.grabpush.bean.response;
3. import com.fasterxml.jackson.annotation.JsonProperty;
4. import lombok.Data;
5. import lombok.ToString;
6. import java.io.Serializable;
7. import java.util.List;
9. @Data
10. @ToString
11. public class FaceDetectResponse implements Serializable {
12.     // 返回码
13.     @JsonProperty("error_code")
14.     String errorCode;
15.     // 描述信息
16.     @JsonProperty("error_msg")
17.     String errorMsg;
18.     // 返回的具体内容
19.     Result result;
21.     @Data
22.     public static class Result {
23.         // 人脸数量
24.         @JsonProperty("face_num")
25.         private int faceNum;
26.         // 每个人脸的信息
27.         @JsonProperty("face_list")
28.         List<Face> faceList;
30.         /**
31.          * @author willzhao
32.          * @version 1.0
33.          * @description 检测出来的人脸对象
34.          * @date 2022/1/1 16:03
35.          */
36.         @Data
37.         public static class Face {
38.             // 位置
39.             Location location;
40.             // 是人脸的置信度
41.             @JsonProperty("face_probability")
42.             double face_probability;
43.             // 口罩
44.             Mask mask;
46.             /**
47.              * @author willzhao
48.              * @version 1.0
49.              * @description 人脸在图片中的位置
50.              * @date 2022/1/1 16:04
51.              */
52.             @Data
53.             public static class Location {
54.                 double left;
55.                 double top;
56.                 double width;
57.                 double height;
58.                 double rotation;
59.             }
61.             /**
62.              * @author willzhao
63.              * @version 1.0
64.              * @description 口罩对象
65.              * @date 2022/1/1 16:11
66.              */
67.             @Data
68.             public static class Mask {
69.                 int type;
70.                 double probability;
71.             }
72.         }
73.     }
74. }

复制代码

• 然后是服务类BaiduCloudService.java，把请求和响应百度AI开放平台的逻辑全部集中在这里，可见其实很简单：根据图片的base64字符串构造请求对象、发POST请求（path是人脸检测服务）、收到响应后用Jackson反序列化成FaceDetectResponse对象：
  

1. package com.bolingcavalry.grabpush.extend;
3. import com.bolingcavalry.grabpush.bean.request.FaceDetectRequest;
4. import com.bolingcavalry.grabpush.bean.response.FaceDetectResponse;
5. import com.fasterxml.jackson.databind.DeserializationFeature;
6. import com.fasterxml.jackson.databind.ObjectMapper;
7. import okhttp3.*;
8. import java.io.IOException;
10. /**
11. * @author willzhao
12. * @version 1.0
13. * @description 百度云服务的调用
14. * @date 2022/1/1 11:06
15. */
16. public class BaiduCloudService {
18.     OkHttpClient client = new OkHttpClient();
20.     static final MediaType JSON = MediaType.parse("application/json; charset=utf-8");
22.     static final String URL_TEMPLATE = "https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%s";
24.     String token;
26.     ObjectMapper mapper = new ObjectMapper();
28.     public BaiduCloudService(String token) {
29.         this.token = token;
31.         // 重要：反序列化的时候，字符的字段如果比类的字段多，下面这个设置可以确保反序列化成功
32.         mapper.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES);
33.     }
34.    
35.     /**
36.      * 检测指定的图片
37.      * @param imageBase64
38.      * @return
39.      */
40.     public FaceDetectResponse detect(String imageBase64) {
41.         // 请求对象
42.         FaceDetectRequest faceDetectRequest = new FaceDetectRequest();
43.         faceDetectRequest.setImageType("BASE64");
44.         faceDetectRequest.setFaceField("mask");
45.         faceDetectRequest.setMaxFaceNum(6);
46.         faceDetectRequest.setFaceType("LIVE");
47.         faceDetectRequest.setLivenessControl("NONE");
48.         faceDetectRequest.setFaceSortType(0);
49.         faceDetectRequest.setImage(imageBase64);
51.         FaceDetectResponse faceDetectResponse = null;
53.         try {
54.             // 用Jackson将请求对象序列化成字符串
55.             String jsonContent = mapper.writeValueAsString(faceDetectRequest);
57.             //
58.             RequestBody requestBody = RequestBody.create(JSON, jsonContent);
59.             Request request = new Request
60.                     .Builder()
61.                     .url(String.format(URL_TEMPLATE, token))
62.                     .post(requestBody)
63.                     .build();
64.             Response response = client.newCall(request).execute();
65.             String rawRlt = response.body().string();
66.             faceDetectResponse = mapper.readValue(rawRlt, FaceDetectResponse.class);
67.         } catch (IOException ioException) {
68.             ioException.printStackTrace();
69.         }
71.         return faceDetectResponse;
72.     }
73. }

复制代码

• 服务类写完了，接下来是主程序把整个逻辑串起来
  

DetectService接口的实现

• 熟悉《JavaCV的摄像头实战》系列的读者应该对DetectService接口不陌生了，为了在整个系列的诸多实战中以统一的风格实现抓取帧-->处理帧-->输出处理结果这样的流程，咱们定义了一个DetectService接口，每种不同帧处理业务按照自己的特点来实现此接口即可（例如人脸检测、年龄检测、性别检测等）
  
• 先来回顾DetectService接口：
  

[code]package com.bolingcavalry.grabpush.extend;import org.bytedeco.javacv.Frame;import org.bytedeco.javacv.OpenCVFrameConverter;import org.bytedeco.opencv.opencv_core.*;import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;import static org.bytedeco.opencv.global.opencv_imgproc.*;/** * @author willzhao * @version 1.0 * @description 检测工具的通用接口 * @date 2021/12/5 10:57 */public interface DetectService {    /**     * 根据传入的MAT构造相同尺寸的MAT，存放灰度图片用于以后的检测     * @param src 原始图片的MAT对象     * @return 相同尺寸的灰度图片的MAT对象     */    static Mat buildGrayImage(Mat src) {        return new Mat(src.rows(), src.cols(), CV_8UC1);    }    /**     * 检测图片，将检测结果用矩形标注在原始图片上     * @param classifier 分类器     * @param converter Frame和mat的转换器     * @param rawFrame 原始视频帧     * @param grabbedImage 原始视频帧对应的mat     * @param grayImage 存放灰度图片的mat     * @return 标注了识别结果的视频帧     */    static Frame detect(CascadeClassifier classifier,                        OpenCVFrameConverter.ToMat converter,                        Frame rawFrame,                        Mat grabbedImage,                        Mat grayImage) {        // 当前图片转为灰度图片        cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);        // 存放检测结果的容器        RectVector objects = new RectVector();        // 开始检测        classifier.detectMultiScale(grayImage, objects);        // 检测结果总数        long total = objects.size();        // 如果没有检测到结果，就用原始帧返回        if (total