JavaCV的摄像头实战之十四：口罩检测
欢迎访问我的GitHub这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos
本篇概览
[*]本文是《JavaCV的摄像头实战》系列的第十四篇，如标题所说，今天的功能是检测摄像头内的人是否带了口罩，把检测结果实时标注在预览窗口，如下图所示：
https://img2023.cnblogs.com/blog/485422/202307/485422-20230704212941095-1374763774.png
[*]整个处理流程如下，实现口罩检测的关键是将图片提交到百度AI开放平台，然后根据平台返回的结果在本地预览窗口标识出人脸位置，以及此人是否带了口罩：
https://img2023.cnblogs.com/blog/485422/202307/485422-20230704212940946-2081116468.png
问题提前告知
[*]依赖云平台处理业务的一个典型问题，就是处理速度受限
[*]首先，如果您在百度AI开放平台注册的账号是个人类型，那么免费的接口调用会被限制到一秒钟两次，如果是企业类型账号，该限制是十次
[*]其次，经过实测，一次人脸检测接口耗时300ms以上
[*]最终，实际上一秒钟只能处理两帧，这样的效果在预览窗口展现出来，就只能是幻灯片效果了（低于每秒十五帧就能感受到明显的卡顿）
[*]因此，本文只适合基本功能展示，无法作为实际场景的解决方案
关于百度AI开放平台
[*]为了正常使用百度AI开放平台的服务，您需要完成一些注册和申请操作，详情请参考《最简单的人脸检测（免费调用百度AI开放平台接口）》
[*]现在，如果您完成了百度AI开放平台的注册和申请，那么，现在手里应该有可用的access_token，那么现在可以开始编码了
编码：添加依赖库
[*]本文继续使用《JavaCV的摄像头实战之一：基础》创建的simple-grab-push工程
[*]首先是在pom.xml中增加okhttp和jackson依赖，分别用于网络请求和JSON解析：
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp</artifactId>
<version>3.10.0</version>
</dependency>
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>2.11.0</version>
</dependency>编码：封装请求和响应百度AI开放平台的代码
[*]接下来要开发一个服务类，这个服务类封装了所有和百度AI开放平台相关的代码
[*]首先，定义web请求的request对象FaceDetectRequest.java：
package com.bolingcavalry.grabpush.bean.request;
import com.fasterxml.jackson.annotation.JsonProperty;
import lombok.Data;
/**
* @author willzhao
* @version 1.0
* @description 请求对象
* @date 2022/1/1 16:21
*/
@Data
public class FaceDetectRequest {
// 图片信息(总数据大小应小于10M)，图片上传方式根据image_type来判断
String image;
// 图片类型
// BASE64:图片的base64值，base64编码后的图片数据，编码后的图片大小不超过2M；
// URL:图片的 URL地址( 可能由于网络等原因导致下载图片时间过长)；
// FACE_TOKEN: 人脸图片的唯一标识，调用人脸检测接口时，会为每个人脸图片赋予一个唯一的FACE_TOKEN，同一张图片多次检测得到的FACE_TOKEN是同一个。
@JsonProperty("image_type")
String imageType;
// 包括age,expression,face_shape,gender,glasses,landmark,landmark150,quality,eye_status,emotion,face_type,mask,spoofing信息
//逗号分隔. 默认只返回face_token、人脸框、概率和旋转角度
@JsonProperty("face_field")
String faceField;
// 最多处理人脸的数目，默认值为1，根据人脸检测排序类型检测图片中排序第一的人脸（默认为人脸面积最大的人脸），最大值120
@JsonProperty("max_face_num")
int maxFaceNum;
// 人脸的类型
// LIVE表示生活照：通常为手机、相机拍摄的人像图片、或从网络获取的人像图片等
// IDCARD表示身份证芯片照：二代身份证内置芯片中的人像照片
// WATERMARK表示带水印证件照：一般为带水印的小图，如公安网小图
// CERT表示证件照片：如拍摄的身份证、工卡、护照、学生证等证件图片
// 默认LIVE
@JsonProperty("face_type")
String faceType;
// 活体控制 检测结果中不符合要求的人脸会被过滤
// NONE: 不进行控制
// LOW:较低的活体要求(高通过率 低攻击拒绝率)
// NORMAL: 一般的活体要求(平衡的攻击拒绝率, 通过率)
// HIGH: 较高的活体要求(高攻击拒绝率 低通过率)
// 默认NONE
@JsonProperty("liveness_control")
String livenessControl;
// 人脸检测排序类型
// 0:代表检测出的人脸按照人脸面积从大到小排列
// 1:代表检测出的人脸按照距离图片中心从近到远排列
// 默认为0
@JsonProperty("face_sort_type")
int faceSortType;
}
[*]其次，定义web响应对象FaceDetectResponse.java：
package com.bolingcavalry.grabpush.bean.response;
import com.fasterxml.jackson.annotation.JsonProperty;
import lombok.Data;
import lombok.ToString;
import java.io.Serializable;
import java.util.List;
@Data
@ToString
public class FaceDetectResponse implements Serializable {
// 返回码
@JsonProperty("error_code")
String errorCode;
// 描述信息
@JsonProperty("error_msg")
String errorMsg;
// 返回的具体内容
Result result;
@Data
public static class Result {
// 人脸数量
@JsonProperty("face_num")
private int faceNum;
// 每个人脸的信息
@JsonProperty("face_list")
List<Face> faceList;
/**
* @author willzhao
* @version 1.0
* @description 检测出来的人脸对象
* @date 2022/1/1 16:03
*/
@Data
public static class Face {
// 位置
Location location;
// 是人脸的置信度
@JsonProperty("face_probability")
double face_probability;
// 口罩
Mask mask;
/**
* @author willzhao
* @version 1.0
* @description 人脸在图片中的位置
* @date 2022/1/1 16:04
*/
@Data
public static class Location {
double left;
double top;
double width;
double height;
double rotation;
}
/**
* @author willzhao
* @version 1.0
* @description 口罩对象
* @date 2022/1/1 16:11
*/
@Data
public static class Mask {
int type;
double probability;
}
}
}
}
[*]然后是服务类BaiduCloudService.java，把请求和响应百度AI开放平台的逻辑全部集中在这里，可见其实很简单：根据图片的base64字符串构造请求对象、发POST请求（path是人脸检测服务）、收到响应后用Jackson反序列化成FaceDetectResponse对象：
package com.bolingcavalry.grabpush.extend;
import com.bolingcavalry.grabpush.bean.request.FaceDetectRequest;
import com.bolingcavalry.grabpush.bean.response.FaceDetectResponse;
import com.fasterxml.jackson.databind.DeserializationFeature;
import com.fasterxml.jackson.databind.ObjectMapper;
import okhttp3.*;
import java.io.IOException;
/**
* @author willzhao
* @version 1.0
* @description 百度云服务的调用
* @date 2022/1/1 11:06
*/
public class BaiduCloudService {
OkHttpClient client = new OkHttpClient();
static final MediaType JSON = MediaType.parse("application/json; charset=utf-8");
static final String URL_TEMPLATE = "https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%s";
String token;
ObjectMapper mapper = new ObjectMapper();
public BaiduCloudService(String token) {
this.token = token;
// 重要：反序列化的时候，字符的字段如果比类的字段多，下面这个设置可以确保反序列化成功
mapper.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES);
}
/**
* 检测指定的图片
* @param imageBase64
* @return
*/
public FaceDetectResponse detect(String imageBase64) {
// 请求对象
FaceDetectRequest faceDetectRequest = new FaceDetectRequest();
faceDetectRequest.setImageType("BASE64");
faceDetectRequest.setFaceField("mask");
faceDetectRequest.setMaxFaceNum(6);
faceDetectRequest.setFaceType("LIVE");
faceDetectRequest.setLivenessControl("NONE");
faceDetectRequest.setFaceSortType(0);
faceDetectRequest.setImage(imageBase64);
FaceDetectResponse faceDetectResponse = null;
try {
// 用Jackson将请求对象序列化成字符串
String jsonContent = mapper.writeValueAsString(faceDetectRequest);
//
RequestBody requestBody = RequestBody.create(JSON, jsonContent);
Request request = new Request
.Builder()
.url(String.format(URL_TEMPLATE, token))
.post(requestBody)
.build();
Response response = client.newCall(request).execute();
String rawRlt = response.body().string();
faceDetectResponse = mapper.readValue(rawRlt, FaceDetectResponse.class);
} catch (IOException ioException) {
ioException.printStackTrace();
}
return faceDetectResponse;
}
}
[*]服务类写完了，接下来是主程序把整个逻辑串起来
DetectService接口的实现
[*]熟悉《JavaCV的摄像头实战》系列的读者应该对DetectService接口不陌生了，为了在整个系列的诸多实战中以统一的风格实现抓取帧-->处理帧-->输出处理结果这样的流程，咱们定义了一个DetectService接口，每种不同帧处理业务按照自己的特点来实现此接口即可（例如人脸检测、年龄检测、性别检测等）
[*]先来回顾DetectService接口：
package com.bolingcavalry.grabpush.extend;import org.bytedeco.javacv.Frame;import org.bytedeco.javacv.OpenCVFrameConverter;import org.bytedeco.opencv.opencv_core.*;import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;import static org.bytedeco.opencv.global.opencv_imgproc.*;/** * @author willzhao * @version 1.0 * @description 检测工具的通用接口 * @date 2021/12/5 10:57 */public interface DetectService { /** * 根据传入的MAT构造相同尺寸的MAT，存放灰度图片用于以后的检测 * @param src 原始图片的MAT对象 * @return 相同尺寸的灰度图片的MAT对象 */ static Mat buildGrayImage(Mat src) { return new Mat(src.rows(), src.cols(), CV_8UC1); } /** * 检测图片，将检测结果用矩形标注在原始图片上 * @param classifier 分类器 * @param converter Frame和mat的转换器 * @param rawFrame 原始视频帧 * @param grabbedImage 原始视频帧对应的mat * @param grayImage 存放灰度图片的mat * @return 标注了识别结果的视频帧 */ static Frame detect(CascadeClassifier classifier, OpenCVFrameConverter.ToMat converter, Frame rawFrame, Mat grabbedImage, Mat grayImage) { // 当前图片转为灰度图片 cvtColor(grabbedImage, grayImage, CV_BGR2GRAY); // 存放检测结果的容器 RectVector objects = new RectVector(); // 开始检测 classifier.detectMultiScale(grayImage, objects); // 检测结果总数 long total = objects.size(); // 如果没有检测到结果，就用原始帧返回 if (total
页:
[1]