JavaCV的摄像头实战之十二：性别检测

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

• 本文是《JavaCV的摄像头实战》系列的第十二篇，咱们来开发一个实用功能：识别性别并显示在预览页面，如下图：
  
  
• 今天的代码，主要功能如下图所示：
  
  
• 如果您看过《JavaCV的摄像头实战》系列的其他文章，就会发现上图中只有蓝色部分是新增内容，其余的步骤都是固定套路，《JavaCV的摄像头实战》系列的每一个应用玩的都是相同套路：别看步骤挺多，其实都是同一个流程
  

关于性别和年龄检测

• 使用卷积神经网络推理性别和年龄的更多技术细节，这里有更详细的说明：
  https://talhassner.github.io/home/publication/2015_CVPR
  
• 本篇会使用已训练好的Caffe 模型，训练该模型的数据来自Flickr相册，通过从 iPhone5（或更高版本）智能手机设备自动上传组装而成，并由其作者根据知识共享 (CC) 许可向公众发布，共有26580张照片，涉及2284人，这些人的年龄一共被标识成八组：（0-2、4-6、8-13、15-20、25-32、38-43、48-53、60 -)
  
• 关于数据源的更多详细，请参考：https://talhassner.github.io/home/projects/Adience/Adience-data.html
  
• 论文地址：https://talhassner.github.io/home/projects/cnn_agegender/CVPR2015_CNN_AgeGenderEstimation.pdf
  

源码下载

• 《JavaCV人脸识别三部曲》的完整源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：
  

名称链接备注项目主页https://github.com/zq2599/blog_demos该项目在GitHub上的主页git仓库地址(https)https://github.com/zq2599/blog_demos.git该项目源码的仓库地址，https协议git仓库地址(ssh)git@github.com:zq2599/blog_demos.git该项目源码的仓库地址，ssh协议

• 这个git项目中有多个文件夹，本篇的源码在javacv-tutorials文件夹下，如下图红框所示：
  
  
• javacv-tutorials里面有多个子工程，《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下：
  
  

准备：文件下载

• 本次实战需要三个文件：
  

• 人脸检测的模型文件：https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml
  
• 性别识别的配置文件：https://raw.githubusercontent.com/GilLevi/AgeGenderDeepLearning/master/gender_net_definitions/deploy.prototxt
  
• 性别识别的模型文件：https://raw.githubusercontent.com/GilLevi/AgeGenderDeepLearning/master/models/gender_net.caffemodel
  

• 我已将上述文件打包上传到CSDN，您也可以在CSDN下载（无需积分）：
  https://download.csdn.net/download/boling_cavalry/70730586
  

准备：代码接口简介

• 编码前，先把涉及到的所有java文件说明一下：
  

• AbstractCameraApplication.java：主程序的抽象类，这里面定义了打开摄像头、抓取每一帧、处理每一帧的基本框架，避免每个应用都把这些事情重复做一遍
  
• PreviewCameraWithGenderAge.java：主程序，是AbstractCameraApplication的实现类，本次实战的核心功能人脸检测和性别检测，都委托给它的成员变量detectService去完成
  
• DetectService.java：检测服务的接口，里面定义了几个重要的api，例如初始化、处理每一帧、释放资源等
  
• GenderDetectService.java：是DetectService接口的实现类，本次实战的核心功能都写在这个类中
  

• 介绍完毕，可以开始编码了，先从最简单的主程序开始
  

编码：主程序

• 《JavaCV的摄像头实战之一：基础》创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可
  
• 编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：
  
  
• 新建文件PreviewCameraWithGenderAge.java，这是AbstractCameraApplication的子类，其代码很简单，接下来按上图顺序依次说明
  
• 先定义CanvasFrame类型的成员变量previewCanvas，这是展示视频帧的本地窗口：
  

1. protected CanvasFrame previewCanvas

复制代码

• 把前面创建的DetectService作为成员变量，后面检测的时候会用到：
  

1.     /**
2.      * 检测工具接口
3.      */
4.     private DetectService detectService;

复制代码

• PreviewCameraWithGenderAge的构造方法，接受DetectService的实例：
  

1.     /**
2.      * 不同的检测工具，可以通过构造方法传入
3.      * @param detectService
4.      */
5.     public PreviewCameraWithGenderAge(DetectService detectService) {
6.         this.detectService = detectService;
7.     }

复制代码

• 然后是初始化操作，可见是previewCanvas的实例化和参数设置，还有检测、识别的初始化操作：
  

1.     @Override
2.     protected void initOutput() throws Exception {
3.         previewCanvas = new CanvasFrame("摄像头预览", CanvasFrame.getDefaultGamma() / grabber.getGamma());
4.         previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);
5.         previewCanvas.setAlwaysOnTop(true);
7.         // 检测服务的初始化操作
8.         detectService.init();
9.     }

复制代码

• 接下来是output方法，定义了拿到每一帧视频数据后做什么事情，这里调用了detectService.convert检测人脸并识别性别，然后在本地窗口显示：
  

1.     @Override
2.     protected void output(Frame frame) {
3.         // 原始帧先交给检测服务处理，这个处理包括物体检测，再将检测结果标注在原始图片上，
4.         // 然后转换为帧返回
5.         Frame detectedFrame = detectService.convert(frame);
6.         // 预览窗口上显示的帧是标注了检测结果的帧
7.         previewCanvas.showImage(detectedFrame);
8.     }

复制代码

• 最后是处理视频的循环结束后，程序退出前要做的事情，先关闭本地窗口，再释放检测服务的资源：
  

1.     @Override
2.     protected void releaseOutputResource() {
3.         if (null!= previewCanvas) {
4.             previewCanvas.dispose();
5.         }
7.         // 检测工具也要释放资源
8.         detectService.releaseOutputResource();
9.     }

复制代码

• 由于检测有些耗时，所以两帧之间的间隔时间要低于普通预览：
  

1.     @Override
2.     protected int getInterval() {
3.         return super.getInterval()/8;
4.     }

复制代码

• 至此，功能已开发完成，再写上main方法，代码如下，请注意AgeDetectService构造方法的三个入参，分别是前面下载的三个文件在本机的位置：
  

1.     public static void main(String[] args) {
2.         String base = "E:\\temp\\202112\\25\\opencv\";
3.   
4.         DetectService detectService = new GenderDetectService(
5.                 base + "haarcascade_frontalface_alt.xml",
6.                 base + "gender\\deploy.prototxt",
7.                 base + "gender\\gender_net.caffemodel");
8.                
9.         new PreviewCameraWithGenderAge(detectService).action(1000);
10.     }

复制代码

• 主程序已经写完，接下来是核心功能
  

编码：服务接口回顾

• 本篇的核心功能是检测性别，相关代码被封装在DetectService接口的实现类GenderDetectService中，这个DetectService接口是咱们的老朋友了，之前识别相关的实战都有它的身影，再来回顾一下，如下，定义了初始化、处理原始帧、释放资源等关键行为的接口：
  

1. package com.bolingcavalry.grabpush.extend;
3. public interface DetectService {
4.     /**
5.      * 根据传入的MAT构造相同尺寸的MAT，存放灰度图片用于以后的检测
6.      * @param src 原始图片的MAT对象
7.      * @return 相同尺寸的灰度图片的MAT对象
8.      */
9.     static Mat buildGrayImage(Mat src) {
10.         return new Mat(src.rows(), src.cols(), CV_8UC1);
11.     }
12.    
13.     /**
14.      * 初始化操作，例如模型下载
15.      * @throws Exception
16.      */
17.     void init() throws Exception;
19.     /**
20.      * 得到原始帧，做识别，添加框选
21.      * @param frame
22.      * @return
23.      */
24.     Frame convert(Frame frame);
26.     /**
27.      * 释放资源
28.      */
29.     void releaseOutputResource();
30. }

复制代码

• 接下来，就是DetectService接口的实现类，也就是今天实战的核心：GenderDetectService.java
  

编码：检测服务实现

• 今天的核心功能都集中在GenderDetectService.java中，直接贴出全部源码吧，有几处要注意的地方稍后会提到：
  

1. package com.bolingcavalry.grabpush.extend;
3. import com.bolingcavalry.grabpush.Constants;
4. import lombok.extern.slf4j.Slf4j;
5. import org.bytedeco.javacpp.indexer.Indexer;
6. import org.bytedeco.javacv.Frame;
7. import org.bytedeco.javacv.OpenCVFrameConverter;
8. import org.bytedeco.opencv.opencv_core.*;
9. import org.bytedeco.opencv.opencv_dnn.Net;
10. import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
12. import static org.bytedeco.opencv.global.opencv_core.NORM_MINMAX;
13. import static org.bytedeco.opencv.global.opencv_core.normalize;
14. import static org.bytedeco.opencv.global.opencv_dnn.blobFromImage;
15. import static org.bytedeco.opencv.global.opencv_dnn.readNetFromCaffe;
16. import static org.bytedeco.opencv.global.opencv_imgproc.*;
18. /**
19. * @author willzhao
20. * @version 1.0
21. * @description 音频相关的服务
22. * @date 2021/12/3 8:09
23. */
24. @Slf4j
25. public class GenderDetectService implements DetectService {
27.     /**
28.      * 每一帧原始图片的对象
29.      */
30.     private Mat grabbedImage = null;
32.     /**
33.      * 原始图片对应的灰度图片对象
34.      */
35.     private Mat grayImage = null;
37.     /**
38.      * 分类器
39.      */
40.     private CascadeClassifier classifier;
42.     /**
43.      * 转换器
44.      */
45.     private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();
47.     /**
48.      * 人脸检测模型文件的下载地址
49.      */
50.     private String classifierModelFilePath;
52.     /**
53.      * 性别识别proto文件的下载地址
54.      */
55.     private String genderProtoFilePath;
57.     /**
58.      * 性别识别模型文件的下载地址
59.      */
60.     private String genderModelFilePath;
62.     /**
63.      * 推理性别的神经网络对象
64.      */
65.     private Net cnnNet;
67.     /**
68.      * 构造方法，在此指定proto和模型文件的下载地址
69.      * @param classifierModelFilePath
70.      * @param cnnProtoFilePath
71.      * @param cnnModelFilePath
72.      */
73.     public GenderDetectService(String classifierModelFilePath,
74.                                String cnnProtoFilePath,
75.                                String cnnModelFilePath) {
76.         this.classifierModelFilePath = classifierModelFilePath;
77.         this.genderProtoFilePath = cnnProtoFilePath;
78.         this.genderModelFilePath = cnnModelFilePath;
79.     }
81.     /**
82.      * 初始化操作，主要是创建推理用的神经网络
83.      * @throws Exception
84.      */
85.     @Override
86.     public void init() throws Exception {
87.         // 根据模型文件实例化分类器
88.         classifier = new CascadeClassifier(classifierModelFilePath);
89.         // 实例化推理性别的神经网络
90.         cnnNet = readNetFromCaffe(genderProtoFilePath, genderModelFilePath);
91.     }
93.     @Override
94.     public Frame convert(Frame frame) {
95.         // 由帧转为Mat
96.         grabbedImage = converter.convert(frame);
98.         // 灰度Mat，用于检测
99.         if (null==grayImage) {
100.             grayImage = DetectService.buildGrayImage(grabbedImage);
101.         }
103.         // 当前图片转为灰度图片
104.         cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);
106.         // 存放检测结果的容器
107.         RectVector objects = new RectVector();
109.         // 开始检测
110.         classifier.detectMultiScale(grayImage, objects);
112.         // 检测结果总数
113.         long total = objects.size();
115.         // 如果没有检测到结果，就用原始帧返回
116.         if (total<1) {
117.             return frame;
118.         }
120.         int pos_x;
121.         int pos_y;
123.         Mat faceMat;
125.         //推理时的入参
126.         Mat inputBlob;
128.         // 推理结果
129.         Mat prob;
131.         // 如果有检测结果，就根据结果的数据构造矩形框，画在原图上
132.         for (long i = 0; i < total; i++) {
133.             Rect r = objects.get(i);
135.             // 人脸对应的Mat实例（注意：要用彩图，不能用灰度图！！！）
136.             faceMat = new Mat(grabbedImage, r);
137.             // 缩放到神经网络所需的尺寸
138.             resize(faceMat, faceMat, new Size(Constants.CNN_PREIDICT_IMG_WIDTH, Constants.CNN_PREIDICT_IMG_HEIGHT));
139.             // 归一化
140.             normalize(faceMat, faceMat, 0, Math.pow(2, frame.imageDepth), NORM_MINMAX, -1, null);
141.             // 转为推理时所需的的blob类型
142.             inputBlob = blobFromImage(faceMat);
143.             // 为神经网络设置入参
144.             cnnNet.setInput(inputBlob, "data", 1.0, null);      //set the network input
145.             // 推理
146.             prob = cnnNet.forward("prob");
148.             // 根据推理结果得到在人脸上标注的内容
149.             String lable = getDescriptionFromPredictResult(prob);
151.             // 人脸标注的横坐标
152.             pos_x = Math.max(r.tl().x()-10, 0);
153.             // 人脸标注的纵坐标
154.             pos_y = Math.max(r.tl().y()-10, 0);
156.             // 给人脸做标注，标注性别
157.             putText(grabbedImage, lable, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, new Scalar(0,255,0,2.0));
159.             // 给人脸加边框时的边框位置
160.             int x = r.x(), y = r.y(), w = r.width(), h = r.height();
161.             // 给人脸加边框
162.             rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
163.         }
165.         // 释放检测结果资源
166.         objects.close();
168.         // 将标注过的图片转为帧，返回
169.         return converter.convert(grabbedImage);
170.     }
172.     /**
173.      * 程序结束前，释放人脸识别的资源
174.      */
175.     @Override
176.     public void releaseOutputResource() {
177.         if (null!=grabbedImage) {
178.             grabbedImage.release();
179.         }
181.         if (null!=grayImage) {
182.             grayImage.release();
183.         }
185.         if (null!=classifier) {
186.             classifier.close();
187.         }
189.         if (null!= cnnNet) {
190.             cnnNet.close();
191.         }
192.     }
194.     /**
195.      * 根据推理结果得到在头像上要标注的内容
196.      * @param prob
197.      * @return
198.      */
199.     protected String getDescriptionFromPredictResult(Mat prob) {
200.         Indexer indexer = prob.createIndexer();
202.         // 比较两种性别的概率，概率大的作为当前头像的性别
203.         return indexer.getDouble(0,0) > indexer.getDouble(0,1)
204.                ? "male"
205.                : "female";
206.     }
207. }

复制代码

• 上述代码，有以下几处需要注意的：
  

• 构造方法的三个入参：classifierModelFilePath、cnnProtoFilePath、cnnModelFilePath分别是人脸检测模型、性别检测配置、性别检测模型三个文件的本地存放地址
  
• 检测性别靠的是卷积神经网络的推理，初始化的时候通过readNetFromCaffe方法新建神经网络对象
  
• convert方法被调用时，会收到摄像头捕捉的每一帧，在这里面先检测出每个人脸，再拿每个人脸去神经网络进行推理
  
• 用神经网络的推理结果生成人脸的标注内容，这段逻辑被放入getDescriptionFromPredictResult，下一篇《年龄检测》的实战同样是使用神经网络推理头像的年龄，咱们只要写一个GenderDetectService，并重写getDescriptionFromPredictResult方法，里面的逻辑改成根据推理结果得到年龄，即可轻松完成任务，其他类都可以维持不变
  

• 至此，编码完成，接下来开始验证
  

验证

• 确保摄像头工作正常，运行PreviewCameraWithGenderAge类的main方法
  
• 请群众演员登场，让他站在摄像头前，如下图，性别识别成功，且实时展示：
  
  
• 至此，本地窗口预览集成人脸检测和性别检测的功能就完成了，得益于JavaCV的强大，整个过程是如此的轻松愉快，接下来请继续关注欣宸原创，《JavaCV的摄像头实战》系列还会呈现更多丰富的应用；
  
• 得益于本篇所做的扩展准备，下一篇《年龄检测》会更加简单，一起来期待下一段轻松愉快的旅程吧；
  

欢迎关注博客园：程序员欣宸

学习路上，你不孤单，欣宸原创一路相伴...

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！