JavaCV的摄像头实战之八：人脸检测

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

本篇概览

• 本文是《JavaCV的摄像头实战》的第八篇，前面的操作夯实了的帧和流处理的基本功，接下来开始实现一些常见的CV能力，就从本篇的人检测别开始吧
  
• OpenCV中常用的人脸检测是基于Haar特征的级联分类器，本篇借助JavaCV来使用该分类器实现人脸检测
  

简单的设计

• 编码之前先把要做的事情梳理一下：
  

• 检测功能可能用在多个场景：窗口预览、推流、存文件都可能用到，所以检测功能的代码最好独立出来，不要和预览、推流这些代码写在一起，如下图，检测的接口DetectService会作为每个应用的成员变量存在：
  
  
• 检测服务不仅是人脸检测，今后还有人体检测、物体检测等等，所以设计一个检测服务接口DetectService，人脸检测、人体检测、物体检测这些类都是这个接口的实现，如下图所示，对于预览、推流、存文件这个应用的代码，直接使用接口的API即可，具体检测的实现类可以在初始化的时候确定
  
  
• 聪明的您应该会觉得欣宸的水平过于原始：上面的设计不就是Spring的依赖注入吗？为啥不用呢？其实这个系列的重点是JavaCV，所以保持代码简单吧，不引入Spring框架了
  

• 总的来说，今天的要写的代码如下图所示，绿色块的AbstractCameraApplication类已在《JavaCV的摄像头实战之一：基础》一文中完成，其余三个全部在本篇编写，包括两个java类、一个接口：
  
  
• 分析得差不多了，开始编码，先写接口DetectService
  

检测服务接口DetectService

• 新增接口DetectService.java，里面有三个方法定义：
  

1.         /**
2.      * 初始化操作，例如模型下载
3.      * @throws Exception
4.      */
5.     void init() throws Exception;
7.     /**
8.      * 得到原始帧，做检测，添加框选
9.      * @param frame
10.      * @return
11.      */
12.     Frame convert(Frame frame);
14.     /**
15.      * 释放资源
16.      */
17.     void releaseOutputResource();

复制代码

• 另外还有两个静态方法，也放在DetectService.java中，第一个是buildGrayImage，该方法会根据入参Mat的尺寸新建一个Mat对象，新建的对象用于保存灰度图片，因为检测时用的是灰度图片而不是原图：
  

1.     /**
2.      * 根据传入的MAT构造相同尺寸的MAT，存放灰度图片用于以后的检测
3.      * @param src 原始图片的MAT对象
4.      * @return 相同尺寸的灰度图片的MAT对象
5.      */
6.     static Mat buildGrayImage(Mat src) {
7.         return new Mat(src.rows(), src.cols(), CV_8UC1);
8.     }

复制代码

• 第二个方法是第一个是detect，该方法非常重要：将原图转为灰度图片，再用指定的分类器检测，将检测结果在原图上标注出来，标注后的Mat转为Frame对象返回：
  

[code]    /**     * 检测图片，将检测结果用矩形标注在原始图片上     * @param classifier 分类器     * @param converter Frame和mat的转换器     * @param rawFrame 原始视频帧     * @param grabbedImage 原始视频帧对应的mat     * @param grayImage 存放灰度图片的mat     * @return 标注了检测结果的视频帧     */    static Frame detect(CascadeClassifier classifier,                        OpenCVFrameConverter.ToMat converter,                        Frame rawFrame,                        Mat grabbedImage,                        Mat grayImage) {        // 当前图片转为灰度图片        cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);        // 存放检测结果的容器        RectVector objects = new RectVector();        // 开始检测        classifier.detectMultiScale(grayImage, objects);        // 检测结果总数        long total = objects.size();        // 如果没有检测到结果，就用原始帧返回        if (total