计算机视觉之dlib人脸关键点绘制及微笑测试

dlib人脸关键点绘制及微笑测试


  
1 dlib人脸关键点

---

1.1 dlib

dlib 是一个强盛的呆板学习库，广泛用于人脸检测和人脸关键点检测。它提供了一个预训练的 68 点人脸关键点检测模型，可以正确地定位人脸的各个部位（如眼睛、鼻子、嘴巴等）
1.2 人脸关键点检测

dlib 的 68 点人脸关键点检测模型基于 HOG（Histogram of Oriented Gradients）特性和线性分类器，联合了形状预测算法。它可以检测人脸的以下区域：
下巴（0-16）
右眉毛（17-21）
左眉毛（22-26）
鼻子（27-35）
右眼（36-41）
左眼（42-47）
嘴巴（48-67）

1.3 检测模型

dlib 提供了一个预训练的 68 点人脸关键点检测模型，可以从以下链接下载：
https://github.com/davisking/dlib-models/blob/master/shape_predictor_68_face_landmarks.dat.bz2/
1.4 凸包

凸包（Convex Hull） 是计算多少中的一个重要概念，指的是在二维或更高维空间中，包含一组点的最小凸多边形或凸多面体。凸包在图像处置惩罚、计算机视觉、模式辨认等领域有广泛应用，例如在人脸关键点检测中，可以用凸包来界说人脸区域的边界。
1.5 笑容检测

界说了两个函数，MAR：衡量嘴巴的伸开水平，
和MJR：衡量嘴巴宽度与下巴宽度的比例，
人脸关键点如上，当微笑时嘴巴长款和面颊长度都会发生改变，通过两个函数举行比较检测，举行判定是否微笑

1. def MAR(shape):
2.     x = shape[50]
3.     y = shape[50].reshape(1,2)
4.     A = euclidean_distances(shape[50].reshape(1,2),shape[58].reshape(1,2))
5.     B = euclidean_distances(shape[51].reshape(1,2),shape[57].reshape(1,2))
6.     C = euclidean_distances(shape[52].reshape(1,2),shape[56].reshape(1,2))
7.     D = euclidean_distances(shape[48].reshape(1,2),shape[54].reshape(1,2))
9.     return ((A+B+C)/3)/D
11. def MJR(shape):
12.     M = euclidean_distances(shape[48].reshape(1,2),shape[54].reshape(1,2))
13.     J = euclidean_distances(shape[3].reshape(1,2),shape[13].reshape(1,2))
14.     return M/J

复制代码

1.6 函数

• detector = dlib.get_frontal_face_detector() ，加载人脸检测器
  
• predictor = dlib.shape_predictor(‘shape_predictor_68_face_landmarks.dat’) 关键点预测器
  
• detector(gray, 1) ，检测人脸
  
  
  
  • gray检测的灰度图
    
  • 1 表示对图像举行上采样次数
    
  
  

2 人脸检测代码

---

2.1 关键点绘制

代码展示：

1. import cv2
2. import numpy as np
3. import dlib
5. img = cv2.imread('lyf.png')
6. detector = dlib.get_frontal_face_detector()
7. faces = detector(img,0)
8. predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
9. for face in faces:
10.     shape = predictor(img,face)
11.     landmarks = np.array([[p.x,p.y] for p in shape.parts()])
12.     for idx,point in enumerate(landmarks):
13.         pos = [point[0],point[1]]
14.         cv2.circle(img,pos,2,color=(0,255,0),thickness=-1)
15.         cv2.putText(img,str(idx),pos,cv2.FONT_HERSHEY_SCRIPT_SIMPLEX,0.4,(255,255,255),1,cv2.LINE_AA)
16. cv2.imshow('img',img)
17. cv2.waitKey(0)
18. cv2.destroyAllWindows()

复制代码

运行结果：

2.2 关键点连线

代码展示：

1. import cv2
2. import numpy as np
3. import dlib
5. def drawLine(start,end):
6.     pts = shape[start:end]
7.     for l in  range(1,len(pts)):
8.         pta = tuple(pts[l-1])
9.         ptb = tuple(pts[l])
10.         cv2.line(img,pta,ptb,(0,255,0),1)
12. def drawConvexHull(start,end):
13.     facial = shape[start:end+1]
14.     mouthHull = cv2.convexHull(facial)
15.     cv2.drawContours(img,[mouthHull],-1,(0,255,0),1)
17. img = cv2.imread('lyf.png')
18. detector = dlib.get_frontal_face_detector()
19. faces = detector(img,0)
20. predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')
21. for face in faces:
22.     shape = predictor(img,face)
23.     shape = np.array([[p.x,p.y] for p in shape.parts()])
24.     drawConvexHull(36,41)
25.     drawConvexHull(42,47)
26.     drawConvexHull(48, 59)
27.     drawConvexHull(60, 67)
29.     drawLine(0,17)
30.     drawLine(17, 22)
31.     drawLine(22, 27)
32.     drawLine(27, 36)
34. cv2.imshow('img',img)
35. cv2.waitKey(0)
36. cv2.destroyAllWindows()

复制代码

运行结果：

2.3 微笑检测

代码展示：

1. import cv2import numpy as npimport dlibdetector = dlib.get_frontal_face_detector()predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')v = cv2.VideoCapture('jjy_dyx.mp4')from sklearn.metrics.pairwise import euclidean_distancesfrom PIL import Image, ImageDraw, ImageFontdef cv2AddChineseText(img, text, position, textColor=(255, 255, 255), textSize=30):    """ 向图片中添加中文 """    if (isinstance(img, np.ndarray)):  # 判定是否OpenCV图片类型        img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))#实现array到image的转换    draw = ImageDraw.Draw(img)# 在img图片上创建一个画图的对象    # 字体的格式    fontStyle = ImageFont.truetype("simsun.ttc", textSize, encoding="utf-8")    draw.text(position, text, textColor, font=fontStyle) # 绘制文本    return cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)# 转换回OpenCV格式def MAR(shape):
2.     x = shape[50]
3.     y = shape[50].reshape(1,2)
4.     A = euclidean_distances(shape[50].reshape(1,2),shape[58].reshape(1,2))
5.     B = euclidean_distances(shape[51].reshape(1,2),shape[57].reshape(1,2))
6.     C = euclidean_distances(shape[52].reshape(1,2),shape[56].reshape(1,2))
7.     D = euclidean_distances(shape[48].reshape(1,2),shape[54].reshape(1,2))
9.     return ((A+B+C)/3)/D
11. def MJR(shape):
12.     M = euclidean_distances(shape[48].reshape(1,2),shape[54].reshape(1,2))
13.     J = euclidean_distances(shape[3].reshape(1,2),shape[13].reshape(1,2))
14.     return M/J
15. while True:    r,img = v.read()    if not r:        break    faces = detector(img,0)    for face in faces:        shape = predictor(img,face)        shape= np.array([[p.x,p.y] for p in shape.parts()])        mar = MAR(shape)        mjr =MJR(shape)        result = '正常'        print('mar:',mar,'mjr:',mjr)        if mar>0.5:            result = '大笑'        elif mjr>0.4:            result = '微笑'        mouthHull = cv2.convexHull(shape[48:61])        img = cv2AddChineseText(img,result,mouthHull[0,0],1)        cv2.drawContours(img,[mouthHull],-1,(0,255,0),1)    cv2.imshow('img', img)    key = cv2.waitKey(1)    if key == 32:        breakv.release()cv2.waitKey(0)cv2.destroyAllWindows()

复制代码

运行结果：

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。