疲勞檢測在安全駕駛方面是一個很熱門的話題，本質上是一個機器視覺的任務。本文章將講解疲勞檢測的實現過程，并使用python，opencv、dlib庫來實現疲勞檢測。

首先疲勞檢測的原理其實是通過檢測眼部的眨眼動作來判斷一個人的疲勞狀態，正常在駕駛的時候眼睛是不會發生多次數的閉眼的，當人處于疲勞，犯困的時候，眼睛會不自覺的閉上。我們可以通過抓住這一點，利用攝像頭來抓取畫面，來判斷一個人是否是疲勞狀態。

要判斷眼睛的狀態，首相我們需要定位找到眼睛的位置。Dlib模塊提供了人臉關鍵點檢測器，可以幫助我們找到人臉的68個關鍵點的位置，包括眼睛。

在關鍵點定位的官方文檔中，提取68個關鍵點來表示臉上的部位。其中：

第1個點到第17個點：臉頰；

第18個點到第22個點：右邊眉毛；

第23個點到第27個點：左邊眉毛；

第28個點到第36個點：鼻子；

第37個點到第42個點：右眼；

第43個點到第48個點：左眼；

第49個點到第68個點：嘴巴。

如下圖所示：

因此我們需要用到dlib模塊，同時還需要機器視覺庫opencv和距離計算模塊scipy.spatial（后面會講述到如何應用）

1、首先導入相關的模塊：

from scipy.spatial import distance as dist

import numpy as np

import dlib

import CV2

2、對臉上的部位進行定義，把檢測到的關鍵點按照順序定義好，方便后邊當作數據的索引調用

FACIAL_LANDMARKS_68_IDXS = dict([

("mouth", (48, 68)),

("right_eyebrow", (17, 22)),

("left_eyebrow", (22, 27)),

("right_eye", (36, 42)),

("left_eye", (42, 48)),

("nose", (27, 36)),

("jaw", (0, 17))

])

3、定義EAR（eye aspect ratio）計算函數，dlib模塊只是幫助我們定位眼睛關鍵店的位置，后續的計算工作：例如何如判斷眼睛閉眼需要我們通過算法去實現。在論文：Real-Time Eye Blink Detection using Facial Landmarks中，EAR的概念被提出。

在包含著人眼的圖片中畫出六個點，如圖所示：

當人眨眼時，這六個點的距離會發生變化，則可以用這六個點的一些距離關系來判斷是否有眨眼行為。

定義EAR函數：

我們可以結合論文公式和我們檢測到的位置數據，定義出計算眼睛的ear值：

def eye_aspect_ratio(eye):

# 計算距離，豎直的

A = dist.euclidean(eye[1], eye[5])

B = dist.euclidean(eye[2], eye[4])

# 計算距離，水平的

C = dist.euclidean(eye[0], eye[3])

# ear值

ear = (A + B) / (2.0 * C)

return ear

4、設置判斷參數

如果EAR小于0.3，則判斷為閉眼，如果視頻中有連續三幀以上都有閉眼，則判斷為眨眼行為。

# 設置判斷參數

EYE_AR_THRESH = 0.3 # ear小于0.3判斷為閉眼

EYE_AR_CONSEC_FRAMES = 3 # 連續三幀ear都小于0.3判斷為眨眼

# 初始化計數器

COUNTER = 0

TOTAL = 0

5、加載dlib庫中的人臉檢測與關鍵點定位。進行關鍵點定位之前要先進行人臉定位，這里也是用dlib包進行檢測，在使用關鍵點檢測器對檢測到的人臉進行關鍵點檢測。

detector = dlib.get_frontal_face_detector() #人臉檢測

predictor=dlib.shape_predictor('shape_predictor_68_face_landmarks.dat') #關鍵點檢測

6、分別提取兩個眼睛區域

(lStart,lEnd)= FACIAL_LANDMARKS_68_IDXS["left_eye"]

(rStart,rEnd)=FACIAL_LANDMARKS_68_IDXS["right_eye"]

8、讀取視頻

vs = CV2.VideoCapture(0)

9、對每一幀圖片進行操作，實現功能

· 讀取一幀圖片并做預處理操作；

· 檢測人臉；

· 獲取人臉上的關鍵點坐標；

· 繪制眼睛區域；

· 計算左右兩眼的EAR值，取平均值得到總的EAR值；

· 檢查EAR值是否滿足閾值，如果滿足，眨眼次數加一；

· 將總的眨眼次數寫在視頻中。

# 遍歷每一幀

while True:

# 預處理

frame = vs.read()[1]

if frame is None:

break

#按比例縮放圖像尺寸，這個步驟對檢測效果有影響，越大越慢。

(h, w) = frame.shape[:2]

width=1200

r = width / float(w)

dim = (width, int(h * r))

frame=CV2.resize(frame,dim,interpolation=CV2.INTER_AREA)

gray = CV2.cvtColor(frame, CV2.COLOR_BGR2GRAY)

# 檢測人臉 返回的檢測到的人臉位置

rects = detector(gray, 0)

# 接著我們遍歷每一個檢測到的人臉 ，分別對每一張臉做關鍵點檢測，ears值計算。

for rect in rects:

# 獲取坐標

shape = predictor(gray, rect)

shape = shape_to_np(shape)

# 分別計算ear值

leftEye = shape[lStart:lEnd]

rightEye = shape[rStart:rEnd]

leftEAR = eye_aspect_ratio(leftEye)

rightEAR = eye_aspect_ratio(rightEye)

# 算一個平均的

ear = (leftEAR + rightEAR) / 2.0

# 繪制眼睛區域

leftEyeHull = CV2.convexHull(leftEye)

rightEyeHull = CV2.convexHull(rightEye)

CV2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)

CV2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

# 檢查是否滿足閾值

if ear < EYE_AR_THRESH:

COUNTER += 1

else:

# 如果連續幾幀都是閉眼的，總數算一次

if COUNTER >= EYE_AR_CONSEC_FRAMES:

TOTAL += 1

# 重置

COUNTER = 0

# 顯示 把眨眼的次數顯示在屏幕上

CV2.putText(frame,"Blinks: {}".format(TOTAL), (10, 30),

CV2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

CV2.putText(frame,"EAR:{:.2f}".format(ear),(300,30),CV2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

#展示圖像

CV2.imshow("Frame", frame)

key = CV2.waitKey(10) & 0xFF

if key == 27:

break

vs.release()

CV2.destroyAllWindows()