《JavaCV人臉識別三部曲》鏈接《視頻中的人臉保存為圖片》《訓(xùn)練》《識別和預(yù)覽》本篇概覽這里分類和匯總了欣宸的全部原創(chuàng)(含配套源碼)：https://github.com/zq2599/blog_demos
作為《JavaCV人臉識別三部曲》的終篇，今天咱們要開發(fā)一個實用的功能：有人出現(xiàn)在攝像頭中時，應(yīng)用程序在預(yù)覽窗口標(biāo)注出此人的身份，效果如下圖所示：
簡單來說，本篇要做的事情如下：
(資料圖片僅供參考)
confidence和threshold是OpenCV的人臉識別中非常重要的兩個概念，咱們先把這兩個概念搞清楚，再去編碼就非常容易了
假設(shè)，咱們用下面六張照片訓(xùn)練出包含兩個類別的模型：
用一張新的照片去訓(xùn)練好的模型中做識別，如下圖，識別結(jié)果有兩部分內(nèi)容：label和confidence
先說lable，這個好理解，與訓(xùn)練時的lable一致（回顧上一篇的代碼，lable如下圖紅框所示），前面圖中l(wèi)able等于2，表示被判定為郭富城：
按照上面的說法，lable等于2就能確定照片中的人像是郭富城嗎？
當(dāng)然不能！！！此時confidence字段就非常重要了，先看JavaCV源碼中對confidence的解釋，如下圖紅框所示，我的理解是：與lable值相關(guān)聯(lián)的置信度，或者說這張臉是郭富城的可能性：
如果理解為可能性，那么問題來了，這是個double型的值，這個值越大，表示可能性越大還是越小？
上圖并沒有明說，但是那一句e.g. distance，讓我想起了機(jī)器學(xué)習(xí)中的K-means，此時我腦海中的畫面如下：-若真如上圖所示，那么顯然confidence越小，是郭富城的可能性就越大了，接下來再去找一些權(quán)威的說法：
OpenCV的官方論壇有個帖子的說法如下圖：代碼中的confidence變量屬于命名不當(dāng)，其含義不是可信度，而是與模型中的類別的距離：
再看第二個解釋，如下圖紅框，說得很清楚了，值越小，與模型中類別的相似度越高，0表示完全匹配：
再看一個Stack Overflow的解釋：
至此，相信您對confidence已經(jīng)足夠理解了，lable等于2，confidence=30.01，意思是：被識別照片與郭富城最相似，距離為30.01，距離越小，是郭富城的可能性越大
理解重點概念：threshold在聊threshold之前，咱們先看一個場景，還是劉德華郭富城的模型，這次咱們拿喜洋洋的照片給模型識別，識別結(jié)果如下：顯然，模型不會告訴你照片里是誰，只會告訴你：和郭富城的距離是3000.01看到這里，聰明的您可能會這么想：那我就寫一段代碼吧，識別結(jié)果的confidence如果太大（例如超過100），就判定用于識別的人不屬于訓(xùn)練模型的任何一個類別上述功能，OpenCV已經(jīng)幫咱們想到了，那就是：threshold，翻譯過來即門限，如果咱們設(shè)置了threshold等于100，那么，一旦距離超過100，OpenCV的lable返回值就是-1理解了confidence和threshold，接下來可以寫人臉識別的代碼了，感謝咱們的充分準(zhǔn)備，接下來是絲般順滑的編碼過程...源碼下載《JavaCV人臉識別三部曲》的完整源碼可在GitHub下載到，地址和鏈接信息如下表所示(https://github.com/zq2599/blog_demos)：| 名稱 | 鏈接 | 備注 |
|---|---|---|
| 項目主頁 | https://github.com/zq2599/blog_demos | 該項目在GitHub上的主頁 |
| git倉庫地址(https) | https://github.com/zq2599/blog_demos.git | 該項目源碼的倉庫地址，https協(xié)議 |
| git倉庫地址(ssh) | git@github.com:zq2599/blog_demos.git | 該項目源碼的倉庫地址，ssh協(xié)議 |
package com.bolingcavalry.grabpush.extend;import lombok.Data;@Datapublic class PredictRlt { private int lable; private double confidence;}package com.bolingcavalry.grabpush.extend;import com.bolingcavalry.grabpush.Constants;import org.bytedeco.opencv.global.opencv_imgcodecs;import org.bytedeco.opencv.opencv_core.Mat;import org.bytedeco.opencv.opencv_core.Size;import org.bytedeco.opencv.opencv_face.FaceRecognizer;import org.bytedeco.opencv.opencv_face.FisherFaceRecognizer;import static org.bytedeco.opencv.global.opencv_imgcodecs.IMREAD_GRAYSCALE;import static org.bytedeco.opencv.global.opencv_imgproc.resize;/** * @author willzhao * @version 1.0 * @description 把人臉識別的服務(wù)集中在這里 * @date 2021/12/12 21:32 */public class RecognizeService { private FaceRecognizer faceRecognizer; // 推理結(jié)果的標(biāo)簽 private int[] plabel; // 推理結(jié)果的置信度 private double[] pconfidence; // 推理結(jié)果 private PredictRlt predictRlt; // 用于推理的圖片尺寸，要和訓(xùn)練時的尺寸保持一致 private Size size= new Size(Constants.RESIZE_WIDTH, Constants.RESIZE_HEIGHT); public RecognizeService(String modelPath) { plabel = new int[1]; pconfidence = new double[1]; predictRlt = new PredictRlt(); // 識別類的實例化，與訓(xùn)練時相同 faceRecognizer = FisherFaceRecognizer.create(); // 加載的是訓(xùn)練時生成的模型 faceRecognizer.read(modelPath); // 設(shè)置門限，這個可以根據(jù)您自身的情況不斷調(diào)整 faceRecognizer.setThreshold(Constants.MAX_CONFIDENCE); } /** * 將Mat實例給模型去推理 * @param mat * @return */ public PredictRlt predict(Mat mat) { // 調(diào)整到和訓(xùn)練一致的尺寸 resize(mat, mat, size); boolean isFinish = false; try { // 推理(這一行可能拋出RuntimeException異常，因此要補(bǔ)貨，否則會導(dǎo)致程序退出) faceRecognizer.predict(mat, plabel, pconfidence); isFinish = true; } catch (RuntimeException runtimeException) { runtimeException.printStackTrace(); } // 如果發(fā)生過異常，就提前返回 if (!isFinish) { return null; } // 將推理結(jié)果寫入返回對象中 predictRlt.setLable(plabel[0]); predictRlt.setConfidence(pconfidence[0]); return predictRlt; }}package com.bolingcavalry.grabpush.extend;import com.bolingcavalry.grabpush.Constants;import org.bytedeco.javacv.Frame;import org.bytedeco.javacv.OpenCVFrameConverter;import org.bytedeco.opencv.opencv_core.*;import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;import static org.bytedeco.opencv.global.opencv_imgcodecs.imwrite;import static org.bytedeco.opencv.global.opencv_imgproc.*;/** * @author willzhao * @version 1.0 * @description 檢測工具的通用接口 * @date 2021/12/5 10:57 */public interface DetectService { /** * 根據(jù)傳入的MAT構(gòu)造相同尺寸的MAT，存放灰度圖片用于以后的檢測 * @param src 原始圖片的MAT對象 * @return 相同尺寸的灰度圖片的MAT對象 */ static Mat buildGrayImage(Mat src) { return new Mat(src.rows(), src.cols(), CV_8UC1); } /** * 初始化操作，例如模型下載 * @throws Exception */ void init() throws Exception; /** * 得到原始幀，做識別，添加框選 * @param frame * @return */ Frame convert(Frame frame); /** * 釋放資源 */ void releaseOutputResource();}package com.bolingcavalry.grabpush.extend;import lombok.extern.slf4j.Slf4j;import org.bytedeco.javacpp.Loader;import org.bytedeco.javacv.Frame;import org.bytedeco.javacv.OpenCVFrameConverter;import org.bytedeco.opencv.opencv_core.*;import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;import java.io.File;import java.net.URL;import java.util.Map;import static org.bytedeco.opencv.global.opencv_imgproc.*;/** * @author willzhao * @version 1.0 * @description 音頻相關(guān)的服務(wù) * @date 2021/12/3 8:09 */@Slf4jpublic class DetectAndRecognizeService implements DetectService { /** * 每一幀原始圖片的對象 */ private Mat grabbedImage = null; /** * 原始圖片對應(yīng)的灰度圖片對象 */ private Mat grayImage = null; /** * 分類器 */ private CascadeClassifier classifier; /** * 轉(zhuǎn)換器 */ private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat(); /** * 檢測模型文件的下載地址 */ private String detectModelFileUrl; /** * 處理每一幀的服務(wù) */ private RecognizeService recognizeService; /** * 為了顯示的時候更加友好，給每個分類對應(yīng)一個名稱 */ private Map kindNameMap; /** * 構(gòu)造方法 * @param detectModelFileUrl * @param recognizeModelFilePath * @param kindNameMap */ public DetectAndRecognizeService(String detectModelFileUrl, String recognizeModelFilePath, Map kindNameMap) { this.detectModelFileUrl = detectModelFileUrl; this.recognizeService = new RecognizeService(recognizeModelFilePath); this.kindNameMap = kindNameMap; } /** * 音頻采樣對象的初始化 * @throws Exception */ @Override public void init() throws Exception { // 下載模型文件 URL url = new URL(detectModelFileUrl); File file = Loader.cacheResource(url); // 模型文件下載后的完整地址 String classifierName = file.getAbsolutePath(); // 根據(jù)模型文件實例化分類器 classifier = new CascadeClassifier(classifierName); if (classifier == null) { log.error("Error loading classifier file [{}]", classifierName); System.exit(1); } } @Override public Frame convert(Frame frame) { // 由幀轉(zhuǎn)為Mat grabbedImage = converter.convert(frame); // 灰度Mat，用于檢測 if (null==grayImage) { grayImage = DetectService.buildGrayImage(grabbedImage); } // 進(jìn)行人臉識別，根據(jù)結(jié)果做處理得到預(yù)覽窗口顯示的幀 return detectAndRecoginze(classifier, converter, frame, grabbedImage, grayImage, recognizeService, kindNameMap); } /** * 程序結(jié)束前，釋放人臉識別的資源 */ @Override public void releaseOutputResource() { if (null!=grabbedImage) { grabbedImage.release(); } if (null!=grayImage) { grayImage.release(); } if (null==classifier) { classifier.close(); } } /** * 檢測圖片，將檢測結(jié)果用矩形標(biāo)注在原始圖片上 * @param classifier 分類器 * @param converter Frame和mat的轉(zhuǎn)換器 * @param rawFrame 原始視頻幀 * @param grabbedImage 原始視頻幀對應(yīng)的mat * @param grayImage 存放灰度圖片的mat * @param kindNameMap 每個分類編號對應(yīng)的名稱 * @return 標(biāo)注了識別結(jié)果的視頻幀 */ static Frame detectAndRecoginze(CascadeClassifier classifier, OpenCVFrameConverter.ToMat converter, Frame rawFrame, Mat grabbedImage, Mat grayImage, RecognizeService recognizeService, Map kindNameMap) { // 當(dāng)前圖片轉(zhuǎn)為灰度圖片 cvtColor(grabbedImage, grayImage, CV_BGR2GRAY); // 存放檢測結(jié)果的容器 RectVector objects = new RectVector(); // 開始檢測 classifier.detectMultiScale(grayImage, objects); // 檢測結(jié)果總數(shù) long total = objects.size(); // 如果沒有檢測到結(jié)果，就用原始幀返回 if (total<1) { return rawFrame; } PredictRlt predictRlt; int pos_x; int pos_y; int lable; double confidence; String content; // 如果有檢測結(jié)果，就根據(jù)結(jié)果的數(shù)據(jù)構(gòu)造矩形框，畫在原圖上 for (long i = 0; i < total; i++) { Rect r = objects.get(i);// 核心代碼，把檢測到的人臉拿去識別 predictRlt = recognizeService.predict(new Mat(grayImage, r)); // 如果返回為空，表示出現(xiàn)過異常，就執(zhí)行下一個 if (null==predictRlt) { System.out.println("return null"); continue; } // 分類的編號（訓(xùn)練時只有1和2，這里只有有三個值，1和2與訓(xùn)練的分類一致，還有個-1表示沒有匹配上） lable = predictRlt.getLable(); // 與模型中的分類的距離，值越小表示相似度越高 confidence = predictRlt.getConfidence(); // 得到分類編號后，從map中取得名字，用來顯示 if (kindNameMap.containsKey(predictRlt.getLable())) { content = String.format("%s, confidence : %.4f", kindNameMap.get(lable), confidence); } else { // 取不到名字的時候，就顯示unknown content = "unknown(" + predictRlt.getLable() + ")"; System.out.println(content); } int x = r.x(), y = r.y(), w = r.width(), h = r.height(); rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0); pos_x = Math.max(r.tl().x()-10, 0); pos_y = Math.max(r.tl().y()-10, 0); putText(grabbedImage, content, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, new Scalar(0,255,0,2.0)); } // 釋放檢測結(jié)果資源 objects.close(); // 將標(biāo)注過的圖片轉(zhuǎn)為幀，返回 return converter.convert(grabbedImage); }} protected CanvasFrame previewCanvas/** * 檢測工具接口 */ private DetectService detectService;/** * 不同的檢測工具，可以通過構(gòu)造方法傳入 * @param detectService */ public PreviewCameraWithIdentify(DetectService detectService) { this.detectService = detectService; }@Override protected void initOutput() throws Exception { previewCanvas = new CanvasFrame("攝像頭預(yù)覽和身份識別", CanvasFrame.getDefaultGamma() / grabber.getGamma()); previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE); previewCanvas.setAlwaysOnTop(true); // 檢測服務(wù)的初始化操作 detectService.init(); }@Override protected void output(Frame frame) { // 原始幀先交給檢測服務(wù)處理，這個處理包括物體檢測，再將檢測結(jié)果標(biāo)注在原始圖片上， // 然后轉(zhuǎn)換為幀返回 Frame detectedFrame = detectService.convert(frame); // 預(yù)覽窗口上顯示的幀是標(biāo)注了檢測結(jié)果的幀 previewCanvas.showImage(detectedFrame); }@Override protected void releaseOutputResource() { if (null!= previewCanvas) { previewCanvas.dispose(); } // 檢測工具也要釋放資源 detectService.releaseOutputResource(); }@Override protected int getInterval() { return super.getInterval()/8; }public static void main(String[] args) { String modelFileUrl = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml"; String recognizeModelFilePath = "E:\\temp\\202112\\18\\001\\faceRecognizer.xml"; // 這里分類編號的身份的對應(yīng)關(guān)系，和之前訓(xùn)練時候的設(shè)定要保持一致 Map kindNameMap = new HashMap(); kindNameMap.put(1, "Man"); kindNameMap.put(2, "Woman"); // 檢測服務(wù) DetectService detectService = new DetectAndRecognizeService(modelFileUrl,recognizeModelFilePath, kindNameMap); // 開始檢測 new PreviewCameraWithIdentify(detectService).action(1000); } 程序運行起來后，請名為Man的群眾演員A站在攝像頭前面，如下圖，識別成功：
接下來，請名為Woman的群眾演員B過來，和群眾演員A同框，如下圖，同時識別成功，不過偶爾會識別錯誤，提示成unknown(-1)：
再請一個沒有參與訓(xùn)練的小群眾演員過來，與A同框，此刻的識別也是準(zhǔn)確的，小演員被標(biāo)注為unknown(-1)：
去看程序的控制臺，發(fā)現(xiàn)FaceRecognizer.predict方法會拋出異常，幸好程序捕獲了異常，不會把整個進(jìn)程中斷退出：
至此，整個《JavaCV人臉識別三部曲》全部完成，如果您是位java程序員，正在尋找人臉識別相關(guān)的方案，希望本系列能給您一些參考
另外《JavaCV人臉識別三部曲》是《JavaCV的攝像頭實戰(zhàn)》系列的分支，作為主干的《JavaCV的攝像頭實戰(zhàn)》依然在持續(xù)更新中，欣宸原創(chuàng)會繼續(xù)與您一路相伴，學(xué)習(xí)、實戰(zhàn)、提升
歡迎關(guān)注博客園：程序員欣宸學(xué)習(xí)路上，你不孤單，欣宸原創(chuàng)一路相伴...
標(biāo)簽：
