該論文由港中文的孫祎、王曉剛、湯曉鷗提出,應(yīng)該是最早使用 CNN 進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)的論文之一了。 在論文中,作者設(shè)計(jì)了 Three-level cascaded CNNs 用于人臉關(guān)鍵點(diǎn)檢測(cè)(5 Points):Left Eye Center (LE),Right Eye Center (RE),Nose Tip (N),Left Mouth Corner (LM),Right Mouth Corner (RM)。 在模型的各個(gè) level 中,模型會(huì)對(duì)各個(gè)人臉關(guān)鍵點(diǎn)做多次預(yù)測(cè),取其平均值。
優(yōu)點(diǎn)是快和多任務(wù),不僅使用簡(jiǎn)單的端到端的人臉關(guān)鍵點(diǎn)檢測(cè)方法,而且能夠做到去分辨人臉的喜悅、悲傷、憤怒等分類(lèi)標(biāo)簽屬性,這樣跟文章的標(biāo)題或者說(shuō)是文章的主題貼合——多任務(wù)。 我們可以從下圖看到,缺點(diǎn)容易漂移,也就是對(duì)于人臉關(guān)鍵點(diǎn)的檢測(cè)上面,并不能做到很好的精度或者很高的精度,因此有待進(jìn)一步修改網(wǎng)絡(luò)的雛形。 另外一點(diǎn)是對(duì)于人臉關(guān)鍵點(diǎn)的檢測(cè)上,檢測(cè)關(guān)鍵點(diǎn)小,如果增加其人臉關(guān)鍵點(diǎn)的檢測(cè),或降低精度,這是神經(jīng)網(wǎng)絡(luò)模型的通病。
如果采取更大的網(wǎng)絡(luò),特征點(diǎn)的預(yù)測(cè)會(huì)更加準(zhǔn)確魯棒,但耗時(shí)多,為了在速度和性能上做找到平衡點(diǎn),使用較小的網(wǎng)絡(luò),并采用級(jí)聯(lián)的思想,先進(jìn)行粗檢測(cè),然后微調(diào)特征點(diǎn)位置。 下面是最終預(yù)測(cè)人臉特征點(diǎn)的landmarks_detection.py,其中人臉檢測(cè)采用的是級(jí)聯(lián)CNN或者opencv人臉檢測(cè),在人臉檢測(cè)的基礎(chǔ)上預(yù)測(cè)人臉特征點(diǎn)位置,并將預(yù)測(cè)的相對(duì)位置轉(zhuǎn)換成圖像上的絕對(duì)坐標(biāo)。
版權(quán)聲明:本文為博主原創(chuàng)文章,遵循 CC 4.0 BY-SA 版權(quán)協(xié)議,轉(zhuǎn)載請(qǐng)附上原文出處鏈接和本聲明。 人臉特征點(diǎn)檢測(cè)(Facial landmark detection),即人臉特征點(diǎn)定位、人臉對(duì)齊 (Face Alignment),是在人臉檢測(cè)的基礎(chǔ)上進(jìn)行的,對(duì)人臉上的特征點(diǎn)例如嘴角、眼角等進(jìn)行定位。