Face Localization

指導教授:賴尚宏
姓名:黃郁惠
學校:清華大學
系級:資工03級

1. Introduction:

做這個專題的目的是在於發展出一套人臉偵測系統;利用"Bayes Decision Rule"的原理,再加上skin color 、non-skin color色彩分佈,應用在人臉偵測上,再針對效果不彰的部分做改進。

首先,收集有關skin color 和non-skin color的資料,建立skin color 及non skin color的conditional density probability function,再利用這些資訊和"Bayes Decision Rule"來做人臉偵測。接下來,便是找出圖中各個connected component,對於這些connected component 做篩選,淘汰不可能為人臉的部分。

2. Algorithm:

  1. Setup face database.
  2. Face localization with "Bayes Decision Rule".
  3. Improvement.

"Bayes Decision Rule"可簡單由下式表示:

下圖為利用"Bayes Decision Rule"定位人臉的範例:

單單利用色彩的分佈,得到的結果並不精準。一但背景部分出現和膚色相似或相同的色彩時,得到的效果更差。為了改善這個缺點,我想以區域的形狀來刪除不正確的判斷:

    1. 首先,我先將使用Bayes Decision Rule後得到的資訊,使用Connected Component找出一個個相鄰的區塊,再判斷之。
    2. 利用connected component的形狀來刪除不正確的判斷 找出每個connected component的左界及右界,以其左界右界形成一矩形,若此矩形長和寬的比率不介於0.5~3間,那麼此connected component 非人臉區域。同時,在此矩形內skin color的比率要超過50%才行。
    3. 利用connected component 的數量來刪除不正確的判斷 由於人臉必定是許多skin color點所聚集成的一大塊區域,因此,若某一個connected component 內所含的點個數不夠多,那此connected component極有可能不是人臉區域,故刪除之。

 

3. Experimental results:

 

4. Difficulties:

在做這項專題時,所遇到的困難包括:

  1. 這個方法並非適用於所有圖片,假設圖片中人物身穿類膚色的衣服,此方法將無法正確地找出人臉所在, 這是由於人物衣服會和人臉相連,形成同一個connected component,因此,我們利用connected component的形狀及大小來判斷就無法得到良好的結果。
  2. 背景的處理方面,也面臨著和前面同樣的問題,背景出現和膚色類似的色彩時,若出現的區域和人臉並無相接,則此方法可順利地將此區域刪除;但若出現的區域和人臉相接,則此時,人臉的判斷將無法順利進行。

5. References:

[1] Douglas Chai , Son Lam Phung ,Abdesselan Bouzerdoum ,“Skin Color Detection For Face Localization in Human-Machine Communications,” IEEE International Symposium on Signal Processing & Its Applications (ISSPA'2001), Kuala Lumpur, Aug. 2001.

[2] D. Chai and A. Bouzerdoum ,”A Bayesian Approach to Skin Color Classification in YCbCr Color Space” IEEE Region Ten Conference (TENCON’2000) ,Kuala Lumpur,Malaysia,vol.II,pp.421-424,Sep.2000.

[3] D. Chai and K. N. Ngan,”Locating facial region of a head-and-shoulders color image”, in Third IEEE International Conference on Automatic Face and Gesture Recognition, Nara, Japan, pp.124-129,Apr 1998.

[4] L. G. Shapiro and G. C. Stockman, Computer Vision, Prentice Hall, 2001.Computer Vision: A Modern Approach by D. A. Forsyth and J. Ponce, Prentice Hall, 2002.