Autores: Gabriel Lucas da Silva e Diogo Henrique Godoi
O objetivo deste projeto é desenvolver uma forma de detectar a região dos olhos.
A entrada da aplicação será composta por 5 vídeos do conjunto de dados de clipes de 15s de vídeos do youtube adquiridos na base de dados ChaLearn First impressions . Segue alguns exemplos:
A principal técnica de processamento de imagens utilizada será a morfologia. Nós utilizamos as técnicas do trabalho de "Rajpathak, Tanmay & Kumar, Ratnesh & Schwartz, Eric. (2009). Eye Detection Using Morphological and Color Image Processing".
Para atingir o objetivo iremos seguir os seguintes passos:
-
Remover fundo da imagem e possíveis ruídos. A técnica para acelerar esse processo foi pular alguns frames, e no final, a média de todos os frames processados é aplicada como uma máscara para todo o vídeo.
-
Detectar a pele da pessoa e usar como máscara para removê-la da imagem.
-
Detectar a posição do olho da pessoa. A técnica aqui foi baseada no trabalho de "Rajpathak, Tanmay & Kumar, Ratnesh & Schwartz, Eric. (2009)", eles consideram que sempre que o olho estiver própriamente iluminado haverá um ponto de reflexão nos olhos, e é justamente esse ponto de reflexão que dever ser explorado para a detecção dos olhos.
-
Realiza a detecção de olhos por meio da técnica Haar cascade. Para realizar a comparação com o nosso resultado.
Todo o projeto foi realizado em conjunto durante chamada de voz e vídeo via Discord.
Os resultados obtidos podem ser acessados aqui.
Videos utilizando a técnica de morphologia:
Sucesso
Falha
Video Haar Cascade:
Nossa técnica tem dificuldade quando o sujeito está usando óculos, ou quando a qualidade da imagem não é boa, como por exemplo o vídeo borrado que colocamos nos resultados. Em casos de sucesso, nossa técnica não é perfeita, porém os resultados dependem que as condições necessárias sejam atendidas: como uma boa iluminação e boa qualidade da imagem.
O video de sucesso utilizando a técnica de morfologia, apresentou menos inconsistências na hora da identificação dos olhos, gerando menos quadrados fora do local. Enquanto a técnica de Haar além da identificação dos olhos, acaba identificando o nariz e a boca.