Tuesday, November 27, 2007

Extracção de Features Faciais. Resultados Experimentais

Nas duas últimas semanas deu-se continuação ao desenvolvimento da aplicação. Foram ainda recolhidas amostras faciais para testar a mesma.

Inicialmente foi testada a robustez da versão da aplicação que implementa a detecção facial, recorrendo a fotografias de indivíduos com características diversas, correspondentes a imagens faciais ou arbitrárias. Ainda, as condições de iluminação destas fotografias-teste são variadas.

O desempenho foi bastante satisfatório, sendo localizadas as faces em praticamente todos os casos, e sempre em tempo real (na imagem, rectângulo vermelho).


A aplicação foi alterada para incluir detecção de alguns elementos faciais -- olhos e boca --, tendo-se realizado alguns testes sobre esta nova funcionalidade.

Como pode observar-se na figura, Os resultados ainda não são satisfatórios: embora o desempenho seja em tempo-real, o algoritmo confunde alguns outros elementos existentes na imagem, não detectando correctamente os lábios (rectângulo cyan).
Em relação aos olhos, o algoritmo funciona correctamente (rectângulo azul).


Estes problemas devem-se ao facto de não estarem a usar-se os classificadores mais adequados, o que pode ser resolvido se se processar apenas a porção da imagem correspondente à face.

Hoje, na reunião com o Professor Daniel Gonçalves, decidiu-se que os próximos passos a concretizar consistem na detecção das sobrancelhas e no esboço de linhas simples representativas da face. Estas linhas serão obtidas utilizando detecção de contornos nas regiões correspondentes às features.

Após o desenho das sobrancelhas, o passo seguinte será repetir o processo para os lábios, o que tem dificuldade acrescida devido ao facto de as próprias características deste elemento facial poderem dar origem a ambiguidades.

Espero ter estes dois problemas resolvidos nas duas próximas semanas -- depois disso, vem a parte das expressões faciais :)


Wednesday, November 14, 2007

Detecção Facial a funcionar!




Depois de algumas horas a debater-me com a obtenção dos classificadores em cascata, a aplicação já detecta faces em imagens arbitrárias.

Na imagem acima ilustra-se um exemplo de uma imagem com vários outros elementos em background, que são simplesmente ignorados pela aplicação, sendo seleccionada apenas a área de interesse para o estudo :)

Tuesday, November 13, 2007

Detecção Facial

Neste momento encontro-me a desenvolver o módulo referente à detecção facial com a utilização da biblioteca OpenCV.

Depois de configurada e explorada a biblioteca, tenho feito alguns avanços na direcção da localização de uma face numa dada imagem.

A aplicação que desenvolvi utiliza uma imagem como input e processa-a, sendo o resultado apresentado numa nova imagem, criada em tempo-real. Comecei por utilizar um detector de contornos já implementado para me familiarizar com a biblioteca.

Para obter resultados suficientemente satisfatórios, é necessário utilizar um classificador adequado. O método aconselhado na documentação da biblioteca consiste numa composição em cascata de classificadores de Haar. Este método baseia-se num melhoramento do estudo de Viola e Jones, referido no Survey.

Estes classificadores precisam de ser treinados com algumas centenas de imagens faciais/arbitrárias. Depois do classificador ser treinado, é aplicado à área de interesse.

A estrutura da aplicação encontra-se concluída. No entanto, não consegui fazer ainda a parte relativa ao treino de cascades. Pelo que li, pode recorrer-se a uma aplicação de haartraining, que ainda não tive oportunidade de testar.

Devido a outros projectos de disciplinas que estão a decorrer de momento e que me ocupam bastante tempo, esta parte ainda não se encontra terminada. De qualquer modo, estou simultaneamente a direccionar energias no sentido de ter esta fase concluída dentro de poucos dias!

Thursday, October 25, 2007

Survey Terminado!

Introduzi no survey algumas alterações, como a explicação de alguns conceitos e a inserção de mais imagens, para além da inclusão de estudos mais recentes na área. Enviei a versão mais recente do Survey ao Professor Daniel Gonçalves na Sexta-Feira passada. O Professor deu-o como encerrado para já :)

Neste momento encontro-me a desenvolver um trabalho em Python, proposto pelos Professores orientadores a todo o grupo de alunos a desenvolver Mestrado no grupo IMMI do INESC. O objectivo deste trabalho é a nossa familiarização com a linguagem.

Ao mesmo tempo, estou a estudar a ferramenta OpenCV para a detecção de um rosto numa dada imagem.

Friday, October 12, 2007

Survey

Desde o início de Setembro, tenho estado a desenvolver um trabalho de pesquisa, de modo a elaborar um Survey. O objectivo deste é estudar o que já foi feito na área do reconhecimento de expressões faciais.

Tenho verificado que já existe muito trabalho desenvolvido tanto no que diz respeito à detecção facial numa dada imagem (ou sequência de imagens) como na extracção de elementos faciais. Assim, o estudo foca-se essencialmente na classificação das expressões faciais.

Saturday, July 14, 2007

Primeiro "Post"

Este blog vai acompanhar o desenvolvimento da minha tese de mestrado, cujo objectivo final é conseguir associar emoticons a um dado conjunto de expressões faciais através da análise das mesmas.


A evolução temporal do trabalho será aqui apresentada.