Apresentação. Relatório Intercalar.

Nos últimos dias tenho estado a trabalhar em:

- Preparação da apresentação do trabalho para a sessão de amanhã
- Relatório intercalar da tese - basicamente, adaptar o relatório de survey de modo a contemplar os objectivos do trabalho, o que já foi feito e o planeamento do que falta.

Entretanto, e principalmente por causa dos exames, não tenho produzido muitos mais resultados "que se possam ver", no que diz respeito ao aperfeiçoamento da extracção de features...

Melhoria da Detecção e Esboço dos Elementos Faciais

Na tentativa de desenhar os contornos dos elementos faciais detectados, detectei que as features nem sempre eram correctamente identificadas. Para melhorar a performance dos classificadores, foram feitas algumas alterações:

- De acordo com o rosto identificado, é eliminado todo o resto da imagem antes de serem identificados os restantes elementos faciais, especificando a região de interesse (ROI) sobre a qual trabalhar. Deste modo, elimina-se informação supérflua;

- Utilizando as coordenadas relativas ao centro de ambos os olhos, é calculado o ângulo de inclinação do rosto. Após a obtenção deste ângulo, é feita uma rotação de forma a alinhar os dois olhos (o que consequentemente alinha o resto da face, facilitando a detecção dos restantes elementos);

- A imagem é convertida em apenas um canal de cor.

- O contraste é aumentado através de uma normalização do histograma.

A imagem original, bem como o resultado obtido através destes quatro passos pode ser visualizado abaixo:

Após a detecção destes elementos, são desenhados sobre a imagem original os contornos relativos aos elementos detectados. No caso dos olhos, os resultados são bastante satisfatórios, conseguindo-se ajustar bastante bem o polígono a estes. No entanto, no caso da boca, a detecção ainda nem sempre é correcta. Como tal, será ainda necessário melhorar a performance do respectivo classificador Haar em cascata. A título de exemplo, podemos ver o resultado final na imagem:

Falta ainda efectuar o processo de detecção das sobrancelhas. A localização precisa dos olhos que se consegue neste momento será um bom ponto de partida.

Esboço dos Elementos Faciais Detectados

Desde o último post, consegui melhorar a exactidão de extracção de elementos faciais através de alguma manipulação das funções implementadas e utilização de melhores classificadores de Haar em cascata.

Apesar de não ter ainda conseguido desenhar um esboço das features faciais de um rosto, já obtenho uma estrutura com os pontos correspondentes a estes. No entanto, devido ao facto de a documentação da biblioteca (nomeadamente em relação a este tipo de estruturas muito específicas) ser um pouco escassa, as minhas tentativas de acesso à estrutura não permitem ainda obter a totalidade dos pontos necessários a este esboço.


Após a obtenção destes pontos, pretendo fazer um "refinamento" dos mesmos, obtendo os pontos que considerei como pontos-chave para o estudo. Deste modo, em relação às sobrancelhas serão mais importantes os pontos com coordenadas x e y mais extremas, traçando-se uma espécie de losango (a expansão do losango nos yy corresponde ao levantamento das sobrancelhas e a aproximação dos extremos em xx tem a ver com expressões em que se franze o sobrolho [apreensão, repulsa]).
O mesmo acontece em relação à boca. Estes pontos são o suficiente para detectar a abertura da boca, bem como o arqueamento da linha entre os lábios.
Para detectar a abertura e fecho dos olhos, os elementos essenciais terão a ver com os pontos no eixo dos yy.