�rea Cient�fica: Robótica
Sistema de Visão para a Interação e Colaboração Humano-Robô: Reconhecimento de Objetos e Classificação de Estados Emocionais
Publicada a 2015-04-15
Aluno: Miguel João Alves Cunhal      N�mero: 58753       Email: a58753@alunos.uminho.pt
Data in�cio: 16/09/2013      Data Conclus�o:  

Orientador(es):
Nome: Estela Bicho Erlhagen       Email: estela@dei.uminho.pt   

Arguente(s):
Data da defesa:       

Descri��o:

Cada vez mais, nos tempos que correm, se utilizam robôs em tarefas de interação e colaboração com humanos. Exemplos disso são os robôs que auxiliam em tarefas de assistência aos humanos como a série Care-O-Bot, ou então, num nível mais sofisticado, o Robonaut da NASA, para utilização em trabalhos de construção nas estações espaciais. Porém, estes robôs não passam de automatismos pré-programados para fazer trabalhos específicos ou então são telecomandados. Nestes casos não se pode considerar que o robô é um assistente social inteligente visto que o mesmo não tem capacidade de iniciativa nem poder de decisão e não leva em consideração as decisões do parceiro humano com quem está a interagir. Têm havido, contudo, alguns progressos no sentido de dotar os robôs com ferramentas que permitam um melhoramento nas relações humano-robô. Um exemplo disso é o Brian 2.1 (McColl et al. 2013). Este robô foi projetado para prestar assistência a pessoas idosas que sofrem de doenças cognitivas. Consegue auxiliar a pessoa em atividades elementares tais como comer e vestir, assim como interage com a pessoa em atividades de estimulação cognitiva e social. O robô determina o comportamento apropriado a adotar com base no estado da atividade e da pessoa com quem está a lidar.

Motivado pela crescente necessidade da utilização de robôs como parceiros em tarefas de cooperação humano-robô, este trabalho pretende focar-se em dois temas bastante pertinentes no contexto da autonomia de robôs nas referidas tarefas. Por um lado, o reconhecimento e localização de diferentes objetos, por outro, a identificação de estados emocionais potencialmente expressos através de expressões faciais e movimentos corporais. Estas capacidades são requisitos essenciais para que a relação entre os intervenientes (i.e. humano e robô) se possa considerar minimamente human-like. Ou seja, o robô deve estar a par do ambiente que o rodeia e para isso necessita de reconhecer os objetos que irá usar de modo a poder interagir com os mesmos. Deve também estar “atento” ao parceiro humano de modo a poder antecipar as suas intenções, isto é, alterar o comportamento caso interprete reações do último que evidenciem esta necessidade.   

 

Como objetivos pretende-se desenvolver um sistema de visão que dote o robô ARoS (Anthropomorphic Robotic System) com as capacidades acima referidas. Ou seja, o reconhecimento de objetos, neste caso inseridos num cenário doméstico como garrafas, copos, pratos, entre outros e a respetiva localização no espaço em tempo real, permitindo uma interação e colaboração eficiente entre humano e robô num contexto de tarefas caseiras. Paralelamente, o robô deve fazer a classificação do estado emocional do humano, também em tempo real, para poder, posteriormente, aferir a necessidade de adotar outro tipo de comportamentos que vão de encontro às necessidades do humano.


Objectivos:

Reconhecimento de objetos:

§  Utilização do robô ARoS;

§  Uso de múltiplas câmaras para teste dos algoritmos de reconhecimento;

§  Uso do sistema de visão estereoscópico para teste da localização de objetos;

§  Uso de linguagens de programação (C/C++);

§  Uso de bibliotecas de visão por computador (OpenCV).

 

 

Classificação de estados emocionais:

§  Utilização do robô ARoS;

§  Uso de múltiplas câmaras (stereo e webcam) para deteção de expressões faciais e análise de movimentos de um utilizador humano;

§  Uso de linguagens de programação (C/C++);

 

§  Uso de bibliotecas de visão por computador (OpenCV, faceAPI).


Palavras chave:
reconhecimento de objetos, visão estereoscópica, reconhecimento de expressões faciais, classificação de emoções, Action Units

Copyright © DEI Universidade do Minho - Todos os direitos reservados
Powered byNetmove