Scientific area: Robótica
Interação humano-robot: Reconhecimento de objetos e gestos usando a Kinect 2.0
Submited 2017-01-27
Student: Joel Marco Rodrigues Dias       Number: a58766       Email: joelmrdias@gmail.com
Start date: 03/10/2016   

Supervisor:
Name: Estela Bicho Erlhagen
Email: estela@dei.uminho.pt   

Description:

O Homem tem a constante preocupação de encontrar soluções que resolvam novos problemas que surjam no seu quotidiano ou então encontrar métodos alternativos que melhor satisfaçam os já existentes, soluções essas implementadas com o intuito de melhorar a sua qualidade de vida. Essa preocupação encontra-se intimamente ligada a um fenómeno, a evolução.

A robótica está intimamente ligada à evolução do Homem onde contempla diversas áreas de conhecimento, como a matemática, a eletrónica, a programação e a mecânica, com um vasto leque de tecnologias existentes, proporcionando soluções para variados problemas contemporâneos, como o aumento de produção em linhas de montagem com o auxílio de sistemas robóticos [8] ou o incentivo à prática de exercício para pessoas idosas através de um robô socialmente assistido [9]. Estes dois exemplos ilustram duas formas de como os sistemas robóticos podem realizar o seu trabalho: autonomamente, de início a fim, dentro da sua estação de trabalho (primeiro caso); ou em colaboração com um ou mais humanos, coexistindo numa interação humano-robô dentro de um mesmo espaço (segundo caso). Esta segunda forma requer que o sistema robótico tenha conhecimento não só do seu local de trabalho e das tarefas a realizar, mas também de quem partilha esse local, e de que forma pode cooperar com os mesmos para atingir o resultado final.

Os robôs antropomórficos são um ótimo exemplo de sistemas robóticos que foram desenvolvidos para realizar tarefas de colaboração entre humanos pois, devido à sua conceção humanoide, são mais facilmente aceites por estes [10]. O ARoS é um robô antropomórfico, desenvolvido no laboratório de Robótica Móvel e Antropomórfica da Universidade do Minho, no qual foi criada uma arquitetura de controlo cognitiva que o dota com a capacidade de colaborar com um parceiro humano em tarefas de colaboração [1], [2], [7]. Apresentando o ARoS uma aparência humanoide, isso significa que algumas das suas características são semelhantes às do ser humano, tais como: apresentar braços e mãos robóticas, ser capaz de comunicar por um sistema de voz e tomar conhecimento do ambiente que o rodeia por intermédio de um sistema de visão. Na interação humano-robô, o sistema de visão apresenta um papel de grande importância na realização de trabalhos de colaboração, permitindo ao robô adquirir informação do ambiente que o rodeia. Assim sendo, e de modo a garantir uma informação o mais precisa possível, é necessário que o sistema de visão seja o mais robusto possível. Isto engloba um bom nível de distinção entre as cores, os contornos de cada objeto, pessoa e superfície e o grau de perceção do ambiente a três dimensões. Sabendo isto, quanto mais robusto for o sistema de visão, mais se aproxima da perceção visual humana e melhor desempenho apresentará o sistema robótico.

O atual sistema de visão do ARoS é um sistema stereo do ano de 2005 (Videre Design, modelo STH-DCSG-VAR-C) [3], composto por 2 câmaras VGA com uma resolução de 640x480 píxeis. Apesar deste sistema ser robusto, encontra-se obsoleto e necessita de ser atualizado e aprimorado tanto na qualidade da captação de imagem como na adição de novas funcionalidades.

Assim sendo, a presente dissertação tem como objetivo a substituição do sistema de visão atual do robô ARoS para a Microsoft Kinect 2.0, com o intuito de aumentar a robustez deste aquando da realização de tarefas de colaboração com humanos. Para a resolução deste objetivo, é necessário cumprir as seguintes etapas de trabalho: estudar a biblioteca da Microsoft Kinect SDK 2.0, bem como os programas já existentes implementados no robô com o atual sistema de visão, para a execução das tarefas de colaboração; implementar o reconhecimento e localização de objetos e o reconhecimento de ações e gestos do humano com a Microsoft Kinect 2.0; implementar o tracking da mão do humano e determinar o estado da tarefa usando a Microsoft Kinect 2.0.

 

 


Objectives:

 

Afim de substituir o sistema de visão do robô AROS por um sistema mais robusto baseado Microsoft Kinect SDK 2.0, para tarefas de interação-humano robô, foram definidos os seguintes objetivos:

  • Estudar a biblioteca da Microsoft Kinect SDK 2.0,
  • Estudar os programas já existentes implementados no robô com o atual sistema de visão, para a execução das tarefas de colaboração;
  • Implementar o reconhecimento e localização de objetos e o reconhecimento de ações e gestos do humano com a Microsoft Kinect 2.0;
  • Implementar o tracking da mão do humano e determinar o estado da tarefa usando a Microsoft Kinect 2.0.
  • Documentar os resultados
  • Escrita da dissertação

 

 


Keywords:
Colaboração Humano-Robô, ARoS, Sistema de Visão, Microsoft Kinect SDK 2.0, Deteção de Objetos, Reconhecimento de Gestos, Tracking da mão

Copyright © DEI Minho University - All rights reserved
Powered byNetmove