Scientific area: Robótica
Sistema de reconhecimento de Língua Gestual Portuguesa recorrendo à Kinect
Submited 2016-01-21
Student: Patrícia Reis Ribeiro       Number: 62002       Email: patricia.r.ribeiro@hotmail.com
Start date: 14/09/2015   

Supervisor:
Name: Agostinho Gil Teixeira Lopes
Email: gil@dei.uminho.pt   

Description:

A comunidade surda enfrenta diariamente obstáculos na comunicação. Em muitos estabelecimentos públicos não existe nada, nem ninguém a quem possam pedir ajuda ou informações e serem entendidos. Resultando por isso, numa comunidade um pouco fechada que luta pela sua integração na sociedade. Parte da motivação para a realização desta tese parte da tentativa de ajudar a comunidade a integrar melhor estas pessoas.

A forma de comunicação da comunidade surda portuguesa é a Língua Gestual Portuguesa, que difere em vários aspetos da língua oral Portuguesa e, por isso as pessoas surdas têm dificuldade a entender e a falar/escrever a Língua Portuguesa.

Num trabalho anterior [1], também sobre Língua Gestual Portuguesa, foi utilizada a primeira versão da Kinect, e por isso existe interesse em saber que novas funcionalidades a segunda versão tem em relação à primeira, em que é que pode melhorar a leitura do esqueleto e dos gestos realizados e em que situações pode ajudar a obter uma maior taxa de sucesso na deteção das mãos principalmente, pois Língua Gestual depende muito do uso destas e do movimento que os braços realizam.

A utilização de Machine Learning é outra motivação para a realização de este trabalho pois usa algoritmos complexos para entender comportamentos. Como os gestos seguem uma sequência de movimentos, implica que cada gesto tem o seu determinado comportamento, sendo assim Machine Learning é uma boa opção para explorar o reconhecimento de gestos.


Objectives:

O objetivo desta tese é a criação de uma base de dados para Língua Gestual Portuguesa com recurso à segunda versão da Kinect e a Machine Learning. Pretende-se com este projeto desenvolver um sistema de aprendizagem de gestos, de forma a enriquecer a base de dados com novos gestos, assemelhando-se a um dicionário virtual. Pretende-se que este sistema esteja em constante atualização com a ajuda dos seus utilizadores.

 

O desenvolvimento do trabalho engloba as seguintes fases:

-Revisão bibliográfica

-Seleção e estudo do método de Machine Learning a utilizar

-Estudo da segunda versão da Kinect

-Estudo de Língua Gestual

-Rastreamento dos dedos das mãos

-Desenvolvimento do algoritmo do método de Machine Leaning

-Fase de testes do método de Machine Learning

-Desenvolvimento da base de dados

-Fase de testes e otimização do sistema

-Elaboração de conclusões

-Redação do relatório


Keywords:
Língua Gestual Portuguesa (LGP), Kinect, Machine Learning, Support Vector Machine (SVM), reconhecimento de gestos, base de dados, sistema de aprendizagem

Copyright © DEI Minho University - All rights reserved
Powered byNetmove