Investigadores do Porto criam ferramenta para traduzir língua gestual em aulas

Projecto Virtual Sign poderá fazer parte das suas salas de aula já no final do ano e ajudar alunos com problemas auditivos a acompanhar o que é dito.

A ideia surgiu depois de terem percebido as dificuldades de alguns alunos em acompanharem as aulas
Foto
A ideia surgiu depois de terem percebido as dificuldades de alguns alunos em acompanharem as aulas Paulo Pimenta

Uma equipa de investigadores do Instituto Superior de Engenharia do Porto (ISEP) está a desenvolver uma ferramenta de tradução bilateral da Língua Gestual Portuguesa que poderá fazer parte das suas salas de aula já no final do ano.

O projecto, com o nome Virtual Sign, passa pelo desenvolvimento de "um tradutor bidireccional de língua gestual que permite a tradução de Língua Gestual Portuguesa de gesto para texto e de texto para gesto", começou por explicar Paula Escudeiro, professora no ISEP e mentora da investigação.

Três anos depois da sua aprovação, e de uma comparticipação de 100 mil euros pela Fundação Ciência e Tecnologia (FCT), o Virtual Sign conta com dois dispositivos externos - uma luva com sensores e uma câmara Kinect (câmara com sensor utilizada em consolas de jogos) - que permitem identificar os gestos, movimentos corporais e faciais e "traduzi-los para texto" que é então "transmitido para um computador".

"Na outra direcção, escrevendo um texto, por exemplo num computador, permite que um 'avatar' [representação gráfica de uma pessoa] identifique o texto que está a ser escrito e o transforme em gesto. É esta a tradução bidireccional", acrescentou a investigadora.

A ideia surgiu depois de a equipa de investigadores, também professores, se ter deparado com situações em que alunos com deficiências auditivas manifestavam maiores dificuldades em acompanhar as aulas. "Começamos a pensar um pouco nisso e surgiu-nos a ideia de criar algo que permitisse ajudar esses alunos a estarem incluídos no nosso processo de ensino", assinalou. Paralelamente, a equipa está também a criar "um jogo educativo que permita ensinar e aprender a língua gestual portuguesa".

O projecto está em fase de testes, já foi experimentado em contexto de sala de aula, com resultados "muito bons", mas a sua fase de desenvolvimento "ainda não terminou". Paula Escudeiro espera que a sua utilização em salas de aula arranque "mal termine o período alocado para produção" do projecto, prevendo que o mesmo suceda "mais ou menos no final deste ano".

Para além das aulas no ISEP, os investigadores querem fazer chegar o Virtual Sign a outros contextos de formação, e até a "outros domínios do próprio dia-a-dia", e estão também a preparar-se para concorrer a projectos de financiamento de nível internacional que permitam o alargamento a mais línguas. A equipa, coordenada pelo ISEP, inclui também investigadores da Faculdade de Engenharia da Universidade do Porto, da Universidade Aberta e uma profissional em Língua Gestual Portuguesa.