| Summary: |
A produção de textos incluindo expressões matemáticas é uma necessidade de muitos estudantes dos diversos graus de ensino e também de muitos profissionais. A dificuldade na satisfação desta necessidade, por parte de um grupo importante de pessoas com determinadas deficiências físicas, apresenta-se ainda como um enorme obstáculo à sua realização académica ou ao exercício de uma actividade profissional. A principal motivação deste projecto é conceber uma ajuda técnica que possa efectivamente contribuir para solucionar este problema concreto que afecta muitas pessoas com alguma deficiência motora ao nível dos membros superiores, ou envolvendo outros órgãos motores, que dificulte ou impossibilite a utilização de computadores através dos dispositivos correntes.
A abordagem que se propõe para a edição de expressões matemáticas baseia-se na utilização da fala. O sistema a desenvolver terá como elemento essencial um reconhecedor de fala que apresenta, como uma das características mais importantes, o facto de utilizar não só informação extraída do sinal acústico mas também informação extraída da sequência de imagens da face do falante. Com efeito, está demonstrado que a percepção humana da fala é naturalmente multi-modal, sendo também importante a influência dos estímulos visuais. Uma outra justificação para esta abordagem, com maior importância ainda, reside no facto de se pretender que este sistema possa operar em ambientes acústicos apresentando valores de relação sinal-ruído relativamente baixos, logo em condições que tornam as pistas visuais especialmente necessárias.
O desenvolvimento do sistema exigirá a colaboração de potenciais utilizadores para a definição dos requisitos desta aplicação. Será definido um modelo linguístico adequado à verbalização correcta, e tão natural quanto possível, das expressões matemáticas. Este modelo deverá também permitir alguma capacidade de correcção e recuperação de erros na edição. Será gravado e processado o material audio-visua  |
Summary
A produção de textos incluindo expressões matemáticas é uma necessidade de muitos estudantes dos diversos graus de ensino e também de muitos profissionais. A dificuldade na satisfação desta necessidade, por parte de um grupo importante de pessoas com determinadas deficiências físicas, apresenta-se ainda como um enorme obstáculo à sua realização académica ou ao exercício de uma actividade profissional. A principal motivação deste projecto é conceber uma ajuda técnica que possa efectivamente contribuir para solucionar este problema concreto que afecta muitas pessoas com alguma deficiência motora ao nível dos membros superiores, ou envolvendo outros órgãos motores, que dificulte ou impossibilite a utilização de computadores através dos dispositivos correntes.
A abordagem que se propõe para a edição de expressões matemáticas baseia-se na utilização da fala. O sistema a desenvolver terá como elemento essencial um reconhecedor de fala que apresenta, como uma das características mais importantes, o facto de utilizar não só informação extraída do sinal acústico mas também informação extraída da sequência de imagens da face do falante. Com efeito, está demonstrado que a percepção humana da fala é naturalmente multi-modal, sendo também importante a influência dos estímulos visuais. Uma outra justificação para esta abordagem, com maior importância ainda, reside no facto de se pretender que este sistema possa operar em ambientes acústicos apresentando valores de relação sinal-ruído relativamente baixos, logo em condições que tornam as pistas visuais especialmente necessárias.
O desenvolvimento do sistema exigirá a colaboração de potenciais utilizadores para a definição dos requisitos desta aplicação. Será definido um modelo linguístico adequado à verbalização correcta, e tão natural quanto possível, das expressões matemáticas. Este modelo deverá também permitir alguma capacidade de correcção e recuperação de erros na edição. Será gravado e processado o material audio-visual necessário para desenvolver o sistema, cuja versão inicial será desenvolvida utilizando também alguns módulos de protótipos para reconhecimento audio-visual de fala disponíveis no Laboratório de Sinais e Sistemas (LSS - DEEC). Diversos melhoramentos estão previstos nos módulos de extracção de características acústicas e características visuais. Também se pretende desenvolver e implementar novas técnicas que permitam fundir eficazmente, no contexto desta aplicação, a informação acústica e a informação visual. |