Leitura automática de expressões matemáticas: audiomath

• Type: Thesis
• Date: 2005

Authors

Helder Filipe Patrício Cabral Ferreira (Author) FEUP; Diamantino Freitas (Technical adviser) FEUP

Scientific classification

CORDIS: Technological sciences > Engineering > Computer engineering

Associated Institutions

FEUP - Faculdade de Engenharia da Universidade do Porto

Other information

Resumo (PT): Nesta dissertação estuda-se o problema do ensino e da falta de acessibilidade dos documentos com conteúdos matemáticos na Internet por parte de pessoas com necessidades especiais, nomeadamente cegos e amblíopes. A solução proposta nesta dissertação baseia-se na análise, interpretação e conversão de documentos com fórmulas matemáticas em MathML para uma forma escrita por extenso, sendo posteriormente lida com recurso a um conversor texto-fala. Foram desenvolvidas três aplicações: AudioMathENGINE, AudioMathGUI e AudioMathWEB. AudioMathENGINE consiste num motor de análise, interpretação e conversão de documentos com conteúdos matemáticos, e que possui módulos de processamento para: numerais, abreviações, acrónimos, referências de rede, assim como, reconhecimento automático dos elementos a converter, interpretação e conversão de expressões matemáticas, e implementação de mecanismos de navegação nas mesmas. AudioMathGUI consiste numa aplicação gráfica que permite a aplicação do motor de análise, interpretação e conversão de expressões matemáticas, assim como a demonstração de um mecanismo de navegação contextualizado das fórmulas. AudioMathWEB consiste num serviço público on-line de conversão de documentos com MathML, que se encontra disponível no sítio web da tese. Neste trabalho apresenta-se também um estudo detalhado sobre a prosódia matemática e a forma como os humanos lêem e entendem a leitura das expressões matemáticas. Ao longo da dissertação são apresentados resultados de trabalhos de pesquisa em diversas áreas, incluindo: engenharia, psicologia, matemática e linguística, com a finalidade de adquirir conhecimentos, conceitos e teorias, que permitem escolher as tecnologias e técnicas mais adequadas à concretização deste trabalho. O trabalho de dissertação termina com um conjunto de testes objectivos e subjectivos para a determinação da qualidade dos resultados obtidos; assim como um conjunto de conclusões sobre esses mesmos resultados. Mais informações sobre a dissertação, incluindo publicações e um serviço público de conversão de MathML, encontram-se disponíveis no sítio web da tese em: http://lpf-esi.fe.up.pt/~audiomath.

Abstract (EN): This dissertation focus itself the problem of teaching and the lack of accessibility in documents with mathematical contents over the Internet, aiming people with several types of visual impairment, like blindness. The proposed solution in this thesis consists in the analysis, interpretation and conversion of documents containing mathematical formulae in MathML into a full written form, prepared to be read by a text-to-speech engine later on. Three applications have been mainly developed: AudioMathENGINE, AudioMathGUI and AudioMathWEB. AudioMathENGINE is the engine responsible for the analysis, interpretation and conversion of documents with mathematical contents. This engine includes processing modules for: numerals, abbreviations, acronyms, network references, and also, automatic recognition of certain elements to be converted, interpretation and conversion of mathematical expressions, and the implementation of a navigation mechanism for the existing mathematical expressions. AudioMathGUI is a graphical user interface that allows the usage of the analysis, interpretation and conversion engine, and also the demonstration of the contextualized navigation mechanism for the mathematical expressions. AudioMathWEB consists in a public on-line service, available on the thesis website, which converts documents with MathML. On this thesis a detailed study is presented concerning math prosody and the way humans read and perceive mathematical expressions. Along this dissertation several research results are presented in numerous areas, including: engineering, psychology, mathematics and linguistics, with the aim of acquiring knowledge, concepts and theories that guided in choosing technologies and techniques that are more adequate to this work’s implementation. The dissertation work ends with a set of objective and subjective tests about the quality of results; as well as a set of conclusions concerning these same results. More information about the thesis, including publications and the public on-line conversion service of MathML, is available in the thesis website at: http://lpf-esi.fe.up.pt/~audiomath.

Language: Portuguese

Type (Professor's evaluation): Scientific

No. of pages: 287