3D reconstruction from multiple RGB-D images with different perspectives

• Type: Thesis
• Date: 2015-07-10

Authors

Mário André Pinto Ferraz de Aguiar (Author) FEUP

Thesis

3D reconstruction from multiple RGB-D images with different perspectives

Master's Degree

Dissertation

Scientific classification

FOS: Engineering and technology > Electrical engineering, Electronic engineering, Information engineering

Associated Institutions

INESC - INESC TEC - Instituto de Engenharia de Sistemas e Computadores, Tecnologia e Ciência

Other information

Resumo (PT): Reconstrução de modelos 3D pode ser uma tarefa útil para várias finalidades. Alguns exemplos são a modelação de uma pessoa ou objeto para uma animação, em robótica, modelação de espaços para exploração ou, para fins clínicos, modelação de pacientes ao longo do tempo para manter um histórico do corpo do paciente. O processo de reconstrução é constituído pelas capturas do objeto a ser modelado, a conversão destas capturas para nuvens de pontos e o alinhamento de cada nuvem de pontos por forma a obter o modelo 3D. A metodologia implementada para o processo de alinhamento foi o mais genérico quanto possível, para poder ser usado para os múltiplos fins discutidos acima, com um foco especial nos objetos não-rígidos. Este foco vem da necessidade de reconstruir modelos 3D de alta qualidade, de pacientes tratadas para o cancro da mama, para a avaliação estética do resultado cirúrgico. Com o uso de algoritmos de alinhamento não-rígido, o processo de reconstrução fica mais robusto a pequenos movimentos durante as capturas. O sensor utilizado para as capturas foi o Microsoft Kinect, devido à possibilidade de se obter imagens de cores (RGB) e imagens de profundidade, mais conhecidas por imagens RGB -D. Com este tipo de dados o modelo 3D final pode ter textura, o que é uma vantagem em muitos casos. A outra razão principal para esta escolha foi o fato de o Microsoft Kinect ser um sensor de baixo custo, tornando-se assim uma alternativa aos sistemas mais dispendiosos disponíveis no mercado. Os principais objetivos alcançados foram a reconstrução de modelos 3D com boa qualidade a partir de capturas com ruido, usando um sensor de baixo custo. O registro de nuvens de pontos sem conhecimento prévio sobre a pose do sensor, permitindo a livre circulação do sensor em torno dos objetos. Por fim, o registo de nuvens de pontos com pequenas deformações entre elas, onde os algoritmos de alinhamento rígido convencionais não podem ser utilizados.

Abstract (EN): 3D model reconstruction can be a useful tool for multiple purposes. Some examples are modeling a person or objects for an animation, in robotics, modeling spaces for exploration or, for clinical purposes, modeling patients over time to keep a history of the patient’s body. The reconstruction process is constituted by the captures of the object to be reconstructed, the conversion of these captures to point clouds and the registration of each point cloud to achieve the 3D model. The implemented methodology for the registration process was as much general as possible, to be usable for the multiple purposes discussed above, with a special focus on non-rigid objects. This focus comes from the need to reconstruct high quality 3D models, of patients treated for breast cancer, for the evaluation of the aesthetic outcome. With the non-rigid algorithms the reconstruction process is more robust to small movements during the captures. The sensor used for the captures was the Microsoft Kinect, due to the possibility of obtaining both color (RGB) and depth images, called RGB-D images. With this type of data the final 3D model can be textured, which is an advantage for many cases. The other main reason for this choice was the fact that Microsoft Kinect is a low-cost equipment, thereby becoming an alternative to expensive systems available in the market. The main achieved objectives were the reconstruction of 3D models with good quality from noisy captures, using a low cost sensor. The registration of point clouds without knowing the sensor’s pose, allowing the free movement of the sensor around the objects. Finally the registration of point clouds with small deformations between them, where the conventional rigid registration algorithms could not be used.

Language: English

Type (Professor's evaluation): Scientific

No. of pages: 44