Toward automatic management of embarrassingly parallel applications

• Tipo: Artigo em Revista Científica Internacional
• Data: 2003

Autores

Dutra, I (Autor) Outra; Page, D (Autor) Outra; Costa, VS (Autor) FCUP; Shavlik, J (Autor) Outra; Waddell, M (Autor) Outra

Revista

Título: Lecture Notes in Computer Science

Vol. 3

Páginas: 509-516

ISSN: 0302-9743

Editora: Springer Nature

Indexação

ISI Web of Knowledge - 4 Citações

Scopus - 6 Citações

Classificação Científica

FOS: Ciências exactas e naturais > Ciências da computação e da informação

Outras Informações

ID Authenticus: P-007-JHF

DOI: 10.1007/978-3-540-45209-6_73

Abstract (EN): Large-scale applications that require executing very large numbers of tasks are only feasible through parallelism. In this work we present a system that automatically handles large numbers of experiments and data in the context of machine learning. Our system controls all experiments, including re-submission of failed jobs and relies on available resource managers to spawn jobs through pools of machines. Our results show that we can manage a very large number of experiments, using a reasonable amount of idle CPU cycles, with very little user intervention.

Idioma: Inglês

Tipo (Avaliação Docente): Científica

Nº de páginas: 8