Saltar para:
Logótipo
Comuta visibilidade da coluna esquerda
Você está em: Início > Publicações > Visualização > On evaluating stream learning algorithms

Publicações

On evaluating stream learning algorithms

Título
On evaluating stream learning algorithms
Tipo
Artigo em Revista Científica Internacional
Ano
2013
Autores
Joao Gama
(Autor)
FEP
Raquel Sebastiao
(Autor)
Outra
A pessoa não pertence à instituição. A pessoa não pertence à instituição. A pessoa não pertence à instituição. Sem AUTHENTICUS Sem ORCID
Revista
Título: Machine LearningImportada do Authenticus Pesquisar Publicações da Revista
Vol. 90
Páginas: 317-346
ISSN: 0885-6125
Editora: Springer Nature
Indexação
Classificação Científica
FOS: Ciências exactas e naturais > Ciências da computação e da informação
Outras Informações
ID Authenticus: P-002-0BR
Abstract (EN): Most streaming decision models evolve continuously over time, run in resource-aware environments, and detect and react to changes in the environment generating data. One important issue, not yet convincingly addressed, is the design of experimental work to evaluate and compare decision models that evolve over time. This paper proposes a general framework for assessing predictive stream learning algorithms. We defend the use of prequential error with forgetting mechanisms to provide reliable error estimators. We prove that, in stationary data and for consistent learning algorithms, the holdout estimator, the prequential error and the prequential error estimated over a sliding window or using fading factors, all converge to the Bayes error. The use of prequential error with forgetting mechanisms reveals to be advantageous in assessing performance and in comparing stream learning algorithms. It is also worthwhile to use the proposed methods for hypothesis testing and for change detection. In a set of experiments in drift scenarios, we evaluate the ability of a standard change detection algorithm to detect change using three prequential error estimators. These experiments point out that the use of forgetting mechanisms (sliding windows or fading factors) are required for fast and efficient change detection. In comparison to sliding windows, fading factors are faster and memoryless, both important requirements for streaming applications. Overall, this paper is a contribution to a discussion on best practice for performance assessment when learning is a continuous process, and the decision models are dynamic and evolve over time.
Idioma: Inglês
Tipo (Avaliação Docente): Científica
Nº de páginas: 30
Documentos
Não foi encontrado nenhum documento associado à publicação.
Publicações Relacionadas

Dos mesmos autores

Issues in Evaluation of Stream Learning Algorithms (2009)
Capítulo ou Parte de Livro
Joao Gama; Raquel Sebastiao; Pedro Pereira Rodrigues
Monitoring Incremental Histogram Distribution for Change Detection in Data Streams (2010)
Artigo em Livro de Atas de Conferência Internacional
Raquel Sebastiao; Joao Gama; Pedro Pereira Rodrigues; Joao Bernardes
Change Detection in Climate Data over the Iberian Peninsula (2009)
Artigo em Livro de Atas de Conferência Internacional
Raquel Sebastiao; Pedro Pereira Rodrigues; Joao Gama

Da mesma revista

Special ILP mega-issue: ILP-2003 and ILP-2004 (2006)
Outra Publicação em Revista Científica Internacional
Rui Camacho; Ross King; Ashwin Srinivasan
Metalearning and Algorithm Selection: progress, state of the art and introduction to the 2018 Special Issue (2018)
Outra Publicação em Revista Científica Internacional
Pavel Brazdil; Giraud Carrier, C
Introduction to the special issue on meta-learning (2004)
Outra Publicação em Revista Científica Internacional
Giraud Carrier, C; Vilalta, R; Pavel Brazdil
Guest editors' introduction: special issue on Inductive Logic Programming and on Multi-Relational Learning (2015)
Outra Publicação em Revista Científica Internacional
Gerson Zaverucha; Vitor Santos Costa
Guest Editors introduction: special issue of the ECMLPKDD 2015 journal track (2015)
Outra Publicação em Revista Científica Internacional
Concha Bielza; Joao Gama; Alipio Jorge; Indre Zliobaite

Ver todas (40)

Recomendar Página Voltar ao Topo
Copyright 1996-2025 © Faculdade de Direito da Universidade do Porto  I Termos e Condições  I Acessibilidade  I Índice A-Z
Página gerada em: 2025-09-08 às 23:57:44 | Política de Privacidade | Política de Proteção de Dados Pessoais | Denúncias | Livro Amarelo Eletrónico