Apprentissage continu en ligne de classificateurs un contre tous
Résumé
In the context of online continual learning, artificial neural networks for image classification tasks are prone to catastrophic forgetting: the tendency to forget previously acquired knowledge when learning new information. In order to alleviate this phenomenon, an external memory of fixed size is usually allocated to store past images and are fed back to the training loop. However, this method introduces a bias towards recent classes, which degrades the performance. In this paper, we propose to use one vs all classifiers in a continuous learning context. The system only trains the classifier of the last observed class without updating those of the previous classes, making it robust to catastrophic forgetting and to the bias towards recent classes. We compare our model to the state of the art on two datasets for image classification adapted to the online continual learning context.
Dans le contexte d'apprentissage continu en ligne, les réseaux de neurones artificiels utilisés pour la classification d'images sont sujets au problème d'oubli catastrophique : la tendance à oublier des connaissances précédemment acquises lors de l'apprentissage sur de nouvelles informations. Afin d'entraîner de tels réseaux de neurones sur un flux de données d'images, une mémoire externe de taille fixe est généralement allouée pour stocker des images passées et les réintroduire dans l'entraînement. Or, avec cette méthode un biais est généralement observé vers les classes récentes dégradant ainsi les performances du modèle. Dans cet article, nous proposons d'utiliser des classificateurs un contre tous dans un contexte d'apprentissage continu. Le système entraîne uniquement le classificateur de la dernière classe observée sans mettre à jour ceux des classes précédentes, le rendant ainsi robuste à l'oubli catastrophique et au biais vers les classes récentes. Nous comparons notre modèle à l'état de l'art sur deux bases de données pour la classification d'images adaptées au contexte d'apprentissage continu en ligne.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|