Résumé

Les réseaux de neurones profonds sont des modèles d’apprentissage puissants. Cependant, ils requièrent du temps et des ressources importantes pour être entraînés. Nous proposons d’appliquer une approche d’apprentissage incrémentale pour entrainer ces réseaux en utilisant les informations présententes dans des modèles pré-entrainés. Nous souhaitons pour cela étudier les relations entre les architectures des réseaux, les catégories à apprendre, la quantité de données disponibles et la ’nature’ de ces données. Nous présentons nos résultats sur l’effet des variations des architectures des réseaux en accord avec les données. Nous étudions l’entrai- nement de modèles dans des cas où le pouvoir discriminant d’un modèle doit être augmenté, y compris avec le même jeu de données sur lequel ils ont déjà été entraînés. Les résultats vont vers une architecture spécifique pour chaque tâche. Ce travail est réalisé dans le contexte de réseau convolutionnel et les performances sont mesurées en terme de précision pour la classification d’image

Abstract

Deep neural networks are a powerful class of machine learning models. However they require a lot of time and computational resources to train. We propose to apply an incre- mental learning approach to train models by utilizing the information present in pre-trained models. We build towards this goal by studying the relationship between network architecture, categories in training data, the amount of training data, and the `nature’ of the data. We present our findings on the effect of varying network architectures with respect to the data. We investigate training models in scenarios where the discriminatory power of a model has to be increased, even for the same data set on which it has already been trained. The results are pointers towards having an optimal architecture for a specific task. The work is done in the context of convolutional neural networks and the performance is measured in terms of accuracy on an image classification task.