Learning function-valued functions in reproducible kernel Hilbert spaces with integral losses : Application to infinite task learning
Apprentissage de fonctions à valeurs fonctionnelles dans des espaces de Hilbert à noyaux auto-reproduisants avec pertes intégrales : Application à l'apprentissage d'un continuum de tâches
Résumé
Kernel methods are regarded as a cornerstone of machine learning.They allow to model real-valued functions in expressive functional spaces, over which regularized empirical risk minimization problems are amenable to optimization and yield estimators whose statistical behavior is well studied. When the outputs are not reals but higher dimensional, vector-valued Reproducible Kernel Hilbert Spaces (vv-RKHSs) based on Operator-Valued Kernels (OVKs) provide similarly powerful spaces of functions, and have proven useful to tackle problems such as multi-task learning, structured prediction, or function-valued regression.In this thesis, we introduce an original functional extension of multi-output learning called Infinite Task Learning (ITL), that allows to jointly solve an infinite number of parameterized tasks, including for instance quantile regression, cost-sensitive classification and density level set estimation.We propose a learning framework based on convex integral losses that encompasses the ITL problem and function-valued regression. Optimization schemes dedicated to solving the associated regularized empirical risk minimization problems are designed. By sampling the integral losses, we derive finite-dimensional representation of the solution under several choices of regularizers or shape constraints penalties, while keeping theoretical guarantees over their generalization capabilities. We also employ dualization techniques with the benefit of bringing desirable properties such as robustness or sparsity to the estimators thanks to the use of convoluted losses. Scalability issues are addressed by deriving optimization algorithms in the the context of approximated OVKs whose corresponding vv-RKHSs are of finite dimension. The use of trainable deep architectures composed by a neural network followed by a shallow kernel layer is also investigated as a way to learn the kernel used in practice on complex data such as images.We apply these techniques to various ITL problems and to robust function-to-function regression, that are tackled in the presence of outliers. We also cast style transfer problems as a vectorial output ITL problem and demonstrate its efficiency in emotion transfer.
Les méthodes à noyaux sont au coeur de l'apprentissage statistique. Elles permettent de modéliser des fonctions à valeurs réelles dans des espaces de fonctions à fort potentiel représentatif, sur lesquels la minimisation de risques empiriques régularisés est possible et produit des estimateurs dont le comportement statistique est largement étudié. Lorsque les sorties ne sont plus réelles mais de plus grande dimension, les Espaces de Hilbert à Noyaux Reproduisants à valeurs vectorielles (vv-RKHSs) basés sur des Noyaux à Valeurs Opérateurs (OVKs) fournissent des espaces de fonctions similaires et permettent de traiter des problèmes tels que l'apprentissage multi-tâche, la prédiction structurée ou la régression à valeurs fonctionnelles. Dans cette thèse, nous introduisons une extension fonctionnelle originale du cadre multi-tâche appelée Apprentissage d'un Continuum de Tâches (ITL), qui permet de résoudre conjointement un continuum de tâches paramétrées, parmi lesquelles la régression quantile, la classification à coût assymétrique, ou l'estimation de niveaux de densité. Nous proposons un cadre d'apprentissage basé sur des fonctions de pertes intégrales qui comprend à la fois l'ITL et la régression à valeurs fonctionnelles, ainsi que des méthodes d'optimisation pour résoudre les problèmes de minimisation de risque empirique régularisé résultants. Par un échantillonage des pertes intégrales, nous obtenons une représentation de dimension finie des solutions pour différents choix de régularisation ou pénalités liées à la forme des fonctions, tout en gardant un contrôle théorique sur les capacités en généralisation des estimateurs. L'usage de la dualité lagrangienne vient approfondir ces méthodes, en apportant en particulier les moyens d'imposer des estimateurs parcimonieux ou robustes à l'aide de pertes convoluées. Les problèmes de passages à l'échelle sont traités par l'utilisation noyaux approchés, dont les vv-RKHSs associés sont de dimension finie. Nous proposons aussi une architecture composée d'un réseau de neurone et d'une dernière couche à noyaux, qui permet l'apprentissage de représentations appropriées aux noyaux utiles dans les applications avec des données complexes comme les images. Ces techniques sont appliquées à plusieurs problèmes d'ITL, ainsi qu'au problème de régression fonction-à-fonction robuste en présence de valeurs aberrantes. Enfin, nous revisitons les problemes de transfert de style sous l'angle ITL, avec une application au transfert d'émotion.
Origine : Version validée par le jury (STAR)