Un Mixup Local pour empêcher les intrusions de variétés - Equipe Algorithm Architecture Interactions Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

A Local Mixup to prevent manifold intrusions.

Un Mixup Local pour empêcher les intrusions de variétés

Résumé

Deployed in the context of supervised learning, Mixup is a data-dependent regularization technique that consists in linearly interpolating input samples and associated outputs. It has been shown to improve accuracy when used to train on standard machine learning datasets. However, authors have pointed out that Mixup can produce out-of-distribution virtual samples and even contradictions in the augmented training set, potentially resulting in adversarial effects. In this paper, we introduce Local Mixup in which distant input samples are weighted down when computing the loss. In constrained settings we demonstrate that Local Mixup can create a trade-off between bias and variance, with the extreme cases reducing to vanilla training and classical Mixup. Using standardized computer vision benchmarks, we also show that Local Mixup can improve accuracy.
Utilisé dans le domaine de l'apprentissage supervisé, Mixup est une méthode de régularisation dépendante des données qui consiste à générer par interpolation linéaire de nouveaux exemples. Cette méthode améliore la généralisation sur des jeux de données standard d'apprentissage. Cependant, plusieurs auteurs ont souligné que Mixup peut générer des exemples en dehors de la distribution d'entrée ou parfois même contradictoires, pouvant être ainsi néfastes pour l'apprentissage. Dans cet article, nous introduisons Local Mixup, une méthode où les interpolations entre points distants sont pondérées plus faiblement dans la fonction de coût. Sous certaines hypothèses, nous prouvons que Local Mixup permet de contrôler un compromis bias/variance et de retrouver dans les cas extrêmes Mixup et un modèle sans mixage. Sur des jeux de données standard de vision par ordinateur, nous montrons que Local Mixup améliore la généralisation.
Fichier principal
Vignette du fichier
baena717 (1).pdf (215.05 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03693098 , version 1 (10-06-2022)

Identifiants

  • HAL Id : hal-03693098 , version 1

Citer

Raphael Baena, Lucas Drumetz, Vincent Gripon. Un Mixup Local pour empêcher les intrusions de variétés. GRETSI 2022 : 28ème colloque du Groupement de Recherche en Traitement du Signal et des Images, Sep 2022, Nancy, France. ⟨hal-03693098⟩
127 Consultations
37 Téléchargements

Partager

Gmail Facebook X LinkedIn More