Une étude statistique des plongements dans les modèles transformers pour le français - Conférences TALN RECITAL Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Une étude statistique des plongements dans les modèles transformers pour le français

Résumé

Nous étudions les propriétés statistiques des plongements dans les modèles transformers pour le français. Nous nous appuyons sur une analyse de la variance, des similarités cosinus intra-phrase et du rang effectif des plongements aux différents niveaux d’un transformer, pour des modèles pré-entraînés et des modèles adaptés à la classification de textes. Nous montrons que les modèles FlauBERT et CamemBERT pré-entraînés ont des comportements très différents même si les deux ont une tendance à générer des représentations anisotropiques, c’est-à-dire se concentrant dans un cône au sein de l’espace des plongements, comme observé pour l’anglais. L’adaptation à la classification de textes modifie le comportement des modèles, notamment dans les dernières couches, et procure une tendance forte à l’alignement des plongements, réduisant également la dimension effective de l’espace au final. Nous mettons également en évidence un lien entre convergence des plongements au sein d’une phrase et classification de texte, lien dont la nature reste difficile à appréhender.
Fichier principal
Vignette du fichier
8643.pdf (316.17 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03701513 , version 1 (24-06-2022)

Identifiants

  • HAL Id : hal-03701513 , version 1

Citer

Loïc Fosse, Duc-Hau Nguyen, Pascale Sébillot, Guillaume Gravier. Une étude statistique des plongements dans les modèles transformers pour le français. Traitement Automatique des Langues Naturelles (TALN 2022), Jun 2022, Avignon, France. pp.247-256. ⟨hal-03701513⟩
136 Consultations
142 Téléchargements

Partager

Gmail Facebook X LinkedIn More