Skip to Main content Skip to Navigation
Conference papers

Adaptation au domaine de modèles de langue à l'aide de réseaux à base de graphes

Résumé : Les modèles de langue prodonds encodent les propriétés linguistiques et sont utilisés comme entrée pour des modèles plus spécifiques. Utiliser leurs représentations de mots telles quelles pour des domaines peu dotés se révèle être moins efficace. De plus, ces modèles négligent souvent les informations globales sur le vocabulaire au profit d’une plus forte dépendance à l’attention. Nous considérons que ces informations influent sur les résultats des tâches en aval. Leur combinaison avec les représentations contextuelles est effectuée à l’aide de réseaux de neurones à base de graphes. Nous montrons que l’utilité de cette combinaison qui surpassent les performances de baselines.
Document type :
Conference papers
Complete list of metadata

https://hal.archives-ouvertes.fr/hal-03701512
Contributor : Yannick Parmentier Connect in order to contact the contributor
Submitted on : Friday, June 24, 2022 - 4:42:31 PM
Last modification on : Tuesday, September 27, 2022 - 10:08:57 AM
Long-term archiving on: : Sunday, September 25, 2022 - 9:38:14 PM

File

8526.pdf
Publisher files allowed on an open archive

Identifiers

  • HAL Id : hal-03701512, version 1

Citation

Merieme Bouhandi, Emmanuel Morin, Thierry Hamon. Adaptation au domaine de modèles de langue à l'aide de réseaux à base de graphes. Traitement Automatique des Langues Naturelles (TALN 2022), Jun 2022, Avignon, France. pp.270-279. ⟨hal-03701512⟩

Share

Metrics

Record views

42

Files downloads

1