Exploitation des dépendances entre labels pour la classification de textes multi-labels par le biais de transformeurs

Haytame Fallah (1) , Patrice Bellot (1) , Emmanuel Bruno (1) , Elisabeth Murisasco (1)

1 R2I - Recherche d’information et Interactions

We introduce a new approach to improve and adapt transformers for multi-label text classification. Dependencies between labels are an important factor in the multi-label context. Our proposed strategies take advantage of co-occurrences between labels. Our first approach consists in updating the final activation of each label by a weighted sum of all activations by these occurrence probabilities. The second proposed method consists in including the activations of all labels in the prediction. This is done using an approach similar to the 'self-attention' mechanism. As the most known multi-label datasets tend to have a small cardinality, we propose a new dataset, called 'arXiv-ACM', comprised of scientific abstracts from arXiv, tagged with their ACM keywords. We show that our approaches contribute to a performance gain, establishing a new state of the art for the studied datasets.

Nous présentons une nouvelle approche pour améliorer et adapter les transformeurs pour la classification multi-labels de textes. Les dépendances entre les labels sont un facteur important dans le contexte multi-labels. Les stratégies que nous proposons tirent profit des co-occurrences entre labels. Notre première approche consiste à mettre à jour l'activation de chaque label par une somme pondérée de toutes les activations par les probabilités d'occurrence. La deuxième méthode proposée consiste à inclure les activations de tous les labels dans la prédiction, en utilisant une approche similaire au mécanisme de 'selfattention'. Les jeux de données multi-labels les plus connus ont tendance à avoir une faible cardinalité, nous proposons un nouveau jeu de données, appelé 'arXiv-ACM', composé de résumés scientifiques d'arXiv, étiquetés avec leurs mots-clés ACM. Nous montrons que nos approches contribuent à un gain de performance, établissant un nouvel état de l'art pour les jeux de données étudiés.

Mots clés: Multilabel classification; Transformers; Label Dependencies

Mots clés: Classification multi-labels; Dépendances entre labels; Modèles Transformers

Domaines: Intelligence artificielle [cs.AI]; Théorie de l'information [cs.IT]; Apprentissage [cs.LG]

Haytame Fallah, Patrice Bellot, Emmanuel Bruno, Elisabeth Murisasco. Exploitation des dépendances entre labels pour la classification de textes multi-labels par le biais de transformeurs. EGC 2023 - 23ème conférence francophone sur l'extraction et la gestion des connaissances, Jan 2023, Lyon, France. pp.31-42. ⟨hal-04111691⟩