3.1 La compréhension du langage naturel

Comme mentionné dans l’introduction, le NLP fait également intervenir de la linguistique. En effet, cette dernière est importante pour la compréhension du langage naturel notamment pour comprendre la structure du langage. Le langage humain est composé de quatre éléments principaux : les phonèmes, les morphèmes et lexèmes, la syntaxe et le contexte.
Les phonèmes correspondent à la plus petite unité de son dans un langage. L’étude phonologique est particulièrement importante pour les tâches de NLP impliquant la compréhension de la parole, la transcription de la parole en texte ou la représentation du texte en parole.

L’analyse morphologique ou lexicale correspond à l’étude de la formation et de la structure interne des mots. Elle est à la base de la tokenisation et de la normalisation du texte. Le lexique d’une langue est l’ensemble des mots et des phrases de cette langue. Un morphème est la plus petite unité de langage possédant une signification.
L’analyse syntaxique correspond à l’étude de la formation et de la structure interne des phrases et attribue une fonction aux mots (verbe, sujet…). En utilisant l’analyse syntaxique, les phrases sont séparées en ses constituants grammaticaux et prend en compte des relations entre les mots selon des règles précises. Il y a une différenciation entre le sujet et l’objet de la phrase.

Le quatrième élément fondamental du langage humain est le contexte qui va permettre de donner un sens particulier à une phrase. Le contexte fait intervenir une analyse sémantique et une analyse pragmatique. L’analyse sémantique correspond à l’étude de la signification du texte basée sur la structure logique de la phrase et les règles grammaticales en dehors du contexte. L’analyse pragmatique quant à elle étudie le sens qui est communiqué dans un contexte particulier.

3.2 Techniques de base du NLP

A la base du NLP, plusieurs techniques sont fondamentales aussi bien pour les méthodes traditionnelles que pour les méthodes basées sur du deep learning. Nous pouvons différencier les techniques de traitement de texte brut et les techniques de représentation de texte.

Parmi les techniques de préparation du texte brut, nous pouvons citer :

• La segmentation qui fait référence à des techniques de séparation de texte écrit en unités ayant du sens telles que les mots, les phrases ou les sujets. C’est une étape essentielle dans beaucoup de tâches de NLP comme faire des résumés, la traduction, l’analyse de sentiments (enthousiasme, apathie, mécontent, etc.). Actuellement, plusieurs méthodes de segmentation peuvent être utilisées, basées sur des règles (par exemple la présence de ponctuation), avec des méthodes statistiques ou de deep learning.

• La tokenisation qui est une étape fondamentale pour le traitement du langage consistant à séparer le texte en petites unités appelées tokens. Les tokens peuvent être soit des mots, des sous-mots ou des caractères. Les tokens sont utilisés pour préparer le vocabulaire du texte c’est-à- dire à un set de tokens unique. Ce vocabulaire sera utilisé pour les approches bag-of-word et TF-IDF que nous verrons plus tard.

La tokenisation en mots est couramment utilisée. Selon les séparateurs, différents tokens sont formés. Une limitation majeure est le ‘out of vocabulary’ lorsque de nouveaux mots ne sont pas dans le vocabulaire. Après la tokenisation, le texte peut être nettoyé avant d’être utilisé dans les algorithmes de machine learning. Une étape de nettoyage inclut la suppression des stopwords, comme “le” et “la”, qui n’ont pas de valeur informative mais sont fréquents. La suppression des stopwords permet aux algorithmes de se concentrer sur les mots définissant la signification du texte. Pour certaines applications comme la traduction, les stopwords ne sont pas supprimés.

Ensuite, le texte peut être normalisé avec des techniques de stemming ou de lemmatisation. Le stemming conserve la racine du mot en supprimant préfixes et suffixes, mais ne considère pas les relations sémantiques. Par exemple, “université” et “universitaire” deviennent “univers”. La lemmatisation représente les mots sous leur forme canonique, en utilisant un dictionnaire pour correspondre à des mots réels.
Ces étapes de nettoyage sont utiles dans certains cas (allègent le texte, accélèrent les calculs comme la détection de spams), mais pour certaines applications, les stopwords sont conservés pour mieux comprendre la signification des phrases.

3.3 Les techniques de représentation de texte

Une fois le texte préparé en utilisant les étapes précédemment décrites, le texte a besoin d’être transformé dans une représentation numérique compréhensible par les machines. Au cours du temps, différentes méthodes ont été développées afin de créer ces représentations de textes. Ces représentations correspondent à des vecteurs qui vont plus ou moins réussir à capturer les propriétés linguistiques du texte qu’ils représentent.

Dès 1957, la technique du “bag of words” (sac de mots) a fait son apparition dans le contexte de la recherche d’informations. Elle est basée sur le comptage des mots ou fréquence des tokens. Avec cette méthode, chaque document est représenté par un vecteur de la taille du vocabulaire présent dans le document et l’occurrence de chaque mot est notée. Le texte est représenté par une matrice de taille NxN où N est le nombre de tokens unique dans le texte. Comme cette matrice contient majoritairement des zéros, nous parlons de matrices creuses (sparse matrix). La taille du vocabulaire déterminant la taille de la matrice, cette méthode nécessite des grosses capacités de mémoire lorsque les documents contiennent un vocabulaire riche. De plus, si un document contenant un token non présenté lors de l’entrainement est soumis au modèle, ce token n’est pas reconnu (problème du “out of vocabulary“). Un autre désavantage de cette approche est que le sens sémantique du texte n’est pas capturé ⁽¹⁶⁾.

5.2 Les nouvelles applications possibles du NLP

De nouvelles applications apparaissent pour analyser des documents de type pdf. L’outil chatpdf (28) permet par exemple de télécharger un fichier pdf et de chatter avec le document. Cet outil est utilisé par exemple pour parcourir des documents scientifiques, des articles académiques et des livres pour obtenir les informations de manière rapide. Un autre outil assez similaire mais qui peut être lancé en local sur son ordinateur est PDFgear.

Il existe également des outils qui facilitent la recherche bibliographique. Parmi ces outils, nous retrouvons :

• Consensus⁽³⁰⁾ : une IA utilisée pour analyser les recherches évaluées par les pairs et extraire les principales conclusions de chacune d’entre elles.
• Scite⁽³¹⁾ : il s’agit d’une IA qui permet aux utilisateurs de trouver les bonnes sources pour la rédaction d’articles scientifiques.
• Elicit ⁽³²⁾ : c’est un outil qui est capable de localiser des articles pertinents et extraire des informations sans que la correspondance dans la requête soit réalisée avec des mots clés spécifiques. Cette IA peut aider à réaliser différents exercices d’exploration, notamment la conceptualisation, la synthèse et la mise en ordre du texte, ainsi que la synthèse des questions centrales pour la réalisation d’un rapport.

• ResearchRabbit⁽³³⁾ : appelé par ses fondateurs “le Spotify de la recherche”, Research Rabbit permet d’ajouter des articles académiques à des “collections”. Ces collections permettent au logiciel de connaître les centres d’intérêt de l’utilisateur, ce qui donne lieu à de nouvelles recommandations pertinentes. ResearchRabbit permet également de visualiser le réseau d’articles des auteurs et des coauteurs sous forme de graphiques, afin que les utilisateurs puissent suivre le travail d’un seul sujet ou d’un seul auteur et se plonger plus profondément dans leur recherche.

• Scholarcy ⁽³⁴⁾ ou PaperDigest ⁽³⁵⁾ : ce sont des outils similaires qui résument les articles académiques et mettent en évidence les parties les plus importantes pour le lecteur. Ils permettent également de déterminer rapidement et facilement si un article est pertinent ou non. De plus, de nouvelles applications émergent comme les multi agents : il s’agit d’un ensemble d’agents autonomes interagissant entre eux pour atteindre des objectifs spécifiques. Chaque agent dans un système multi-agent est une entité autonome dotée de sa propre capacité de perception, de prise de décision et d’action.

Il existe à l’heure actuelle plusieurs IA de ce type dont :

• Autogen de Microsoft⁽³⁶⁾ : c’est une IA qui simplifie l’orchestration, l’optimisation et l’automatisation des flux de travail des LLM. Il offre des agents personnalisables et conversationnels qui exploitent les capacités les plus fortes des LLM et les plus avancées, comme GPT-4, tout en répondant à leurs limites en s’intégrant aux humains et aux outils et en ayant des conversations entre plusieurs agents via un chat automatisé.
• Mixtral (sparse mixture-of-expert)⁽³⁷⁾ : il s’agit d’un modèle basé uniquement sur la partie décodeur où à chaque couche, pour chaque token, un routeur choisit deux des huit groupes de paramètres disponibles (nommés les “experts”) afin de procéder à l’analyse du token et de combiner les résultats. Cette technique permet de réduire le nombre de paramètres d’un modèle tout en contrôlant le coût et la latence. En effet, ce type de modèle n’utilise qu’une fraction du total des paramètres définis par token. Par exemple, Mixtral a 46.7 milliards de paramètres totaux et n’utilise que 12.9 milliards de paramètres par token. Aussi, des modèles de type multimodal apparaissent. Il s’agit par exemple de GPT-4 et Gemini Pro. Ce sont des IA qui sont capables de comprendre, traiter et intégrer plusieurs types de données ou signaux d’entrée (texte, audio, image, vidéo, code informatique).

Parmi les cas d’usage, il y a par exemple le :

• “text to image” : à partir d’un texte, l’IA est capable de générer une image
• “text to music” : à partir d’un texte, l’IA est capable de générer de la musique
• “image to text” : à partir d’une image, l’IA donne une description des éléments qui y sont représentés.

Enfin, des modèles NLP sont développés pour des domaines spécifiques (juridique, règlementaire, médicale, scientifique, etc). Il existe des sites internet qui répertorient l’ensemble de ces variants de modèles comme HuggingFace⁽³⁸⁾ ou très récemment GPTStore⁽³⁹⁾. Pour finir, des entreprises comme Meta, souhaitent développer des IA génératives fiables et responsables (Purple Llama)⁽⁴⁰⁾. Ces IA sont testées par des équipes afin de s’assurer qu’elles ne produisent pas par exemple du texte à caractère haineux ou non éthique.

6. Conclusion

Cet article met en lumière un domaine fascinant de l’intelligence artificielle : le traitement du langage naturel (NLP). Nous plongeons dans l’histoire du NLP, de ses débuts dans les années 50 jusqu’à son état actuel, en suivant l’évolution constante des concepts et des technologies qui ont façonné les modèles actuels les plus sophistiqués. Tout au long de cette évolution, une panoplie de techniques de représentation et d’analyse textuelle ont été méticuleusement développées.

Aujourd’hui, le NLP imprègne divers secteurs avec des applications aussi variées que l’analyse et la synthèse de texte, la traduction, la recherche d’informations dans les documents, la classification, et même la génération de contenu. Cette ascension fulgurante trouve son élan dans l’évolution parallèle des outils matériels dédiés à l’apprentissage des modèles en exploitant les nouvelles technologies.
Les futurs développements se profilent vers des systèmes multimodaux qui ne se limitent pas au texte, mais englobent également la génération d’images, de sons et de vidéos. Enfin, les toutes dernières avancées se concentrent sur des modèles plus économes en ressources et sans compromettre les performances. Une ère passionnante s’ouvre dans le domaine du NLP, avec des horizons toujours plus vastes et des possibilités innovantes à explorer.