4. L’IA Générative

4.1. Qu’est-ce que l’IAG ?

Contrairement à l’IA « traditionnelle » qui permet d’analyser des données existantes, l'IA générative (IAG) utilise des modèles probabilistes pour se concentrer sur la génération et la production de nouveaux contenus originaux : texte, images, musique, vidéos, code, modélisation 3D, …

Ces principales caractéristiques sont :

  • L’IAG est entraînée sur d'immenses quantités de données pour établir des relations mathématiques entre des éléments (des mots par exemple), à partir de calculs de probabilités. Ces données sont majoritairement collectées sur des médias en ligne, des pages web ou des conversations sur des réseaux sociaux (ce qui peut conduire à des problèmes de non respect des droits d’auteur ou de données biaisées, qui seront évoqués par la suite).
  • L’IAG utilise des statistiques pour produire du contenu : les algorithmes permettent d’analyser la manière dont les données sont agencées et de détecter des éléments récurrents. Il ne s’agit pas d’un simple copié-collé des données analysées : l’IAG permet d’imiter, d’améliorer ou d’élaborer un résultat nouveau en s’appuyant sur une recomposition statistique des régularités identifiées pendant son apprentissage. Le résultat produit correspond à une production statistiquement probable et semblable aux sources.
  • Pour démarrer ou alimenter la conversation avec l’IAG, on saisi du texte en langage naturel : ce texte est appelée prompt, requête ou invite. Ce prompt fourni à l'IAG des données d'entrée, qui constitue une instruction à partir de laquelle l'IAG va générer une réponse.
  • La réponse d'une IAG à un prompt est l'inférence : Il est important de bien distinguer le moment de l'entraînement du modèle (pendant une période donnée) et l'usage de l'IAG, où les inférences correspondent à l’utilisation du modèle en temps réel.



L’exemple des grands modèles de langage (LLM)

Les grands modèles de langage (LLM pour Large Language Models) permettent de reproduire la syntaxe et la sémantique du langage naturel humain en prédisant la suite probable des mots à partir des données d’entrée. Ils sont entraînés sur d'immenses quantités de textes.

Les LLM reposent sur la prédiction de fragments de mots1 en fonction des autres fragments qui l'entourent. Ils s'appuient sur l'apprentissage profond (deep learning) qui utilise des réseaux de neurones artificiels avec plusieurs couches. Les LLM de la famille GPT utilisent une architecture spécifique de réseaux de neurones appelée "transformer". Cette architecture permet d'établir des relations mathématiques entre les mots et de déterminer la probabilité d’apparition d'un mot en fonction du contexte, en se focalisant sur les mots les plus pertinents (à savoir les plus proches d’un point de vue sémantique).


1 Ces fragments de mots sont appelés tokens : c’est d’ailleurs sur le nombre de tokens que repose la facturation de certains outils commerciaux.




L'image est un graphique qui montre les probabilités de différents choix de mots dans une phrase. Point de départ : La phrase commence par  « Le ciel ». Branche principale : Une ligne épaisse montre la continuation la plus probable : « Le ciel est bleu », avec  « est » et « bleu ». 90 % de la probabilité mène à cette continuation. Branches alternatives : Des lignes plus fines se ramifient, montrant des continuations moins probables : « Le ciel change » avec une probabilité de 5 %. « Le ciel pleure »  avec une probabilité de 0,1 %. La branche principale « Le ciel est » se divise ensuite : « Le ciel est clair » à 10 %. « Le ciel est nuageux » à 8 %. Pourcentages : Les pourcentages à côté de chaque branche indiquent la probabilité de ce mot ou de cette expression après le précédent.
Figure 4. Illustration de l’appui sur des statistiques pour prédire la suite probable des mots dans une phrase (source : Université de Genève, 2024).

En résumé, l'IA générative fonctionne en s'appuyant sur d'immenses jeux de données pour entraîner des modèles, en s’appuyant sur des réseaux de neurones comprenant plusieurs couches. L'entraînement de ces réseaux permet à l'IA d'identifier des schémas et des structures dans les données, ce qui lui permet de générer de nouveaux contenus de manière statistique.

L'IA ne "comprend" pas le sens comme un humain, mais elle traite les informations de manière probabiliste. Le résultat de ce traitement est une production, ou génération, qui s'appuie sur les données d'entraînement et leurs caractéristiques.