Rienadire

Outils pour utilisateurs

Outils du site

Piste : • chaines_de_pensees_few-shot_prompt_templates • comprendre_les_capacites_et_limites_des_llm
ai:comprendre_les_capacites_et_limites_des_llm

Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

Les deux révisions précédentesRévision précédente
Prochaine révision		Révision précédente
ai:comprendre_les_capacites_et_limites_des_llm [2025/10/20 21:03] – [2.3 Attention et Multi-head Attention – Comprendre le contexte] adminai:comprendre_les_capacites_et_limites_des_llm [2025/10/20 21:13] (Version actuelle) – [Pour en savoir plus] admin
Ligne 1: Ligne 1:
-====== 1. Le rôle d'un LLM ======+====== Le rôle d'un LLM ======
  
 Un LLM (Large Language Model) est un système d'intelligence artificielle conçu pour **prédire le mot suivant** dans une séquence de texte. Il ne comprend pas le langage comme un humain, mais **calcule la probabilité** des mots les plus plausibles à partir du contexte, en s'appuyant sur des milliards d'exemples. Un LLM (Large Language Model) est un système d'intelligence artificielle conçu pour **prédire le mot suivant** dans une séquence de texte. Il ne comprend pas le langage comme un humain, mais **calcule la probabilité** des mots les plus plausibles à partir du contexte, en s'appuyant sur des milliards d'exemples.
Ligne 7: Ligne 7:
 </WRAP> </WRAP>
  
-====== 2. Anatomie d'un LLM ======+====== Anatomie d'un LLM ======
  
 ===== Synthèse générale du fonctionnement des Transformers ===== ===== Synthèse générale du fonctionnement des Transformers =====
Ligne 38: Ligne 38:
 L'enchaînement cohérent de ces étapes permet aux LLM de générer des textes fluides, pertinents, et adaptés à une grande variété de tâches, sans intervention humaine directe. L'enchaînement cohérent de ces étapes permet aux LLM de générer des textes fluides, pertinents, et adaptés à une grande variété de tâches, sans intervention humaine directe.
  
-===== 2.1 Embeddings – Transformer les mots en vecteurs =====+===== Embeddings – Transformer les mots en vecteurs =====
  
   * Chaque mot ou token est converti en vecteur numérique dense appelé **embedding**.   * Chaque mot ou token est converti en vecteur numérique dense appelé **embedding**.
Ligne 83: Ligne 83:
 </WRAP> </WRAP>
  
-===== 2.2 Positional Encoding – Situer les mots dans la phrase =====+===== Positional Encoding – Situer les mots dans la phrase =====
  
   * Les embeddings ne contiennent pas la **position** des mots dans une phrase.   * Les embeddings ne contiennent pas la **position** des mots dans une phrase.
Ligne 102: Ligne 102:
 </WRAP> </WRAP>
  
-===== 2.3 Attention et Multi-head Attention – Comprendre le contexte =====+===== Attention et Multi-head Attention – Comprendre le contexte =====
  
 ➡️ **Origine du concept** : Le mécanisme d'attention a été introduit dans le papier [[https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf|"Attention is All You Need" (Vaswani et al., 2017)]], qui a marqué un tournant majeur dans le traitement du langage naturel. Avant cela, les modèles utilisaient des architectures dites "séquentielles" (comme les RNN et LSTM), qui lisaient les mots un par un et avaient des difficultés à mémoriser des contextes longs. ➡️ **Origine du concept** : Le mécanisme d'attention a été introduit dans le papier [[https://proceedings.neurips.cc/paper_files/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf|"Attention is All You Need" (Vaswani et al., 2017)]], qui a marqué un tournant majeur dans le traitement du langage naturel. Avant cela, les modèles utilisaient des architectures dites "séquentielles" (comme les RNN et LSTM), qui lisaient les mots un par un et avaient des difficultés à mémoriser des contextes longs.
Ligne 129: Ligne 129:
 <WRAP center round tip 60%> <WRAP center round tip 60%>
 💡 **Exemple :** 💡 **Exemple :**
-Dans "Le chat noir saute sur la table" :+Dans "Le chat noir saute sur la table"
  
   * Une tête relie « chat » à « saute » (sujet/verbe).   * Une tête relie « chat » à « saute » (sujet/verbe).
Ligne 136: Ligne 136:
 </WRAP> </WRAP>
  
-===== 2.4 Réseau de neurones – Le "cerveau" du modèle =====+===== Réseau de neurones – Le "cerveau" du modèle =====
  
   * La sortie de la multi-head attention est traitée par un **réseau de neurones profond**.   * La sortie de la multi-head attention est traitée par un **réseau de neurones profond**.
Ligne 154: Ligne 154:
 </WRAP> </WRAP>
  
-===== 2.5 Fine-tuning – Adapter le modèle à un domaine =====+===== Fine-tuning – Adapter le modèle à un domaine =====
  
 Une fois le modèle de base entraîné sur un corpus généraliste, il peut être **affiné** pour répondre à des besoins spécifiques. Cette phase d'adaptation est appelée **fine-tuning**. Une fois le modèle de base entraîné sur un corpus généraliste, il peut être **affiné** pour répondre à des besoins spécifiques. Cette phase d'adaptation est appelée **fine-tuning**.
Ligne 180: Ligne 180:
 </WRAP> </WRAP>
  
-====== 3. Limites des LLM ======+====== Limites des LLM ======
  
 Même très performants, les LLM présentent des failles : Même très performants, les LLM présentent des failles :
Ligne 201: Ligne 201:
   * [[https://www.netflix.com/fr/title/81328723|Documentaire Netflix sur l'IA]]   * [[https://www.netflix.com/fr/title/81328723|Documentaire Netflix sur l'IA]]
   * [[https://www.france.tv/documentaires/documentaires-societe/6888928-les-sacrifies-de-l-ia.html|Les sacrifiés de l'IA (France TV)]]   * [[https://www.france.tv/documentaires/documentaires-societe/6888928-les-sacrifies-de-l-ia.html|Les sacrifiés de l'IA (France TV)]]
 +
 +----
 +[[principes_de_base_du_prompt_engineering|Principes de base du prompt engineering]]
ai/comprendre_les_capacites_et_limites_des_llm.1760986982.txt.gz · Dernière modification : de admin