Les Modèles de Langage : Architecture et Fonctionnement

Les questions de ce quiz

1. Quel mécanisme fondamental permet aux transformers de traiter les mots dans n'importe quel ordre sans perdre leur contexte ?

   • La récurrence temporelle
   • La convolution spatiale
   • L'encodage positional uniquement
   • L'attention multi-têtes

2. En 2017, quel article scientifique a introduit l'architecture Transformer qui révolutionna les modèles de langage ?

   • BERT: Pre-training of Deep Bidirectional Transformers
   • Language Models are Unsupervised Multitask Learners
   • ImageNet Classification with Deep Convolutional Networks
   • Attention Is All You Need

3. Qu'est-ce que le 'token' dans le contexte des modèles de langage ?

   • Une couche cachée du modèle
   • Une unité de traitement qui peut être un mot, un sous-mot ou un caractère
   • Un poids de réseau neuronal
   • Un algorithme d'optimisation

4. Quel est le rôle principal de l'encodage positionnel dans un transformer ?

   • Réduire la taille du modèle
   • Fournir l'information de l'ordre des tokens au modèle
   • Augmenter la vitesse d'inférence
   • Normaliser les embeddings

5. Quel processus d'entraînement consiste à prédire le mot suivant dans une séquence ?

   • Prédiction du mot masqué (Masked Language Modeling)
   • Modélisation du langage causal (Causal Language Modeling)
   • Classification supervisée
   • Apprentissage par renforcement

6. Que signifie 'fine-tuning' dans le contexte des modèles de langage ?

   • Augmenter le nombre de paramètres du modèle
   • Réduire la précision du modèle intentionnellement
   • Entraîner un modèle pré-entraîné sur une tâche spécifique avec peu de données
   • Supprimer les couches inutiles du réseau

7. Quel paramètre contrôle le degré de 'créativité' ou de 'randomness' dans la génération de texte ?

   • Le learning rate
   • La température (temperature)
   • Le batch size
   • Le nombre de couches

8. Qu'est-ce que le 'contexte window' ou 'context length' d'un modèle de langage ?

   • Le nombre de paramètres du modèle
   • La durée d'entraînement du modèle
   • La fréquence de mise à jour des poids
   • Le nombre maximum de tokens que le modèle peut traiter à la fois

9. Quel technique permet à un modèle de langage de 'mémoriser' des informations spécifiques sans réentraînement ?

   • La distillation
   • La pruning
   • La quantification
   • Le prompt engineering

10. Quel est le principal avantage du 'transfer learning' dans les modèles de langage modernes ?

    • Augmenter la taille du vocabulaire
    • Réduire le coût computationnel en réutilisant des connaissances pré-apprises
    • Éliminer complètement le besoin de données d'entraînement
    • Garantir une précision de 100%

Tu connais les réponses ? Joue pour le savoir.