Les secrets techniques de ChatGPT

Les questions de ce quiz

1. Sur quel modèle de langage fondateur ChatGPT-3.5 est-il basé ?

   • BERT (Bidirectional Encoder Representations from Transformers)
   • RoBERTa (Robustly Optimized BERT Pretraining Approach)
   • T5 (Text-to-Text Transfer Transformer)
   • GPT-3.5 (Generative Pre-trained Transformer 3.5)

2. Quel est le nom de la technique d'entraînement utilisée pour affiner ChatGPT après l'apprentissage initial ?

   • Apprentissage par transfert non supervisé
   • Fine-tuning supervisé simple
   • Distillation de modèle classique
   • RLHF (Reinforcement Learning from Human Feedback)

3. Combien de paramètres approximativement contient ChatGPT-3 ?

   • 7 milliards de paramètres
   • 50 milliards de paramètres
   • 175 milliards de paramètres
   • 1 trillion de paramètres

4. Quelle est la fenêtre de contexte (context window) de ChatGPT-4 Turbo ?

   • 32 000 tokens
   • 4 096 tokens
   • 2 048 tokens
   • 128 000 tokens

5. Quel mécanisme d'attention est au cœur de l'architecture Transformer utilisée par ChatGPT ?

   • Attention multi-têtes (Multi-Head Attention)
   • Attention croisée simple (Cross-Attention)
   • Attention additive (Additive Attention)
   • Attention locale (Local Attention)

6. En quelle année OpenAI a-t-il lancé ChatGPT au public ?

   • 2022
   • 2023
   • 2020
   • 2021

7. Quel est le nom du processus permettant à ChatGPT de générer du texte token par token ?

   • Décodage par faisceau (Beam Search)
   • Échantillonnage de Gibbs
   • Décodage glouton (Greedy Decoding)
   • Génération autorégressive (Autoregressive Generation)

8. Quel est le principal défi technique que pose l'augmentation de la fenêtre de contexte dans les modèles comme ChatGPT ?

   • L'incompatibilité avec les GPUs modernes
   • L'augmentation linéaire de la mémoire RAM
   • La réduction de la précision des embeddings
   • La complexité quadratique de l'attention (O(n²))

9. Quel type de données a principalement servi à l'entraînement initial de ChatGPT ?

   • Uniquement des articles académiques
   • Textes du web, livres, articles et données publiques
   • Données propriétaires d'OpenAI uniquement
   • Conversations humaines annotées manuellement

10. Quel est le rôle principal du modèle de récompense (reward model) dans l'entraînement RLHF de ChatGPT ?

    • Compresser les embeddings du modèle
    • Évaluer la qualité des réponses selon les préférences humaines
    • Générer des réponses alternatives en parallèle
    • Filtrer les tokens toxiques avant génération

Tu connais les réponses ? Joue pour le savoir.