Terme défini
Transformer
L'architecture de réseau de neurones qui sous-tend les LLMs modernes, basée sur l'attention auto-référentielle.
Le transformer (Vaswani et al., 2017) a remplacé les RNNs comme architecture dominante pour le NLP. Sa key innovation — le mécanisme self-attention — laisse le modèle peser tous les tokens d'input contre tous les autres en parallèle. Tous les frontier LLMs en 2026 sont des transformers ; les variations sont sur scale, training data et alignment.
Termes liés
LLM (Large Language Model)
Un grand modèle de langage entraîné sur des corpus textuels massifs, capable de générer et raisonner sur du texte.
Fenêtre de contexte
Quantité maximale de tokens (input + output) qu'un LLM peut traiter en un seul call.
Modèle frontier
Le modèle de plus haute capacité disponible chez un fournisseur, optimisé pour le reasoning à fort enjeu.
Foundation model
Grand modèle pré-entraîné qui sert de base à toutes les applications IA dans une famille de modèles.
On utilise ça chaque semaine
Réserver un appel de 30 min
Réservez un appel de 30 min et on vous montre comment Transformer apparaît dans un engagement réel qu'on opère.
Réserver un appel de 30 min