Fenêtres contextuelles et jetons dans l'IA : une explication simple

Fenêtres contextuelles et jetons sont deux concepts fondamentaux de l'IA, en particulier des grands modèles de langage (LLM). La compréhension de ces concepts permettra de mieux comprendre pourquoi les modèles d'IA semblent "oublier" certaines parties de la conversation une fois qu'ils sont suffisamment développés et pourquoi des messages complexes peuvent être mal interprétés par le modèle.

Qu'est-ce qu'un jeton ?

En IA, un jeton est un unité de données qui peut représenter un caractère, un mot ou une phrase. Il s'agit en quelque sorte d'un bloc de construction que les modèles utilisent pour créer leurs réponses. En général, en anglais, chaque jeton équivaut à 4 caractères, mais ce n'est pas une règle. D'autres langues ont une équivalence de tokenisation différente et cela peut également dépendre des systèmes d'intelligence artificielle eux-mêmes.

Exemple de jetons :

• Mots complets ("maison", "chat", "merveilleux")
• Parties de mots ("un-" "expect-" "-ed")
• Caractères individuels (en particulier pour la ponctuation comme "." ou " ?")
• Espaces entre les mots

Par exemple, la phrase "J'adore apprendre sur l'IA !" peut être décomposée en jetons comme suit :

"I"
"Amour"
"Apprentissage"
" à propos "
" AI"
“!”

Pourquoi les jetons sont-ils importants ?

Les jetons permettent aux systèmes d'IA de traiter le langage plus efficacement. Ils n'essaient pas de comprendre tous les mots que vous pouvez saisir, mais travaillent avec un vocabulaire limité de jetons. Cela rend leur tâche beaucoup plus facile à gérer.

Qu'est-ce qu'une fenêtre contextuelle ?

Les fenêtres contextuelles sont la limite dans laquelle certains modèles garderont en mémoire les informations que vous fournissez au cours d'une conversation, pour ensuite y répondre.

La fenêtre contextuelle représente la quantité de texte (mesurée en tokens) qu'un modèle d'IA peut "voir" et prendre en compte en même temps lorsqu'il génère une réponse. Elle comprend

• Votre question ou demande actuelle
• Messages précédents dans la conversation
• Tous les documents ou informations que vous avez partagés
• Réponses antérieures de l'IA

Pourquoi les fenêtres contextuelles sont-elles importantes ?

Les fenêtres contextuelles sont importantes dans le sens où elles ont un impact sur la qualité de la réponse. Supposons qu'une IA dispose d'une fenêtre contextuelle de 8 000 tokens (environ 6 000 mots), elle ne peut prendre en compte que cette quantité de contexte pour générer la réponse. Tout ce qui se trouve en dehors de cette fenêtre de contexte sera effectivement invisible pour l'IA.

Quelques avantages pratiques de la compréhension de ces concepts :

• Si vous analysez une longue documentIl se peut que vous deviez le résumer dans la fenêtre contextuelle, le diviser en sections plus petites pour ensuite les analyser et vous concentrer sur les parties importantes.
• Pour écriture créativePar exemple, si vous travaillez sur une histoire, vous voudrez peut-être suivre l'utilisation de la fenêtre de contexte, rafraîchir la conversation de temps en temps et résumer les chapitres précédents pour assurer la continuité tout en économisant des jetons.
• Pour codification vous devez vous assurer que vous ne fournissez que le contexte nécessaire pour atteindre votre objectif. En tant que personne ayant programmé avec l'IA, il est facile de devenir paresseux et de fournir trop ou trop peu d'informations sur un problème que vous essayez de résoudre. Cependant, cela ne donne pas les meilleurs résultats et peut même vous gêner plus qu'autre chose.

Stratégies pour travailler avec des fenêtres contextuelles

1. Soyez concis : Communiquer clairement mais efficacement pour économiser des jetons.
2. Hiérarchiser les informations : Commencez par les détails les plus importants.
3. Résumez lorsque c'est possible : Au lieu de coller un document entier, envisagez de partager un résumé des points clés.
4. Nettoyage : Lors de longues conversations, envisagez de repartir à zéro lorsque le contexte est encombré d'informations non pertinentes.
5. Structurez vos questions : Des questions précises et bien organisées aident l'IA à comprendre vos besoins sans nécessiter d'échanges supplémentaires.

Conclusion

Les jetons et les fenêtres contextuelles sont des concepts importants à apprendre lorsque l'on essaie de travailler avec l'IA. Leur compréhension vous aidera à mieux communiquer avec les modèles d'IA, en exploitant au mieux leur potentiel et en respectant leurs contraintes. Au fur et à mesure que la technologie de l'IA progresse, les fenêtres contextuelles s'agrandissent et le traitement des jetons devient plus efficace, mais ces concepts restent au cœur de la façon dont nous interagissons avec l'IA linguistique.