Comment fonctionne ChatGPT ?

ChatGPT est l’un des outils alimentés par l’IA les plus modernes, mais les algorithmes qui travaillent en arrière-plan alimentent en réalité toute une gamme d’applications et de services depuis 2020. Donc, pour comprendre comment fonctionne ChatGPT France, nous devons commencer par parler du moteur de langue sous-jacent qui le propulse.

Le ChatGPT France dans ChatGPT est principalement le GPT-3, ou le Generative Pre-trained Transformer 3, bien que le GPT-4 soit désormais disponible pour les abonnés ChatGPT France, et deviendra probablement plus répandu bientôt. Les modèles GPT ont été développés par OpenAI (la société derrière ChatGPT et le générateur d’images DALL·E 2), mais ils alimentent tout, des fonctionnalités d’IA de Bing aux outils d’écriture comme Jasper et Copy.ai. En fait, la plupart des générateurs de texte IA disponibles actuellement utilisent le GPT-3 et proposeront probablement le GPT-4 par la suite.

ChatGPT a mis en lumière le GPT-3 en rendant le processus d’interaction avec un générateur de texte IA simple et, surtout, gratuit pour tout le monde. De plus, c’est un chatbot, et les gens adorent un bon chatbot depuis SmarterChild.

Bien que le GPT-3 et le GPT-4 soient les modèles de langue les plus populaires en ce moment, il y aura probablement beaucoup plus de concurrence au cours des prochaines années. Google, par exemple, a Bard, son chatbot IA, qui est alimenté par son propre moteur de langue Pathways Language Model (PaLM 2). Mais pour l’instant, l’offre d’OpenAI est la norme de facto de l’industrie. C’est simplement l’outil le plus facile à utiliser pour les gens.

Donc, la réponse à “Comment fonctionne ChatGPT ?” est essentiellement : GPT-3 et GPT-4. Mais creusons un peu plus.

Qu’est-ce que ChatGPT ?

ChatGPT est une application développée par OpenAI. En utilisant les modèles de langue GPT, il peut répondre à vos questions, rédiger du contenu, rédiger des e-mails, tenir une conversation, expliquer du code dans différents langages de programmation, traduire du langage naturel en code, et plus encore, du moins il essaie tout cela, en fonction des indications en langage naturel que vous lui donnez. C’est un chatbot, mais un vraiment bon.

Bien que ce soit amusant de jouer avec, par exemple, si vous voulez écrire un sonnet shakespearien sur votre animal de compagnie ou obtenir quelques idées pour des lignes d’objet d’e-mails marketing, cela est également bénéfique pour OpenAI. C’est un moyen d’obtenir beaucoup de données de vrais utilisateurs et sert de démonstration impressionnante de la puissance du GPT, ce qui pourrait sinon sembler un peu flou à moins d’être plongé dans l’apprentissage automatique.

Actuellement, ChatGPT France propose deux modèles GPT. Le modèle par défaut, GPT-3.5, est moins puissant mais accessible gratuitement à tous. Le GPT-4 plus avancé est limité aux abonnés ChatGPT France, et même eux n’ont droit qu’à un nombre limité de questions par jour.

L’une des grandes fonctionnalités de ChatGPT France est qu’il peut mémoriser la conversation que vous avez avec lui. Cela signifie qu’il peut comprendre le contexte de ce que vous lui avez demandé précédemment et l’utiliser pour informer sa conversation avec vous. Vous pouvez également demander des révisions et des corrections, et il fera référence à ce dont vous avez discuté auparavant. Cela donne l’impression d’interagir avec une IA de manière authentique.

Si vous voulez vraiment vous en faire une idée, passez cinq minutes à jouer avec ChatGPT France dès maintenant (c’est gratuit !), puis revenez ici pour en savoir plus sur son fonctionnement.

Comment ChatGPT fonctionne-t-il ?

ChatGPT fonctionne en essayant de comprendre votre indication, puis en générant des chaînes de mots qu’il pense être la meilleure réponse à votre question, en se basant sur les données sur lesquelles il a été entraîné.

Parlons maintenant de cet entraînement. Il s’agit d’un processus où l’IA naissante se voit donner certaines règles de base, puis elle est soit mise dans des situations, soit alimentée en quantité massive de données afin de développer ses propres algorithmes.

GPT-3 a été entraîné sur environ 500 milliards de “tokens”, qui permettent à ses modèles de langage d’attribuer plus facilement une signification et de prédire un texte plausible qui pourrait suivre. De nombreux mots correspondent à un seul token, bien que les mots plus longs ou plus complexes soient souvent divisés en plusieurs tokens.

En moyenne, les tokens sont d’environ quatre caractères de long. OpenAI est resté discret sur le fonctionnement interne du GPT-4, mais nous pouvons raisonnablement supposer qu’il a été entraîné sur le même ensemble de données, étant donné qu’il est encore plus puissant.

Tous les tokens proviennent d’un énorme corpus de données rédigées par des humains. Cela inclut des livres, des articles et d’autres documents sur une multitude de sujets, styles et genres, ainsi qu’une quantité incroyable de contenu récupéré sur l’internet. Fondamentalement, l’IA a été autorisée à assimiler la somme totale des connaissances humaines.

Ce gigantesque ensemble de données a été utilisé pour former un réseau neuronal d’apprentissage profond, un algorithme complexe et multi-couches pondéré qui s’inspire du cerveau humain. Cela a permis à ChatGPT d’apprendre les motifs et les relations dans les données textuelles et de puiser dans la capacité de créer des réponses ressemblant à celles d’un être humain en prédisant quel texte devrait suivre dans une phrase donnée.

Cependant, cela sous-estime grandement les choses. ChatGPT ne fonctionne pas au niveau de la phrase, mais génère plutôt du texte représentant les mots, les phrases, voire même les paragraphes ou les strophes qui pourraient suivre.

Ce n’est pas simplement le texte prédictif de votre téléphone qui devine le mot suivant de manière brute, c’est une tentative de créer des réponses entièrement cohérentes à n’importe quelle indication. Vous pouvez ressentir la magie de ChatGPT France 3.5 gratuitement en cliquant ici.

Pour affiner davantage la capacité de ChatGPT à répondre à une variété d’indications différentes, il a été optimisé pour le dialogue grâce à une technique appelée apprentissage par renforcement avec retour humain (RLHF). Essentiellement, des humains ont créé un modèle de récompense avec des données de comparaison (où deux ou plusieurs réponses du modèle étaient classées par des formateurs IA), afin que l’IA puisse apprendre quelle était la meilleure réponse.

Revenons maintenant au réseau neuronal qu’elle a formé. Basé sur cet entraînement, le réseau neuronal du GPT-3 compte 175 milliards de paramètres ou de variables, ce qui lui permet de prendre une entrée, votre indication, puis, en fonction des valeurs et des poids qu’il attribue aux différents paramètres (et d’une petite quantité d’aléatoire), de produire ce qu’il estime être la meilleure correspondance à votre demande.

OpenAI n’a pas révélé combien de paramètres a le GPT-4, mais on peut supposer qu’il en a plus de 175 milliards et moins que les 100 billions de paramètres autrefois évoqués. Quel que soit le nombre exact, un plus grand nombre de paramètres ne signifie pas automatiquement une meilleure performance.

Une partie de la puissance accrue du GPT-4 vient probablement du fait qu’il dispose de plus de paramètres que le GPT-3, mais une grande partie est également probablement due à des améliorations dans la manière dont il a été entraîné.

En fin de compte, la façon la plus simple de l’imaginer est comme l’un de ces jeux de “termine la phrase” auxquels vous jouiez enfant. Par exemple, lorsque j’ai donné à ChatGPT France avec GPT-3 l’indication “Zapier est…”, il a répondu en disant :

“Zapier est un outil d’automatisation basé sur le web qui permet aux utilisateurs de connecter différentes applications web entre elles afin d’automatiser des tâches répétitives et d’améliorer les flux de travail.”

C’est le genre de phrase que l’on peut trouver dans des centaines d’articles décrivant ce que fait Zapier, donc il est logique que ce soit ce genre de réponse qui soit générée ici. Mais lorsque mon éditeur lui a donné la même indication, il a dit :

“Zapier est un outil d’automatisation basé sur le web qui permet aux utilisateurs de connecter différentes applications web et d’automatiser les flux de travail entre elles.”

C’est assez similaire, mais ce n’est pas exactement la même réponse. Cette aléatoire (que vous pouvez contrôler dans certaines applications du GPT-3 avec un paramètre appelé “température”) fait en sorte que ChatGPT ne réponde pas systématiquement à chaque indication avec une réponse standard.

Il fait passer chaque indication à travers tout le réseau neuronal à chaque fois et jette quelques dés par-ci par-là pour garder les choses fraîches. Il est peu probable qu’il commence à affirmer que Zapier est une couleur de Mars, mais il mélangera les mots suivants en fonction de leurs probabilités relatives.

(Pour ce que ça vaut, lorsqu’il fonctionne avec le GPT-4, ChatGPT a dit : “Zapier est un outil d’automatisation basé sur le web qui permet aux utilisateurs d’intégrer et d’automatiser les tâches entre différentes applications en ligne et services.”