Passer au contenu

ChatGPT, un jour avant la révolution

“La seule chose que je sais c’est que je ne sais rien”, disait Socrate. Nous ne sommes pas prêts.

Ce samedi, je ne sortirai pas dehors, mais j’irai explorer le monde. Je veux dire par là que depuis mon ordinateur, je me poserai tranquillement, pour apprendre de nouvelles choses. En fait, je ferai comme je l’ai fait la première fois que j’ai découvert Internet.

Vous savez, celui des blogs, des petits sites de passionnés. Celui où l’on ne se connectait pas encore pour discuter avec ses proches, ouvrir Instagram ou Netflix. Celui où finalement, nous nous contentions de taper une requête uniquement pour nous stupéfaire de la capacité de la machine à nous donner l’information.

Plus d’une décennie est passée par là et me voici de nouveau dans cet état de stupéfaction. La deuxième révolution d’Internet est arrivée.

Je viens d’ouvrir mon ordinateur et au lieu de taper une requête sur Google, je l’ai tapé sur ChatGPT. Je n’ai pas cherché à faire court, concis, comme on nous l’a appris : je n’ai pas cherché par moi-même, j’ai demandé. À qui ? À la machine. Celle qui est sur la bouche de tous les geeks, tous les développeurs, tous les journalistes aussi. ChatGPT. Avec elle, le langage naturel, comme nouvelle approche d’Internet, a de quoi tout changer.

D’abord parce que grâce à l’outil mis en place par OpenAi, me voici de nouveau enthousiaste à simplement tester une machine et me surprendre de ses capacités. Ensuite parce que si l’Internet dans les années 2000 nécessitait un minimum d’effort pour taper correctement ses recherches et sélectionner les bonnes sources, l’utilisation de ChatGPT ne demande aucun effort. Plus qu’une interface sur le web, il est un assistant qui trie, résume, met au clair, compare, conseille, élabore un plan. Son gain de temps dépasse l’entendement.

Pour moi, il a de quoi retourner encore plus le cerveau qu’un vol Paris-New York en 20 minutes nous le ferait. Il nous fait gagner du temps, nous rend surpuissants. Il nous donne le vertige aussi. “ChatGPT est l’un de ces rares moments dans la technologie où vous voyez une lueur de comment tout va être différent à l’avenir”, résumait sur Twitter Aaron Levie, le fondateur du logiciel de stockage sur le cloud, Box.

Révolutionner Internet, sans Internet

Pour l’heure, si ChatGPT peut vous donner une recette, vous fabriquer un poème, vous donner le code complet pour créer une application, vous expliquer en quoi le yoga peut-être bénéfique pour le surf, ou encore traduire pour vous un texte, c’est uniquement grâce à ses datacenters. Derrière la nouvelle technologie d’intelligence artificielle qui rend le langage naturel avec une machine aussi naturel qu’avec un être humain, il y a une gigantesque base de données. Elle nous bluffe déjà, mais elle connaît de nombreuses limites.

ChatGPT, aussi surprenant soit-il, n’est pas encore relié à Internet. Il révolutionne déjà Internet, mais n’en est pas connecté. Comprenez par là que toutes ses connaissances sont stockées au même endroit, et résultent d’un apprentissage de plusieurs années, qui s’est arrêté début 2022. ChatGPT n’a aucune idée de ce qu’il s’est passé ensuite. Testez par vous-même, je vous promet qu’il ne sait pas quelle équipe a gagné la Coupe du Monde au Qatar (ne me dîtes pas que c’est pour le mieux).

Difficile à croire. Difficile de se dire que des machines physiques, stockées sur notre globe, reliées par des câbles, puissent aujourd’hui enregistrer autant d’informations, tout en les recrachant de la forme la plus humaine possible. Vous me direz, Wikipédia est déjà une prouesse, mais une prouesse qui résulte, chaque jour, du travail indéniable d’êtres humains. ChatGPT, lui, peut discuter avec vous sans l’aide de qui que ce soit.

Le jour où ChatGPT sera relié à Internet

Demain, lorsque l’intelligence artificielle sera connectée à Internet, il deviendra une bombe. Une bombe qui sera certainement payante – l’outil dans sa version bêta n’étant pas fait pour rester gratuit -, mais une bombe tout de même. Elle ouvrira le champ des possibles de façon encore plus large, permettra de croiser les informations selon les sources. Ce sera une véritable déferlante qu’OpenAi devra amorcer avec douceur. Car Internet est une salve de connaissances qui, incontrôlée, regorge de fausses informations et d’horreur.

Si l’on peut avoir peur de la machine, Internet nous a rappelé au fil du temps qu’on pouvait surtout avoir peur de l’humain.

Une fois relié à Internet, ChatGPT changera Internet. À commencer par ses acteurs. Il n’est pas anodin que Google ait déclaré un “code rouge” à la vue du développement de ChatGPT par OpenAi. L’outil, pour la première fois depuis plus de dix ans, a les épaules pour changer la donne sur le monopole de Chrome. Au point d’écraser en un rien de temps le premier moteur de recherche et navigateur de la planète. Comprenez comment, avec cet unique point, nous pouvons parler de révolution d’Internet ?

Demain, avec ChatGPT relié à Internet, des pions seront placés. ChatGPT, en l’occurrence, n’est qu’une technologie, un moteur. La carrosserie pourra prendre plusieurs formes : des assistants vocaux nouvelle génération à des navigateurs sur nos ordinateurs, smartphones et télés. OpenAi, bientôt valorisé 29 milliards de dollars (croyez-moi, si ses capacités se confirment, sa capitalisation augmentera encore très nettement) ne sort pas de nulle part et Microsoft y possède des parts. D’ici peu, Bing voudra en profiter.

Est-ce que l’on devrait avoir peur ?

Comme toute révolution, il y aura du changement, de la peur, et un besoin de contrôle. Certains craignent pour leur travail (on ne peut pas citer une seule catégorie de métiers, des centaines sont concernés), et d’autres craignent pour l’apprentissage dans les écoles. “C’est la fin des devoirs à la maison !” s’exclamait Elon Musk récemment sur Twitter, lui qui a d’ailleurs investi dans OpenAi. À New York, de nombreuses écoles ont déjà bloqué l’accès à la plateforme. Un réflexe qui rappelle celui à l’origine de toute révolution…

Sortons-nous différents, d’un monde où l’Internet grand public est bientôt trentenaire ? Oui, forcément. Travaillons-nous différemment ? Bien entendu. Tout comme nous apprenons, nous nous éduquons d’une façon peu comparable. ChatGPT en fera de même, et plus encore, car il ne sera plus question de remplacer les bras par la machine, mais le cerveau par l’IA. Il suffit de savoir que l’outil peut vous rédiger la meilleure des lettres de motivation possible, coder pour vous, vous devancer d’une heure sur un brainstorming. Mais devrait-on forcément lui barrer la route ?

En fait, la question ne se pose pas. Il est “trop tard”, pourrait-on dire. Le Président d’OpenAi, Sam Altman, annonçait que plus d’un million de personnes dans le monde avaient testé ChatGPT cinq jours après la sortie de sa bêta publique le 30 novembre 2022. Un chiffre qui, ne soyons pas naïfs, est radicalement sous-évalué. Le nom de l’outil a inondé le web, les réseaux sociaux, la plateforme était encore ce week-end avec un bandeau indiquant que les serveurs saturaient. Nous sommes déjà des dizaines de millions, certainement, à avoir déjà posé une question à ChatGPT.

Maintenant, nous sommes en droit de nous demander comment OpenAi a-t-il bien pu prendre la tête du développement de l’intelligence artificielle face aux GAFA. Satya Nadella, le directeur général de Microsoft, qui s’est simplement contenté d’investir dans l’association lancée en 2015, n’aurait-il pas pu développer lui-même la technologie ? Si celle-ci peut éteindre Google Chrome du jour au lendemain, se substituer aux employés, pourquoi ne vaudrait-elle pas 3000 milliards de dollars dans 3 ans ? Pourquoi Microsoft a raté l’opportunité ?

Cette question, pour un média tech comme Presse-citron, est certainement la plus importante. Elle sous-entendrait peut-être que l’IA développée derrière ChatGPT ne serait pas seulement une consécration de ce que tout le monde chercherait à développer depuis vingt ans, mais un véritable game changer, une logique totalement différente, un bouleversement. Et donc un secret.

“Je ne pense pas que beaucoup d’ingénieurs sur cette planète soient en mesure de développer un outil aussi puissant. Et je ne pense pas qu’ils voudraient travailler pour le compte de Microsoft. Je ne crois pas non plus qu’ils travailleraient tous dans leur coin. Ils se sont regroupés”, commentait un ami développeur.

Ou alors, à l’extrême opposé, on peut aussi s’imaginer que l’outil d’OpenAi est une véritable illusion. Un tour de magie, tellement gros qu’il passerait. Il ferait de ChatGPT une coquille vide, une plateforme bien moins puissante qu’on pourrait le penser, seulement équipée d’un mode démo, configuré pour faire croire qu’il fonctionne sans problème pour toutes les tâches sans que ce ne soit en réalité possible. La piste est moins plausible, tant les preuves sont tangibles sur sa puissance. Mais n’avez-vous jamais remarqué ? N’avez-vous jamais eu ce constat ? Celui que sur de nombreuses requêtes, les ChatGPT semblent un peu banales ? Ni trop fausses ni trop vraies ?

Pour Gary Marcus, un professeur de psychologie à l’Université de New York invité dans un podcast du New York Times :

ChatGPT synthétise tout un tas de choses que les humains ont déjà écrites, parfois pour le meilleur et parfois pour le pire. Parfois, la synthèse est parfaite, parfois elle donne des résultats farfelus. […] Donc tout ce qu’il produit semble plausible parce que tout est dérivé de choses que les humains ont dites. Mais il ne connaît pas toujours les liens entre les choses qu’il assemble.

Ainsi, lorsqu’il réussit, c’est parce qu’il a été entraîné sur un grand nombre de choses similaires dans le texte auquel il a été exposé.[…] Mais cela ne signifie pas qu’il comprend vraiment ce dont il parle, c’est pourquoi il peut aussi faire des erreurs.

“Une leçon d’apprentissage, d’humilité intellectuelle”

Ouvrir une nouvelle discussion avec ChatGPT m’a fait passer par tout un tas d’émotion. Mais le constat principal est que tout ceci a de quoi donner le vertige. Mais me voici pourtant parti pour écrire un article, ce samedi après-midi de janvier 2023. Écrire un article, autrement dit faire mon travail, et vous proposer ces quelques lignes à vous lecteur. Alors non, je ne terminerai pas par vous dire que cet article a en réalité été écrit par la machine. Les réflexions et les émotions sont miennes. Après deux heures à discuter avec ChatGPT, je remarque y avoir trouvé un divertissement agréable. J’ai aimé apprendre. J’ai aimé demander.

Cela ne durera certainement qu’un temps avant que l’habitude s’installe. Que le risque, peut-être, sera de déconnecter son cerveau et laisser ChatGPT se substituer de nous creuser la tête. Devrai-je lui en en vouloir ? À l’instar de passer trop d’heures par jour sur les réseaux sociaux, à m’abrutir sur TikTok, je ne devrais en vouloir qu’à moi-même. Comme tout autre outil, il ne dépend que de nous de savoir l’utiliser.

Et depuis ce samedi après-midi de janvier 2023, je sais maintenant en quoi le yoga est complémentaire à la pratique du surf. Sans ChatGPT, je n’aurai peut-être pas fermé mon ordinateur, changé de tenue, et débuté une séance de Vinyasa.

“La seule chose que je sais c’est que je ne sais rien”, disait Socrate. “Une leçon d’apprentissage, d’humilité intellectuelle, pour nous encourager à garder notre ouverture d’esprit, encourager notre critique, remettre en question nos croyances et nos convictions”, me rappelait ChatGPT.

Nous ne sommes pas prêts.


Quelques-unes des questions que la rédaction de Presse-citron se pose :

  • Dans quelle mesure ChatGPT encouragera le débat des politiques à opter pour le revenu universel ?
  • Si le potentiel de ChatGPT est au moins aussi gros que celui de l’iPhone, de Google Chrome et se substitue à de nombreux métiers, pourquoi Microsoft ne la pas développé lui-même ?
  • Combien d’ingénieurs dans le monde sont capables de créer une telle technologie ? Sont-ils tous chez OpenAi ?
  • Pourquoi les GAFAM ne sont-ils pas arrivés à lancer ChatGPT avant OpenAi ?
  • ChatGPT réussira-t-il à se connecter à Internet ?
  • Qui entre Nvidia et OpenAi lancera la première plateforme de divertissement par IA ?

📍 Pour ne manquer aucune actualité de Presse-citron, suivez-nous sur Google Actualités et WhatsApp.

18 commentaires
18 commentaires
  1. Pourquoi dans cet articlre confond t-on Google Chrome qui est un navigateur et google qui est le moteur de recherche d’alphabet.
    Je vois pas en quoi chatGPT pourrait remplacer un navigateur, mais remplacer google c’est certainement possible.
    Cette erreur grossière est-elle due à une IA pas très doué ?

  2. L’article parle de ChatGPT, un outil d’OpenAI qui permet de communiquer avec une machine en langage naturel. ChatGPT est capable de réaliser des tâches comme donner une recette, créer un poème, expliquer comment pratiquer le yoga, traduire un texte et même fournir le code complet pour créer une application. Selon l’auteur, ChatGPT a la capacité de révolutionner Internet en permettant aux utilisateurs de communiquer avec une machine de manière naturelle et en leur faisant gagner du temps. Cependant, il est actuellement déconnecté d’Internet et ne peut donc pas accéder à de nouvelles informations ou réaliser des tâches en ligne. L’auteur suggère que ChatGPT pourrait être utilisé comme un outil de formation pour enseigner aux utilisateurs comment naviguer sur Internet de manière plus efficace.

  3. Je suis consterné de voir que tout le monde ne voit en GPT qu’un générateur de texte, c’est carrément un assistant qui est capable de donner des conseils personnels et personnalisés, y compris sur des sujets sensibles.
    Sa capacité la plus bluffante, c’est celle de comprendre ce qu’on lui demande, elle pourrait même servir de support pour les personnes atteintes de dépression ou autre Burnout…

  4. Pourquoi les GAFAM n’ont pas lancé chatGPT avant openAI? Hé bien parce que c’est beaucoup trop dangereux pour leur modèle économique. Ils sont installés, en place, toute technologie de disruption vient forcément les chahuter sur leur cœur de métier (core business pour les intimes). Ils peuvent/savent faire évoluer leur activité, pas la repenser entièrement.

  5. Tout d’abord, il ne s’agit pas encore d’IA mais bel et bien de Machine Learning.
    Pour l’instant, ce ne sont que des serveurs de plus en plus rapides avec de plus en plus de données qui sont programmés pour donner des réponses construites mais pas encore “pensées et réfléchies” !

    Ensuite, il faut garder à l’esprit que la démarche n’est nullement altruiste et qu’il faudra absolument garder son libre arbitre et ne pas se contenter de la bouillie pré-mâchée livrée par ChatGPT et tout autre Machine Learning du même genre à venir.

    En effet, gardons toujours à l’esprit une chose :

    “À qui profite le crime ?”

    Traduction littérale :

    – qui se trouve derrière ?
    – quels sont les intérêts qui seront sauvegardés et quels seront ceux qui seront bloqués ?

    En bref, si les machins trucs sont programmés pour servir les intérêts de son créateur et de ses petits copains au détriment du reste du monde, et que tout le monde tombe dans le panneau en suivant bêtement la pseudo nouvelle parole divine…il ne faudra pas s’étonner que cela ne fasse qu’accélérer le délitement de notre pensée, de nos intérêts et de ceux de nos sociétés et nos pays…

    Chacun fera ce que bon lui semble.

    1. Attention, le ML est un sous-domaine de l’IA, donc ce n’est jamais faux lorsque l’on dit qu’il s’agit d’IA. C’est juste plus couramment utilisé par la presse car ça parle plus à la population générale.

      Sinon, on pourrait dire “il ne s’agit pas de machine learning mais bel et bien de deep learning”.

  6. ChatGPT est incapable de dire quel est le meilleur sur un produit donné. C’est le cœur de métier de Google. Google n’a aucun soucis à se faire sur le marché publicitaire en ligne

  7. @Log, cela fait des années que Google ne donne absolument plus d’info sur quel produit est le meilleur. Sur toutes recherches, avec adblock (donc sans les sites sponsorisé), les 100 premiers resultats sont des sites générés, optimisés SEO qui sont un catalgoue qui redirige que vers des sites marchands à rémunération de lien et où tous les articles testés sont bons, à condition qu’ils rémunèrent bien le site.
    Depuis ChatGPT, j’ai laissé tomber Google.

  8. ChatGPT est basé sur la technologie transformer neural network développé mis à disposition par Google il y a 5 ans.
    Google a présenté un équivalent a ChatGPT (lambda) il y a quelques années.
    Pourquoi c’est pas disponible ? Google ne veut pas ternir sa réputation avec une IA qui dit de la daube.

  9. chatGPT me fait penser à Terravision (par rapport à Google Maps / voir la série The Billion Dollar Code sur Netflix). Mais je pense que OpenAI sera moins naif …

  10. J’ai essayé ChatGPT de deux façons :
    – La première de manière professionnelle, en lui posant une question technique : “comment configurer mon logiciel [logiciel de niche], pour qu’il réponde à un besoin complexe ?”
    J’ai eu une réponse très précise et détaillé : “Va dans tel menu, clique sur tel onglet, coche telle case.”. Problème : la case n’existait pas dans ma version. Je précise ma question en donnant la version de mon logiciel, ChatGPT me répond que cette option n’existe pas dans cette version, et qu’il faut changer pour une version plus récente (“l’option existe dans ton logiciel à partir de la version XXX.”). J’installe la nouvelle version, sans que la case n’existe. ChatGPT me répond que ma configuration de projet ne permet pas l’apparition de la case.
    Le problème, c’est que cette case n’existe juste pas. Elle n’est documentée nulle part dans la documentation du logiciel ; et à bien y réfléchir, elle n’aurait même pas de sens dans le contexte que me propose ChatGPT, elle aurait requis un paramétrage supplémentaire. ChatGPT a juste INVENTEE la case et l’option associée, puis m’a fait croire que ça existait réellement…
    – La deuxième de manière personnelle. J’ai demandé a ChatGPT de jouer une partie de donjons et dragons avec moi, en tant que MJ. Ca fonctionne étonnament bien au début. L’IA me propose de créer un personnage, me fournis de PV, des caractéristiques de personnage (moyennant une erreur de calcul), un inventaire ; puis me guide à travers l’aventure. Problème : au bout de quelques dizaines de réponses, l’IA oublie ce qu’on a dit plus tôt, change les règles (voire me demande d’aller les chercher dans le livre), semble oublier qu’il est le MJ, voire qu’on est en train de jouer…

    En somme, deux expériences où l’on passe du “Wahou !” au “meuh…” lorsqu’on pousse un peu…

    Je suis curieux de voir ce que donnera la version GPT4 ; pour le moment, je reste assez mitigé.

  11. Peut-on avoir les sources de cet article ? Où avez-vous vu que GPT-4 sortirait bientôt et aurait 100 trillions de paramètres ?

    En 2021, Sam Altman (le CEO et co-fondateur d’OpenAI) a laissé entendre que GPT-4 pourrait sortir aux alentours de 2023 et que sa finalité serait probablement différente de celle de GPT-3. Depuis, il n’y a pas réellement eu d’information quant à sa date de sortie et quant à sa taille. J’ai eu l’occasion d’en discuter avec un employé de OpenAI à la conférence NeurIPS, peu avant que ChatGPT fasse son apparition. Ce que l’on sait de OpenAI, c’est qu’il y aura un GPT-4. Mais c’est tout ! Ne faites pas circuler de fausses rumeurs, et vérifiez vos sources !

    D’autant plus que personne n’a envie d’avoir un modèle de 100 trillions de paramètres. GPT-3, avec ses 175 milliards de paramètres, est déjà suffisamment lourd pour OpenAI. On a passé la période où tout le monde jouait à qui a la plus grosse.
    Des communautés opensource comme EleutherAI sont parvenues à entraîner des modèles aux performances équivalentes à GPT-3 (GPT-NeoX pour 15 milliards de paramètres). La recherche se concentre désormais sur l’amélioration des performances sans pour autant augmenter la taille du modèle de manière considérable.
    C’est justement ce qu’a réalisé OpenAI, car lorsque GPT-3 est sorti en 2020, il faisait la même taille qu’actuellement, mais il n’était pas aussi précis dans ses réponses. Ce que le modèle est devenu maintenant a été possible grâce à la variété des données et à des astuces de Reinforcement Learning.

    La Chine dit avoir créé un modèle de 1 trillion de paramètre (Wu Dao 2.0), mais on n’en a plus entendu parler. En 2021, Microsoft a créé Megatron-Turing NLG 530B, 3 fois plus gros que GPT-3. Pour autant, ces modèles ne sont pas réputés plus performants que GPT-3 (du moins, aucune preuve n’a été apportée). Comme quoi, la taille ne fait pas tout. Ajoutons à cela que les très gros modèles posent de plus en plus de questions environnementales, tellement le CO2 émis par l’entraînement et l’inférence des modèles d’IA devient conséquent (https://ekamperi.github.io/machine%20learning/2019/08/14/energy-considerations-dnn.html).

    – Combien d’ingénieurs dans le monde sont capables de créer une telle technologie ? Sont-ils tous chez OpenAI ?
    Évidemment, tous les ingénieurs ayant les connaissances pour le réaliser ne sont pas chez OpenAI. Je pense même qu’énormément d’ingénieurs chercheurs en ont les compétences. Il faut cependant un peu d’expérience pour ajuster les bons hyper-paramètres (paramètres que l’on doit régler nous-mêmes, qui ne sont pas appris). Les méthodes pour y parvenir ne sont pas secrètes. Comme dit précédemment, des communautés ont été capable de recréer une copie de GPT-3, également capable de dialoguer. Le problème c’est que tout cela est très coûteux en infrastructure et en calculs. Comptez une facture d’électricité de l’ordre du million de dollars (https://arxiv.org/abs/1906.02243). Puis prenez en considération les 1024 GPU de 80Go de VRAM chacun à plus de 10,000$ l’unité, les ingénieurs à payer bien sûr… c’est un énorme coût, et seules les entreprises à très gros budget peuvent se le permettre. La communauté opensource y est parvenue, mais cela prend tellement de temps que lorsque le modèle sort, il y a déjà 1 an de retard. 1 an dans la recherche en intelligence artificielle, c’est beaucoup.
    Et puis ensuite, il faut l’infrastructure pour les utiliser, une fois entraînés. Meta a créé son propre GPT-3, dénommé OPT-175B, en seulement 3 mois avec une équipe de 5 ingénieurs. La différence avec la communauté, c’est que eux, ils avaient 1024 GPU accessibles juste comme ça… en clair, ils avaient les moyens. Ils sont gentils car ils ont publié leur modèle, téléchargeable gratuitement (https://github.com/facebookresearch/metaseq/tree/main/projects/OPT). Mais bon… il faut toujours 1To de VRAM pour exécuter le modèle. Ça a beau être public, personne ne peut réellement l’utiliser tellement c’est gros, rendez-vous bien compte !

    Ce qui nous amène à :

    – Pourquoi les GAFAM ne sont-ils pas arrivés à lancer ChatGPT avant OpenAI ?

    Google a déjà son propre modèle conversationnel, LaMBDA (2021). Il n’a pas été rendu accessible publiquement car les générations du modèle ne sont pas contrôlables et peuvent être biaisées. Ils l’ont donc gardé privé pour que l’on évite de dire “Une IA de Google affirme que [insérez un propos raciste]”, ce qui salirait grandement leur image. Là où OpenAI a été fort, c’est qu’ils sont parvenus à “éduquer” leur modèle avec du Reinforcement Learning (pour faire court, plusieurs personnes notent le texte généré par le modèle, ce qui permet de “l’aligner” avec leurs préférences, notamment en matière de biais sociaux). On ne sait pas qui sont les petites mains qui se sont collées à cette tâche, ni quelles étaient leurs instructions pour juger le contenu généré, ce qui soulève un petit problème éthique.

    Ce qui a également popularisé ChatGPT, c’est le fait qu’il soit présenté via interface graphique simple, favorable au dialogue. Cela était déjà possible avant avec GPT-3 et les autres modèles cités plus haut, mais il fallait bien préciser le contexte que le texte à compléter est une conversation. Imaginez faire ça à chaque fois… ce n’est pas très “user-friendly”.

    En clair, OpenAI n’est clairement pas le seul cavalier dans cette course.

  12. Peut-on avoir les sources de cet article ? Où avez-vous vu que GPT-4 sortirait bientôt et aurait 100 trillions de paramètres ?

    En 2021, Sam Altman (le CEO et co-fondateur d’OpenAI) a laissé entendre que GPT-4 pourrait sortir aux alentours de 2023 et que sa finalité serait probablement différente de celle de GPT-3. Depuis, il n’y a pas réellement eu d’information quant à sa date de sortie et quant à sa taille. J’ai eu l’occasion d’en discuter avec un employé de OpenAI à la conférence NeurIPS, peu avant que ChatGPT fasse son apparition. Ce que l’on sait de OpenAI, c’est qu’il y aura un GPT-4. Mais c’est tout ! Ne faites pas circuler de fausses rumeurs, et vérifiez vos sources !

    D’autant plus que personne n’a envie d’avoir un modèle de 100 trillions de paramètres. GPT-3, avec ses 175 milliards de paramètres, est déjà suffisamment lourd pour OpenAI. On a passé la période où tout le monde jouait à qui a la plus grosse.
    Des communautés opensource comme EleutherAI sont parvenues à entraîner des modèles aux performances équivalentes à GPT-3 (GPT-NeoX pour 15 milliards de paramètres). La recherche se concentre désormais sur l’amélioration des performances sans pour autant augmenter la taille du modèle de manière considérable.
    C’est justement ce qu’a réalisé OpenAI, car lorsque GPT-3 est sorti en 2020, il faisait la même taille qu’actuellement, mais il n’était pas aussi précis dans ses réponses. Ce que le modèle est devenu maintenant a été possible grâce à la variété des données et à des astuces de Reinforcement Learning.

    La Chine dit avoir créé un modèle de 1 trillion de paramètre (Wu Dao 2.0), mais on n’en a plus entendu parler. En 2021, Microsoft a créé Megatron-Turing NLG 530B, 3 fois plus gros que GPT-3. Pour autant, ces modèles ne sont pas réputés plus performants que GPT-3 (du moins, aucune preuve n’a été apportée). Comme quoi, la taille ne fait pas tout. Ajoutons à cela que les très gros modèles posent de plus en plus de questions environnementales, tellement le CO2 émis par l’entraînement et l’inférence des modèles d’IA devient conséquent (https://ekamperi.github.io/machine%20learning/2019/08/14/energy-considerations-dnn.html).

    – Combien d’ingénieurs dans le monde sont capables de créer une telle technologie ? Sont-ils tous chez OpenAI ?
    Évidemment, tous les ingénieurs ayant les connaissances pour le réaliser ne sont pas chez OpenAI. Je pense même qu’énormément d’ingénieurs chercheurs en ont les compétences. Il faut cependant un peu d’expérience pour ajuster les bons hyper-paramètres (paramètres que l’on doit régler nous-mêmes, qui ne sont pas appris). Les méthodes pour y parvenir ne sont pas secrètes. Comme dit précédemment, des communautés ont été capable de recréer une copie de GPT-3, également capable de dialoguer. Le problème c’est que tout cela est très coûteux en infrastructure et en calculs. Comptez une facture d’électricité de l’ordre du million de dollars (https://arxiv.org/abs/1906.02243). Puis prenez en considération les 1024 GPU de 80Go de VRAM chacun à plus de 10,000$ l’unité, les ingénieurs à payer bien sûr… c’est un énorme coût, et seules les entreprises à très gros budget peuvent se le permettre. La communauté opensource y est parvenue, mais cela prend tellement de temps que lorsque le modèle sort, il y a déjà 1 an de retard. 1 an dans la recherche en intelligence artificielle, c’est beaucoup.
    Et puis ensuite, il faut l’infrastructure pour les utiliser, une fois entraînés. Meta a créé son propre GPT-3, dénommé OPT-175B, en seulement 3 mois avec une équipe de 5 ingénieurs. La différence avec la communauté, c’est que eux, ils avaient 1024 GPU accessibles juste comme ça… en clair, ils avaient les moyens. Ils sont gentils car ils ont publié leur modèle, téléchargeable gratuitement (https://github.com/facebookresearch/metaseq/tree/main/projects/OPT). Mais bon… il faut toujours 1To de VRAM pour exécuter le modèle. Ça a beau être public, personne ne peut réellement l’utiliser tellement c’est gros, rendez-vous bien compte !

    Ce qui nous amène à :

    – Pourquoi les GAFAM ne sont-ils pas arrivés à lancer ChatGPT avant OpenAI ?

    Google a déjà son propre modèle conversationnel, LaMBDA (2021). Il n’a pas été rendu accessible publiquement car les générations du modèle ne sont pas contrôlables et peuvent être biaisées. Ils l’ont donc gardé privé pour que l’on évite de dire “Une IA de Google affirme que [insérez un propos raciste]”, ce qui salirait grandement leur image. Là où OpenAI a été fort, c’est qu’ils sont parvenus à “éduquer” leur modèle avec du Reinforcement Learning (pour faire court, plusieurs personnes notent le texte généré par le modèle, ce qui permet de “l’aligner” avec leurs préférences, notamment en matière de biais sociaux). On ne sait pas qui sont les petites mains qui se sont collées à cette tâche, ni quelles étaient leurs instructions pour juger le contenu généré, ce qui soulève un petit problème éthique.

    Ce qui a également popularisé ChatGPT, c’est le fait qu’il soit présenté via interface graphique simple, favorable au dialogue. Cela était déjà possible avant avec GPT-3 et les autres modèles cités plus haut, mais il fallait bien préciser le contexte que le texte à compléter est une conversation. Imaginez faire ça à chaque fois… ce n’est pas très “user-friendly”.

    En clair, OpenAI n’est clairement pas le seul cavalier dans cette course.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *