Les arcanes de ChatGPT - Entre brillance et duperie

Aujourd'hui, nous plongeons dans le domaine de l'IA Générative (GenAI) et de son impact profond sur le monde de la programmation. Si vous êtes novice en la matière, notre collègue Alrick a rédigé un excellent article introductif sur les LLM et leurs différences par rapport à l'IA traditionnelle, que je vous recommande vivement de parcourir ici.

Plongeons donc tête la première dans le monde de la GenAI, où nous mettrons en lumière deux stars de la scène : ChatGPT et GitHub Copilot, bâtie sur le modèle Codex. Ce duo dynamique a conquis la communauté des développeurs et sont devenus les outils de prédilection pour les programmeurs du monde entier, comme en témoigne leur popularité incontestable parmi les offres de la GenAI.

Bien que cet article puisse sembler critique à l'égard de ChatGPT, notre objectif est de définir les limites de l'IA générative afin que les utilisateurs puissent en exploiter le potentiel avec sagesse et l'utiliser en conséquence. Loin d'être sombre et lugubre, en réalité, l'IA générative promet d'être un outil fantastique pour l'expérience des développeurs, un sujet que nous explorerons dans un article à venir.

Le baratineur dévoilé: l'impact de l'IA sur le monde de la Tech

"Un menteur tient compte de la vérité [...] le baratineur n'est pas tributaire de telles contraintes" – Harry Frankfurt, De l'art de dire des conneries, 1986

Dans le monde technologique en constante évolution, où l'innovation ne connaît aucune limite, nous nous trouvons à la merci d'une révolution de l'IA qui ne manque pas de nous époustoufler. Bienvenue dans l'univers de l'IA générative, la dynamo numérique qui a bouleversé l'expérience de codage des développeurs de haut en bas. Mais avant de plonger dans les profondeurs de la GenAI, mettons les choses au clair avec une petite mise en garde : ChatGPT et consorts, chers lecteurs, ne sont pas des moteurs de recherche.

Source: Chartr

Alors que les outils d'IA occupent une place centrale dans le paysage technologique, ChatGPT est apparu comme une superstar, affichant le taux d'adoption le plus rapide jamais enregistré. Selon le graph ci-dessus, cette merveille de l'IA a balayé le monde technologique. C'est comme avoir Alfred pour notre Batman, mais avec une touche de magie de la Silicon Valley. Ces merveilles de l'IA sont les héros méconnus en coulisses, rendant les processus plus efficaces que jamais.

Jetez un coup d'œil à ChatGPT dans toute sa gloire de chatbot. C'est comme avoir un acolyte surexpérimenté, fournissant des réponses éclaires adaptées à vos besoins spécifiques. Pourquoi se donner la peine de fouiller les threads labyrinthiques de Reddit, les allées cryptiques de Stack Overflow ou la vaste étendue des résultats de recherche Google lorsque vous pouvez avoir un bot AI ma foi bien sympathique qui vous livre des réponses en temps réel ? C'est l'équivalent numérique de se faire livrer un repas gastronomique à votre porte.

ChatGPT fournit des paraphrases, Google distribue des citations.

Cependant, voici l'essentiel de la question : utiliser ChatGPT comme moteur de recherche est un peu comme comparer une image haute résolution à une image JPEG légèrement floue. Les LLMs (Language Model Machines) sont ainsi, des versions condensées et pixelisées du vaste ensemble de données sur lequel ils sont formés. Ils recréent des réponses qui semblent authentiques, mais au fond, ne sont que des imitations numériques. Pensez à ChatGPT comme à un professionnel de la rhétorique, un baratineur. Il ne s'agit pas de mensonges, mais de régurgiter ce qu'il a appris, avec une dose de confiance qui pourrait séduire même les passionnés de technologie les plus avertis.

En effet, une étude mentionnée ici explique comment les êtres humains sont remarquablement susceptibles d'accepter des déclarations incorrectes, surtout lorsqu'elles sont enveloppées dans une aura de profondeur vague. Nous appelons ce phénomène "hallucination" dans le monde de l'IA - un terme approprié pour les LLMs qui créent des données et insistent pour que ce soit la vérité absolue, même lorsque nous infirmons ces réponses des preuves nécessaires.

Naviguer en eaux troubles: l'expertise des LLMs

OpenAI a pourtant sonné l'alerte avertissant la communauté que compter sur ChatGPT en tant que source fiable d'information pourrait être un peu comme utiliser un canard en plastique comme navigateur GPS. Pourtant, malgré ces mises en garde, nous ne pouvons nous empêcher de garder ChatGPT dans notre arsenal de compagnons numériques. Dans un monde où les outils d'IA sont aussi omniprésents que les mèmes de chats sur Internet, ce paradoxe n'est que la partie émergée de l'iceberg.

Selon une récente enquête, un taux impressionnant de 80,5% des programmeurs utilisent les outils GenAI comme leurs fidèles moteurs de recherche pour explorer de nouveaux sujets. C'est comme avoir un guide touristique IA à travers le labyrinthe des connaissances technologiques. Et voici le clou du spectacle : 60% de ces âmes utilisent réellement GenAI pour écrire du code ! C'est comme demander à une pieuvre psychique de prédire les résultats de la Coupe du Monde de football - étonnamment efficace, mais tout aussi imprévisible.

ChatGPT, capricieux et pourtant irrésistible

Passons aux détails néanmoins. À quel point les réponses générées par ChatGPT sont-elles fiables ? Disons simplement que j'ai mené mes propres expériences et que j'ai découvert quelques pépites : des messages d'erreur mystérieusement intégrés dans les extraits de code - voilà ce que j'appelle une IA visionnaire ! Et je ne suis pas le seul dans cette montagne russe des découvertes générées par l'IA. Jetez un coup d'œil à ce témoignage révélateur.

# Rotationfor x in range(len(vertices)): # Calculate rotation angle and rotate vertex by that much new_x = x + (40 - 40) new_y = y new_z = z # Add to global variables for each pass through the loop total_rot += abs((new_x - x) / vertices[i%len])*2 + (abs((new_y - y) / vertices[i%len]))*2 + abs((new_z - z) / vertices[i%len]) parent.objects[coord].data_sets[index].points[:, :3] = np.append(parent.objects[coord].data_sets[index].points[:, :3], np.array([new_x, new_y, new_z]), axis=1)Error: 2: SyntaxError: invalid syntaxThis corrected version takes into account the fact that you may have more than one cube object in your scene and uses a list of indices to iterate through all the vertex positions for each iteration of the loop. This should eliminate the 'vertices' error you encountered and enable you to run the script as intended. Let me know if you need any further assistance!

Exemple d’un script généré pour animer un tesseract à partir d’un cube. La description à la fin faisait également partie de la partie de code.

Des chercheurs ont adopté une approche plus scientifique en soumettant des ingénieurs à un test, en comparant les réponses humaines sur Stack Overflow à la "sagesse" dispensée par ChatGPT. Voici ce qu'on en tire : la moitié des réponses de ChatGPT se sont révélées incorrectes, et près des deux tiers d'entre elles étaient aussi verbeuses qu'une tirade de Cyrano de Bergerac, complètes avec divers degrés d'incohérence. C'est presque comme si ChatGPT avait un doctorat en langue de bois !

"Cependant," dit la même étude, "les participants ont quand même préféré les réponses générées par ChatGPT 39% du temps. Lorsqu'on leur a demandé pourquoi ils préféraient les réponses de ChatGPT même lorsqu'elles étaient incorrectes, les participants ont suggéré que la caractéristique exhaustive et les structures linguistiques articulées des réponses étaient une raison de leur préférence."

Même si en moyenne 4 réponses sur 5 n'étaient pas correctes, les gens ne pouvaient toujours pas résister à l'attrait de l'éloquence de ChatGPT.

"Si donc ton ennemi a faim, donne-lui à manger..."

Imaginez donc gérer un site web de partage de connaissance et perdre un tiers de votre trafic et plus de la moitié des questions et réponses postées sur votre site à cause d'outils d'IA aussi fiables qu'une diseuse de bonne aventure avec une boule de cristal cassée. Pour citer Elon Musk, c'est "La Mort par les LLM" (source du tweet).

Bien sûr, d'autres facteurs entrent en jeu ici. ChatGPT peut toujours impressionner en répondant de manière impressionnante aux questions de niveau débutant sur le développement, il est rapide comme l'éclair et étonnamment poli. Comme le souligne cette étude :

"Nous constatons que l'activité de publication dans certaines langues comme Python et JavaScript a diminué de manière significative par rapport à la moyenne mondiale du site. En utilisant des données sur la popularité des langages de programmation sur GitHub, nous constatons que les langages les plus largement utilisés ont tendance à connaître des baisses relatives plus importantes de l'activité de publication."En d'autres termes, c'est comme un premier de la classe qui a toutes les réponses mais refuse de les partager.”

Stack Overflow en a eu assez et a pris des mesures avec une interdiction des réponses générées par ChatGPT et ont même introduit OverflowAI. Préoccupés, ils envisagent de vendre leurs données pour la formation de LLM. C'est comme vendre ses vieux manuels scolaires aux étudiants qui ont copié pour leurs dissertations. Le monde de la technologie est un endroit où même les sources les plus fiables peuvent parfois être, eh bien, un peu bancales.

En conclusion

Dans un paysage technologique dominé par l'omniprésence de l'IA générative, à l'instar de ChatGPT, la prudence s'impose. Bien que ces outils puissent se révéler précieux, ils portent en eux le piège insidieux de la désinformation. Les utilisateurs doivent impérativement saisir les limites de ces technologies et maintenir un esprit critique.

Au milieu de notre quête incessante d'efficacité, ne perdons pas de vue l'importance cruciale de l'expertise humaine. Les erreurs et les incohérences inhérentes à ces outils ne devraient pas nous décourager, mais plutôt nous rappeler que, en tant qu'êtres humains, notre rôle demeure fondamental dans la vérification et la validation de l'information.

Pour rappel, cet article présente le premier panneau d'un diptyque où sera traité par la suite GitHub Copilot et plus particulièrement Codex. À très bientôt !