Dans un billet de blog publié le 19 avril, David F. Carr, Senior Manager au sein de l'équipe Similarweb, présente l’impact de ChatGPT, un chatbot basé sur l’intelligence artificielle, sur le trafic de Stack Overflow, un site web communautaire pour les développeurs. Pour étayer ses déclarations, explique que ChatGPT peut générer du code et des explications à partir d’un simple texte, ce qui réduit le besoin de chercher des solutions sur Stack Overflow. Il compare aussi ChatGPT avec CoPilot, un assistant de codage proposé par GitHub, qui utilise la même technologie que ChatGPT. Il présente des données de Similarweb qui montrent que le trafic de Stack Overflow a baissé de 14 % en mars 2023, tandis que celui de ChatGPT et de GitHub a augmenté. Il conclut que ChatGPT et CoPilot représentent une nouvelle façon de coder, plus basée sur l’ingénierie des prompts que sur le copier-coller.Les programmeurs peuvent poser des questions et trouver des réponses sur Stack Overflow. Il s'agit du site phare du réseau Stack Exchange. Joel Spolsky et Jeff Atwood l'ont développé en 2008. Toutefois, les développeurs obtiennent de plus en plus de conseils auprès des chatbots d'IA et de GitHub CoPilot plutôt que sur les tableaux de messages de Stack Overflow. Alors que le trafic sur le ChatGPT d'OpenAI augmente de façon exponentielle, Stack Overflow connaît un déclin régulier, perdant ainsi une partie de son statut de source privilégiée vers laquelle les développeurs se tournent pour obtenir des réponses à leurs problèmes de codage.
La plupart des sites web souffrent aujourd'hui de la comparaison avec ChatGPT, et cette comparaison n'est pas juste dans la mesure où Stack Overflow et GitHub sont des services spécialisés pour les développeurs. ChatGPT a gagné l'attrait du marché de masse, en plus d'être utile aux développeurs. Google a envoyé des questions d'entretien de codage à ChatGPT et, sur la base des réponses de l'IA, a déterminé qu'il serait embauché pour un poste d'ingénieur de niveau trois, selon un document interne. L'expérience a été réalisée dans le cadre des récents tests de Google sur plusieurs chatbots IA, qu'il envisage d'ajouter à son moteur de recherche. La capacité de ChatGPT à proposer une réponse concise et fidèle à une question pourrait faire gagner aux utilisateurs le temps qu'ils passent généralement à parcourir les liens sur Google pour trouver la même information.
Stack Overflow vs ChatGPT and GitHub
En décembre dernier, Stack Overflow a décidé d'interdire la publication d'informations produites par ChatGPT en raison du degré élevé d'inexactitude des réponses fournies par le robot, qui peut être « substantiellement préjudiciable aux sites et aux utilisateurs qui recherchent des réponses correctes ». Finalement, cette interdiction de ChatGPT n'a pas eu de conséquences positives pour Stack Overflow.
Une étude publiée en octobre 2018 dans la revue Empirical Software Engineering par les universitaires Sebastian Baltes et Stephan Diehl a révélé qu’un extrait de code fourni en réponse à une question Stack Overflow en septembre 2010 par Andreas Lundblad, développeur Java chez Palantir, est l’extrait de code Java le plus copié sur la plateforme communautaire. Cependant, dans un billet publié la décembre 2019, Lundblad a expliqué que le code était défectueux et qu'il convertissait de manière incorrecte le nombre d'octets dans des formats lisibles par l'homme.
Des rapports de Similar Web font état d'une baisse de 14 % du nombre de visites sur le site web après la mise en place de ChatGPT en novembre. Cela peut s'expliquer en partie par une évolution connexe, l'introduction de l'assistant de codage CoPilot de l'entreprise GitHub de Microsoft. CoPilot est construit sur le même modèle de langage OpenAI que ChatGPT, capable de traiter à la fois le langage humain et le langage de programmation. Un plugin pour Microsoft Visual Studio Code, largement utilisé, permet aux développeurs de demander à CoPilot d'écrire des fonctions entières en leur nom, plutôt que d'aller sur Stack Overflow à la recherche de quelque chose à copier et coller. CoPilot intègre désormais la dernière version GPT-4 de la plateforme OpenAI.
La connexion intrigante entre Stack Overflow et ChatGPT est que le chatbot basé sur LLM est formé en utilisant les informations trouvées sur Stack Overflow. Cela est confirmé par la déclaration de l'article GPT-3 selon laquelle il a été formé sur une variété d'ensembles de données, y compris Common Crawl, qui est pratiquement équivalent à l'ensemble de l'Internet. Il n'y a aucune raison de penser que Stack Overflow n'est pas inclus dans les données d'entraînement, à moins qu'OpenAI n'ait pris des mesures proactives pour le faire. Par conséquent, ChatGPT est un outil très pratique pour les développeurs.
Puisque ChatGPT est construit sur les informations de Stack Overflow, il peut fournir la solution idéale sans que l'utilisateur n'ait à passer des heures à chercher sur le site pour trouver la réponse idéale à sa question. La communauté des développeurs étant centrée sur Stack Overflow, ChatGPT est confronté à un défi de taille.
Depuis l'introduction de ChatGPT, de nombreux utilisateurs ont cessé de visiter Stack Overflow, mais aucun chatbot, y compris ChatGPT, ne pourra jamais remplacer l'opportunité de discuter des réponses avec les autres membres du forum.
- D'une année sur l'autre, le trafic vers Stack Overflow a baissé en moyenne de 6 % chaque mois depuis janvier 2022 et de 13,9 % en mars.
- ChatGPT n'a pas d'antécédents sur une année, n'ayant été lancé qu'à la fin du mois de novembre, mais son site web est devenu en peu de temps l'une des propriétés numériques les plus populaires au monde, plus importante que le moteur de recherche Bing de Microsoft pour ce qui est du trafic mondial. Il a attiré 1,6 milliard de visites en mars et 920,7 millions au cours de la première quinzaine d'avril.
- Le site web GitHub a également connu une forte croissance, le trafic vers github ayant augmenté de 26,4 % d'une année sur l'autre en mars, pour atteindre 524 millions de visites. Ce chiffre ne reflète pas toute l'utilisation de CoPilot, qui se fait normalement dans un éditeur comme Visual Studio Code, mais il inclut les personnes qui viennent sur le site web pour s'abonner au service.
- Alors que Stack Overflow et GitHub sont beaucoup plus proches en taille que ChatGPT, GitHub augmente son trafic tandis que Stack Overflow diminue. Le nombre de visites de la page d'inscription à l'essai gratuit de GitHub CoPilot a plus que triplé entre février et mars, pour atteindre 800 000.
Stack Overflow vs GitHub
ChatGPT comme outil de codage
Peu après l'introduction de ChatGPT, les développeurs ont découvert qu'il était utile pour produire des échantillons de code détaillés et des fonctions complètes - avec des tutoriels expliquant pourquoi le code fonctionne - en réponse à une simple invite textuelle. Les comparaisons avec Stack Overflow et les prédictions selon lesquelles ChatGPT « tuerait » Stack Overflow ont immédiatement commencé.
Pendant ce temps, et comme dit précédemment, Stack Overflow a annoncé une interdiction temporaire de publier le contenu de ChatGPT sur son site - considéré comme une violation des normes de la communauté parce que, selon la direction du site, les réponses de ChatGPT aux questions de codage sont trop souvent incorrectes.
La tradition de Stack Overflow veut que les membres de la communauté publient une variété de réponses à une question de codage donnée, débattent des avantages et des compromis, et votent pour reconnaître la meilleure solution. Pour de nombreuses questions de codage courantes, un développeur trouvera une réponse largement reconnue qui l'attend.
Les utilisateurs de ChatGPT ne participent pas au débat et obtiennent simplement une réponse, ce qui peut sembler plus rapide et plus efficace. La réponse qui revient peut ne pas correspondre exactement à ce dont le développeur a besoin, mais elle est souvent suffisamment proche pour être façonnée et ajustée en une solution fonctionnelle. Ce n'est pas si différent du processus consistant à trouver une réponse à la question de quelqu'un d'autre sur Stack Overflow et à l'adapter à ses propres besoins.
CoPilot a fait l'objet d'une controverse sur la génération de code basée sur du contenu open source, sans respect des licences open source pertinentes, et ces questions s'appliquent également aux conseils de codage fournis par ChatGPT.
Comme pour Stack Overflow, la méthodologie de ChatGPT n'est pas parfaite et contient des milliers de réponses incorrectes et inutiles. Par conséquent, ChatGPT fournira inévitablement des réponses trompeuses s'il est entraîné sur l'ensemble des données de Stack Overflow et pas seulement sur les réponses les plus populaires. Cela s'est produit à de nombreuses reprises, ce qui a finalement incité les membres à retourner sur l'internet. Ce n'est pas une bonne idée de faire trop confiance aux réponses du chatbot.
Récemment, OpenAI a fait une autre avancée significative pour résoudre le problème de la fiabilité. Les développeurs peuvent désormais vérifier leur code sur le chatbot grâce à la sortie du plugin Code Interpreter pour ChatGPT. Actuellement, ChatGPT Plus, qui utilise GPT-4, est la seule plateforme qui supporte ce plugin. Les développeurs peuvent également accéder à Internet par l'intermédiaire de Bing Chat, en plus de ChatGPT. Cela leur permet de combiner le code avec des informations actualisées. D'un autre côté, certains développeurs le décrivent comme « toxique ». De nombreux utilisateurs pensent que les développeurs utilisent Stack Overflow pour critiquer les autres plutôt que de l'utiliser comme un site de questions-réponses.
À l'heure actuelle, il semble improbable que Stack Overflow accepte les technologies d'IA sur son site. La façon dont Getty Images a réagi à la décision de Stack Overflow de supprimer les réponses au ChatGPT est similaire à la façon dont Shutterstock, un concurrent, a choisi d'accepter les œuvres d'art issues de l'IA sur sa place de marché d'images de stock en payant les artistes originaux. De même, Stack Overflow pourrait être en mesure de gérer et de s'adapter à ce terrain changeant s'il le souhaite.
Source : David F. Carr's blog post
Et vous ?
Quel est votre avis sur le sujet ? Quels sont les avantages et les inconvénients de Stack Overflow par rapport à ChatGPT pour apprendre à coder ou à résoudre des problèmes de programmation ? Quels sont les défis et les opportunités que ChatGPT représente pour Stack Overflow en termes de concurrence, de collaboration ou d’innovation ?Voir aussi :
L'extrait de code Java le plus copié sur Stack Overflow contient un bogue et son auteur, Andreas Lundblad, développeur Java chez Palantir, propose un correctif ChatGPT réussit l'entretien de codage Google pour un ingénieur de niveau 3 avec un salaire de 183 000 $, tout en indiquant qu'il ne peut pas reproduire la créativité humaine Stack Overflow, le site de questions-réponses pour développeurs, racheté par Prosus pour 1,8 milliard de dollars, l'activité de Stack Overflow restera inchangée, précise l'entreprise OpenAI lance ChatGPT Plus, un plan d'abonnement ChatGPT pour 20 $ par mois, qui est proposé à ceux qui veulent des réponses plus rapides ainsi qu'un accès prioritaire aux nouvelles fonctionnalités 
Envoyé par revo2211
