Silicon crowd wisdom: Does an ensemble of LLMs predict as well as a human crowd?

Silicon crowd wisdom: Does an ensemble of LLMs predict as well as a human crowd?

In short: une étude de Schoenegger, Tuminauskaite, Park et Tetlock montre qu’en agrégeant les prévisions de douze grands modèles de langage, on obtient une précision comparable à celle d’une foule de prévisionnistes humains. Elle montre aussi que les LLM améliorent leurs prévisions quand on leur communique l’avis médian de la foule, sans toutefois faire mieux qu’une simple moyenne entre prévision humaine et prévision de la machine.

Ces derniers mois, le domaine de l’intelligence artificielle (IA) a connu des avancées remarquables, en particulier avec le développement des grands modèles de langage (LLM). Construits sur l’architecture Transformer, ces modèles se sont montrés capables d’effectuer un large éventail de tâches, du traitement du langage naturel à la prise de décision complexe, rivalisant souvent avec les capacités humaines dans des domaines spécifiques, voire les dépassant. L’arrivée de LLM tels que GPT-4 ou Claude 2 a suscité un intérêt croissant pour leurs applications potentielles, y compris dans le domaine de la prévision.

Prévoir l’avenir : l’humain, la foule et la machine

La prévision, qui consiste à anticiper des événements futurs, s’appuie traditionnellement sur l’expertise humaine et sur l’effet dit de « sagesse des foules ». Ce phénomène se produit lorsque le jugement collectif d’un grand groupe d’individus, chacun avec ses propres connaissances et perspectives, produit des prédictions souvent plus précises que celles d’experts pris isolément. L’efficacité de cette méthode a été bien documentée dans des domaines comme l’économie, la politique ou la technologie.

Reste à savoir si les LLM peuvent reproduire, voire dépasser, la précision d’une foule humaine dans des situations de prévision réelles. Les études portant sur des LLM pris individuellement ont donné des résultats mitigés : ils font souvent moins bien que l’agrégat d’une foule humaine. D’où une hypothèse : cette sous-performance pourrait être compensée par une approche d’ensemble, c’est-à-dire l’agrégation des prédictions de plusieurs LLM, afin d’obtenir un effet comparable de « sagesse de la foule de silicium ».

The article by Schoenegger, Tuminauskaite, Park and Tetlock, “ Wisdom of the Silicon Crowd: LLM Ensemble Prediction Capabilities Rival Human Crowd Accuracy », vise précisément à vérifier si un ensemble de LLM peut atteindre une précision de prévision comparable à celle d’une foule humaine.

Dans l’étude 1, les auteurs évaluent la précision prédictive d’un ensemble diversifié de douze LLM sur 31 questions de prévision binaires (dont la réponse est oui ou non) et la comparent à celle d’une foule humaine issue d’un grand tournoi de prévision. Ils examinent également les biais susceptibles d’affecter les prédictions des LLM, comme le biais d’acquiescement.

Dans l’étude 2, les auteurs cherchent à savoir si la précision des LLM peut être améliorée par un apport cognitif humain. Concrètement, ils communiquent aux LLM la prédiction médiane d’une foule humaine et mesurent si cette information améliore leurs prévisions.

Ces travaux ont des implications importantes pour l’usage des LLM en prévision et dans d’autres applications concrètes. En montrant que des ensembles de LLM peuvent égaler la précision d’une foule humaine, ils ouvrent la voie à de nouvelles méthodes pour mettre l’IA au service de la prise de décision dans de nombreux secteurs. Ils éclairent aussi les synergies possibles entre intelligence humaine et intelligence artificielle, en particulier là où des prévisions fiables sont essentielles.

La possibilité d’améliorer les prévisions des LLM grâce à des données humaines laisse entrevoir une véritable collaboration entre l’humain et la machine. En combinant leurs forces respectives, les organisations peuvent bâtir des systèmes de prévision plus robustes et plus précis. Cette approche hybride pourrait être particulièrement utile lorsque les données sont rares ou très incertaines, et que le jugement humain reste indispensable pour interpréter des signaux complexes.

Étude 1 : l’approche « ensemble de LLM »

L’objectif principal de l’étude 1 était d’évaluer les capacités de prévision d’un ensemble de grands modèles de langage et de comparer leur précision à celle d’une foule humaine lors d’un tournoi de prévision réel. Il s’agissait de déterminer si l’agrégation des prédictions de plusieurs LLM permet de reproduire l’effet de « sagesse de la foule » observé chez les prévisionnistes humains.

Douze modèles volontairement différents

Pour constituer l’ensemble, les auteurs ont sélectionné douze modèles représentatifs de la diversité des LLM disponibles au moment de l’étude. L’ensemble mêle modèles propriétaires et modèles libres, avec des architectures, des tailles et des données d’entraînement variées. Les modèles utilisés sont les suivants : GPT-4 ; GPT-4 avec Bing ; Claude 2 ; GPT-3.5-Turbo-Instruct ; Solar-0-70B ; Llama-2-70B ; PaLM 2 (Chat-Bison@002) ; Coral ; Mistral-7B ; Bard (PaLM 2) ; Falcon-180B ; Qwen-7B.

Les modèles ont été interrogés via leurs interfaces web publiques, afin de reproduire des conditions d’utilisation réelles. Aucune API n’a été utilisée, et les paramètres par défaut (par exemple la température) ont été conservés pour tous les modèles. Ce choix maximise l’accessibilité et la reproductibilité de la méthode, tout en préservant la diversité de conception et de fonctionnement des modèles.

Des questions issues d’un vrai tournoi de prévision

Les questions proviennent d’un tournoi public organisé sur la plateforme Metaculus entre octobre 2023 et janvier 2024. Ce tournoi a réuni 925 prévisionnistes humains, qui ont fourni des prédictions sur un large éventail de questions probabilistes binaires. Les sujets couvraient notamment la géopolitique, l’économie, la technologie et la science : évolution des taux d’intérêt, résultats d’élections, progrès des technologies grand public, etc.

Pour chaque question, la prédiction médiane de la foule humaine a servi de référence. Au total, 31 questions binaires ont été retenues, ce qui garantit une diversité de défis de prévision. Chacun des douze LLM a été interrogé individuellement et invité à fournir une probabilité pour le résultat. Chaque modèle a été sollicité trois fois par question pour tenir compte de la variabilité de ses réponses, et la médiane de ces trois réponses a été retenue.

La prévision finale de l’ensemble correspond à la médiane des douze prévisions médianes individuelles. L’idée est de tirer parti de la diversité des modèles : en agrégeant leurs prévisions, on espère réduire les biais et les erreurs propres à chacun et améliorer la précision globale. Pour garantir une comparaison équitable, les prévisions humaines ont été relevées à la fin de la journée au cours de laquelle les prédictions des LLM avaient été recueillies, de sorte que les deux aient été faites dans des conditions temporelles similaires.

Résultats : la foule de silicium fait jeu égal

Les résultats de l’étude 1 suggèrent que l’approche d’ensemble peut reproduire l’effet de « sagesse de la foule » dans le contexte de la prévision par l’IA. En agrégeant les prédictions de plusieurs LLM variés, l’ensemble atteint des niveaux de précision comparables à ceux des prévisionnistes humains, ce qui remet en question l’idée selon laquelle les foules humaines constituent l’étalon-or de la prévision.

Les résultats soulignent aussi l’importance de la diversité au sein de l’ensemble. Les performances inégales des modèles pris isolément montrent tout l’intérêt d’agréger des prévisions de sources multiples pour limiter l’impact des biais et erreurs propres à chaque modèle. Le fait que l’ensemble égale la précision humaine malgré la présence d’un biais d’acquiescement chez les modèles individuels confirme la robustesse de cette méthode d’agrégation.

L’étude 1 apporte ainsi des éléments solides montrant que les ensembles de LLM peuvent constituer une alternative crédible aux foules humaines pour la prévision. Pour les organisations, cela ouvre la perspective de recourir à des ensembles de LLM pour produire des prévisions précises dans de nombreuses situations concrètes.

Étude 2 : améliorer les prévisions des LLM grâce à l’apport humain

S’appuyant sur les résultats de l’étude 1, l’étude 2 explore la possibilité d’améliorer la précision des LLM en intégrant un apport humain. Puisqu’un ensemble de LLM peut égaler une foule humaine, la question devient : exposer les LLM à des prédictions humaines améliore-t-il encore leurs performances ?

Pour cette étude, les auteurs se sont concentrés sur deux modèles dits « frontières » (à la pointe de la recherche) de l’ensemble utilisé dans l’étude 1 : GPT-4 et Claude 2. Ces modèles ont été choisis pour leurs performances élevées et leur large diffusion, ce qui en faisait de bons candidats pour mesurer l’effet d’un apport humain.

Les questions sont les mêmes que dans l’étude 1 : les 31 questions probabilistes binaires du tournoi Metaculus, couvrant la géopolitique, l’économie ou encore la technologie.

Pour chaque question, GPT-4 et Claude 2 ont d’abord fourni une prévision initiale selon la même méthodologie que dans l’étude 1. Les modèles ont ensuite été exposés à la prédiction médiane de la foule humaine pour la même question, issue des 925 prévisionnistes ayant participé au tournoi Metaculus.

L’étude repose sur un plan intra-sujet : la précision de chaque LLM a été mesurée avant et après l’exposition à la prédiction médiane humaine, ce qui permet de comparer directement ses performances avec et sans apport humain.

Le protocole comportait deux phases pour chaque question :

  1. Prévision initiale : les LLM fournissent leur prévision sans aucun apport extérieur, comme dans l’étude 1.
  2. Update : après avoir reçu la prédiction médiane humaine, les LLM sont invités à réviser leur prévision si nécessaire, en intégrant cette nouvelle information tout en évitant deux écueils : s’aligner aveuglément sur la foule ou, à l’inverse, négliger une intuition humaine précieuse.

Résultats : un vrai gain, mais pas optimal

Les résultats de l’étude 2 montrent de manière convaincante que l’apport cognitif humain améliore nettement la précision des prévisions des LLM. En intégrant la prédiction médiane de la foule, les modèles ont non seulement gagné en précision, mais ils se sont aussi montrés plus confiants dans leurs prévisions, comme en témoigne le resserrement des intervalles de prédiction détaillé dans l’article.

Ces résultats illustrent le potentiel de la collaboration entre l’humain et l’IA en matière de prévision. Les LLM apportent leur capacité à traiter de grands volumes d’informations ; l’apport humain fournit des éléments de jugement qui permettent d’affiner les prédictions de la machine. Cette complémentarité pourrait être particulièrement précieuse dans les décisions à fort enjeu, où la précision des prévisions est déterminante.

Par ailleurs, la forte corrélation entre l’écart initial des prévisions et l’ampleur des ajustements montre que les LLM savent intégrer une information extérieure et corriger leurs prévisions en conséquence. Ils ne se contentent donc pas d’un mécanisme de mise à jour simpliste : ils semblent tenir compte de la pertinence et du poids de l’apport humain.

L’étude révèle cependant une limite : même améliorées par l’apport humain, les prévisions actualisées des LLM restent moins précises qu’une simple moyenne entre la prévision humaine et celle de la machine. Autrement dit, les LLM savent progresser, mais ils n’intègrent pas encore de façon optimale le jugement humain.

L’étude 2 démontre donc l’intérêt de combiner l’apport humain et les capacités de prévision des LLM. Cette approche hybride pourrait renforcer la précision et la fiabilité des prédictions dans des contextes allant de l’économie aux politiques publiques. Des recherches futures pourraient explorer des méthodes d’intégration humain-IA plus sophistiquées, avec à la clé des gains de précision encore plus importants.

Implications de l’IA pour la prévision et la prise de décision

La diversité des modèles comme source de précision

L’étude 1 a montré qu’un ensemble de LLM peut reproduire l’effet de « sagesse de la foule » traditionnellement associé aux groupes humains : en agrégeant les prédictions de douze LLM différents, l’ensemble atteint une précision équivalente à celle d’une foule humaine. Ce résultat bouscule l’idée selon laquelle les foules humaines, grâce à la diversité de leurs points de vue et de leurs capacités cognitives, seraient intrinsèquement supérieures dans les tâches de prédiction.

Le succès de l’ensemble suggère que la diversité des données d’entraînement, des architectures et des méthodes des différents LLM peut compenser les biais et les erreurs de chaque modèle, pour aboutir à des prédictions plus précises et plus fiables. Cet effet de « sagesse de la foule de silicium » justifie l’usage d’ensembles de LLM dans des applications concrètes de prévision et ouvre de nouvelles pistes pour mettre l’IA au service de la décision.

L’approche d’ensemble s’est en outre montrée robuste face à certains biais, comme le biais d’acquiescement observé : les LLM ont tendance à prédire un résultat positif plus souvent que ce qui est justifié. L’agrégation par la médiane a permis de contrer efficacement ce biais, ce qui confirme la capacité des ensembles de LLM à produire des prévisions équilibrées.

L’humain reste un intrant précieux

L’étude 2 prolonge ces résultats en explorant l’interaction entre l’apport humain et les capacités de prévision des LLM. GPT-4 comme Claude 2 ont amélioré leurs scores après avoir intégré la prédiction médiane de la foule humaine, signe que le jugement humain constitue un intrant précieux pour affiner les prévisions produites par les machines.

Les LLM excellent dans le traitement de grandes quantités de données et la détection de régularités ; les prévisionnistes humains apportent un autre type de raisonnement, capable d’améliorer la qualité des prévisions. En combinant ces deux approches, les organisations peuvent gagner en précision, en particulier dans des environnements complexes ou incertains où l’intuition et l’expérience humaines jouent un rôle crucial.

Le resserrement des intervalles de prédiction observé dans l’étude 2 confirme que les LLM gagnent en assurance lorsqu’ils sont éclairés par le jugement humain. Cette confiance accrue traduit leur capacité à ajuster leurs prévisions à la lumière d’informations nouvelles, en équilibrant le risque d’excès de confiance et celui de sous-utiliser l’apport humain.

Toutefois, leurs mises à jour n’ont pas été aussi précises qu’une simple moyenne des prédictions humaines et automatiques. Malgré leurs capacités de raisonnement avancées, les LLM peinent donc encore à tirer pleinement parti du jugement humain. Des méthodes plus sophistiquées de combinaison des prédictions humaines et automatiques restent à explorer.

Ce que cela change pour les organisations

Ces résultats ont des implications importantes pour l’avenir de l’IA en prévision et en aide à la décision. Le succès de l’approche d’ensemble suggère que les organisations pourront s’appuyer davantage sur des prédictions produites par l’IA, et réduire leur dépendance à des tournois de prévision humains coûteux et chronophages. C’est particulièrement utile dans les secteurs où des prévisions rapides et précises sont essentielles, comme la finance, la politique ou la technologie.

Les conclusions de l’étude invitent néanmoins à ne pas s’en remettre à l’IA seule. Aussi remarquables soient-elles, les capacités des LLM et de leurs ensembles ne sont pas infaillibles et gagnent beaucoup à être complétées par la supervision et l’apport humains. Les limites observées dans l’étude 2 montrent qu’il reste du travail pour affiner la façon dont les LLM intègrent un apport cognitif extérieur.

Pistes de recherche et points de vigilance

Les travaux présentés dans l’article ouvrent plusieurs pistes. La première concerne les méthodes d’intégration des prédictions humaines et automatiques : si l’apport humain améliore les prévisions des LLM, la manière dont les modèles le traitent peut encore progresser. De futures études pourraient tester différentes techniques d’agrégation, des schémas de pondération ou des boucles de rétroaction itératives, afin de mieux combiner les forces de la prévision humaine et de l’IA.

Une autre piste prometteuse consiste à élargir l’approche d’ensemble. Cette étude a utilisé douze modèles ; des recherches futures pourraient évaluer l’effet d’ensembles plus vastes et plus diversifiés, susceptibles d’offrir une précision et une robustesse encore supérieures, notamment face à des questions de prévision très complexes ou inédites. À noter que les modèles testés datent de la période de l’étude (fin 2023, début 2024) et ont depuis été largement dépassés par de nouvelles générations.

Enfin, il est nécessaire d’examiner les implications éthiques et pratiques du déploiement d’ensembles de LLM dans des décisions réelles. À mesure que l’IA s’intègre à des tâches de prévision critiques, il devient essentiel de prendre en compte plusieurs risques : une confiance excessive dans les prédictions des machines, le manque de transparence des décisions prises par l’IA et la question de la responsabilité en cas d’erreur. Y répondre est indispensable pour que les systèmes de prévision fondés sur l’IA soient à la fois efficaces et dignes de confiance.

source: "Wisdom of the Silicon Crowd": The predictive capabilities of the LLM ensemble match the accuracy of the "human crowd" | LinkedIn

To learn more: read our article on RIG vs RAG et GraphRAG.

Back to top
All NextStart.AI offersEight consulting missions, seven pillars, around twenty formats, eighteen professions, five tools
Around thirty major organizations were supported.Large groups, public agencies and networks: from acculturation to production

Insurance and social protection

Public sector and research

Consumption and retail

The NextStart.AI collectiveConsultants, trainers and industry experts: more than 5 350 trained professionals since 2023
All free resourcesDiagnostics, Finders, prompt library, kits by profession, by tool, and for managing an AI program
The NextStart.AI blogGuides, prices and comparisons of Copilot, Claude, ChatGPT, Gemini and Mistral, and field analyses
Let's talk about your AI projectResponse within 24 business hours
AI agents in businessUnderstanding, choosing the tool, training the teams, deploying
Delegate entire tasksClaude Cowork, Copilot Cowork, ChatGPT Work, Vibe Work