A benchmark of expert-level academic questions to assess AI capabilities
2 Scale AI
3 Centre Inria de l'Université de Lille
4 LJLL (UMR_7598) - Laboratoire Jacques-Louis Lions
5 DMA - Département de Mathématiques et Applications - ENS-PSL (UMR8553)
6 ANGE - Numerical Analysis, Geophysics and Ecology
7 MAGNET - Machine Learning in Information Networks
8 LMO - Laboratoire de Mathématiques d'Orsay
9 ENS Paris Saclay - Ecole Normale Supérieure Paris-Saclay
10 ALMAnaCH - Automatic Language Modelling and ANAlysis & Computational Humanities
11 LIRMM | ESCAPE - Systèmes complexes, automates et pavages
12 UMPA-ENSL - Unité de Mathématiques Pures et Appliquées
13 CMAP - Centre de Mathématiques Appliquées de l'Ecole polytechnique
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- PersonId : 1194666
- IdHAL : julien-guillod
- ORCID : 0000-0001-5035-5422
- IdRef : 256403562
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- PersonId : 743342
- IdHAL : jeremy-andreoletti
- ORCID : 0000-0001-7391-7053
- IdRef : 291396232
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- PersonId : 1654082
- IdHAL : armel-randy-zebaze-dongmo
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- PersonId : 12768
- IdHAL : alexander-shen
- ORCID : 0000-0001-8605-7734
- IdRef : 074188569
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- PersonId : 1024955
- IdHAL : mourrat
- ORCID : 0000-0002-2980-725X
- IdRef : 150845405
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
- Fonction : Auteur
Résumé
Benchmarks are important tools for tracking the rapid advancements in large language model (LLM) capabilities. However, benchmarks are not keeping pace in difficulty: LLMs now achieve more than 90% accuracy on popular benchmarks such as Measuring Massive Multitask Language Understanding1, limiting informed measurement of state-of-the-art LLM capabilities. Here, in response, we introduce Humanity’s Last Exam (HLE), a multi-modal benchmark at the frontier of human knowledge, designed to be an expert-level closed-ended academic benchmark with broad subject coverage. HLE consists of 2,500 questions across dozens of subjects, including mathematics, humanities and the natural sciences. HLE is developed globally by subject-matter experts and consists of multiple-choice and short-answer questions suitable for automated grading. Each question has a known solution that is unambiguous and easily verifiable but cannot be quickly answered by internet retrieval. State-of-the-art LLMs demonstrate low accuracy and calibration on HLE, highlighting a marked gap between current LLM capabilities and the expert human frontier on closed-ended academic questions. To inform research and policymaking upon a clear understanding of model capabilities, we publicly release HLE at https://lastexam.ai.
| Origine | Fichiers éditeurs autorisés sur une archive ouverte |
|---|---|
| licence |

