Article Dans Une Revue Nature Année : 2026

A benchmark of expert-level academic questions to assess AI capabilities

Long Phan (1) , Alice Gatti (1) , Ziwen Han (2) , Nathaniel Li (1) , Josephina Hu (2) , Hugh Zhang , Sean Shi (2) , Michael Choi (2) , Anish Agrawal (2) , Arnav Chopra (2) , Adam Khoja (1) , Ryan Kim , Jason Hausenloy (1) , Oliver Zhang (1) , Mantas Mazeika (1) , Daron Anderson , Tung Nguyen , Mobeen Mahmood , Fiona Feng , Steven Y. Feng , Haoran Zhao , Michael Yu , Varun Gangal , Chelsea Zou , Zihan Wang , Jessica P. Wang , Pawan Kumar , Oleksandr Pokutnyi , Robert Gerbicz , Serguei Popov , John-Clark Levin , Mstyslav Kazakov , Johannes Schmitt , Geoff Galgon , Alvaro Sanchez , Yongki Lee , Will Yeadon , Scott Sauers , Marc Roth , Chidozie Agu , Søren Riis , Fabian Giska , Saiteja Utpala , Zachary Giboney , Gashaw M. Goshu , Joan of Arc Xavier , Sarah-Jane Crowson , Mohinder Maheshbhai Naiya , Noah Burns , Lennart Finke , Zerui Cheng , Hyunwoo Park , Francesco Fournier-Facio , John Wydallis , Mark Nandor , Ankit Singh , Tim Gehrunger , Jiaqi Cai , Ben Mccarty , Darling Duclosel , Jungbae Nam , Jennifer Zampese , Ryan G. Hoerr , Aras Bacho , Gautier Abou Loume , Abdallah Galal , Hangrui Cao , Alexis C Garretson , Damien Sileo (3) , Qiuyu Ren , Doru Cojoc , Pavel Arkhipov , Usman Qazi , Lianghui Li , Sumeet Motwani , Christian Schroeder de Witt , Edwin Taylor , Johannes Veith , Eric Singer , Taylor D. Hartman , Paolo Rissone , Jaehyeok Jin , Jack Wei Lun Shi , Chris G. Willcocks , Joshua Robinson , Aleksandar Mikov , Ameya Prabhu , Longke Tang , Xavier Alapont , Justine Leon Uro , Kevin Zhou , Emily de Oliveira Santos , Andrey Pupasov Maksimov , Edward Vendrow , Kengo Zenitani , Julien Guillod (4, 5, 6) , Yuqi Li , Joshua Vendrow , Vladyslav Kuchkin , Ng Ze-An , Pierre Marion , Denis Efremov , Jayson Lynch , Kaiqu Liang , Andrew Gritsevskiy , Dakotah Martinez , Ben Pageler , Nick Crispino , Dimitri Zvonkine , Natanael Wildner Fraga , Saeed Soori , Ori Press , Henry Tang , Julian Salazar , Sean R. Green , Lina Brüssel , Moon Twayana , Aymeric Dieuleveut , T. Ryan Rogers , Wenjin Zhang , Bikun Li , Jinzhou Yang , Arun Rao , Gabriel Loiseau (7) , Mikhail Kalinin , Marco Lukas , Ciprian Manolescu , Subrata Mishra , Ariel Ghislain Kemogne Kamdoum , Tobias Kreiman , Tad Hogg , Alvin Jin , Carlo Bosio , Gongbo Sun , Brian P Coppola , Tim Tarver , Haline Heidinger , Rafael Sayous (8) , Stefan Ivanov , Joseph M Cavanagh , Jiawei Shen , Joseph Marvin Imperial , Philippe Schwaller , Shaipranesh Senthilkuma , Andres M Bran , Ali Dehghan , Andres Algaba , Brecht Verbeken , David Noever , Ragavendran P V , Lisa Schut , Ilia Sucholutsky , Evgenii Zheltonozhskii , Derek Lim , Richard Stanley , Shankar Sivarajan , Tong Yang , John Maar , Julian Wykowski , Martí Oller , Jennifer Sandlin , Anmol Sahu , Yuzheng Hu , Sara Fish , Nasser Heydari , Archimedes Apronti , Kaivalya Rawal , Tobias Garcia Vilchis , Yuexuan Zu , Martin Lackner , James Koppel , Jeremy Nguyen , Daniil S. Antonenko , Steffi Chern , Bingchen Zhao , Pierrot Arsene (9) , Alan Goldfarb , Sergey Ivanov , Rafał Poświata , Chenguang Wang , Daofeng Li , Donato Crisostomi , Andrea Achilleos , Benjamin Myklebust , Archan Sen , David Perrella , Nurdin Kaparov , Mark H Inlow , Allen Zang , Elliott Thornley , Daniil Orel , Vladislav Poritski , Shalev Ben-David , Zachary Berger , Parker Whitfill , Michael Foster , Daniel Munro , Linh Ho , Dan Bar Hava , Aleksey Kuchkin , Robert Lauff , David Holmes , Frank Sommerhage , Keith Schneider , Zakayo Kazibwe , Nate Stambaugh , Mukhwinder Singh , Ilias Magoulas , Don Clarke , Dae Hyun Kim , Felipe Meneguitti Dias , Veit Elser , Kanu Priya Agarwal , Victor Efren Guadarrama Vilchis , Immo Klose , Christoph Demian , Ujjwala Anantheswaran , Adam Zweiger , Guglielmo Albani , Jeffery Li , Nicolas Daans , Maksim Radionov , Václav Rozhoň , Ziqiao Ma , Christian Stump , Mohammed Berkani , Jacob Platnick , Volodymyr Nevirkovets , Luke Basler , Marco Piccardo , Ferenc Jeanplong , Niv Cohen , Josef Tkadlec , Paul Rosu , Piotr Padlewski , Stanislaw Barzowski , Kyle Montgomery , Aline Menezes , Arkil Patel , Zixuan Wang , Jamie Tucker-Foltz , Jack Stade , Tom Goertzen , Fereshteh Kazemi , Jeremiah Milbauer , John Arnold Ambay , Abhishek Shukla , Yan Carlos Leyva Labrador , Alan Givré , Hew Wolff , Vivien Rossbach , Muhammad Fayez Aziz , Younesse Kaddar , Yanxu Chen , Robin Zhang , Jiayi Pan , Antonio Terpin , Niklas Muennighoff , Hailey Schoelkopf , Eric Zheng , Avishy Carmi , Adam Jones , Jainam Shah , Ethan D. L. Brown , Kelin Zhu , Max Bartolo , Richard Wheeler , Andrew Ho , Shaul Barkan , Jiaqi Wang , Martin Stehberger , Egor Kretov , Kaustubh Sridhar , Zienab El-Wasif , Anji Zhang , Daniel Pyda , Joanna Tam , David M. Cunningham , Vladimir Goryachev , Demosthenes Patramanis , Michael Krause , Andrew Redenti , Daniel Bugas , David Aldous , Jesyin Lai , Shannon Coleman , Mohsen Bahaloo , Jiangnan Xu , Sangwon Lee , Sandy Zhao , Ning Tang , Michael K. Cohen , Micah Carroll , Orr Paradise , Jan Hendrik Kirchner , Stefan Steinerberger , Maksym Ovchynnikov , Jason O. Matos , Adithya Shenoy , Benedito Alves de Oliveira Junior , Michael Wang , Yuzhou Nie , Paolo Giordano , Philipp Petersen , Anna Sztyber-Betley , Priti Shukla , Jonathan Crozier , Antonella Pinto , Shreyas Verma , Prashant Joshi , Zheng-Xin Yong , Allison Tee , Jérémy Andréoletti , Orion Weller , Raghav Singhal , Gang Zhang , Alexander Ivanov , Seri Khoury , Hamid Mostaghimi , Kunvar Thaman , Qijia Chen , Tran Quoc Khánh , Jacob Loader , Stefano Cavalleri , Hannah Szlyk , Zachary Brown , Jonathan Roberts , William Alley , Kunyang Sun , Ryan Stendall , Max Lamparth , Anka Reuel , Ting Wang , Hanmeng Xu , Sreenivas Goud Raparthi , Pablo Hernández-Cámara , Freddie Martin , Dmitry Malishev , Thomas Preu , Tomek Korbak , Marcus Abramovitch , Dominic Williamson , Ziye Chen , Biró Bálint , M Saiful Bari , Peyman Kassani , Zihao Wang , Behzad Ansarinejad , Laxman Prasad Goswami , Yewen Sun , Hossam Elgnainy , Daniel Tordera , George Balabanian , Earth Anderson , Lynna Kvistad , Alejandro José Moyano , Rajat Maheshwari , Ahmad Sakor , Murat Eron , Isaac C. Mcalister , Javier Gimenez , Innocent Enyekwe , Andrew Favre D. O. , Shailesh Shah , Xiaoxiang Zhou , Firuz Kamalov , Ronald Clark , Sherwin Abdoli , Tim Santens , Khalida Meer , Harrison K Wang , Kalyan Ramakrishnan , Evan Chen , Alessandro Tomasiello , G. Bruno de Luca , Shi-Zhuo Looi , Vinh-Kha Le , Noam Kolt , Niels Mündler , Avi Semler , Emma Rodman , Jacob Drori , Carl J Fossum , Milind Jagota , Ronak Pradeep , Honglu Fan , Tej Shah , Jonathan Eicher , Michael Chen , Kushal Thaman , William Merrill , Carter Harris , Jason Gross , Ilya Gusev , Asankhaya Sharma , Shashank Agnihotri , Pavel Zhelnov , Siranut Usawasutsakorn , Mohammadreza Mofayezi , Sergei Bogdanov , Alexander Piperski , Marc Carauleanu , David K. Zhang , Dylan Ler , Roman Leventov , Ignat Soroko , Thorben Jansen , Pascal Lauer , Joshua Duersch , Vage Taamazyan , Wiktor Morak , Wenjie Ma , William Held , Tran Đuc Huy , Ruicheng Xian , Armel Randy Zebaze (10) , Mohanad Mohamed , Julian Noah Leser , Michelle X Yuan , Laila Yacar , Johannes Lengler , Hossein Shahrtash , Edson Oliveira , Joseph W. Jackson , Daniel Espinosa Gonzalez , Andy Zou , Muthu Chidambaram , Timothy Manik , Hector Haffenden , Dashiell Stander , Ali Dasouqi , Alexander Shen (11) , Emilien Duc , Bita Golshani , David Stap , Mikalai Uzhou , Alina Borisovna Zhidkovskaya , Lukas Lewark , Mátyás Vincze , Dustin Wehr , Colin Tang , Zaki Hossain , Shaun Phillips , Jiang Muzhen , Fredrik Ekström , Angela Hammon , Oam Patel , Nicolas Remy , Faraz Farhidi , George Medley , Forough Mohammadzadeh , Madellene Peñaflor , Haile Kassahun , Alena Friedrich , Claire Sparrow , Taom Sakal , Omkar Dhamane , Ali Khajegili Mirabadi , Eric Hallman , Mike Battaglia , Mohammad Maghsoudimehrabani , Hieu Hoang , Alon Amit , Dave Hulbert , Roberto Pereira , Simon Weber , Stephen Mensah , Nathan Andre , Anton Peristyy , Chris Harjadi , Himanshu Gupta , Stephen Malina , Samuel Albanie , Will Cai , Mustafa Mehkary , Frank Reidegeld , Anna-Katharina Dick , Cary Friday , Jasdeep Sidhu , Wanyoung Kim , Mariana Costa , Hubeyb Gurdogan , Brian Weber , Harsh Kumar , Tong Jiang , Arunim Agarwal , Chiara Ceconello , Warren S. Vaz , Chao Zhuang , Haon Park , Andrew R. Tawfeek , Daattavya Aggarwal , Michael Kirchhof , Linjie Dai , Evan Kim , Johan Ferret , Yuzhou Wang , Minghao Yan , Krzysztof Burdzy , Lixin Zhang , Antonio Franca , Diana T. Pham , Kang Yong Loh , Joshua Robinson , Shreen Gul , Gunjan Chhablani , Zhehang Du , Adrian Cosma , Colin White , Robin Riblet (9) , Prajvi Saxena , Jacob Votava , Vladimir Vinnikov , Ethan Delaney , Shiv Halasyamani , Syed M. Shahid , Jean-Christophe Mourrat (12) , Lavr Vetoshkin , Renas Bacho , Vincent Ginis , Aleksandr Maksapetyan , Florencia de la Rosa , Xiuyu Li , Guillaume Malod , Leon Lang , Julien Laurendeau , Fatimah Adesanya , Julien Portier , Lawrence Hollom , Victor Souza , Yuchen Anna Zhou , Yiğit Yalın , Gbenga Daniel Obikoya , Luca Arnaboldi , Filippo Bigi , Kaniuar Bacho , Pierre Clavier (13) , Gabriel Recchia , Mara Popescu , Nikita Shulga , Ngefor Mildred Tanwie , Thomas C. H. Lux , Ben Rank , Colin Ni , Alesia Yakimchyk , Huanxu Liu , Olle Häggström , Emil Verkama , Himanshu Narayan , Hans Gundlach , Leonor Brito-Santana , Brian Amaro , Vivek Vajipey , Rynaa Grover , Yiyang Fan , Gabriel Poesia Reis E Silva , Linwei Xin , Yosi Kratish , Jakub Łucki , Wen-Ding Li , Justin Xu , Kevin Joseph Scaria , Freddie Vargus , Farzad Habibi , Emanuele Rodolà , Jules Robins , Vincent Cheng , Declan Grabb , Ida Bosio , Tony Fruhauff , Ido Akov , Eve J. Y. Lo , Hao Qi , Xi Jiang , Ben Segev , Jingxuan Fan , Sarah Martinson , Erik Y. Wang , Kaylie Hausknecht , Michael P. Brenner , Mao Mao , Yibo Jiang , Xinyu Zhang , David Avagian , Eshawn Jessica Scipio , Muhammad Rehan Siddiqi , Alon Ragoler , Justin Tan , Deepakkumar Patil , Rebeka Plecnik , Aaron Kirtland , Roselynn Grace Montecillo , Stephane Durand , Omer Faruk Bodur , Zahra Adoul , Mohamed Zekry , Guillaume Douville , Ali Karakoc , Tania C. B. Santos , Samir Shamseldeen , Loukmane Karim , Anna Liakhovitskaia , Nate Resman , Nicholas Farina , Juan Carlos Gonzalez , Gabe Maayan , Sarah Hoback , Rodrigo de Oliveira Pena , Glen Sherman , Hodjat Mariji , Rasoul Pouriamanesh , Wentao Wu , Gözdenur Demir , Sandra Mendoza , Ismail Alarab , Joshua Cole , Danyelle Ferreira , Bryan Johnson , Hsiaoyun Milliron , Mohammad Safdari , Liangti Dai , Siriphan Arthornthurasuk , Alexey Pronin , Jing Fan , Angel Ramirez-Trinidad , Ashley Cartwright , Daphiny Pottmaier , Omid Taheri , David Outevsky , Stanley Stepanic , Samuel Perry , Luke Askew , Raúl Adrián Huerta Rodríguez , Abdelkader Dendane , Sam Ali , Ricardo Lorena , Krishnamurthy Iyer , Sk Md Salauddin , Murat Islam , Juan Gonzalez , Josh Ducey , Russell Campbell , Maja Somrak , Vasilios Mavroudis , Eric Vergo , Juehang Qin , Benjámin Borbás , Eric Chu , Jack Lindsey , Anil Radhakrishnan , Antoine Jallon , I. M. J. Mcinnis , Alex Hoover , Sören Möller , Song Bian , John Lai , Tejal Patwardhan , Summer Yue (2) , Alexandr Wang (2) , Dan Hendrycks (1)
Ziwen Han
  • Fonction : Auteur
Josephina Hu
  • Fonction : Auteur
Hugh Zhang
  • Fonction : Auteur
Sean Shi
  • Fonction : Auteur
Michael Choi
  • Fonction : Auteur
Anish Agrawal
  • Fonction : Auteur
Arnav Chopra
  • Fonction : Auteur
Ryan Kim
  • Fonction : Auteur
Daron Anderson
  • Fonction : Auteur
Tung Nguyen
  • Fonction : Auteur
Mobeen Mahmood
  • Fonction : Auteur
Fiona Feng
  • Fonction : Auteur
Steven Y. Feng
  • Fonction : Auteur
Haoran Zhao
  • Fonction : Auteur
Michael Yu
  • Fonction : Auteur
Varun Gangal
  • Fonction : Auteur
Chelsea Zou
  • Fonction : Auteur
Zihan Wang
  • Fonction : Auteur
Jessica P. Wang
  • Fonction : Auteur
Pawan Kumar
  • Fonction : Auteur
Oleksandr Pokutnyi
  • Fonction : Auteur
Robert Gerbicz
  • Fonction : Auteur
Serguei Popov
  • Fonction : Auteur
John-Clark Levin
  • Fonction : Auteur
Mstyslav Kazakov
  • Fonction : Auteur
Johannes Schmitt
  • Fonction : Auteur
Geoff Galgon
  • Fonction : Auteur
Alvaro Sanchez
  • Fonction : Auteur
Yongki Lee
  • Fonction : Auteur
Will Yeadon
  • Fonction : Auteur
Scott Sauers
  • Fonction : Auteur
Marc Roth
  • Fonction : Auteur
Chidozie Agu
  • Fonction : Auteur
Søren Riis
  • Fonction : Auteur
Fabian Giska
  • Fonction : Auteur
Saiteja Utpala
  • Fonction : Auteur
Zachary Giboney
  • Fonction : Auteur
Gashaw M. Goshu
  • Fonction : Auteur
Joan of Arc Xavier
  • Fonction : Auteur
Sarah-Jane Crowson
  • Fonction : Auteur
Mohinder Maheshbhai Naiya
  • Fonction : Auteur
Noah Burns
  • Fonction : Auteur
Lennart Finke
  • Fonction : Auteur
Zerui Cheng
  • Fonction : Auteur
Hyunwoo Park
  • Fonction : Auteur
Francesco Fournier-Facio
  • Fonction : Auteur
John Wydallis
  • Fonction : Auteur
Mark Nandor
  • Fonction : Auteur
Ankit Singh
  • Fonction : Auteur
Tim Gehrunger
  • Fonction : Auteur
Jiaqi Cai
  • Fonction : Auteur
Ben Mccarty
  • Fonction : Auteur
Darling Duclosel
  • Fonction : Auteur
Jungbae Nam
  • Fonction : Auteur
Jennifer Zampese
  • Fonction : Auteur
Ryan G. Hoerr
  • Fonction : Auteur
Aras Bacho
  • Fonction : Auteur
Gautier Abou Loume
  • Fonction : Auteur
Abdallah Galal
  • Fonction : Auteur
Hangrui Cao
  • Fonction : Auteur
Alexis C Garretson
  • Fonction : Auteur
Qiuyu Ren
  • Fonction : Auteur
Doru Cojoc
  • Fonction : Auteur
Pavel Arkhipov
  • Fonction : Auteur
Usman Qazi
  • Fonction : Auteur
Lianghui Li
  • Fonction : Auteur
Sumeet Motwani
  • Fonction : Auteur
Christian Schroeder de Witt
  • Fonction : Auteur
Edwin Taylor
  • Fonction : Auteur
Johannes Veith
  • Fonction : Auteur
Eric Singer
  • Fonction : Auteur
Taylor D. Hartman
  • Fonction : Auteur
Paolo Rissone
  • Fonction : Auteur
Jaehyeok Jin
  • Fonction : Auteur
Jack Wei Lun Shi
  • Fonction : Auteur
Chris G. Willcocks
  • Fonction : Auteur
Joshua Robinson
  • Fonction : Auteur
Aleksandar Mikov
  • Fonction : Auteur
Ameya Prabhu
  • Fonction : Auteur
Longke Tang
  • Fonction : Auteur
Xavier Alapont
  • Fonction : Auteur
Justine Leon Uro
  • Fonction : Auteur
Kevin Zhou
  • Fonction : Auteur
Emily de Oliveira Santos
  • Fonction : Auteur
Andrey Pupasov Maksimov
  • Fonction : Auteur
Edward Vendrow
  • Fonction : Auteur
Kengo Zenitani
  • Fonction : Auteur
Yuqi Li
  • Fonction : Auteur
Joshua Vendrow
  • Fonction : Auteur
Vladyslav Kuchkin
  • Fonction : Auteur
Ng Ze-An
  • Fonction : Auteur
Pierre Marion
  • Fonction : Auteur
Denis Efremov
  • Fonction : Auteur
Jayson Lynch
  • Fonction : Auteur
Kaiqu Liang
  • Fonction : Auteur
Andrew Gritsevskiy
  • Fonction : Auteur
Dakotah Martinez
  • Fonction : Auteur
Ben Pageler
  • Fonction : Auteur
Nick Crispino
  • Fonction : Auteur
Dimitri Zvonkine
  • Fonction : Auteur
Natanael Wildner Fraga
  • Fonction : Auteur
Saeed Soori
  • Fonction : Auteur
Ori Press
  • Fonction : Auteur
Henry Tang
  • Fonction : Auteur
Julian Salazar
  • Fonction : Auteur
Sean R. Green
  • Fonction : Auteur
Lina Brüssel
  • Fonction : Auteur
Moon Twayana
  • Fonction : Auteur
Aymeric Dieuleveut
  • Fonction : Auteur
T. Ryan Rogers
  • Fonction : Auteur
Wenjin Zhang
  • Fonction : Auteur
Bikun Li
  • Fonction : Auteur
Jinzhou Yang
  • Fonction : Auteur
Arun Rao
  • Fonction : Auteur
Mikhail Kalinin
  • Fonction : Auteur
Marco Lukas
  • Fonction : Auteur
Ciprian Manolescu
  • Fonction : Auteur
Subrata Mishra
  • Fonction : Auteur
Ariel Ghislain Kemogne Kamdoum
  • Fonction : Auteur
Tobias Kreiman
  • Fonction : Auteur
Tad Hogg
  • Fonction : Auteur
Alvin Jin
  • Fonction : Auteur
Carlo Bosio
  • Fonction : Auteur
Gongbo Sun
  • Fonction : Auteur
Brian P Coppola
  • Fonction : Auteur
Tim Tarver
  • Fonction : Auteur
Haline Heidinger
  • Fonction : Auteur
Stefan Ivanov
  • Fonction : Auteur
Joseph M Cavanagh
  • Fonction : Auteur
Jiawei Shen
  • Fonction : Auteur
Joseph Marvin Imperial
  • Fonction : Auteur
Philippe Schwaller
  • Fonction : Auteur
Shaipranesh Senthilkuma
  • Fonction : Auteur
Andres M Bran
  • Fonction : Auteur
Ali Dehghan
  • Fonction : Auteur
Andres Algaba
  • Fonction : Auteur
Brecht Verbeken
  • Fonction : Auteur
David Noever
  • Fonction : Auteur
Ragavendran P V
  • Fonction : Auteur
Lisa Schut
  • Fonction : Auteur
Ilia Sucholutsky
  • Fonction : Auteur
Evgenii Zheltonozhskii
  • Fonction : Auteur
Derek Lim
  • Fonction : Auteur
Richard Stanley
  • Fonction : Auteur
Shankar Sivarajan
  • Fonction : Auteur
Tong Yang
  • Fonction : Auteur
John Maar
  • Fonction : Auteur
Julian Wykowski
  • Fonction : Auteur
Martí Oller
  • Fonction : Auteur
Jennifer Sandlin
  • Fonction : Auteur
Anmol Sahu
  • Fonction : Auteur
Yuzheng Hu
  • Fonction : Auteur
Sara Fish
  • Fonction : Auteur
Nasser Heydari
  • Fonction : Auteur
Archimedes Apronti
  • Fonction : Auteur
Kaivalya Rawal
  • Fonction : Auteur
Tobias Garcia Vilchis
  • Fonction : Auteur
Yuexuan Zu
  • Fonction : Auteur
Martin Lackner
  • Fonction : Auteur
James Koppel
  • Fonction : Auteur
Jeremy Nguyen
  • Fonction : Auteur
Daniil S. Antonenko
  • Fonction : Auteur
Steffi Chern
  • Fonction : Auteur
Bingchen Zhao
  • Fonction : Auteur
Alan Goldfarb
  • Fonction : Auteur
Sergey Ivanov
  • Fonction : Auteur
Rafał Poświata
  • Fonction : Auteur
Chenguang Wang
  • Fonction : Auteur
Daofeng Li
  • Fonction : Auteur
Donato Crisostomi
  • Fonction : Auteur
Andrea Achilleos
  • Fonction : Auteur
Benjamin Myklebust
  • Fonction : Auteur
Archan Sen
  • Fonction : Auteur
David Perrella
  • Fonction : Auteur
Nurdin Kaparov
  • Fonction : Auteur
Mark H Inlow
  • Fonction : Auteur
Allen Zang
  • Fonction : Auteur
Elliott Thornley
  • Fonction : Auteur
Daniil Orel
  • Fonction : Auteur
Vladislav Poritski
  • Fonction : Auteur
Shalev Ben-David
  • Fonction : Auteur
Zachary Berger
  • Fonction : Auteur
Parker Whitfill
  • Fonction : Auteur
Michael Foster
  • Fonction : Auteur
Daniel Munro
  • Fonction : Auteur
Linh Ho
  • Fonction : Auteur
Dan Bar Hava
  • Fonction : Auteur
Aleksey Kuchkin
  • Fonction : Auteur
Robert Lauff
  • Fonction : Auteur
David Holmes
  • Fonction : Auteur
Frank Sommerhage
  • Fonction : Auteur
Keith Schneider
  • Fonction : Auteur
Zakayo Kazibwe
  • Fonction : Auteur
Nate Stambaugh
  • Fonction : Auteur
Mukhwinder Singh
  • Fonction : Auteur
Ilias Magoulas
  • Fonction : Auteur
Don Clarke
  • Fonction : Auteur
Dae Hyun Kim
  • Fonction : Auteur
Felipe Meneguitti Dias
  • Fonction : Auteur
Veit Elser
  • Fonction : Auteur
Kanu Priya Agarwal
  • Fonction : Auteur
Immo Klose
  • Fonction : Auteur
Christoph Demian
  • Fonction : Auteur
Ujjwala Anantheswaran
  • Fonction : Auteur
Adam Zweiger
  • Fonction : Auteur
Guglielmo Albani
  • Fonction : Auteur
Jeffery Li
  • Fonction : Auteur
Nicolas Daans
  • Fonction : Auteur
Maksim Radionov
  • Fonction : Auteur
Václav Rozhoň
  • Fonction : Auteur
Ziqiao Ma
  • Fonction : Auteur
Christian Stump
  • Fonction : Auteur
Mohammed Berkani
  • Fonction : Auteur
Jacob Platnick
  • Fonction : Auteur
Volodymyr Nevirkovets
  • Fonction : Auteur
Luke Basler
  • Fonction : Auteur
Marco Piccardo
  • Fonction : Auteur
Ferenc Jeanplong
  • Fonction : Auteur
Niv Cohen
  • Fonction : Auteur
Josef Tkadlec
  • Fonction : Auteur
Paul Rosu
  • Fonction : Auteur
Piotr Padlewski
  • Fonction : Auteur
Stanislaw Barzowski
  • Fonction : Auteur
Kyle Montgomery
  • Fonction : Auteur
Aline Menezes
  • Fonction : Auteur
Arkil Patel
  • Fonction : Auteur
Zixuan Wang
  • Fonction : Auteur
Jamie Tucker-Foltz
  • Fonction : Auteur
Jack Stade
  • Fonction : Auteur
Tom Goertzen
  • Fonction : Auteur
Fereshteh Kazemi
  • Fonction : Auteur
Jeremiah Milbauer
  • Fonction : Auteur
John Arnold Ambay
  • Fonction : Auteur
Abhishek Shukla
  • Fonction : Auteur
Yan Carlos Leyva Labrador
  • Fonction : Auteur
Alan Givré
  • Fonction : Auteur
Hew Wolff
  • Fonction : Auteur
Vivien Rossbach
  • Fonction : Auteur
Muhammad Fayez Aziz
  • Fonction : Auteur
Younesse Kaddar
  • Fonction : Auteur
Yanxu Chen
  • Fonction : Auteur
Robin Zhang
  • Fonction : Auteur
Jiayi Pan
  • Fonction : Auteur
Antonio Terpin
  • Fonction : Auteur
Niklas Muennighoff
  • Fonction : Auteur
Hailey Schoelkopf
  • Fonction : Auteur
Eric Zheng
  • Fonction : Auteur
Avishy Carmi
  • Fonction : Auteur
Adam Jones
  • Fonction : Auteur
Jainam Shah
  • Fonction : Auteur
Ethan D. L. Brown
  • Fonction : Auteur
Kelin Zhu
  • Fonction : Auteur
Max Bartolo
  • Fonction : Auteur
Richard Wheeler
  • Fonction : Auteur
Andrew Ho
  • Fonction : Auteur
Shaul Barkan
  • Fonction : Auteur
Jiaqi Wang
  • Fonction : Auteur
Martin Stehberger
  • Fonction : Auteur
Egor Kretov
  • Fonction : Auteur
Kaustubh Sridhar
  • Fonction : Auteur
Zienab El-Wasif
  • Fonction : Auteur
Anji Zhang
  • Fonction : Auteur
Daniel Pyda
  • Fonction : Auteur
Joanna Tam
  • Fonction : Auteur
David M. Cunningham
  • Fonction : Auteur
Vladimir Goryachev
  • Fonction : Auteur
Demosthenes Patramanis
  • Fonction : Auteur
Michael Krause
  • Fonction : Auteur
Andrew Redenti
  • Fonction : Auteur
Daniel Bugas
  • Fonction : Auteur
David Aldous
  • Fonction : Auteur
Jesyin Lai
  • Fonction : Auteur
Shannon Coleman
  • Fonction : Auteur
Mohsen Bahaloo
  • Fonction : Auteur
Jiangnan Xu
  • Fonction : Auteur
Sangwon Lee
  • Fonction : Auteur
Sandy Zhao
  • Fonction : Auteur
Ning Tang
  • Fonction : Auteur
Michael K. Cohen
  • Fonction : Auteur
Micah Carroll
  • Fonction : Auteur
Orr Paradise
  • Fonction : Auteur
Jan Hendrik Kirchner
  • Fonction : Auteur
Stefan Steinerberger
  • Fonction : Auteur
Maksym Ovchynnikov
  • Fonction : Auteur
Jason O. Matos
  • Fonction : Auteur
Adithya Shenoy
  • Fonction : Auteur
Michael Wang
  • Fonction : Auteur
Yuzhou Nie
  • Fonction : Auteur
Paolo Giordano
  • Fonction : Auteur
Philipp Petersen
  • Fonction : Auteur
Anna Sztyber-Betley
  • Fonction : Auteur
Priti Shukla
  • Fonction : Auteur
Jonathan Crozier
  • Fonction : Auteur
Antonella Pinto
  • Fonction : Auteur
Shreyas Verma
  • Fonction : Auteur
Prashant Joshi
  • Fonction : Auteur
Zheng-Xin Yong
  • Fonction : Auteur
Allison Tee
  • Fonction : Auteur
Jérémy Andréoletti
Orion Weller
  • Fonction : Auteur
Raghav Singhal
  • Fonction : Auteur
Gang Zhang
  • Fonction : Auteur
Alexander Ivanov
  • Fonction : Auteur
Seri Khoury
  • Fonction : Auteur
Hamid Mostaghimi
  • Fonction : Auteur
Kunvar Thaman
  • Fonction : Auteur
Qijia Chen
  • Fonction : Auteur
Tran Quoc Khánh
  • Fonction : Auteur
Jacob Loader
  • Fonction : Auteur
Stefano Cavalleri
  • Fonction : Auteur
Hannah Szlyk
  • Fonction : Auteur
Zachary Brown
  • Fonction : Auteur
Jonathan Roberts
  • Fonction : Auteur
William Alley
  • Fonction : Auteur
Kunyang Sun
  • Fonction : Auteur
Ryan Stendall
  • Fonction : Auteur
Max Lamparth
  • Fonction : Auteur
Anka Reuel
  • Fonction : Auteur
Ting Wang
  • Fonction : Auteur
Hanmeng Xu
  • Fonction : Auteur
Sreenivas Goud Raparthi
  • Fonction : Auteur
Pablo Hernández-Cámara
  • Fonction : Auteur
Freddie Martin
  • Fonction : Auteur
Dmitry Malishev
  • Fonction : Auteur
Thomas Preu
  • Fonction : Auteur
Tomek Korbak
  • Fonction : Auteur
Marcus Abramovitch
  • Fonction : Auteur
Dominic Williamson
  • Fonction : Auteur
Ziye Chen
  • Fonction : Auteur
Biró Bálint
  • Fonction : Auteur
M Saiful Bari
  • Fonction : Auteur
Peyman Kassani
  • Fonction : Auteur
Zihao Wang
  • Fonction : Auteur
Behzad Ansarinejad
  • Fonction : Auteur
Laxman Prasad Goswami
  • Fonction : Auteur
Yewen Sun
  • Fonction : Auteur
Hossam Elgnainy
  • Fonction : Auteur
Daniel Tordera
  • Fonction : Auteur
George Balabanian
  • Fonction : Auteur
Earth Anderson
  • Fonction : Auteur
Lynna Kvistad
  • Fonction : Auteur
Alejandro José Moyano
  • Fonction : Auteur
Rajat Maheshwari
  • Fonction : Auteur
Ahmad Sakor
  • Fonction : Auteur
Murat Eron
  • Fonction : Auteur
Isaac C. Mcalister
  • Fonction : Auteur
Javier Gimenez
  • Fonction : Auteur
Innocent Enyekwe
  • Fonction : Auteur
Andrew Favre D. O.
  • Fonction : Auteur
Shailesh Shah
  • Fonction : Auteur
Xiaoxiang Zhou
  • Fonction : Auteur
Firuz Kamalov
  • Fonction : Auteur
Ronald Clark
  • Fonction : Auteur
Sherwin Abdoli
  • Fonction : Auteur
Tim Santens
  • Fonction : Auteur
Khalida Meer
  • Fonction : Auteur
Harrison K Wang
  • Fonction : Auteur
Kalyan Ramakrishnan
  • Fonction : Auteur
Evan Chen
  • Fonction : Auteur
Alessandro Tomasiello
  • Fonction : Auteur
G. Bruno de Luca
  • Fonction : Auteur
Shi-Zhuo Looi
  • Fonction : Auteur
Vinh-Kha Le
  • Fonction : Auteur
Noam Kolt
  • Fonction : Auteur
Niels Mündler
  • Fonction : Auteur
Avi Semler
  • Fonction : Auteur
Emma Rodman
  • Fonction : Auteur
Jacob Drori
  • Fonction : Auteur
Carl J Fossum
  • Fonction : Auteur
Milind Jagota
  • Fonction : Auteur
Ronak Pradeep
  • Fonction : Auteur
Honglu Fan
  • Fonction : Auteur
Tej Shah
  • Fonction : Auteur
Jonathan Eicher
  • Fonction : Auteur
Michael Chen
  • Fonction : Auteur
Kushal Thaman
  • Fonction : Auteur
William Merrill
  • Fonction : Auteur
Carter Harris
  • Fonction : Auteur
Jason Gross
  • Fonction : Auteur
Ilya Gusev
  • Fonction : Auteur
Asankhaya Sharma
  • Fonction : Auteur
Shashank Agnihotri
  • Fonction : Auteur
Pavel Zhelnov
  • Fonction : Auteur
Siranut Usawasutsakorn
  • Fonction : Auteur
Mohammadreza Mofayezi
  • Fonction : Auteur
Sergei Bogdanov
  • Fonction : Auteur
Alexander Piperski
  • Fonction : Auteur
Marc Carauleanu
  • Fonction : Auteur
David K. Zhang
  • Fonction : Auteur
Dylan Ler
  • Fonction : Auteur
Roman Leventov
  • Fonction : Auteur
Ignat Soroko
  • Fonction : Auteur
Thorben Jansen
  • Fonction : Auteur
Pascal Lauer
  • Fonction : Auteur
Joshua Duersch
  • Fonction : Auteur
Vage Taamazyan
  • Fonction : Auteur
Wiktor Morak
  • Fonction : Auteur
Wenjie Ma
  • Fonction : Auteur
William Held
  • Fonction : Auteur
Tran Đuc Huy
  • Fonction : Auteur
Ruicheng Xian
  • Fonction : Auteur
Mohanad Mohamed
  • Fonction : Auteur
Julian Noah Leser
  • Fonction : Auteur
Michelle X Yuan
  • Fonction : Auteur
Laila Yacar
  • Fonction : Auteur
Johannes Lengler
  • Fonction : Auteur
Hossein Shahrtash
  • Fonction : Auteur
Edson Oliveira
  • Fonction : Auteur
Joseph W. Jackson
  • Fonction : Auteur
Daniel Espinosa Gonzalez
  • Fonction : Auteur
Andy Zou
  • Fonction : Auteur
Muthu Chidambaram
  • Fonction : Auteur
Timothy Manik
  • Fonction : Auteur
Hector Haffenden
  • Fonction : Auteur
Dashiell Stander
  • Fonction : Auteur
Ali Dasouqi
  • Fonction : Auteur
Emilien Duc
  • Fonction : Auteur
Bita Golshani
  • Fonction : Auteur
David Stap
  • Fonction : Auteur
Mikalai Uzhou
  • Fonction : Auteur
Alina Borisovna Zhidkovskaya
  • Fonction : Auteur
Lukas Lewark
  • Fonction : Auteur
Mátyás Vincze
  • Fonction : Auteur
Dustin Wehr
  • Fonction : Auteur
Colin Tang
  • Fonction : Auteur
Zaki Hossain
  • Fonction : Auteur
Shaun Phillips
  • Fonction : Auteur
Jiang Muzhen
  • Fonction : Auteur
Fredrik Ekström
  • Fonction : Auteur
Angela Hammon
  • Fonction : Auteur
Oam Patel
  • Fonction : Auteur
Nicolas Remy
  • Fonction : Auteur
Faraz Farhidi
  • Fonction : Auteur
George Medley
  • Fonction : Auteur
Forough Mohammadzadeh
  • Fonction : Auteur
Madellene Peñaflor
  • Fonction : Auteur
Haile Kassahun
  • Fonction : Auteur
Alena Friedrich
  • Fonction : Auteur
Claire Sparrow
  • Fonction : Auteur
Taom Sakal
  • Fonction : Auteur
Omkar Dhamane
  • Fonction : Auteur
Ali Khajegili Mirabadi
  • Fonction : Auteur
Eric Hallman
  • Fonction : Auteur
Mike Battaglia
  • Fonction : Auteur
Mohammad Maghsoudimehrabani
  • Fonction : Auteur
Hieu Hoang
  • Fonction : Auteur
Alon Amit
  • Fonction : Auteur
Dave Hulbert
  • Fonction : Auteur
Roberto Pereira
  • Fonction : Auteur
Simon Weber
  • Fonction : Auteur
Stephen Mensah
  • Fonction : Auteur
Nathan Andre
  • Fonction : Auteur
Anton Peristyy
  • Fonction : Auteur
Chris Harjadi
  • Fonction : Auteur
Himanshu Gupta
  • Fonction : Auteur
Stephen Malina
  • Fonction : Auteur
Samuel Albanie
  • Fonction : Auteur
Will Cai
  • Fonction : Auteur
Mustafa Mehkary
  • Fonction : Auteur
Frank Reidegeld
  • Fonction : Auteur
Anna-Katharina Dick
  • Fonction : Auteur
Cary Friday
  • Fonction : Auteur
Jasdeep Sidhu
  • Fonction : Auteur
Wanyoung Kim
  • Fonction : Auteur
Mariana Costa
  • Fonction : Auteur
Hubeyb Gurdogan
  • Fonction : Auteur
Brian Weber
  • Fonction : Auteur
Harsh Kumar
  • Fonction : Auteur
Tong Jiang
  • Fonction : Auteur
Arunim Agarwal
  • Fonction : Auteur
Chiara Ceconello
  • Fonction : Auteur
Warren S. Vaz
  • Fonction : Auteur
Chao Zhuang
  • Fonction : Auteur
Haon Park
  • Fonction : Auteur
Andrew R. Tawfeek
  • Fonction : Auteur
Daattavya Aggarwal
  • Fonction : Auteur
Michael Kirchhof
  • Fonction : Auteur
Linjie Dai
  • Fonction : Auteur
Evan Kim
  • Fonction : Auteur
Johan Ferret
  • Fonction : Auteur
Yuzhou Wang
  • Fonction : Auteur
Minghao Yan
  • Fonction : Auteur
Krzysztof Burdzy
  • Fonction : Auteur
Lixin Zhang
  • Fonction : Auteur
Antonio Franca
  • Fonction : Auteur
Diana T. Pham
  • Fonction : Auteur
Kang Yong Loh
  • Fonction : Auteur
Joshua Robinson
  • Fonction : Auteur
Shreen Gul
  • Fonction : Auteur
Gunjan Chhablani
  • Fonction : Auteur
Zhehang Du
  • Fonction : Auteur
Adrian Cosma
  • Fonction : Auteur
Colin White
  • Fonction : Auteur
Prajvi Saxena
  • Fonction : Auteur
Jacob Votava
  • Fonction : Auteur
Vladimir Vinnikov
  • Fonction : Auteur
Ethan Delaney
  • Fonction : Auteur
Shiv Halasyamani
  • Fonction : Auteur
Syed M. Shahid
  • Fonction : Auteur
Lavr Vetoshkin
  • Fonction : Auteur
Renas Bacho
  • Fonction : Auteur
Vincent Ginis
  • Fonction : Auteur
Aleksandr Maksapetyan
  • Fonction : Auteur
Florencia de la Rosa
  • Fonction : Auteur
Xiuyu Li
  • Fonction : Auteur
Guillaume Malod
  • Fonction : Auteur
Leon Lang
  • Fonction : Auteur
Julien Laurendeau
  • Fonction : Auteur
Fatimah Adesanya
  • Fonction : Auteur
Julien Portier
  • Fonction : Auteur
Lawrence Hollom
  • Fonction : Auteur
Victor Souza
  • Fonction : Auteur
Yuchen Anna Zhou
  • Fonction : Auteur
Yiğit Yalın
  • Fonction : Auteur
Gbenga Daniel Obikoya
  • Fonction : Auteur
Luca Arnaboldi
  • Fonction : Auteur
Filippo Bigi
  • Fonction : Auteur
Kaniuar Bacho
  • Fonction : Auteur
Gabriel Recchia
  • Fonction : Auteur
Mara Popescu
  • Fonction : Auteur
Nikita Shulga
  • Fonction : Auteur
Ngefor Mildred Tanwie
  • Fonction : Auteur
Thomas C. H. Lux
  • Fonction : Auteur
Ben Rank
  • Fonction : Auteur
Colin Ni
  • Fonction : Auteur
Alesia Yakimchyk
  • Fonction : Auteur
Huanxu Liu
  • Fonction : Auteur
Olle Häggström
  • Fonction : Auteur
Emil Verkama
  • Fonction : Auteur
Himanshu Narayan
  • Fonction : Auteur
Hans Gundlach
  • Fonction : Auteur
Leonor Brito-Santana
  • Fonction : Auteur
Brian Amaro
  • Fonction : Auteur
Vivek Vajipey
  • Fonction : Auteur
Rynaa Grover
  • Fonction : Auteur
Yiyang Fan
  • Fonction : Auteur
Gabriel Poesia Reis E Silva
  • Fonction : Auteur
Linwei Xin
  • Fonction : Auteur
Yosi Kratish
  • Fonction : Auteur
Jakub Łucki
  • Fonction : Auteur
Wen-Ding Li
  • Fonction : Auteur
Justin Xu
  • Fonction : Auteur
Kevin Joseph Scaria
  • Fonction : Auteur
Freddie Vargus
  • Fonction : Auteur
Farzad Habibi
  • Fonction : Auteur
Emanuele Rodolà
  • Fonction : Auteur
Jules Robins
  • Fonction : Auteur
Vincent Cheng
  • Fonction : Auteur
Declan Grabb
  • Fonction : Auteur
Ida Bosio
  • Fonction : Auteur
Tony Fruhauff
  • Fonction : Auteur
Ido Akov
  • Fonction : Auteur
Eve J. Y. Lo
  • Fonction : Auteur
Hao Qi
  • Fonction : Auteur
Xi Jiang
  • Fonction : Auteur
Ben Segev
  • Fonction : Auteur
Jingxuan Fan
  • Fonction : Auteur
Sarah Martinson
  • Fonction : Auteur
Erik Y. Wang
  • Fonction : Auteur
Kaylie Hausknecht
  • Fonction : Auteur
Michael P. Brenner
  • Fonction : Auteur
Mao Mao
  • Fonction : Auteur
Yibo Jiang
  • Fonction : Auteur
Xinyu Zhang
  • Fonction : Auteur
David Avagian
  • Fonction : Auteur
Eshawn Jessica Scipio
  • Fonction : Auteur
Muhammad Rehan Siddiqi
  • Fonction : Auteur
Alon Ragoler
  • Fonction : Auteur
Justin Tan
  • Fonction : Auteur
Deepakkumar Patil
  • Fonction : Auteur
Rebeka Plecnik
  • Fonction : Auteur
Aaron Kirtland
  • Fonction : Auteur
Roselynn Grace Montecillo
  • Fonction : Auteur
Stephane Durand
  • Fonction : Auteur
Omer Faruk Bodur
  • Fonction : Auteur
Zahra Adoul
  • Fonction : Auteur
Mohamed Zekry
  • Fonction : Auteur
Guillaume Douville
  • Fonction : Auteur
Ali Karakoc
  • Fonction : Auteur
Tania C. B. Santos
  • Fonction : Auteur
Samir Shamseldeen
  • Fonction : Auteur
Loukmane Karim
  • Fonction : Auteur
Anna Liakhovitskaia
  • Fonction : Auteur
Nate Resman
  • Fonction : Auteur
Nicholas Farina
  • Fonction : Auteur
Juan Carlos Gonzalez
  • Fonction : Auteur
Gabe Maayan
  • Fonction : Auteur
Sarah Hoback
  • Fonction : Auteur
Rodrigo de Oliveira Pena
  • Fonction : Auteur
Glen Sherman
  • Fonction : Auteur
Hodjat Mariji
  • Fonction : Auteur
Rasoul Pouriamanesh
  • Fonction : Auteur
Wentao Wu
  • Fonction : Auteur
Gözdenur Demir
  • Fonction : Auteur
Sandra Mendoza
  • Fonction : Auteur
Ismail Alarab
  • Fonction : Auteur
Joshua Cole
  • Fonction : Auteur
Danyelle Ferreira
  • Fonction : Auteur
Bryan Johnson
  • Fonction : Auteur
Hsiaoyun Milliron
  • Fonction : Auteur
Mohammad Safdari
  • Fonction : Auteur
Liangti Dai
  • Fonction : Auteur
Siriphan Arthornthurasuk
  • Fonction : Auteur
Alexey Pronin
  • Fonction : Auteur
Jing Fan
  • Fonction : Auteur
Angel Ramirez-Trinidad
  • Fonction : Auteur
Ashley Cartwright
  • Fonction : Auteur
Daphiny Pottmaier
  • Fonction : Auteur
Omid Taheri
  • Fonction : Auteur
David Outevsky
  • Fonction : Auteur
Stanley Stepanic
  • Fonction : Auteur
Samuel Perry
  • Fonction : Auteur
Luke Askew
  • Fonction : Auteur
Abdelkader Dendane
  • Fonction : Auteur
Sam Ali
  • Fonction : Auteur
Ricardo Lorena
  • Fonction : Auteur
Krishnamurthy Iyer
  • Fonction : Auteur
Sk Md Salauddin
  • Fonction : Auteur
Murat Islam
  • Fonction : Auteur
Juan Gonzalez
  • Fonction : Auteur
Josh Ducey
  • Fonction : Auteur
Russell Campbell
  • Fonction : Auteur
Maja Somrak
  • Fonction : Auteur
Vasilios Mavroudis
  • Fonction : Auteur
Eric Vergo
  • Fonction : Auteur
Juehang Qin
  • Fonction : Auteur
Benjámin Borbás
  • Fonction : Auteur
Eric Chu
  • Fonction : Auteur
Jack Lindsey
  • Fonction : Auteur
Anil Radhakrishnan
  • Fonction : Auteur
Antoine Jallon
  • Fonction : Auteur
I. M. J. Mcinnis
  • Fonction : Auteur
Alex Hoover
  • Fonction : Auteur
Sören Möller
  • Fonction : Auteur
Song Bian
  • Fonction : Auteur
John Lai
  • Fonction : Auteur
Tejal Patwardhan
  • Fonction : Auteur
Summer Yue
  • Fonction : Auteur
Alexandr Wang
  • Fonction : Auteur

Résumé

Benchmarks are important tools for tracking the rapid advancements in large language model (LLM) capabilities. However, benchmarks are not keeping pace in difficulty: LLMs now achieve more than 90% accuracy on popular benchmarks such as Measuring Massive Multitask Language Understanding1, limiting informed measurement of state-of-the-art LLM capabilities. Here, in response, we introduce Humanity’s Last Exam (HLE), a multi-modal benchmark at the frontier of human knowledge, designed to be an expert-level closed-ended academic benchmark with broad subject coverage. HLE consists of 2,500 questions across dozens of subjects, including mathematics, humanities and the natural sciences. HLE is developed globally by subject-matter experts and consists of multiple-choice and short-answer questions suitable for automated grading. Each question has a known solution that is unambiguous and easily verifiable but cannot be quickly answered by internet retrieval. State-of-the-art LLMs demonstrate low accuracy and calibration on HLE, highlighting a marked gap between current LLM capabilities and the expert human frontier on closed-ended academic questions. To inform research and policymaking upon a clear understanding of model capabilities, we publicly release HLE at https://lastexam.ai.

Fichier principal
Vignette du fichier
s41586-025-09962-4.pdf (3.31 Mo) Télécharger le fichier
Origine Fichiers éditeurs autorisés sur une archive ouverte
licence

Dates et versions

hal-04915593 , version 1 (12-03-2026)

Licence

Identifiants

Citer

Long Phan, Alice Gatti, Ziwen Han, Nathaniel Li, Josephina Hu, et al.. A benchmark of expert-level academic questions to assess AI capabilities. Nature, 2026, 649 (8099), pp.1139-1146. ⟨10.1038/s41586-025-09962-4⟩. ⟨hal-04915593⟩
2194 Consultations
238 Téléchargements

Altmetric

Partager

  • More