I benchmark per l'IA si stanno saturando. I modelli superano il 90% in test come l'MMLU, rendendoli inutili per misurare le reali capacità di frontiera. Humanity's Last Exam (HLE) è la risposta: una sfida di livello post-laurea progettata per essere l'ultimo test accademico per l'IA.
In questo post, analizzo cos'è l'HLE, i risultati di GPT-5.4 e Gemini 3.1 e perché il vero limite nel 2026 non è l'accuratezza, ma la calibrazione e l'eccessiva sicurezza dei modelli.
Cos'è l'Humanity's Last Exam (HLE)?
L'Humanity's Last Exam è un benchmark multi-modale a risposta chiusa creato da 1.000 esperti. A differenza dei test passati, l'HLE punta alla frontiera della conoscenza in matematica, fisica e medicina.
Il dataset contiene 2.500 domande così difficili che anche i modelli più avanzati faticano a superare il 50% di accuratezza. Non è una questione di nozioni, ma di ragionamento profondo e capacità di interpretare diagrammi complessi.
Oltre l'MMLU: Perché l'HLE è Fondamentale nel 2026
Perché questa sfida è fondamentale? Perché siamo alla "saturazione dei benchmark". Quando ogni modello tocca il 95% sull'MMLU, il segnale si perde. L'HLE alza l'asticella a livello di dottorato, fornendo una metrica pulita per la profondità di ragionamento di un sistema IA di frontiera.
In particolare, combatte la contaminazione dei dati usando domande verificate da esperti che non sono facilmente reperibili online. Per un CTO, è il modo migliore per verificare se un modello "capisce" davvero domini tecnici complessi.
Vuoi integrare l'AI nel tuo business?
Contattami per una consulenza su come implementare strumenti e automazioni AI nella tua azienda.
Analisi della Classifica e degli Ultimi Punteggi
La classifica attuale mostra un panorama affascinante. A maggio 2026, ecco i top performer sull'HLE (Humanity's Last Exam):
- Gemini 3.1 Pro Preview (Thinking High): 46.44%
- GPT-5.4 Pro (2026-03-05): 44.32%
- Muse Spark: 40.56%
- Claude Opus 4.7: 36.20%
La cosa interessante non è solo il ranking, ma il divario. Stiamo vedendo una sorta di plateau. Anche con le modalità di "ragionamento avanzato" attivate, i modelli faticano a superare la soglia del 50%. Questo suggerisce che stiamo toccando un limite fondamentale nel modo in cui gli LLM gestiscono problemi scientifici di livello mondiale.
Il Problema dell'Overconfidence: l'Errore di Calibrazione
La metrica più scioccante dei risultati HLE non è l'accuratezza, ma l'Errore di Calibrazione (Calibration Error). Un modello ben calibrato sa quando è probabile che stia sbagliando. Se un modello dichiara una sicurezza del 90%, dovrebbe avere ragione il 90% delle volte.
Nell'HLE vediamo un'overconfidence sistematica. Molti modelli mostrano errori di calibrazione superiori al 50%. In pratica, danno risposte "sicuramente sbagliate" a problemi complessi di fisica o matematica. Per le applicazioni aziendali, questo è un enorme segnale di allarme. Spesso è meglio un modello che dice "Non lo so" rispetto a uno che allucina una soluzione plausibile ma errata. Questo limite strutturale è ciò che il benchmark hle evidenzia meglio di ogni altro test.
Come Usare l'HLE per Scegliere un Modello
Quando scegli un modello per task complessi come la programmazione autonoma o la gestione di server, non guardare solo l'accuratezza pura. Puoi anche approfondire come eseguire modelli in locale o consultare le opzioni API gratuite per testare queste capacità.
- Controlla la Calibrazione: Cerca modelli con errori di calibrazione più bassi. Sono più affidabili per l'automazione dove la supervisione umana è minima.
- Performance Multi-modale: Se il tuo workflow include grafici o diagrammi, l'HLE è il modo migliore per testare se un modello sa davvero "vedere" la logica in un'immagine.
- Testa con OpenClaw: Consiglio sempre di far girare questi modelli attraverso il framework OpenClaw per vedere come gestiscono strumenti reali e task complessi oltre i benchmark statici.
Domande Frequenti (FAQ)
Qual è il punteggio minimo per superare il benchmark hle?
Non esiste un punteggio minimo. Tuttavia, il fatto che i modelli più avanzati siano sotto il 50% evidenzia l'estrema difficoltà del test.
In cosa differisce il benchmark hle dall'MMLU?
L'MMLU è di livello universitario ed è ormai saturo (i modelli superano il 90%). L'HLE è di livello post-laurea e multi-modale, pensato per essere il benchmark definitivo.
Posso eseguire il benchmark hle in locale?
Il set pubblico è disponibile per la ricerca, ma avrai bisogno di una potenza di calcolo significativa e di script di valutazione adeguati per testare i modelli localmente.
Scritto da Matteo Giardino, CTO e founder. I miei progetti.