Google ha aggiornato il 26 ottobre il suo Android Bench, la classifica che misura le capacità dei modelli di intelligenza artificiale nello sviluppo di app Android. Nonostante sia il benchmark della stessa Google, il suo modello più recente, Gemini 4 Argon, non riesce a imporsi: a guidare la classifica sono Claude Sonnet 5.5 di Anthropic e, sul fronte del rapporto qualità-prezzo, GPT-6.1 Sol di OpenAI.

Claude Sonnet 5.5 al primo posto

Android Bench valuta i modelli AI su attività di sviluppo specifiche per Android, tenendo conto delle best practice della piattaforma e, novità di questo aggiornamento, anche del livello di “ragionamento” impiegato da ciascun modello. Tra le novità in classifica figurano GPT-6 Sol e GPT-6.1 Sol di OpenAI, Claude Sonnet 5 e Sonnet 5.5 di Anthropic, e naturalmente Gemini 4 Argon di Google. Al vertice si piazza Claude Sonnet 5.5, con un tasso di superamento dei test del 40% e un tasso di completamento dell’80,9%. Anche Claude Opus 5.5, aggiunto alla classifica a inizio ottobre, occupa la seconda posizione, confermando il buon momento dei modelli Anthropic.

GPT-6.1 Sol convince sul prezzo

Se GPT-6.1 Sol non riesce a scalzare Claude Sonnet 5.5 dal primo posto in termini di tasso di successo (29,3%), lo supera per tasso di completamento (82,8%) e soprattutto per costo medio: appena 99,50 dollari contro i 1.574,90 dollari del modello al vertice della classifica. Un dato che potrebbe pesare parecchio per gli sviluppatori che devono scegliere uno strumento AI da integrare nei propri flussi di lavoro quotidiani.

Gemini 4 Argon si ferma al quinto posto

Il modello più recente di Google si ferma in quinta posizione, con un tasso di superamento dei test del 21,3%, un tasso di completamento dell’81,8% e un costo medio di 267,70 dollari. Un risultato che lo pone dietro anche a Claude Fable 5.1. Il dato sul completamento resta comunque solido, vicino a quello di GPT-6.1 Sol, segno che il modello riesce spesso a portare a termine i compiti assegnati senza però rispettare sempre gli standard di qualità richiesti dai test.

Un risultato scomodo per Google

Già al momento del lancio di Gemini 4 Argon erano emerse voci interne su alcune difficoltà del modello con determinati task di programmazione, voci che Google aveva in parte respinto. Un singolo benchmark non basta certo a giudicare le capacità complessive di un modello AI nella scrittura di codice, ma il fatto che proprio lo strumento di valutazione sviluppato da Google per l’ecosistema Android veda il suo modello più recente in difficoltà rispetto alla concorrenza resta un dato su cui l’azienda dovrà riflettere.