Minerva 7B o Italia 9B: il modello più grande non vince ogni prova

Per sperimentare un assistente locale in italiano, la documentazione di Minerva 7B rende il modello un buon punto di partenza se contano la provenienza dei dati e una minore impronta teorica dei pesi; la scheda di Modello Italia 9B offre una conversione utilizzabile con Transformers e indica la licenza MIT, richiamando anche i termini d’uso di iGenius. Per distribuire uno dei due, la scelta dipende dal compito, dalle condizioni applicabili e dalla configurazione che girerà sulla macchina prevista.

Il modello più grande non prevale in tutte le prove: nella Tabella 2 di ITA-Bench, Minerva-7B-base-v1.0 ottiene una media di 57,2 e Italia-9B-Instruct-v0.1 di 56,0 sui benchmark standard tradotti in italiano, valutati zero-shot in formato cloze. Il dato mostra perché i parametri non bastano per scegliere, ma confronta una versione base con una instruct: non è una graduatoria della qualità dei due assistenti in chat.

Una matrice di scelta per l’uso locale

Le differenze utili emergono quando si separano il tipo di applicazione, i vincoli di distribuzione e la capacità misurata dai test. Per un prototipo di conversazione servono le versioni destinate a seguire istruzioni; per una ricerca sui modelli può essere altrettanto importante ricostruire come sono stati addestrati. Una media di benchmark non risolve da sola nessuna delle due esigenze.

• Ricerca e verificabilità: Minerva è la scelta più agevole da motivare quando bisogna esaminare le fonti del preaddestramento e il passaggio dalla versione base a quella instruct. La documentazione del processo consente di formulare ipotesi più precise su punti di forza e lacune.
• Assistente conversazionale: Italia resta un candidato da confrontare con Minerva usando versioni e richieste coerenti con l’uso previsto. Il vantaggio della versione base di Minerva nella tabella citata non misura direttamente come risponderà la sua versione instruct.
• Domande su testi lunghi: conta la capacità di individuare il fatto richiesto fra informazioni distraenti. La lunghezza dichiarata della finestra di contesto descrive quanti token possono entrare, non quanto affidabile sarà la risposta.
• Hardware limitato: il modello con meno parametri parte da un ingombro teorico inferiore. Il fabbisogno reale cambia con il formato dei pesi, la precisione usata in inferenza, la lunghezza dei prompt e il numero di richieste simultanee.

Che cosa misura davvero ITA-Bench

La media dei benchmark standard tradotti riunisce attività diverse, fra cui comprensione di domande, conoscenze e ragionamento. Nella valutazione cloze il sistema confronta la probabilità delle possibili continuazioni: non giudica una risposta libera per utilità, chiarezza o aderenza alle istruzioni. Il risultato è quindi pertinente per quella batteria e quel protocollo, mentre un servizio di assistenza richiede anche prove sulle risposte generate.

ITA-Bench comprende inoltre attività adattate da dataset italiani. Sono un complemento importante ai test tradotti, perché domande nate in un’altra lingua possono conservare riferimenti culturali o formulazioni poco rappresentative dell’uso locale. Non conviene fondere le medie dei due gruppi o trattarle come se misurassero la stessa capacità: cambiano i compiti e, in alcune prove, anche la formulazione della domanda.

La distinzione fra base e instruct pesa quanto la differenza di dimensione. Un modello base è addestrato a prevedere testo; una versione instruct viene ulteriormente preparata a rispondere a richieste. Per confrontare due assistenti destinati a utenti italiani, una valutazione pertinente usa prompt identici, versioni conversazionali e criteri legati all’output richiesto, per esempio l’esattezza di una risposta o la fedeltà di un riassunto. È una scelta di metodo, non un risultato già attribuibile ai modelli.

Trasparenza dei dati e condizioni d’uso

Minerva è stato addestrato da zero con l’italiano fra gli obiettivi centrali, usando anche inglese e codice. La documentazione del progetto elenca fonti quali RedPajama-V2, CulturaX, Wikipedia, EurLex e Gazzetta Ufficiale, oltre a descrivere le fasi che portano dalla base alla versione per istruzioni. Questo livello di dettaglio aiuta a valutare la provenienza dei dati e a progettare verifiche mirate; non assicura che ogni risposta prodotta sia corretta.

Per Modello Italia, gli autori della conversione dichiarano che il corpus completo non è noto e qualificano come non ufficiali alcune informazioni raccolte sul suo addestramento. La differenza di trasparenza conta soprattutto se il progetto deve documentare le fonti del modello o analizzarne possibili lacune. Non impedisce di valutarne le prestazioni su un compito circoscritto, purché le ipotesi sul corpus restino distinte dai fatti accertati.

La scheda di Minerva-7B-instruct-v1.0 indica Apache 2.0 e mette a disposizione i pesi della versione conversazionale. Per Modello Italia, l’indicazione MIT nella scheda della conversione va letta insieme ai termini e alle condizioni di iGenius richiamati dalla stessa scheda. Licenza dei pesi e trasparenza dell’addestramento rispondono a domande diverse: la prima riguarda l’uso e la distribuzione, la seconda ciò che si può ricostruire del modello.

Il contesto disponibile non è sempre contesto utile

Nel benchmark BABILong-ITA, le configurazioni esaminate di Minerva e Modello Italia mostrano prestazioni generalmente basse ma relativamente stabili entro il contesto supportato di circa 4.000 token. Lo studio include le versioni base e instruct di Minerva e usa per Italia una conversione non ufficiale in BF16. La stabilità indica che l’accuratezza cambia relativamente poco lungo quell’intervallo; non equivale a un recupero affidabile delle informazioni.

Le prove inseriscono fatti utili fra passaggi distraenti e chiedono di seguire spostamenti o relazioni descritti nel testo. Misurano dunque una capacità diversa dalle medie generaliste di ITA-Bench. Per un’applicazione che interroga atti, manuali o conversazioni estese, la possibilità di ritrovare il dettaglio richiesto pesa più di una buona media su domande brevi. Il risultato dipende anche da come viene costruito il prompt e da quali parti del documento vi entrano.

Memoria e formato dei pesi

La dimensione dei parametri offre una prima stima dell’ingombro: in BF16, considerando soltanto i pesi, sette miliardi di parametri occupano circa 14 GB e nove miliardi circa 18 GB. È aritmetica, non una soglia minima di memoria video. Durante l’esecuzione servono spazio anche per cache, attivazioni e altri componenti; prompt più lunghi e richieste concorrenti aumentano il fabbisogno.

Il formato scaricato e la precisione usata dopo il caricamento possono essere diversi. La conversione di Italia mostra pesi F32 e un esempio di caricamento in BF16: lo spazio necessario per conservare i file non coincide quindi necessariamente con quello dei soli pesi durante l’inferenza. Una quantizzazione può ridurre l’ingombro di entrambi i modelli, ma qualità, velocità e memoria vanno giudicate nella configurazione effettiva.

Se il vincolo principale è documentare l’origine dei dati e contenere l’impronta dei pesi, Minerva offre argomenti concreti per iniziare. Se prevale l’interesse per le risposte di Italia su un compito specifico, quel modello merita una prova dopo aver chiarito le condizioni d’uso. La decisione di distribuzione richiede poi risultati delle versioni conversazionali sullo stesso lavoro in italiano e una misura distinta del recupero da testi lunghi.

Leggi anche:

• LangChain o LlamaIndex: nei benchmark il framework non decide da solo
• Chunk RAG: più contesto può peggiorare qualità e costi
• CycloneDX o SPDX: l’ecosistema più grande non è quello più attivo