L’intelligenza artificiale generativa promette risposte sempre più rapide, ma nella Pubblica Amministrazione la velocità non rappresenta l’unico parametro da ottimizzare. Il nuovo report pubblicato dall’Agenzia per l’Italia Digitale affronta un tema destinato a diventare centrale nella progettazione delle infrastrutture digitali: il rapporto tra accelerazione dei Large Language Model e sicurezza operativa. Lo studio, realizzato dal CERT-AgID, analizza il comportamento della tecnologia Multi-Token Prediction (MTP) e mette in evidenza come una tecnica pensata per migliorare le prestazioni possa introdurre nuove superfici di rischio se implementata senza un rigoroso controllo dell’intero processo di inferenza.
Il documento chiarisce innanzitutto un aspetto spesso trascurato. La Multi-Token Prediction non modifica soltanto la velocità con cui un modello genera testo, ma interviene direttamente nel percorso di generazione dei token. In un’architettura tradizionale un LLM produce un token alla volta; nel paradigma MTP, invece, un modello secondario, denominato draft, anticipa una sequenza di token che viene successivamente verificata dal modello principale, il target, attraverso il cosiddetto speculative decoding. Il principio è semplice: se la previsione è corretta, il sistema avanza più rapidamente; se è errata, occorre correggere il percorso e riallineare lo stato interno del modello.
È proprio questa fase di riallineamento che diventa il cuore dell’analisi di sicurezza. Secondo AgID, un sistema affidabile non deve limitarsi a produrre risposte corrette, ma deve mantenere sempre coerenti elementi fondamentali come la KV cache, il frontier logico, il campionatore dei token e lo stato condiviso tra modello draft e modello target. Qualsiasi disallineamento può compromettere l’integrità del comportamento del sistema, generando risultati non perché il modello abbia “ragionato” diversamente, ma perché il runtime abbia perso il controllo del proprio stato interno.
Il report amplia così il concetto di sicurezza informatica. Nelle architetture basate su LLM la sicurezza non coincide esclusivamente con la capacità di bloccare contenuti dannosi o attacchi esterni, ma comprende tre proprietà essenziali: integrità del comportamento, disponibilità del servizio e prevedibilità dei costi computazionali. Un modello che produce risposte corrette ma richiede continui meccanismi di recupero, replay o fallback può risultare inaffidabile quanto un sistema vulnerabile, soprattutto quando viene utilizzato per servizi critici della Pubblica Amministrazione.
Una delle osservazioni più interessanti riguarda proprio la disponibilità del servizio. Quando il modello draft propone sequenze che il target rifiuta frequentemente, il runtime è costretto a ripetere parte dell’elaborazione oppure ad abbandonare il percorso accelerato tornando al decoding tradizionale. Replay e fallback rappresentano meccanismi fisiologici di recupero, ma se diventano ricorrenti provocano un aumento della latenza, tempi di risposta irregolari e, nei casi estremi, timeout o errori interni del sistema. In un’infrastruttura destinata a supportare servizi pubblici digitali, questa variabilità può incidere direttamente sull’affidabilità percepita dagli utenti.
Il paper richiama inoltre l’attenzione su un rischio meno evidente ma particolarmente rilevante: il possibile incremento dei costi computazionali nei cosiddetti worst-case scenario. Alcuni prompt possono indurre il modello draft a sbagliare con maggiore frequenza, provocando un numero elevato di riallineamenti, rifiuti parziali e ricalcoli. Il sistema continua formalmente a funzionare, ma consuma molte più risorse del previsto. Secondo gli autori, questo comportamento può persino trasformarsi in una forma di Denial of Service applicativo, nella quale non viene sfruttata una vulnerabilità classica, bensì la complessità computazionale introdotta dal percorso MTP.
Un’altra conclusione significativa riguarda il comportamento del modello assistente. L’intuizione comune potrebbe suggerire che un draft più creativo produca risultati migliori; i test del CERT-AgID mostrano invece l’opposto. Il modello secondario deve essere il più prevedibile possibile, limitandosi a proporre le continuazioni statisticamente più probabili e quindi più semplici da verificare. L’obiettivo non è aumentare la varietà delle risposte, ma ridurre la probabilità di divergenze e rendere l’intero processo più stabile, misurabile e verificabile.
Lo studio affronta anche la metodologia di valutazione delle prestazioni, criticando l’abitudine di misurare esclusivamente la velocità media. Per valutare correttamente un sistema MTP occorre monitorare soprattutto la latenza nei percentili più elevati, come p75 e p95, che rappresentano i casi in cui il sistema inizia a degradare o si avvicina agli scenari peggiori. Un’ottimizzazione che migliora la mediana ma peggiora significativamente il p95 può apparire efficace nei benchmark di laboratorio e rivelarsi invece problematica in produzione, dove i picchi di latenza compromettono la qualità del servizio.
Le prove sperimentali condotte in ambiente locale CPU-only confermano questa impostazione. L’utilizzo dell’affinità dei thread tramite taskset ha ridotto la variabilità della latenza e migliorato la ripetibilità dei benchmark, dimostrando che una parte delle oscillazioni dipende dall’ambiente di esecuzione e non necessariamente dall’algoritmo MTP. Nei test principali il branch sperimentale ha ridotto sia la mediana sia il p75 dei tempi di generazione senza introdurre replay, fallback o errori interni. Al contrario, una variante nella quale il draft utilizzava il token selezionato dal sampler anziché il candidato top-1 ha peggiorato i tempi di risposta di oltre il 40%, confermando che la prevedibilità del modello assistente costituisce un requisito tecnico prima ancora che prestazionale.
L’adozione dell’intelligenza artificiale nella Pubblica Amministrazione richiede criteri di valutazione che integrino performance, affidabilità e sicurezza come componenti inseparabili della stessa architettura. Accelerare un modello è utile solo se il sistema continua a mantenere il controllo del proprio stato interno, conserva il modello target come unica autorità decisionale e rimane stabile anche davanti agli input più complessi. In questo scenario, la velocità rappresenta un vantaggio solo quando è accompagnata da trasparenza, verificabilità e prevedibilità operativa, elementi che AgID considera ormai indispensabili per qualsiasi infrastruttura digitale destinata a servizi pubblici critici.