Competition for attention predicts good-to-bad tipping in AI
Un chatbot può produrre risposte corrette per decine di interazioni e poi improvvisamente generare contenuti dannosi. Un gruppo di ricercatori della George Washington University sostiene di aver individuato una formula matematica capace di stimare quando avviene questa transizione, affrontando uno dei problemi più insidiosi della sicurezza dell’intelligenza artificiale.
Lo studio di Neil Johnson e Frank Yingjie Huo, pubblicato sulla rivista scientifica Patterns, analizza il ruolo degli attention head, i componenti delle reti neurali che determinano quali elementi del contesto conversazionale influenzano maggiormente la generazione della risposta successiva. Con l’accumularsi del dialogo, l’equilibrio può spostarsi progressivamente verso una risposta indesiderata, fino a superare una soglia critica.
I ricercatori definiscono questo punto di rottura attraverso una variabile, indicata con n, che stima quanti token corretti un modello riesce a generare prima di produrre il primo contenuto problematico. Nei test preliminari, la formula avrebbe identificato correttamente il comportamento immediato o ritardato in 15 casi su 16, pari al 94%. La ricerca estesa comprende modelli fino a 12 miliardi di parametri, ma la validità del metodo su sistemi più grandi e scenari reali richiede ulteriori verifiche.
L’applicazione più interessante riguarda i modelli eseguiti direttamente su smartphone e computer, senza connessione al cloud. In questi ambienti manca spesso un sistema esterno capace di controllare le risposte in tempo reale. Gli autori propongono quindi un monitor leggero, eseguito parallelamente al chatbot, che segnali quando la stima della sicurezza scende sotto una soglia prestabilita.
La questione ha implicazioni concrete per gli assistenti personali, i dispositivi offline e i sistemi AI destinati a operare senza supervisione continua. L’addestramento di sicurezza può ridurre determinati comportamenti indesiderati, ma non garantisce l’eliminazione dei meccanismi che li rendono possibili. La formula non rappresenta dunque un certificato di affidabilità universale: è un possibile strumento di allerta, la cui efficacia dipenderà dalla capacità di anticipare il rischio prima che la risposta dannosa venga generata.
La Silicon Valley preferisce raccontare modelli sempre più intelligenti. La sicurezza, invece, comincia spesso da una domanda meno spettacolare: quanto manca al prossimo errore?