L’intelligenza artificiale applicata alla moderazione dei contenuti doveva essere la soluzione scalabile al caos digitale; una promessa di efficienza, velocità, precisione. Invece, nel caso di Meta, sta emergendo un paradosso che ogni CTO conosce bene ma che pochi ammettono in pubblico: automatizzare male un processo critico non lo rende più efficiente, lo rende solo più rumoroso. E quando il rumore entra nei flussi investigativi su abusi minorili, il costo non è reputazionale; è operativo, morale, istituzionale.

Secondo un’inchiesta del The Guardian, le forze dell’ordine del New Mexico hanno denunciato che i sistemi automatizzati della società generano migliaia di segnalazioni al mese considerate inutilizzabili, o prive degli elementi probatori necessari per aprire un’indagine. Il programma Internet Crimes Against Children Task Force, che coordina le attività contro lo sfruttamento minorile online, si trova a gestire un volume crescente di cosiddetti cybertips, molti dei quali non qualificabili come reato o insufficientemente documentati.

Il risultato è una saturazione del sistema investigativo. Un agente ha parlato di “junk”, spazzatura digitale; un altro ha riferito che le segnalazioni sono raddoppiate tra il 2024 e il 2025, mentre la qualità si è deteriorata. Il punto non è che l’algoritmo sbagli sempre; il punto è che sbaglia troppo spesso per un dominio nel quale il falso positivo non è un fastidio statistico ma un collo di bottiglia giudiziario.

La questione si inserisce nel quadro normativo del Report Act, firmato nel maggio 2024, che ha ampliato gli obblighi di segnalazione includendo abusi pianificati o imminenti, traffico sessuale minorile e altre forme di sfruttamento, imponendo inoltre una conservazione più lunga delle prove digitali. Dal punto di vista compliance, le piattaforme hanno reagito come ogni organizzazione quotata farebbe: meglio segnalare troppo che troppo poco. Dal punto di vista operativo delle task force, questo eccesso di zelo algoritmico si traduce in backlog, frustrazione, tempo sottratto ai casi realmente perseguibili.

I numeri raccontano una storia ambivalente. Meta rimane la principale fonte di segnalazioni verso il National Center for Missing & Exploited Children, contribuendo a circa due terzi dei 20,5 milioni di tip ricevuti nel 2024, in calo rispetto ai 36,2 milioni del 2023. Il calo è stato attribuito in parte a modifiche nelle pratiche di reporting. Nel secondo trimestre 2025, secondo il report di integrità aziendale, Facebook, Instagram e Threads hanno inviato oltre 2 milioni di segnalazioni; più di 528 mila riguardavano interazioni inappropriate con minori, oltre 1,5 milioni la condivisione o ricondivisione di materiale di abuso sessuale minorile.

Numeri impressionanti, che in una presentazione agli investitori suonerebbero come prova di responsabilità e cooperazione. Tuttavia, il valore di un alert non si misura nel volume ma nella sua azionabilità. Un alert che non consente di identificare chiaramente un soggetto, una condotta, un contesto, diventa un ticket in coda; e quando la coda è lunga migliaia di elementi, la probabilità che un caso grave venga ritardato aumenta in modo non lineare.

La società ha ribadito la propria collaborazione con il Dipartimento di Giustizia statunitense e con il NCMEC, sottolineando di aver ricevuto nel 2024 oltre 9.000 richieste di emergenza dalle autorità USA, con un tempo medio di risposta di 67 minuti, ancora più rapido nei casi che coinvolgono sicurezza dei minori o rischio suicidario. Dal punto di vista SLA, la metrica è difendibile. Dal punto di vista sistemico, la domanda è un’altra: quanta parte di quelle richieste nasce da segnalazioni realmente fondate e quanta da un eccesso di classificazione prudenziale generata da modelli di machine learning addestrati a minimizzare il rischio reputazionale?

Qui entra in gioco un tema che chi guida trasformazioni digitali conosce fin troppo bene: l’illusione che l’AI possa sostituire in modo lineare il giudizio umano in contesti ad alta ambiguità. Per anni, le piattaforme hanno utilizzato algoritmi per filtrare contenuti, ma la catena di revisione includeva più livelli umani, capaci di valutare contesto, intenzione, ironia, errore. Con i tagli ai team di moderazione e la crescente pressione sui costi, l’equilibrio si è spostato verso l’automazione spinta. Il risultato, come ha osservato un policy advocate di Public Citizen, è una sovrabbondanza di falsi positivi generata “per eccesso di cautela”.

L’algoritmo, programmato per non lasciarsi sfuggire nulla, trascina una rete più ampia; e nella rete finiscono anche contenuti che non soddisfano la soglia penale. Dal punto di vista legale, l’azienda può sostenere di aver adempiuto ai propri obblighi. Dal punto di vista investigativo, il sistema si inceppa. Un ufficiale ICAC ha dichiarato che il flusso di segnalazioni sta “uccidendo il morale”; affermazione che, tradotta in linguaggio manageriale, significa burnout organizzativo.

Il tema non è circoscritto agli Stati Uniti. Nel Regno Unito, il Primo Ministro Keir Starmer ha annunciato l’intenzione di rafforzare i poteri per regolamentare i chatbot AI nell’ambito delle leggi sulla sicurezza online, includendo esplicitamente i fornitori di sistemi conversazionali nel perimetro normativo. La traiettoria è chiara: più AI nelle piattaforme, più regolazione; più regolazione, più reporting; più reporting, più pressione sui sistemi investigativi. Un circolo che rischia di trasformarsi in spirale.

La questione centrale, per chi osserva con occhio strategico, riguarda la governance dell’intelligenza artificiale nella moderazione dei contenuti. L’AI per la child safety non è un semplice use case tecnologico; è un nodo critico di responsabilità sociale, compliance normativa e architettura dei processi. Un modello addestrato su dataset sbilanciati, o calibrato per ridurre al minimo il rischio di omissione, tende strutturalmente a generare over-reporting. Senza un adeguato strato di revisione umana, il sistema produce un eccesso di segnalazioni che si traduce in inefficienza downstream.

La vera domanda, che raramente viene posta nei comunicati stampa, è quale sia il costo marginale di un falso positivo rispetto a quello di un falso negativo in questo dominio. Se il falso negativo è moralmente e mediaticamente devastante, il falso positivo è organizzativamente corrosivo. Una strategia matura dovrebbe investire in modelli ibridi, dove l’AI effettua una prima classificazione, ma la soglia di escalation verso le autorità è mediata da revisori esperti, supportati da strumenti di explainability che rendano trasparente il percorso decisionale dell’algoritmo.

In assenza di questo bilanciamento, il rischio è duplice. Da un lato, le forze dell’ordine si trovano sommerse da dati di bassa qualità, con conseguente rallentamento delle indagini su casi gravi. Dall’altro, le piattaforme possono essere accusate di scaricare sul sistema pubblico il costo della propria automazione, trasformando un problema di design algoritmico in un problema di capacità investigativa statale.

La narrativa corporate tende a enfatizzare i milioni di segnalazioni, i tempi di risposta, la cooperazione con le autorità. Tuttavia, in un’epoca in cui la qualità del dato è la vera valuta strategica, il volume non basta. Un sistema di AI governance credibile dovrebbe integrare metriche di precisione, recall, tasso di actionable reports, tempo medio di conversione da tip a indagine formale. Dovrebbe, soprattutto, rendere pubblici questi indicatori con la stessa trasparenza con cui comunica i ricavi trimestrali.

Il caso solleva anche un interrogativo più ampio sulla fiducia nell’automazione giudiziaria indiretta. Quando un algoritmo decide cosa merita l’attenzione di un investigatore, sta esercitando una forma di pre-filtro quasi giurisdizionale. Se quel filtro è opaco, o calibrato su logiche difensive aziendali, il rischio sistemico aumenta. La tecnologia, in questo contesto, non è neutrale; incorpora scelte di rischio, priorità, incentivi.

Chi guida imprese tecnologiche sa che ogni sistema complesso tende a ottimizzare per le metriche che gli vengono imposte. Se la metrica primaria è “non perdere nulla”, il sistema segnalerà tutto. Se la metrica diventa “massimizzare le segnalazioni fondate”, allora il design cambia; servono più dati contestuali, più investimento in human-in-the-loop, più accountability interna.

Nel frattempo, le task force locali dichiarano di essere sommerse, con personale insufficiente per gestire il flusso in arrivo. L’immagine è quella di un firewall che, per paura di lasciar passare un attacco, blocca anche il traffico legittimo, costringendo gli amministratori di sistema a intervenire manualmente su migliaia di alert irrilevanti. In un data center è fastidioso; in un’indagine su abusi minorili è inaccettabile.

La child safety online resta una priorità assoluta, e l’intelligenza artificiale rimane uno strumento indispensabile per affrontare la scala del problema. Tuttavia, la lezione che emerge da questo episodio è brutale nella sua semplicità: l’AI non sostituisce la responsabilità progettuale, la amplifica. Se il modello è progettato per proteggere l’azienda più che il processo investigativo, l’asimmetria si manifesta nei numeri e nel morale di chi, ogni giorno, deve distinguere il segnale dal rumore.

In un’epoca in cui le piattaforme rivendicano il ruolo di infrastrutture critiche della sfera pubblica digitale, il dibattito non può limitarsi alla quantità di segnalazioni inviate. Deve concentrarsi sulla qualità, sulla trasparenza dei modelli, sulla co-progettazione con le autorità investigative. Senza questo salto di maturità, l’intelligenza artificiale applicata alla moderazione dei contenuti rischia di trasformarsi da scudo a moltiplicatore di complessità, lasciando agli investigatori il compito ingrato di navigare un oceano di alert generati da macchine che, nel tentativo di non sbagliare mai, finiscono per sbagliare troppo spesso.

The Guardian https://www.theguardian.com/technology/2026/feb/25/meta-ai-junk-child-abuse-tips-doj