Articolo Pubblicazioni

Deepfake: nascita del fenomeno (2017) e analisi forense di audio e video manipolati

di · Pubblicato il 27 dicembre 2017

Abstract

Nelle ultime settimane del 2017 sono comparsi in rete video in cui il volto di una persona è sostituito con quello di un’altra in modo realistico, prodotti con reti neurali e programmi liberamente disponibili. L’articolo racconta la nascita del fenomeno, spiega in modo semplice la tecnica, ricorda le ricerche che l’hanno preceduta e descrive gli strumenti con cui la digital forensics multimediale può valutare se un video o un audio è stato manipolato.

Vincenzo Calabrò | Deepfake: nascita del fenomeno (2017) e analisi forense di audio e video manipolati
 

Che cosa è successo

Tra novembre e dicembre 2017 un utente di Reddit con lo pseudonimo «deepfakes» ha iniziato a pubblicare video pornografici in cui il volto delle protagoniste era sostituito con quello di attrici famose. La stampa specializzata ne ha dato notizia a dicembre, e il nome dell’utente è diventato in poche settimane il nome del fenomeno. L’autore ha spiegato di aver usato librerie di apprendimento automatico open source e un normale computer con una buona scheda grafica.
La novità non sta nella manipolazione dei video, che il cinema pratica da decenni. Sta nel costo. Un risultato che prima richiedeva uno studio di effetti speciali e settimane di lavoro diventa alla portata di un singolo con qualche centinaio di fotografie del bersaglio.

Come funziona

La tecnica descritta usa due reti neurali chiamate autoencoder, che imparano a comprimere un’immagine di un volto in una rappresentazione ridotta e a ricostruirla. Le due reti condividono la parte che comprime e hanno ciascuna una parte che ricostruisce, una per il volto A e una per il volto B. Dopo l’addestramento si fornisce alla rete il volto A e lo si ricostruisce con la parte addestrata sul volto B. Il risultato conserva espressione, posizione e illuminazione della scena originale, con i lineamenti della persona B. Il volto generato viene poi inserito fotogramma per fotogramma nel video.

Le ricerche che lo hanno preceduto

Il fenomeno arriva al termine di alcuni anni di ricerca accademica:
  • nel 2014 sono state proposte le reti generative avversarie, in cui due reti si allenano a vicenda, una a produrre immagini false e l’altra a riconoscerle;
  • nel 2016 il progetto Face2Face ha mostrato la possibilità di trasferire in tempo reale le espressioni di un attore sul volto di una persona ripresa in un video;
  • nel 2016 sono stati presentati modelli capaci di generare voce sintetica molto naturale;
  • nel luglio 2017 un gruppo di ricerca ha mostrato video in cui il movimento delle labbra di un personaggio pubblico era sintetizzato a partire da una traccia audio.
Nella primavera del 2017 alcune aziende hanno anche presentato servizi per imitare una voce a partire da pochi minuti di registrazione. Le due linee, video e audio, procedono quindi in parallelo.

I rischi

Il primo uso documentato colpisce persone reali con contenuti sessuali non consensuali, con un danno alla reputazione difficile da riparare. È facile prevedere altri usi, come falsi messaggi di dirigenti per autorizzare pagamenti, falsi video di politici in campagna elettorale, prove fabbricate in una causa. C’è anche l’effetto opposto. Quando la manipolazione diventa nota a tutti, chiunque può contestare un video autentico sostenendo che è falso.

Che cosa può fare la digital forensics

La multimedia forensics dispone già di metodi per valutare l’integrità di immagini e video, sviluppati per manipolazioni tradizionali. Restano validi anche per questi nuovi falsi, con alcune cautele:
  1. acquisizione del file originale dalla fonte più vicina possibile, perché le piattaforme social ricomprimono i video e cancellano molte tracce utili;
  2. analisi del contenitore e dei metadati, che può rivelare il programma usato per l’ultima codifica e incoerenze con il dispositivo dichiarato;
  3. analisi della compressione, perché un video modificato e ricodificato presenta spesso tracce di doppia compressione;
  4. analisi del rumore del sensore, che permette di verificare se i fotogrammi provengono dalla fotocamera indicata;
  5. esame visivo fotogramma per fotogramma dei bordi del volto, dell’illuminazione, dei riflessi negli occhi, dei denti e della coerenza tra viso e collo;
  6. per l’audio, analisi spettrale, ricerca di discontinuità e, quando possibile, confronto con la frequenza della rete elettrica registrata in sottofondo.
I falsi di questa prima generazione mostrano spesso difetti visibili, come volti sfocati rispetto al resto della scena, contorni che tremolano tra un fotogramma e l’altro e variazioni di colore della pelle. È prevedibile che queste imperfezioni diminuiscano con il miglioramento dei modelli. Per questo la valutazione deve basarsi sulla convergenza di più indizi indipendenti.

Il problema della comparazione

In molti casi il quesito tecnico chiede se una persona compare davvero in un video. Il confronto antropometrico tradizionale misura distanze e proporzioni del viso e le paragona con immagini di riferimento. Con un deepfake ben riuscito le proporzioni appartengono alla persona sostituita, perché il modello è stato addestrato sulle sue fotografie, mentre il resto della figura, cioè corporatura, mani, tatuaggi, abiti e postura, appartiene a chi è stato ripreso davvero. Conviene quindi estendere l’esame a tutti gli elementi non facciali e alla coerenza tra il volto e il corpo, oltre che al contesto della ripresa, come luogo, data e altre persone presenti.
Un secondo strumento è la ricerca delle fonti. Un falso costruito su un video esistente lascia spesso in rete il video originale, che una ricerca per fotogrammi chiave può ritrovare. Il confronto tra le due versioni mostra in modo diretto quali parti sono state sostituite.

La prova nel processo

Per chi lavora come consulente tecnico cambia l’atteggiamento verso i file multimediali. Un video o una registrazione prodotti in giudizio andrebbero accompagnati da informazioni sulla loro origine, cioè chi li ha registrati, con quale dispositivo, come sono stati conservati e trasmessi. In assenza di questa catena, l’esame tecnico può solo dire se emergono segni di manipolazione, senza poter escludere del tutto un falso ben eseguito. Conviene dirlo con chiarezza nelle relazioni, distinguendo ciò che è stato accertato da ciò che resta una valutazione.
 
Vedi anche: l’articolo del 2024 I deepfake: come rilevarli, l’articolo del 2026 Deepfake vocali e frode del CEO e l’articolo del 2009 Evidenza digitale e tracce informatiche.
 
Vincenzo Calabrò | Ingegnere informatico specializzato in sicurezza informatica e investigazioni digitali. Funzionario informatico del Ministero dell'Interno; su incarico autorizzato si occupa di sicurezza informatica e di perizie informatiche forensi. Autore di articoli e saggi. Lecturer, Speaker, Trainer.
Profili: Google Scholar · ORCID · ResearchGate · Academia.edu · CyberSecurity360 · AgendaDigitale · ICT Security Magazine · LinkedIn