Rimodellare l’Industria dell’Intrattenimento con la Mappatura Dinamica della Proiezione Facciale

La realtà aumentata, o AR, ha già dimostrato il suo valore rivoluzionario per l’industria dell’intrattenimento. È utilizzata nei giochi, nei film, negli eventi dal vivo, nei parchi a tema, nei musei e nelle mostre, nel teatro e nelle performance, nella televisione, nella pubblicità, nei social media, negli e‑sport, nel turismo, nella moda, nell’arte, nella musica e nella danza, e persino nei fumetti e nei romanzi grafici o negli spettacoli di magia. 

Una stima di mercato suggerisce che il mercato AR & VR per l’industria dell’intrattenimento potrebbe raggiungere i 30 miliardi di dollari entro il 2030, crescendo a un CAGR di quasi il 19 % nel periodo di previsione 2024‑2030.

Il rapporto ha identificato diversi fattori trainanti che hanno portato alla crescita dell’AR nell’intrattenimento. Per esempio, l’adozione dell’AR ha aiutato i creatori di contenuti a realizzare narrazioni immersive che sfumano i confini tra realtà e finzione, ispirando il pubblico a diventare partecipante attivo nella narrazione e migliorando l’engagement e la connessione emotiva. AR & VR ha inoltre contribuito a creare esperienze personalizzate su misura per le preferenze individuali.

Sfruttando l’analisi dei dati in combinazione con l’AR, le aziende dell’intrattenimento possono personalizzare contenuti, raccomandazioni e persino pubblicità. Tuttavia, tutto ciò rappresenta solo la punta dell’iceberg.

L’AR potrebbe realizzare molto di più con specifiche innovazioni tecnologiche. Nella sezione successiva, discuteremo una di queste innovazioni rivoluzionarie che coinvolge una tecnologia chiamata DFPM, Dynamic Facial Projection Mapping. 

DFPM: Che cos’è?

È una nuova tecnica di realtà aumentata in cui le immagini vengono proiettate sui volti umani, alterandone l’aspetto in tempo reale. In altre parole, il metodo prevede la proiezione di visuali dinamiche sul volto di una persona in tempo reale, utilizzando un tracciamento facciale avanzato per garantire che le proiezioni si adattino senza soluzione di continuità ai movimenti e alle espressioni.

Fonte: Disney Research

Mentre la tecnologia ha un potenziale immenso e potrebbe consentire grandi salti immaginativi, la tecnica soffre di sfide tecniche. In breve, questo problema può essere visto come il problema del disallineamento. 

Un nuovo studio pubblicato nella rivista dell’Institute of Electrical and Electronics Engineers¹ affronta il problema del disallineamento. Ma, prima di approfondire la soluzione, esaminiamo qual è il problema.

Clicca qui per saperne di più sugli investimenti nel futuro della realtà virtuale.

Il problema del disallineamento nell’implementazione di DFPM

Proiettare visuali su un volto in movimento richiede al sistema DFPM di rilevare le caratteristiche facciali dell’utente, come occhi, naso e bocca, in meno di un millisecondo. Anche lievi ritardi nell’elaborazione o minimi disallineamenti tra le coordinate immagine della telecamera e del proiettore possono provocare errori di proiezione — i cosiddetti “artefatti di disallineamento”. Questi errori sono evidenti e possono compromettere la qualità dell’immersione, arrivando al punto di rovinare l’esperienza stessa.

Un team di ricercatori dell’Institute of Science di Tokyo, Giappone, ha cercato soluzioni alle sfide esistenti in DFPM. Guidato dal Prof. Associato Yoshihiro Watanabe, il team includeva anche lo studente laureato Hao‑Lin Peng. Nel loro studio hanno proposto concetti per ridurre gli “artefatti di disallineamento”. 

Due proposte per ridurre gli ‘artefatti di disallineamento’‘ 

Il documento dei due ricercatori di Tokyo ha un titolo lungo, come spesso accade. Tuttavia, il problema trattato è semplice da comprendere. Come citato in precedenza, mira a ridurre gli artefatti di disallineamento tra le immagini proiettate e i volti target, che rappresentano una sfida persistente per DFPM, affermano i ricercatori.

I ricercatori hanno formulato due proposte per raggiungere il loro obiettivo. Il primo concetto proponeva un metodo di tracciamento facciale ad alta velocità che sfruttasse le informazioni temporali. Nei loro sforzi, i ricercatori hanno introdotto per prima volta un framework di rilevamento facciale basato su interpolazione/interpolazione limitata ad area ritagliata, che consentiva l’esecuzione parallela con il rilevamento dei punti di riferimento facciali. 

Successivamente, i ricercatori hanno proposto un nuovo metodo ibrido di rilevamento dei punti di riferimento facciali che combinava rilevamenti rapidi basati su Ensemble of Regression Trees (ERT) e un rilevamento ausiliario. I rilevamenti basati su ERT producevano risultati veloci in 0,107 ms usando informazioni temporali, con il supporto del rilevamento ausiliario per recuperare da errori di rilevamento. 

Per addestrare il metodo di rilevamento dei punti di riferimento facciali, i ricercatori hanno proposto un metodo innovativo per simulare annotazioni video ad alta frequenza quadro, al fine di superare la mancanza di dataset annotati ad alta frequenza disponibili pubblicamente.

Il secondo concetto prevedeva una configurazione coassiale proiettore‑camera con spostamento della lente che poteva mantenere un allineamento ottico elevato con un errore di soli 1,274 pixel tra 1 m e 2 m di profondità, riducendo il disallineamento applicando gli stessi design ottici al proiettore e alla telecamera senza causare grandi disallineamenti come nei metodi convenzionali.

L’implementazione di questi concetti potrebbe consentire ai ricercatori di sviluppare un nuovo sistema DFPM ad alta velocità che raggiunge un allineamento quasi perfetto con la percezione visiva umana.

Clicca qui per un elenco di aziende che stanno ridefinendo il confine AR/VR.

I risultati riassunti

Se spostiamo l’attenzione dagli aspetti altamente tecnologici della ricerca per capire cosa potrebbe realizzare dal punto di vista applicativo, i risultati sarebbero i seguenti:

La configurazione proposta potrebbe portare a un allineamento ottico eccezionalmente elevato, con un errore inferiore a 1,3 pixel a una profondità di 1‑2 m. La configurazione ha offerto un’elaborazione più rapida e ha garantito alta precisione in scenari dinamici. 

Inoltre, durante il processo, i ricercatori hanno sviluppato un metodo per simulare annotazioni video ad alta velocità per addestrare i modelli. 

Nel complesso, i risultati dovrebbero aiutare a creare effetti più coinvolgenti e iper‑realistici per spettacoli dal vivo, sfilate di moda e presentazioni artistiche. 

Mentre i ricercatori continueranno a migliorare la precisione della tecnologia e la sua applicazione nell’industria dell’intrattenimento, le aziende stanno apportando miglioramenti che ritengono opportuni e necessari per potenziare le loro offerte. 

Nei segmenti successivi, esamineremo due aziende che hanno compiuto passi significativi nello spazio in cui AR e intrattenimento convergono. 

1. Walt Disney (DIS )

I rapporti pubblicati a novembre dell’anno scorso hanno suggerito che Disney avesse creato un nuovo gruppo strategico per gestire e coordinare lo sviluppo e il dispiegamento di tecnologie di nuova generazione — come l’intelligenza artificiale e la realtà mista. È stato chiamato Office of Technology Enablement.

Jamie Voris, che ha ricoperto il ruolo di CTO di Walt Disney Studios per 14 anni, è stato scelto per guidare la divisione appena creata. Voris, nel nuovo ruolo, doveva riferire al co‑presidente di Disney Entertainment, Alan Bergman. 

In un memo interno — uno che è stato diffuso prima del lancio della nuova divisione — Bergman ha dichiarato:

“La nostra capacità di rimanere all’avanguardia degli avanzamenti tecnologici sarà ancora più critica man mano che avanziamo — rendendo ancora più importante comprendere e abbracciare i nuovi cambiamenti tecnologici in modi che consentano al nostro personale, alla creatività e al business di prosperare.”

Nel medesimo memo, Bergman ha affermato che l’Office of Technology Enablement era incaricato di garantire che Disney fosse “un leader progressista, innovativo e responsabile“ nell’IA e nella realtà mista. 

Più importante ancora, Bergman ha ammesso che il ritmo e l’ampiezza dei progressi nella realtà estesa, che include l’AR come uno dei suoi componenti più significativi, sono profondi e continueranno a influenzare le esperienze dei consumatori Disney, le iniziative creative e il business per gli anni a venire. 

Esperti e analisti del settore credono che l’adozione di queste tecnologie da parte di Disney sarà multifaccettata. L’esplorazione si estenderà alle varie divisioni aziendali.

Nel settore dei parchi a tema, ad esempio, l’azienda sta formando un team dedicato per indagare come AR e VR possano migliorare le esperienze dei visitatori, in linea con le tendenze più ampie del settore. In una mossa di leadership suggestiva, Kyle Laughlin è recentemente tornato in Disney.

Come nuovo vicepresidente senior di ricerca e sviluppo per Walt Disney Imagineering, gli esperti ritengono che il background di Kyle in AR, VR e IA lo posizioni bene per guidare l’innovazione nelle attrazioni dei parchi a tema. 

Per quanto riguarda gli usi specifici della tecnologia di riconoscimento facciale, rapporti di dicembre 2021 hanno suggerito che Disney Corporation stava sperimentando l’uso di software di riconoscimento facciale per controllare i visitatori in arrivo al suo parco tematico Disney World in Florida — noto come Magic Kingdom. 

Il flusso di lavoro di tagging automatico creato per il repository di contenuti di Disney era dotato di moduli di rilevamento e riconoscimento facciale che sono stati applicati alla libreria di contenuti Disney (spettacoli, film, ecc.). 

Il 28 settembre 2024, The Walt Disney Company (NYSE: DIS) ha riportato i risultati del quarto trimestre e dell’intero anno. I ricavi sono aumentati del 6 % nel Q4, raggiungendo 22,6 miliardi di dollari rispetto ai 21,2 miliardi del trimestre dell’anno precedente, e del 3 % nell’anno, arrivando a 91,4 miliardi di dollari rispetto agli 88,9 miliardi dell’anno precedente.

2. Electronic Art Inc.  (EA )

Un’altra azienda nel settore dell’intrattenimento che ha realizzato lavori straordinari con tecnologie di realtà aumentata e migliorando notevolmente il riconoscimento facciale è Electronic Arts, o EA. L’azienda ha presentato al SIGGRAPH Asia 2024, tenutosi a Tokyo, Giappone, la teoria della stabilizzazione mediante scolpitura del cranio.

L’azienda riteneva che stabilizzare con precisione il movimento facciale fosse essenziale per creare avatar foto‑realistici per giochi 3D, realtà virtuale, film e dati di addestramento per il machine learning. In quest’ultimo caso, l’azienda credeva che la stabilizzazione facciale dovesse funzionare rapidamente e automaticamente quando i dati di origine provenivano da una popolazione di persone con morfologie variabili. 

I presentatori di EA ritenevano fondamentale distinguere i movimenti rigidi del cranio dalle espressioni facciali, poiché un disallineamento tra il movimento del cranio e le espressioni facciali poteva generare un modello di animazione difficile da controllare e non adatto a movimenti dall’aspetto naturale.

Tuttavia, tutto ciò era difficile da realizzare perché i metodi di stabilizzazione esistenti presentavano alcune limitazioni. Questi metodi faticavano a gestire insiemi sparsi di espressioni molto diverse, come quando si combinavano più unità da un sistema di codifica delle azioni facciali (FACS). Sebbene esistessero altri metodi, il team di EA li trovava insufficientemente robusti.

Come soluzione, il team di EA ha sfruttato gli ultimi progressi nei campi di distanza firmata neurale e nella mesh di isosuperfici differenziabili per calcolare trasformazioni rigide di stabilizzazione del cranio direttamente su mesh triangolari non strutturati o nuvole di punti. Il loro approccio ha notevolmente migliorato precisione e robustezza.

Il team non si è fermato qui. Ha introdotto il concetto di “stable hull” come la superficie dell’intersezione booleana delle scansioni stabilizzate, analoga al “visual hull” (nella ricostruzione da silhouette) e al “photo hull” (nella scolpitura spaziale). Il “stable hull” somiglia a un cranio sovrapposto a uno spessore minimo di tessuto molle, e i denti superiori sono inclusi automaticamente. 

Il team ha affermato che il loro algoritmo di scolpitura del cranio ottimizza simultaneamente la forma del “stable hull” e le trasformazioni rigide per ottenere una stabilizzazione accurata di espressioni complesse per un insieme diversificato di persone, superando i metodi esistenti.

EA ha da tempo sostenuto l’uso giudizioso dell’AR. Nel 2017, l’amministratore delegato di EA ha definito l’AR come ‘più interessante‘. Ha introdotto la Cranium Technology in EA SPORTS FC™ 25. La tecnologia offriva un controllo preciso su molti aspetti del modello della testa del personaggio.

Gli utenti potevano utilizzare questa tecnologia per scolpire e texturizzare il modello della testa di un personaggio con lo spirito di un creatore. Offriva più che una semplice modellazione — permetteva di animare il volto dell’utente in modo naturale, aumentando immersione e realismo. 

Secondo l’ultimo rapporto finanziario disponibile, le prenotazioni nette di EA per il Q3 FY25 hanno totalizzato US$2,215 miliardi.

“Il successo record del nostro evento EA SPORTS FC 25 Team of the Year dimostra la capacità dei nostri team creativi di adattarsi, innovare ed eseguire su larga scala,” ha dichiarato Andrew Wilson, CEO di Electronic Arts.

Mappatura della Proiezione Facciale: Ricerca Continua, Miglioramento Costante

La ricerca trasformativa sulla tecnologia di mappatura della proiezione facciale con cui abbiamo iniziato l’articolo non è stata realizzata in un giorno. Essa prosegue una lunga tradizione di ricerca in questo campo.

Ad esempio, nel 2021, i ricercatori della School of Engineering del Tokyo Institute of Technology hanno pubblicato un articolo intitolato ‘High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation.‘ ²

Nelle loro osservazioni introduttive, i ricercatori hanno ammesso che la mappatura dinamica della proiezione per un oggetto in movimento in base alla sua posizione e forma era fondamentale affinché la realtà aumentata potesse replicare i cambiamenti su una superficie target.

Si sono occupati specificamente di aumentare la superficie del braccio umano tramite mappatura dinamica della proiezione, potenzialmente migliorando applicazioni nella moda, interfacce utente, prototipazione, educazione, assistenza medica e altri settori. Tuttavia, hanno identificato alcuni limiti.

Hanno scoperto che i metodi convenzionali trascuravano la deformazione della pelle e presentavano un’alta latenza tra movimento e proiezione, causando un evidente disallineamento tra la superficie del braccio target e le immagini proiettate.

Come soluzione, i ricercatori hanno proposto un sistema per la mappatura dinamica ad alta velocità su un braccio umano in rapido movimento con deformazione realistica della pelle. Con il sistema sviluppato, l’utente non percepiva alcun disallineamento tra la superficie del braccio e le immagini proiettate.

Per realizzare il loro compito, i ricercatori hanno prima combinato un modello di superficie deformabile parametrico all’avanguardia con una compensazione di accuratezza basata su regressione efficiente per rappresentare la deformazione della pelle e modificato le coordinate di texture per ottenere una generazione rapida e accurata delle immagini per la mappatura della proiezione basata sul tracciamento delle articolazioni.

Come secondo passo, i ricercatori hanno sviluppato un sistema ad alta velocità che forniva una latenza tra movimento e proiezione inferiore a 10 ms, generalmente impercettibile dalla visione umana. 

Ricerche simili sono state condotte da un team di ricercatori nel 2017. Il team aveva collaboratori di Disney Research, Princeton University, Chalmers University e Osaka University. La ricerca era intitolata ‘Makeup Lamps: Live Augmentation of Human Faces via Projection.’³

Nel documento, i ricercatori hanno proposto il primo sistema per l’augmentazione dinamica in tempo reale dei volti umani. Utilizzando l’illuminazione basata su proiettore, hanno modificato l’aspetto dei performer umani durante performance innovative. Tuttavia, la sfida principale dell’augmentazione in tempo reale era la latenza.

Un’immagine è stata generata in base a una posa specifica ma è stata mostrata su una configurazione facciale diversa al momento della proiezione. Il sistema proposto dai ricercatori mirava a ridurre la latenza in ogni fase del processo, dalla cattura all’elaborazione fino alla proiezione. 

Utilizzando l’illuminazione a infrarossi, una telecamera ad alta velocità, otticamente e computazionalmente allineata, ha rilevato l’orientamento facciale così come l’espressione. Le forme di blend delle espressioni stimate sono state mappate su uno spazio a dimensione inferiore, e il movimento facciale e la deformazione non rigida sono stati stimati, smussati e predetti tramite filtraggio adattivo di Kalman. Infine, l’aspetto desiderato è stato generato interpolando texture di offset pre‑calcolate in base al tempo, alla posizione globale e all’espressione. 

I ricercatori hanno valutato il loro sistema attraverso un prototipo ottimizzato su CPU e GPU, dimostrando un’augmentazione a bassa latenza di successo per diversi performer e performance con variazioni di gioco facciale e velocità di movimento.

I ricercatori hanno affermato, in contrasto con i metodi esistenti, che il loro sistema presentato era il primo metodo a supportare completamente la mappatura dinamica della proiezione facciale senza la necessità di marcatori di tracciamento fisici e incorporando le espressioni facciali.

La mappatura della proiezione facciale e la ricerca per ottenere output stabilizzato senza latenza e disallineamento non sono novità. I ricercatori hanno perseguito con rigore questo percorso per le sue capacità trasformative. La più recente tecnica DFPM è certamente una svolta e aiuterà a rimodellare l’intrattenimento con aspetti di performance migliorati. 

Clicca qui per un elenco delle principali azioni di realtà aumentata & realtà virtuale.

Riferimento allo studio:

1. Peng, H.-L., Sato, K., Nakagawa, S., & Watanabe, Y. (2025). Perceptually‑Aligned Dynamic Facial Projection Mapping by High‑Speed Face‑Tracking Method and Lens‑Shift Co‑Axial Setup. IEEE Transactions on Visualization and Computer Graphics, Early Access, 1‑15. https://doi.org/10.1109/TVCG.2025.3527203

2. Peng, H.-L., & Watanabe, Y. (2021). High‑Speed Dynamic Projection Mapping onto Human Arm with Realistic Skin Deformation. Applied Sciences, 11(9), 3753. https://doi.org/10.3390/app11093753

3. Bermano, A. H., Billeter, M., Iwai, D., & Grundhöfer, A. (2017). Makeup Lamps: Live Augmentation of Human Faces via Projection. Computer Graphics Forum, 36(2), 311‑323. https://doi.org/10.1111/cgf.13128