La nuova tecnologia di NVIDIA può trasformare una serie di foto in scene 3D in pochi secondi:

Instant NeRF di NVIDIA è un modello di rendering neurale in grado di produrre una scena 3D da input di dati 2D in pochi secondi e di renderizzare le immagini di quella scena in millisecondi.

Il processo è noto come rendering inverso e consente all’IA di approssimare il comportamento della luce nel mondo reale, che può essere utilizzato per trasformare una raccolta di immagini fisse in una scena 3D digitale in pochi secondi. Il team di ricerca di NVIDIA ha sviluppato un approccio che esegue il compito in modo estremamente rapido, quasi istantaneamente, il che lo rende uno dei primi modelli del suo genere in grado di combinare un training di rete neurale ultraveloce e un rendering rapido.

Cos’è un NeRF?

Il nome “NeRF” sta per campi di radianza neurale o un metodo per sintetizzare nuove viste di scene complesse ottimizzando una funzione di scena volumetrica continua sottostante utilizzando un insieme sparso di viste di input.

NVIDIA semplifica questa spiegazione e afferma che i NeRF utilizzano le reti neurali per rappresentare e renderizzare scene 3D basate su una raccolta di input di immagini 2D. La rete neurale richiede alcune dozzine di immagini riprese da più posizioni intorno alla scena, nonché la posizione della telecamera di ciascuno di quegli scatti.

“In una scena che include persone o altri elementi in movimento, più velocemente vengono catturati questi scatti, meglio è. “Se c’è troppo movimento durante il processo di acquisizione dell’immagine 2D, la scena 3D generata dall’IA sarà sfocata”, afferma NVIDIA.

Con queste informazioni, il NeRF riempie sostanzialmente gli spazi vuoti per generare la scena completa prevedendo il colore della luce che si irradia in qualsiasi direzione da qualsiasi punto dello spazio 3D. La versione di NVIDIA funziona così velocemente da essere quasi istantanea, da cui il nome, ed è la tecnica NeRF più veloce fino ad oggi poiché può renderizzare una scena 3D risultante in pochi millisecondi dopo aver fornito gli input corretti.

Se le tradizionali rappresentazioni 3D come le mesh poligonali sono simili alle immagini vettoriali, i NeRF sono come le immagini bitmap: catturano in modo denso il modo in cui la luce si irradia da un oggetto o all’interno di una scena “, afferma David Luebke, vicepresidente per la ricerca grafica presso NVIDIA. “In tal senso, Instant NeRF potrebbe essere importante per il 3D come le fotocamere digitali e la compressione JPEG lo sono state per la fotografia 2D, aumentando notevolmente la velocità, la facilità e la portata dell’acquisizione e della condivisione 3D”.

NVIDIA afferma che Instant NeRF può essere utilizzato per creare avatar o persino scene complete per mondi virtuali. Per rendere omaggio agli albori delle immagini Polaroid, il team di ricerca NVIDIA ha ricreato una foto iconica di Andy Warhol che scattava una foto istantanea e l’ha trasformata in una scena 3D utilizzando Instant NeRF.

1.000 volte più veloce:

Prima di NeRF, la creazione di una scena 3D richiedeva ore a seconda della complessità e della risoluzione. L’aggiunta dell’IA all’equazione ha sicuramente accelerato le cose, ma potrebbero comunque essere necessarie ore per allenarsi correttamente.

Instant NeRF riduce i tempi di rendering di un fattore 1.000 utilizzando una tecnica sviluppata da NVIDIA chiamata multi-risoluzione con codifica della griglia. Il modello è stato sviluppato utilizzando NVIDIA CUDA Toolkit e la libreria Tiny CUDA Neural Networks. NVIDIA spiega che poiché è una rete neurale leggera, può essere addestrata ed eseguita su una singola GPU NVIDIA (quelle che funzionano più velocemente su schede con NVIDIA Tensor Core).

“La tecnologia potrebbe essere utilizzata per addestrare robot e auto a guida autonoma a comprendere le dimensioni e la forma degli oggetti del mondo reale catturandone immagini 2D o filmati”, spiega NVIDIA. “Potrebbe anche essere utilizzato nell’architettura e nell’intrattenimento per generare rapidamente rappresentazioni digitali di ambienti reali che i creatori possono modificare e costruire”.

Leave a Comment