Instant NeRF di NVIDIA sfrutta l’intelligenza artificiale per trasformare le foto 2D in scene 3D:

Alla GTC 2022, il team di ricerca NVIDIA ha presentato una tecnologia impressionante chiamata Instant NeRF che potrebbe trasformare le foto 2D in scene 3D in pochi secondi.

Per fare ciò, i ricercatori hanno sfruttato la potenza dell’IA, più specificamente attraverso i cosiddetti campi di radianza neurale. I NeRF utilizzano le reti neurali per ricostruire la scena dalle immagini prevedendo il colore della luce che si irradia in qualsiasi direzione. NVIDIA afferma che Instant NeRF è la tecnologia più veloce del suo genere, consentendo in alcuni casi una velocità moltiplicativa di oltre 1.000 volte in modo che il rendering a 1080p avvenga in pochi millisecondi.

La GPU Ampere A100 di NVIDIA è inarrestabile, batte 16 record di prestazioni AI, fino a 4,2 volte più veloce di Volta V100

Come discusso dal ricercatore principale Thomas Muller in un discorso della GDC 2022 intitolato Instant Neural Graphics Primitives, questo effetto combinato è il risultato di tre miglioramenti principali: un’implementazione GPU specifica per l’attività dell’algoritmo di rendering / training, che utilizza le capacità del flusso di controllo a grana fine della GPU per essere molto più veloce dei tensori densi; un’implementazione completamente fusa di una piccola rete neurale, che è più veloce delle routine di moltiplicazione di matrici di uso generale; infine, NVIDIA ha sviluppato una tecnica chiamata codifica della griglia hash multirisoluzione che è indipendente dal compito e ha un migliore compromesso velocità / qualità rispetto al lavoro preesistente.

Non sorprende che il modello per Instant NeRF sia stato sviluppato con CUDA Toolkit e la libreria Tiny CUDA Neural Networks. Puoi approfondire la ricerca e persino accedere al suo codice in questa pagina; secondo NVIDIA, la rete neurale è abbastanza leggera da funzionare facilmente su una singola GPU, soprattutto se è dotata di Tensor Core.

David Luebke, vicepresidente per la ricerca grafica di NVIDIA, ha dichiarato in una dichiarazione:

Se le tradizionali rappresentazioni 3D come le mesh poligonali sono simili alle immagini vettoriali, i NeRF sono come le immagini bitmap: catturano densamente il modo in cui la luce si irradia da un oggetto o all’interno di una scena. In questo senso, Instant NeRF potrebbe essere importante per il 3D quanto le fotocamere digitali e la compressione JPEG lo sono state per la fotografia 2D, aumentando notevolmente la velocità, la facilità e la portata dell’acquisizione e della condivisione 3D.

Le applicazioni per la tecnologia Instant NeRF possono essere molte, dalla scansione rapida di ambienti o persone reali in modo che i creatori di giochi possano quindi utilizzare le scansioni digitali nei loro progetti per addestrare auto o robot a guida autonoma per comprendere la forma e le dimensioni di oggetti reali.

https://www.youtube.com/watch?v=DJ2hcC1orc4:

Leave a Comment