Investigadores de Google℗ han desarrollado una técnica de modelado 3D de monumentos (o, en general, cualquier objeto en un lugar público) empleando una red neuronal para procesar miles de fotografías tomadas desde diferentes puntos.
El desarrollo de Google℗ se basa en NeRF (Neural Radiance Fields), una técnica que permite extraer datos(info) de profundidad 3D a partir de imágenes 2D determinando dónde terminan los rayos de luz. Es una técnica sofisticada que puede crear prototipos 3D texturizados.
Google ha ido más allá desarrollando NeRF in the Wild (NeRF-W). En 1er lugar, utiliza «colecciones de fotografías en estado salvaje» como entradas, ampliando la capacidad de un computador para visualizar los componentes de referencia desde múltiples ángulos. Estas fotografías pueden ser instantáneas tomadas por turistas desde diferentes lugares.
A continuación, se evalúan las imágenes para hallar estructuras, separando las variaciones fotográficas y ambientales como la exposición de la imagen, la iluminación de la escena, el post-procesamiento y las condiciones meteorológicas, así como las desemejanzas entre los objetos fotografiados, como las personas que pueden estar en una imagen pero no en otra.
Luego recrea escenas como mezclas de componentes estáticos – geometría de la estructura y texturas – con otros transitorios.
Como resultado, los prototipos 3D de Google℗ pueden verse desde múltiples ángulos sin parecer artificiales. La comparación en vídeo de los resultados de NeRF standard con NeRF-W refiere que el nuevo sistema neuronal puede recrear de manera convincente puntos de referencia en 3D que se podrían aprovechar par apps de realidad virtual y realidad aumentada.
Google no es la única compañía que está investigando maneras de utilizar fotografías como entrada para el modelado 3D; por ejemplo, los indagadores de Intel℗ están avanzando en su propio trabajo de generar versiones sintetizadas de lugares del mundo(planeta) real, empleando múltiples fotografías más una red recurrente de codificador-decodificador para interpolar ángulos no capturados.
Si bien el sistema de Intel℗ parece superar numerosas opciones -incluido el NeRF estándar- en cuanto a la nitidez a nivel de píxeles y la suavidad del modelo, no parece prometer las capacidades de iluminación variable del NeRF-W o tener el mismo enfoque en el uso de fotografías de origen aleatorio para recrear lugares del mundo(planeta) real.