Hace unos años, Sony℗ creó el 1er sensor de imagen con memoria RAM en el chip, que permitía la captura de vídeo en cámara lenta a una velocidad de fotogramas inusualmente alta.
Ahora la compañía ha inventado el 1er sensor con hardware de Inteligencia Artificial (IA) incorporado, que permite reconocimiento de imágenes a alta velocidad.
El Sensor de Visión Inteligente, IMX500, presenta una configuración por capas consistente en un chip de píxeles y otro chip de lógica. Es el 1er sensor de imagen del mundo(planeta) equipado con funciones de análisis y procesamiento de imágenes con Inteligencia-Artificial en el chip de lógica.
La señal adquirida por el chip de píxeles se procesa empleando Inteligencia-Artificial en el propio sensor, lo que quita la necesidad de utilizad procesadores de alto desempeño o memoria externa, y permite el desarrollo de sistemas de inteligencia artificial en el propio dispositivo.
El sensor genera metadatos (información semántica respectivo a los datos(info) de la imagen) en lugar de la info de la imagen, lo que reduce el volumen de datos(info) y los problemas de privacidad, ya que los datos(info) de la imagen nunca salen del chip. Además, la capacidad de Inteligencia-Artificial permite prometer desiguales funcionalidades como el seguimiento de objetos en tiempo real con procesamiento de Inteligencia-Artificial a alta velocidad.
El sensor puede capturar video de 4K a 60fps, pero lo más interesante es que sólo requiere 3,1 milisegundos para investigar la imagen (usando el modelo MobileNet V1 de Google).
Un ejemplo sencillo es poner el IMX500 en un auto y apuntarlo al conductor. Si el sensor localiza que el conductor está distraído o dormido, puede enviar un anuncio al coche. Aunque un coprocesador externo puede hacer la misma tarea, utilizad sólo el sensor de imagen es más sencillo (y por lo tanto más fiable) y más barato.
Las tiendas pueden utilizad el sensor de visión inteligente para varias tareas. Por ejemplo, uno podría estar en la puerta, contando cuántas personas entraron. Otro puede vigilar las estanterías, enviando una comunicación cuando las existencias se están agotando. Otro puede determinar las áreas donde la mayoría de la gente va y los artículos que recogen.
El chip de pixeles está retroiluminado y tiene aproximadamente 12,3 mega-píxeles efectivos para capturar info en un extenso ángulo de visión.
Además de la usual circuitería lógica del sensor de imagen, el chip de lógica está equipado con un coprocesador digital de señal (DSP) único de Sony, destinado al procesamiento de la señal mediante inteligencia artificial (IA) y memoria para el modelo IA. Esta configuración quita la necesidad de procesadores de alto desempeño o memoria externa, lo que lo hace ideal para sistemas Edge℗ AI.
Es poco posible que el IMX500 llegue a smartphones ya que está pensando para otro tipo de dispositivos, pero podría acceder en tu casa en manera de una pantalla inteligente, por ejemplo, para identificar quién está realizando una pregunta y proporcionar una respuesta más relevante. Y, una vez más, las preocupaciones por la privacidad se acortan ya que el sensor de imagen puede transmitir sólo la info de «Luis está hablando» en lugar de capturar una foto y enviarla para su procesamiento.
El IMX500 (sólo el chip) y el IMX501 (producto completo) llegarán a las empresas pronto y Sony℗ cree que los primeros artículos para usarlos saldrán el siguiente año. Por ahora, estos sensores cuestan 10.000 y 20.000 yenes, respectivamente (eso es 86 y 172 euros).