PROYECTO IVAM · PROGRAMA CERVERA (CDTI)
Inspección visual automática de mercancías mediante Deep Learning: Control de seguridad operativa y protección personal.
EXP – 00161427 / IDI-20240296
Control de seguridad operativa y protección personal en el transporte intermodal, en tiempo real y con cámaras convencionales.
OBJETIVO
Automatizar el control de seguridad de las mercancías intermodales
IVAM lleva la inspección de seguridad mediante visión por computador al terreno de la logística y de los puertos. Mediante redes neuronales profundas, el sistema detecta, reconoce e inspecciona de forma automática y no intrusiva los elementos clave del transporte intermodal. El propósito: sustituir los controles manuales, agilizar el paso de mercancías por las terminales y contribuir a la descarbonización del sector portuario mediante la fluidificación del tránsito.
01
Seguridad operativa
Verificación automática de que la carga cumple la normativa: elementos de seguridad, señalización de mercancías peligrosas y límites de peso.
02
Protección y trazabilidad
Control de precintos, detección de daños y lectura de códigos identificativos para garantizar la integridad y el seguimiento de cada tránsito.
03
Tiempo real, en cualquier cámara
Inferencia inmediata sobre el vídeo de cámaras convencionales, sin intervención manual y en cualquier punto de la terminal.
QUÉ RECONOCE EL SISTEMA
Un catálogo completo de casos de uso logístico-portuarios
A lo largo del proyecto hemos desarrollado modelos de segmentación, detección, clasificación y lectura para el conjunto de elementos que intervienen en el control de seguridad de las mercancías.
BIC · ISO
Código de contenedor
Detección y lectura del identificador del contenedor y su código ISO.
UIC
Código de vagón
Identificación de vagones ferroviarios y formación automática del mapa del tren.
VIN
Código de vagón
Lectura de matrículas y del número de identificación de vehículos.
SEAL
Precintos de seguridad
Detección y lectura de los sellos que garantizan la inviolabilidad de la carga.
ADR · GHS · IMDG
Mercancías peligrosas
Reconocimiento de placas y pictogramas de señalización de carga peligrosa.
WEIGHT
Peso y tara
Extracción de la información de peso y tara para una carga y apilado correctos.
TYPE
Tipo de contenedor y vehículo
Clasificación de contenedores (reefer, tanker, opentop…) y de vehículos.
MMC
Marca, modelo y color
Identificación de grano fino de turismos y camiones industriales.
DAMAGE
Daños en contenedores
Segmentación, clasificación y localización de daños sobre las caras del contenedor.
SAFETY
Elementos de seguridad
Twistlocks, frenos y conexiones entre vagones para verificar su correcta disposición.
SHIP
Embarcaciones
Detección y reconocimiento de buques y embarcaciones, con lectura de su nombre.
PRIVACY
Anonimización
Detección de rostros para el anonimizado de imágenes y vídeos.
RESULTADOS CLAVE
De la investigación a un sistema validado en operación
El proyecto ha alcanzado el nivel de madurez TRL 7, demostrando el prototipo en entornos operativos reales y superando los indicadores de rendimiento previstos.
TRL 7
Demostración en entorno operativo real.
7 entornos
Validación exhaustiva en puertos en 5 países.
+2,5 M
Imágenes etiquetadas para el entrenamiento de los modelos.
>99%
Acierto en la lectura de códigos identificativos.
<50 ms
Latencia de inferencia en dispositivo móvil.
6 tipos de daños
Redes entrenadas para la detección y clasificación dedaños en contenedores.
7 hitos cumplidos
El proyecto ha permitido ir de las fases exploratorias y de investigación a la validación.
i-DEPOT
Innovaciones registradas ante la BOIP.
HITOS DEL PROYECTO
Un recorrido completo, de los datos a la fase comercial
H1
Bases de datos
Conjuntos de imágenes etiquetadas para el entrenamiento.
H2
Segmentación
Modelo de segmentación semántica funcional.
H3
Detección
Modelo de detección de objetos funcional.
H4
Clasificación
Modelo de clasificación funcional.
H5
Lectura
Modelo de lectura de texto funcional.
H6
Prototipo
Sistema funcional en entorno operativo.
H7
Madurez comercial
Listo para encarar la fase de mercado.
EL PROTOTIPO · ARS
Agile Recognition System
Todos los modelos de IVAM se integran en el ARS, un sistema modular y escalable de analítica de vídeo. Captura el flujo de las cámaras, ejecuta el reconocimiento y agrega los resultados de cada tránsito, con paneles en tiempo real, histórico consultable y exportación de datos hacia los sistemas de la terminal.
Tiempo real
Procesado de vídeo en directo con latencias muy por debajo del objetivo del proyecto.
Procesamiento edge y móvil
Inferencia embebida en dispositivos NVIDIA Jetson y hasta en un teléfono, sin depender de servidores externos.
Multicámara y multimodal
Un mismo sistema para accesos por carretera, ferroviarios y operaciones de grúa.
VALIDACIÓN EN OPERACIÓN
Probado donde importa: la terminal real
La solución se ha validado en siete entornos operativos reales, entre accesos por carretera y ferroviarios, superando ampliamente el objetivo inicial de tres entornos. Cada emplazamiento validó el subconjunto de casos de uso propio de su operativa, de modo que el conjunto de los siete cubre la totalidad de los casos de uso del proyecto.
Sobre vídeo real
Operación contínua
El sistema procesó en directo el flujo de las cámaras instaladas en cada terminal, reconociendo los elementos de seguridad tránsito a tránsito, sin intervención manual.
Metodología común
Medición homogénea
En cada entorno se recogieron las métricas pertinentes por caso de uso (acierto en detección, segmentación, clasificación y lectura, además de la latencia), contrastadas con los indicadores objetivo del proyecto.
Impacto
Más allá de la métrica
La validación evaluó también el efecto sobre la operativa real: reducción de la intervención manual, fluidez en los accesos, detección de incidencias y encaje con el flujo de trabajo existente.
COLABORACIÓN Y DIFUSIÓN
Un proyecto abierto al ecosistema
IVAM se ha desarrollado en estrecha colaboración con el Computer Vision Center (CVC), uno de los centros de referencia en investigación en visión por computador, con quien hemos abordado los retos técnicos más exigentes del proyecto. A esta colaboración se suma la de las terminales portuarias y ferroviarias que han hecho posible validar la solución sobre su operativa real.
Investigación
Colaboración con el CVC
Trabajo conjunto en las líneas de investigación más avanzadas del proyecto, desde la generación de datos hasta el diseño de nuevas arquitecturas de redes neuronales.
Sector
Presencia en foros logísticos
Los avances y resultados del proyecto se han presentado en las principales ferias y foros especializados del ámbito portuario, ferroviario y tecnológico.
Resultado
Nueva línea de producto
El proyecto da lugar a ARS Safety & Security, la línea de AllRead que incorpora el control e inspección de elementos de seguridad al reconocimiento de mercancías.
FINANCIACIÓN
El proyecto IVAM — Inspección Visual Automática de Mercancías mediante Deep Learning: control de seguridad operativa y protección personal ha sido financiado por el CDTI en el marco del Programa CERVERA, con la colaboración del Computer Vision Center (CVC).