El Portal Europeo de Datos aborda cómo integrar datos en tiempo real en una plataforma de datos abiertos

Recomendados: La licitación pública en España, primer semestre 2022 Informe  En busca del Gobierno Abierto Especial  El Esquema Nacional de Seguridad en la contratación pública Leer

Para profundizar en esta situación, el Portal de Datos Europeo - Data.europa.eu-, ha publicado el informe “Real-time data 2022: Approaches to integrating real-time data sources in data.europa.eu” que analiza el potencial de los datos en tiempo real. Para ello toma como base los resultados de un seminario web celebrado por el data.europa.eu el 5 de abril de 2022, cuya grabación está disponible en su página web.

Además de detallar las conclusiones del evento, el informe ofrece un resumen de la información y las tecnologías presentadas en el mismo, de gran utilidad para compartir datos en tiempo real.

La importancia de los datos en tiempo real

El informe comienza explicando qué son los datos en tiempo real: aquellos que se actualizan con frecuencia y se entregan inmediatamente después de su recogida, como decíamos anteriormente. Estos datos pueden ser de una naturaleza muy heterogénea. El siguiente cuadro recoge algunos ejemplos:

Este tipo de datos son muy utilizados para dar forma a aplicaciones que informan del tráfico, el precio de la energía, el tiempo que va a hacer o los flujos de personas en determinados espacios.

Estándares para compartir datos en tiempo real
La interoperabilidad es uno de los factores más importantes a tener en cuenta a la hora de seleccionar la tecnología más adecuada para el intercambio de datos en tiempo real. Se precisa un lenguaje común, es decir, formatos de datos comunes e interfaces de acceso a datos que permitan el flujo de datos en tiempo real. Dos estándares que ya son muy utilizados en el ámbito del Internet de las cosas (IoT en sus siglas en inglés) y que pueden ayudar en este sentido son:

SensorThings API (STA)
SensorThings API, de Open Geospatial Consortium, surgió en 2016 y ha sido considerado como una  buena práctica para la compartición de datos cumpliendo con la Directiva INSPIRE.

Este estándar supone un marco abierto y unificado que permite codificar y proporcionar acceso a los flujos de datos generados por sensores. Se basa en las especificaciones REST y JSON y sigue los principios del estándar  OData (OASIS Open Data Protocol).

STA ofrece funcionalidades comunes para crear, leer, actualizar y eliminar recursos de sensores. Permite la formulación de consultas complejas adaptadas al modelo de datos subyacente, lo que permite un acceso más directo a los datos concretos que el usuario necesita. Entre las opciones de consulta, destacan los filtrados por período de tiempo, parámetros observados o propiedades del recurso, que permiten reducir el volumen de datos descargados. También permite ordenar el contenido de un resultado por criterios especificados por el usuario y proporciona una integración directa con el estándar MQTT, el cual se explica a continuación.

Message Queuing Telemetry Transport (MQTT)
MQTT fue inventado por el Dr. Andy Stanford-Clark, de IBM, y Arlen Nipper, de Arcom (ahora Eurotech), en 1999. Al igual que STA, también es un estándar de OASIS.

El protocolo MQTT permite el intercambio de mensajes según el principio de publicación/suscripción. El elemento central de MQTT es el uso de brokers, que toman los mensajes entrantes de los publicadores y los distribuyen a todos los usuarios que tienen una suscripción para ese tipo de datos. En este tipo de entornos, los datos se organizan por temas, que se definen libremente y permiten agrupar los mensajes en canales temáticos a los cuales se suscriben los usuarios.

Ente las ventajas de este sistema está la reducción de la latencia, su sencillez y agilidad, lo que facilita su implementación y uso en entornos restringidos como un ancho de banda o conectividad limitados.

En el caso del portal europeo, los usuarios ya pueden encontrar conjuntos de datos en tiempo real basados en MQTT. Sin embargo, aún no existe un enfoque común para proporcionar metadatos sobre los brokers y los temas que ofrecen, por lo que se continúa trabajando en ello.

Otras conclusiones
El informe proporciona recomendaciones sobre cómo mejorar la capacidad de localizar fuentes de datos en tiempo real a través de data.europa.eu. Para ello se han establecido una serie de acciones a corto y medio plazo, que incluyen la recogida de casos de uso, el soporte a los proveedores de datos o el desarrollo de buenas prácticas para unificar los metadatos.