Datapool

Ir a Datapool

El Datapool es un módulo del Orquestador que nos permite gestionar eficientemente el procesamiento de elementos en lote.

A través del Datapool, podemos tener control y granularidad sobre la cola de elementos que necesitan ser procesados, convirtiéndolo en un recurso esencial para automatizaciones que procesan grandes volúmenes de datos.

Visión General¶

Características Principales¶

Procesamiento de Elementos en Paralelo: Permite el consumo y procesamiento de elementos en paralelo.
Reprocesamiento Automático: Re-inserta automáticamente en la cola elementos que fueron procesados con error, para que sean reprocesados.
Estandarización de Datos: Posibilidad de crear una estructura predefinida (esquema) para los elementos, definiendo los campos esperados para cada elemento agregado.
Activación de Tareas: Activación automática de tareas para ejecución, basada en la creación de nuevos elementos en la cola.

Beneficios Principales¶

Abstracción de Complejidad: Elimina la necesidad de implementar lógicas complejas en el código, ya que posee tratamientos nativos para el consumo concurrente y escenarios de reprocesamiento.
Integraciones Simplificadas: Lee desde cualquier base de datos y transforma los datos en elementos del Datapool, agregándolos a la cola de procesamiento a través de APIs, SDKs y archivos .csv. Extrae fácilmente los datos de procesamiento e integra con tus plataformas de visualización de datos.
Gestión Centralizada: Ofrece gestión centralizada directamente en el Orquestador, facilitando el control y monitoreo, y ya está integrado con otros recursos de la plataforma. Elimina la necesidad de depender de bases de datos externas y herramientas auxiliares.

Casos de Uso¶

Procesamiento de Elementos en Lote: Ideal para automatizaciones que necesitan procesar grandes volúmenes de datos (lotes de elementos), como registros, actualizaciones y consultas.
Escenarios de Productor/Consumidor: Excelente alternativa para escenarios donde una automatización genera la demanda (crea nuevos elementos en el Datapool), y otra automatización consume la cola y realiza el flujo de procesamiento de estos elementos.