Ir para o conteúdo

Datapool

Ir para Datapool

O Datapool é um módulo do Orquestrador que nos possibilita gerenciar de forma eficiente o processamento de itens em lote.

Através do Datapool, conseguimos ter controle e granularidade sobre a fila de itens que precisam ser processados, tornando-se um recurso essencial para automações que processam um grande volume de dados.

Visão Geral

Principais Características

  • Processamento de Itens em Paralelo: Permite o consumo e processamento de itens em paralelo.
  • Reprocessamento Automático: Re-insere automaticamente na fila itens que foram processados com erro, para que sejam reprocessados.
  • Padronização dos Dados: Possibilidade da criação de uma estrutura pré-definida (schema) para os itens, definindo os campos esperados para cada item adicionado.
  • Disparo de Tarefas: Disparo automático de tarefas para execução, com base na criação de novos itens na fila.

Principais Benefícios

  • Abstração de Complexidade: Elimina a necessidade de implementar lógicas complexas no código, já que possui tratamentos nativos para o consumo concorrente e cenários de reprocessamento.
  • Integrações Simplificadas: Leia de qualquer base e transforme os dados em itens no Datapool, adicionando-os à fila de processamento através das APIs, SDKs e arquivos .csv. Extraia facilmente os dados de processamento e integre com as suas plataformas de visualização de dados.
  • Gerenciamento Centralizado: Oferece uma gestão centralizada diretamente no Orquestrador, facilitando o controle e monitoramento, além de já estar integrado com os outros recursos da plataforma. Elimina a necessidade de depender de bases de dados externas e ferramentas auxiliares.

Casos de Uso

  • Processamento de Itens em Lote: Ideal para automações que precisam processar um grande volume de dados (lotes de itens), como cadastros, atualizações e consultas.
  • Cenários de Produtor/Consumidor: Excelente alternativa para cenários onde uma automação gera a demanda (cria novos itens no Datapool), e outra automação consome a fila e realiza o fluxo de processamento desses itens.