Uso do JSON no BigQuery para pipelines do Dataflow do MongoDB otimizados

Temos o prazer de apresentar um grande aprimoramento de nossos modelos do Google Cloud Dataflow para o MongoDB Atlas. Ao permitir o suporte direto a tipos de dados JSON, os usuários agora podem integrar perfeitamente seus dados do MongoDB Atlas ao BigQuery, eliminando a necessidade de transformações complexas de dados.

Essa abordagem simplificada economiza tempo e recursos, capacitando os usuários a desbloquear todo o potencial de seus dados por meio de análise avançada de dados e do aprendizado de máquina.

Limitações sem suporte do JSON

Os pipelines do Dataflow projetados para lidar com dados do MongoDB Atlas geralmente exigem a transformação de dados em strings do JSON ou o nivelamento de estruturas complexas para um único nível de aninhamento antes do carregamento no BigQuery. Embora essa abordagem seja viável, ela pode ter várias desvantagens:

• Aumento da latência: as várias conversões de dados necessárias podem levar a um aumento da latência e reduzir significativamente a velocidade geral da execução do pipeline.

• Aumento dos custos operacionais: as transformações de dados e os requisitos de armazenamento adicionais associados a essa abordagem podem levar a um aumento dos custos operacionais.

• Redução do desempenho de consultas: o nivelamento de estruturas complexas de documentos no formato String do JSON pode afetar o desempenho de consultas e dificultar a análise de dados aninhados.

Mas quais são as novidades?

O formato JSON nativo do BigQuery aborda esses desafios, permitindo que os usuários carreguem diretamente os dados JSON aninhados do MongoDB Atlas no BigQuery sem nenhuma conversão intermediária.

Essa abordagem oferece inúmeros benefícios:

• Redução dos custos operacionais: ao eliminar a necessidade de transformações adicionais de dados, os usuários podem reduzir significativamente as despesas operacionais, incluindo aquelas associadas à infraestrutura, ao armazenamento e aos recursos de computação.

• Melhoria do desempenho de consultas: o mecanismo otimizado de armazenamento e consultas do BigQuery foi projetado para processar dados com eficiência no formato JSON nativo, resultando em tempos de execução de consultas significativamente menores e melhor desempenho em geral de consultas.

• Aumento da flexibilidade de dados: os usuários podem consultar e analisar facilmente estruturas de dados complexas, incluindo dados aninhados e hierárquicos, sem a necessidade de processos de nivelamento ou normalização demorados e propensos a erros.

Uma vantagem significativa desse pipeline está em sua capacidade de utilizar diretamente as avançadas funções do JSON do BigQuery nos dados do MongoDB carregados no BigQuery. Isso elimina a necessidade de um processo de transformação de dados complexo e demorado. Os dados JSON no BigQuery podem ser consultados e analisados por meio de consultas BQML padrão.

Quer você prefira uma abordagem simplificada baseada na nuvem ou uma solução prática e personalizável, o pipeline do Dataflow pode ser implantado por meio do console do Google Cloud ou pela execução do código no repositório do github.

Capacitação da tomada de decisões orientadas por dados

Para resumir: o modelo Dataflow do Google fornece uma solução flexível para transferir dados do MongoDB para o BigQuery. Ele é capaz de processar coleções inteiras ou de capturar mudanças incrementais usando a funcionalidade Change Stream do MongoDB. O formato de saída do pipeline pode ser personalizado de acordo com suas necessidades específicas. Quer você prefira uma representação do JSON bruta ou um esquema nivelado com campos individuais, poderá fazer essa configuração facilmente por meio do parâmetro userOption. Além disso, a transformação de dados pode ser realizada durante a execução do modelo usando funções definidas pelo usuário (UDFs, na sigla em inglês).

Ao adotar o formato do JSON nativo do BigQuery em seus pipelines do Dataflow, você pode melhorar significativamente a eficiência, o desempenho e a relação custo-benefício de seus fluxos de trabalho de processamento de dados. Essa combinação poderosa permite que você extraia insights valiosos de seus dados e tome decisões orientadas por dados.

Siga a Documentação do Google para saber como configurar os modelos do Dataflow para o MongoDB Atlas e o BigQuery.