Como Carregar e Transformar Dados com Dataflows Gen2 no Microsoft Fabric

Neste artigo, vamos explorar as principais vantagens dessa tecnologia, um guia passo a passo para configuração e um comparativo entre as versões Gen1 e Gen2.

Fabric · DataFlow Gen2 · Power BI

Capa do post: Como Carregar e Transformar Dados com Dataflows Gen2 no Microsoft Fabric
Neste post

Introdução

Os Fluxos de Dados Gen2 representam a nova geração de fluxos de dados no Microsoft Fabric, trazendo uma experiência aprimorada e mais flexível para a ingestão e transformação de dados. Com recursos avançados de integração, escalabilidade e monitoramento, os Dataflows Gen2 permitem uma abordagem eficiente e governada para o carregamento de dados.

Por que usar Dataflows Gen2?

Os Dataflows Gen2 oferecem diversas vantagens em relação à versão anterior, incluindo:

- Salvamento automático e publicação em segundo plano, reduzindo erros manuais;

- Integração nativa com pipelines de dados, permitindo maior automação e eficiência;

- Monitoramento aprimorado e histórico de atualização, facilitando auditorias e análise de desempenho;

- Computação escalável, garantindo melhor aproveitamento dos recursos;

- Destino direto em Data Warehouses e Lakehouses, eliminando a necessidade de ETLs externos.

Além disso, o Dataflows Gen2 se encaixa perfeitamente em arquiteturas de ETL e ELT, possibilitando a ingestão de dados em grande escala com baixo código e alta governança.

Passo a Passo para Carregar Dados no Data Warehouse

1\. Criando o Dataflow Gen2

- No Microsoft Fabric, acesse a aba Dataflows e crie um novo Dataflow Gen2;

- Escolha Power Query Online para manipulação dos dados;

- Defina a fonte de dados, que pode ser um banco de dados, API, arquivo do OneDrive, entre outros.

2\. Conectando ao Banco de Dados

- Conecte-se ao banco de dados desejado, por exemplo, Adventure Works DW no Azure SQL Database;

- Insira a URL de conexão (giac.database.windows.net) e as credenciais necessárias;

- Escolha as tabelas que deseja importar, como Product, Product Category e Product Subcategory.

3\. Transformando os Dados

- Utilize o Power Query para remover colunas desnecessárias;

- Aplique joins entre tabelas para enriquecer os dados (left outer join);

- Configure tipos de dados e renomeie colunas conforme necessário.

4\. Definindo o Destino dos Dados

Com o Dataflows Gen2, os dados podem ser armazenados diretamente em um Data Warehouse no Fabric:

- Escolha um Warehouse existente ou crie um novo;

- Configure a opção Substituir dados antigos para manter a versão mais recente das informações;

- Programe atualizações automáticas para garantir que os dados estejam sempre atualizados.

5\. Automatizando com Pipelines

Para um processo contínuo de ingestão e transformação, inclua o Dataflow Gen2 em um Pipeline de Dados:

- Configure a execução automatizada do fluxo;

- Defina dependências entre diferentes fluxos para controle da carga;

- Integre múltiplas fontes de dados em um único pipeline para maior eficiência.

Comparativo: Dataflows Gen1 vs. Gen2

Imagem do post: Como Carregar e Transformar Dados com Dataflows Gen2 no Microsoft Fabric

O Dataflows Gen2 elimina muitas limitações da versão anterior e traz uma experiência mais moderna, porém alguns recursos ainda não foram incorporados, como a atualização incremental e suporte direto a IA Insights.

Conclusão

Os Dataflows Gen2 são um grande avanço no processamento de dados dentro do Microsoft Fabric. Com recursos como integração aprimorada, monitoramento avançado e maior flexibilidade no destino dos dados, eles representam uma solução eficiente para arquiteturas de dados modernas.

Se você quer dominar Power BI, Fabric e Arquitetura de Dados, acompanhe o BI com Bueno e fique por dentro das melhores práticas e novidades do mercado!