Como Carregar e Transformar Dados com Dataflows Gen2 no Microsoft Fabric

Introdução

Os Fluxos de Dados Gen2 representam a nova geração de fluxos de dados no Microsoft Fabric, trazendo uma experiência aprimorada e mais flexível para a ingestão e transformação de dados. Com recursos avançados de integração, escalabilidade e monitoramento, os Dataflows Gen2 permitem uma abordagem eficiente e governada para o carregamento de dados.

Por que usar Dataflows Gen2?

Os Dataflows Gen2 oferecem diversas vantagens em relação à versão anterior, incluindo:

• Salvamento automático e publicação em segundo plano, reduzindo erros manuais;

• Integração nativa com pipelines de dados, permitindo maior automação e eficiência;

• Monitoramento aprimorado e histórico de atualização, facilitando auditorias e análise de desempenho;

• Computação escalável, garantindo melhor aproveitamento dos recursos;

• Destino direto em Data Warehouses e Lakehouses, eliminando a necessidade de ETLs externos.

Além disso, o Dataflows Gen2 se encaixa perfeitamente em arquiteturas de ETL e ELT, possibilitando a ingestão de dados em grande escala com baixo código e alta governança.

Passo a Passo para Carregar Dados no Data Warehouse

1. Criando o Dataflow Gen2

• No Microsoft Fabric, acesse a aba Dataflows e crie um novo Dataflow Gen2;

• Escolha Power Query Online para manipulação dos dados;

• Defina a fonte de dados, que pode ser um banco de dados, API, arquivo do OneDrive, entre outros.

2. Conectando ao Banco de Dados

• Conecte-se ao banco de dados desejado, por exemplo, Adventure Works DW no Azure SQL Database;

• Insira a URL de conexão (giac.database.windows.net) e as credenciais necessárias;

• Escolha as tabelas que deseja importar, como Product, Product Category e Product Subcategory.

3. Transformando os Dados

• Utilize o Power Query para remover colunas desnecessárias;

• Aplique joins entre tabelas para enriquecer os dados (left outer join);

• Configure tipos de dados e renomeie colunas conforme necessário.

4. Definindo o Destino dos Dados

Com o Dataflows Gen2, os dados podem ser armazenados diretamente em um Data Warehouse no Fabric:

• Escolha um Warehouse existente ou crie um novo;

• Configure a opção Substituir dados antigos para manter a versão mais recente das informações;

• Programe atualizações automáticas para garantir que os dados estejam sempre atualizados.

5. Automatizando com Pipelines

Para um processo contínuo de ingestão e transformação, inclua o Dataflow Gen2 em um Pipeline de Dados:

• Configure a execução automatizada do fluxo;

• Defina dependências entre diferentes fluxos para controle da carga;

• Integre múltiplas fontes de dados em um único pipeline para maior eficiência.

Comparativo: Dataflows Gen1 vs. Gen2

O Dataflows Gen2 elimina muitas limitações da versão anterior e traz uma experiência mais moderna, porém alguns recursos ainda não foram incorporados, como a atualização incremental e suporte direto a IA Insights.

Conclusão

Os Dataflows Gen2 são um grande avanço no processamento de dados dentro do Microsoft Fabric. Com recursos como integração aprimorada, monitoramento avançado e maior flexibilidade no destino dos dados, eles representam uma solução eficiente para arquiteturas de dados modernas.

Se você quer dominar Power BI, Fabric e Arquitetura de Dados, acompanhe o BI com Bueno e fique por dentro das melhores práticas e novidades do mercado!