Espelhamento ou Atalho de dados do DataBricks no Fabric!

O Cenário: Precisando de uma Nova Tabela

Imagine que você está trabalhando em um Lakehouse dentro do Microsoft Fabric e percebe que precisa de uma nova tabela de produtos. No entanto, essa tabela já está sendo processada no Azure Databricks. Tradicionalmente, você poderia solicitar uma exportação/importação desses dados, mas isso adiciona complexidade desnecessária. Com a funcionalidade de Mirroring, você pode simplesmente espelhar a tabela dentro do Fabric sem mover dados!

Requisitos para Configurar o Mirror com Databricks

Antes de configurar o espelhamento de tabelas do Databricks para o Fabric, é essencial garantir alguns pré-requisitos:

1. Registro no Unity Catalog: O Databricks precisa estar registrado no Unity Catalog.

2. Permissões adequadas: No Unity Catalog, a permissão EXTERNAL USE SCHEMA deve estar concedida.

3. Configuração do Tenant: O recurso de Mirroring está em preview, então precisa estar ativado no Fabric.

4. Acesso ao Storage: O Storage Account que contém o Unity Catalog e o workspace do Databricks não pode estar protegido por Private Endpoint ou firewall.

Se tudo isso estiver configurado, podemos avançar para o processo de espelhamento.

Como Criar um Mirror no Microsoft Fabric

1. Criando o Mirror no Fabric

No Fabric, siga esses passos:

• Vá para o seu Workspace

• Escolha New Item → Mirror → Azure Databricks Catalog // Lembrando que essa funcionalidade esta em Preview

• Insira a Connection String do Databricks

• Escolha o catálogo e o schema desejado

• Selecione apenas as tabelas necessárias

• Ative a sincronização automática de mudanças no esquema, caso necessário

• Nomeie o seu espelhamento e finalize a criação

Uma vez criado, as tabelas aparecerão no Fabric, mas sem movimentação de dados – apenas a estrutura (schema) é copiada. O acesso aos dados continua sendo feito diretamente no Databricks via Shortcuts.

2. Como os Shortcuts Funcionam?

Os atalhos no Fabric permitem que os dados sejam consultados como se estivessem dentro do ambiente, mas, na realidade, continuam armazenados no Databricks. Dessa forma:

• Consultas SQL no Fabric acessam os dados diretamente no Databricks

• Mudanças no esquema são refletidas automaticamente

• Novas tabelas adicionadas ao schema original aparecem automaticamente no Fabric

Testando Alterações de Dados e Esquema

No vídeo, Patrick do Guy in a Cube demonstra que mudanças no esquema, como adicionar ou remover colunas, são refletidas automaticamente no Fabric. Da mesma forma, alterações nos dados são replicadas sem necessidade de mover arquivos ou realizar cargas adicionais.

Outro ponto interessante é que, se uma tabela for removida no Databricks, ela desaparece automaticamente do Mirror no Fabric após a sincronização.

Vantagens de Usar Mirror e Shortcuts

• Evita movimentação de dados: Menos latência e menos custo com armazenamento duplicado.

• Facilidade na gestão de permissões: Os acessos são centralizados no Databricks.

• Atualizações automáticas: Qualquer alteração no Databricks é refletida no Fabric sem necessidade de intervenção manual.

• Maior integração entre ferramentas: Permite usar Databricks para processamento e Fabric para visualização e análise.

Fabric e Databricks Juntos: O Melhor dos Dois Mundos

A integração entre Microsoft Fabric e Azure Databricks mostra-se extremamente eficiente para quem deseja manter um ambiente de dados ágil e sem duplicação desnecessária. O uso de Mirroring e Shortcuts simplifica a gestão e permite que as duas plataformas se complementem de forma poderosa.

Se você quer continuar aprendendo sobre Microsoft Fabric, Power BI e Arquitetura de Dados, siga acompanhando o blog BI com Bueno para mais conteúdos!