Mirrored Azure Databricks Catalog para Direct Lake
Com o avanço das plataformas de dados e a crescente demanda por soluções analíticas integradas, a Microsoft vem investindo fortemente na interoperabilidade entre seus serviços. Um dos recursos mais inovadores nesse cenário é o Mirrored Azure Databricks Catalog, que permite espelhar o catálogo do Unity do Azure Databricks diretamente no Microsoft Fabric, viabilizando o uso do modo Direct Lake no Power BI.
Fabric · One Lake · DataBricks · Mirroring

Neste post
Mirrored Azure Databricks Catalog para Direct Lake: Integração Inteligente entre Fabric e Databricks
Introdução
Essa funcionalidade representa um salto significativo na forma como dados são acessados, modelados e analisados, eliminando a necessidade de movimentação ou replicação de dados e promovendo uma experiência analítica fluida e colaborativa.
Neste post, vamos explorar em profundidade como funciona o espelhamento do catálogo, quais são suas principais funcionalidades, como ele se integra ao Direct Lake e quais benefícios ele traz para analistas, desenvolvedores e arquitetos de dados.
O que é o Mirrored Azure Databricks Catalog?
O Mirrored Azure Databricks Catalog é uma funcionalidade do Microsoft Fabric que permite espelhar o catálogo do Unity do Azure Databricks dentro do ambiente do Fabric. Isso significa que os metadados (como esquemas e tabelas) são sincronizados automaticamente, permitindo que os dados sejam acessados diretamente no Fabric sem replicação física.
Essa abordagem é ideal para organizações que já utilizam o Unity Catalog como repositório central de governança de dados no Azure Databricks e desejam aproveitar os recursos analíticos do Fabric e do Power BI sem duplicar estruturas ou criar pipelines complexos.
Funcionalidades Principais
1. Espelhamento de Metadados
A base do Mirrored Catalog está na sincronização de metadados entre o Azure Databricks e o Microsoft Fabric. Quando um catálogo é espelhado:
- Os esquemas e tabelas do Unity Catalog são refletidos no Fabric.
- Não há movimentação de dados — apenas os metadados são sincronizados.
- Os dados continuam residindo no Lakehouse do Azure Databricks e são acessados via atalhos.
Isso garante que qualquer alteração feita no catálogo original (como adição ou exclusão de tabelas) seja refletida automaticamente no Fabric, desde que a sincronização automática esteja habilitada.
2. Itens Criados no Fabric
Ao espelhar um catálogo do Azure Databricks, o Fabric cria automaticamente três itens:
- Item do Azure Databricks espelhado: Representa o catálogo no Fabric.
- Ponto de extremidade de análise SQL: Permite consultas T-SQL diretamente sobre os dados espelhados.
- Modelo semântico padrão: Facilita a criação de relatórios no Power BI.
Esses componentes tornam o acesso aos dados extremamente simples e integrado, permitindo que analistas trabalhem com os dados do Databricks como se estivessem nativamente no Fabric.
3. Modo Direct Lake no Power BI
Uma das maiores vantagens do espelhamento é a compatibilidade com o modo Direct Lake do Power BI. Esse modo permite:
- Consultas diretas aos dados no Lakehouse, sem importação.
- Alta performance com baixa latência.
- Atualizações em tempo real, já que os dados não são replicados.
Com isso, relatórios e dashboards podem ser construídos diretamente sobre os dados do Databricks, aproveitando toda a governança e estrutura do Unity Catalog, sem comprometer a performance.
4. Consultas T-SQL no Fabric
O ponto de extremidade de análise SQL gerado pelo espelhamento permite que os usuários façam consultas usando T-SQL, linguagem amplamente conhecida por analistas e desenvolvedores. Isso democratiza o acesso aos dados do Databricks, mesmo para quem não domina Spark ou notebooks Python.
Além disso, o endpoint é somente leitura, garantindo segurança e integridade dos dados originais.
5. Governança e Segurança Integradas
Como o espelhamento utiliza o Unity Catalog como fonte, todas as políticas de segurança, permissões e auditoria definidas no Databricks são respeitadas no Fabric. Isso garante:
- Consistência de acesso entre plataformas.
- Controle centralizado de dados sensíveis.
- Compliance com normas de segurança e privacidade.
Como Configurar o Espelhamento
A configuração do Mirrored Catalog é feita diretamente no Microsoft Fabric. O processo envolve:
- Selecionar o workspace do Azure Databricks.
- Escolher o catálogo do Unity a ser espelhado.
- Definir os esquemas e tabelas que serão sincronizados.
- Habilitar a sincronização automática (opcional).
A Microsoft disponibiliza um tutorial completo com todos os passos necessários para configurar o espelhamento de forma segura e eficiente.
Casos de Uso
- 🔍 Análise em Tempo Real: Empresas que precisam de relatórios atualizados em tempo real podem usar o Direct Lake com dados do Databricks, sem precisar de ETLs ou agendamentos de atualização.
- 🧠 Modelagem Semântica no Power BI: Com o modelo semântico gerado automaticamente, é possível criar relatórios com medidas, hierarquias e KPIs diretamente sobre os dados do Databricks.
- 🔐 Governança Centralizada: Organizações que já utilizam o Unity Catalog como fonte de verdade podem manter a governança centralizada, mesmo ao usar o Fabric para visualizações e análises.
Benefícios para Desenvolvedores e Analistas
- Redução de complexidade: Sem necessidade de pipelines de ingestão ou replicação.
- Agilidade na entrega de insights: Dados disponíveis imediatamente no Power BI.
- Interoperabilidade: Uso combinado de Spark, SQL e Power BI.
- Escalabilidade: Suporte a grandes volumes de dados com performance otimizada.
Conclusão
O Mirrored Azure Databricks Catalog para Direct Lake é uma solução poderosa que une o melhor do Azure Databricks e do Microsoft Fabric. Ele simplifica o acesso aos dados, preserva a governança e permite análises em tempo real com o Power BI, tudo isso sem replicar ou mover dados.
Para profissionais de dados, essa funcionalidade representa uma nova era de integração entre plataformas, com foco em produtividade, segurança e performance.
Se você trabalha com Azure Databricks e quer aproveitar o máximo do Microsoft Fabric, o espelhamento de catálogo é uma funcionalidade que vale a pena explorar.
Gostou do conteúdo? Continue acompanhando o blog BI com Bueno para mais dicas, tutoriais e novidades sobre o universo de dados e BI. 🚀
