Construir uma camada cognitiva para dados no Microsoft Fabric

Os agentes de IA conseguem responder a perguntas em linguagem natural, mas só quando compreendem o que os dados significam. Sem contexto de negócio estruturado, operam apenas com esquema e metadados. Podem saber que existe uma tabela chamada vendas, mas não se esta representa receita bruta, receita líquida ou transações.

As ontologias no Fabric fecham essa lacuna. Combinadas com agentes de IA, formam uma camada cognitiva sobre os dados empresariais. Em projetos de retalho e analytics, as equipas querem frequentemente que o Copilot e os agentes de dados do Fabric herdem as mesmas definições de receita, margem e KPIs já certificadas nos modelos semânticos Power BI.

O que é uma ontologia no Fabric, e porque é que os agentes de dados precisam de uma

Uma ontologia é uma representação compreensível por máquinas de um negócio. Fornece nomeação formal e definições explícitas de objetos e conceitos e define como se relacionam entre si. É um modelo semântico estruturado que descreve tipos de entidades, as suas propriedades e as relações entre elas de forma que as máquinas possam interpretar.

No contexto do Microsoft Fabric, uma ontologia atua como uma camada de contexto de negócio sobre os dados. Enquanto um modelo semântico tradicional define medidas, relações e hierarquias para reporting, uma ontologia formaliza o significado de negócio.

No Fabric, as ontologias podem ser geradas a partir de um modelo semântico existente ou construídas diretamente a partir de dados armazenados no OneLake.

Um agente de dados do Fabric é um sistema conversacional criado com IA generativa que interpreta perguntas em linguagem natural e traduz-as em consultas estruturadas. Pode ligar-se a lakehouses, warehouses, modelos semânticos Power BI, bases de dados KQL e ontologias.

No entanto, sem contexto de negócio estruturado, um agente de IA opera apenas com esquema e metadados. Pode saber que uma tabela existe, mas não o que significa em termos de negócio. Por exemplo, pode reconhecer uma tabela chamada Sales, mas não perceber se representa receita bruta, receita líquida ou transações.

Ao usar um agente de IA sobre uma ontologia, o sistema torna-se consciente do contexto e capaz de compreender o que cada conceito representa para o negócio. Em vez de simplesmente consultar tabelas, raciocina sobre conceitos e relações definidos.

Neste sentido, ontologias e agentes de IA formam em conjunto uma camada cognitiva sobre os dados empresariais. A ontologia define o significado, enquanto o agente interpreta perguntas e navega esse significado para obter insights relevantes.

Porque ontologias e agentes de dados do Fabric se complementam

A business intelligence evoluiu significativamente ao longo do tempo. Começou com relatórios estáticos que apresentavam simplesmente dados históricos. Depois evoluiu para dashboards de self-service, permitindo aos utilizadores explorar dados de forma independente. O passo seguinte foi a introdução de modelos semânticos, que padronizaram a lógica de negócio, cálculos e definições nas organizações.

Hoje, a evolução continua em direção a sistemas que não só obtêm números, mas também compreendem o significado e o contexto por trás deles.

As capacidades de IA no Microsoft Fabric expandiram-se significativamente com a introdução de experiências com IA, como o Copilot e agentes de dados. Introduzidas ao longo de 2023–2024 como parte do roadmap mais amplo de integração de IA do Fabric, estas funcionalidades permitem aos utilizadores interagir com dados de forma conversacional através de IA generativa.

Modelos orientados por ontologias e agentes inteligentes representam a etapa seguinte desta evolução. As ontologias fornecem uma representação estruturada de conceitos de negócio e das suas relações. Quando combinadas com agentes de dados do Fabric, esta abordagem permite aos sistemas raciocinar sobre dados, automatizar tarefas analíticas e fornecer insights conscientes do contexto.

Para a análise de negócio, isto traz várias vantagens:

• Vocabulário de negócio partilhado - As ontologias formalizam conceitos de negócio de forma estruturada. Isto cria um vocabulário partilhado entre analistas, engenheiros e utilizadores de negócio.
• Melhor compreensão de consultas - Agentes de IA que usam ontologias compreendem a intenção, não apenas o esquema.
• Melhor análise de negócio - Para os analistas, isto significa menos tempo a traduzir perguntas de negócio em consultas técnicas. O agente de IA consegue navegar a ontologia e obter dados relevantes de forma mais direta, permitindo que os analistas se concentrem mais na interpretação e na tomada de decisão.

Como as ontologias são implementadas no Fabric

É possível criar uma ontologia gerada a partir de um modelo semântico, que cria automaticamente as propriedades e as suas relações, ou construir uma diretamente a partir de dados do OneLake.

Gerar uma ontologia a partir de um modelo semântico é normalmente a abordagem mais rápida, porque o modelo já contém relações e lógica de negócio.

No entanto, há alguns aspetos a considerar:

Primeiro, o modelo semântico tem de estar publicado e as suas tabelas têm de estar visíveis. Tabelas ou colunas ocultas podem causar problemas durante a geração da ontologia, porque o construtor de ontologias espera uma estrutura transparente. Este é um daqueles casos em que convenções de modelação BI, como ocultar tabelas técnicas, podem precisar de ser ajustadas.

Há também restrições técnicas. A ligação de dados à ontologia não é suportada para modelos semânticos de origem em modo Import, nem para modelos semânticos em modo Direct Lake enquanto o lakehouse associado estiver num workspace com acesso público de entrada desativado.

Outra limitação relaciona-se com tipos de dados. O Fabric Graph não suporta atualmente o tipo Decimal. Como resultado, se uma ontologia for gerada a partir de um modelo semântico que contenha colunas Decimal, as consultas podem devolver valores nulos para essas propriedades. No entanto, o tipo Double é suportado. Recriar a propriedade como Double na ontologia e ligá-la aos dados de origem permite que os valores apareçam corretamente nas consultas. Por isso, o tipo Double deve ser usado mesmo que não seja considerada a melhor prática para desenvolvimento de modelos semânticos.

Conceptualmente, uma ontologia deve modelar ideias de negócio, não espelhar tabelas. Em vez disso, deve representar conceitos de negócio. Por exemplo, quando construímos um dashboard Power BI, muitas vezes definimos medidas como Sales, calculadas como preço unitário menos descontos. Com uma ontologia, o sistema funciona melhor quando o significado de negócio por trás desses cálculos é explicitamente definido como conceitos, em vez de depender apenas de fórmulas embebidas. Por outras palavras, parte do processo de desenho da ontologia consiste em extrair a lógica de negócio das definições técnicas e expressá-la como conhecimento estruturado. Isto pode exigir ajustes em modelos semânticos desenhados apenas para relatórios Power BI.

Se estiver a planear a implementação de agentes em paralelo com o desenho de ontologias, o nosso trabalho de Ativação de Dados e IA segue a mesma sequência: certificar modelos semânticos primeiro, depois estendê-los em Fabric Ontologies para que os agentes herdem contexto de negócio governado.

Caso de estudo em retalho: do modelo semântico ao agente de dados do Fabric

Para ilustrar como ontologias e agentes de IA podem trabalhar em conjunto no Microsoft Fabric, considere um cenário simplificado envolvendo uma empresa de retalho.

Imagine uma empresa que opera várias lojas de retalho em diferentes regiões. A organização recolhe grandes volumes de dados de vendas e inventário. Estes dados são armazenados no Microsoft Fabric, onde é criado um modelo semântico Power BI para suportar dashboards analíticos e reporting.

Embora estes dashboards forneçam insights valiosos, os utilizadores de negócio continuam a depender frequentemente de analistas para responder a perguntas ad hoc, como:

• Quais lojas têm vendas em declínio neste trimestre?
• Quais produtos geram as margens de lucro mais elevadas?

Tradicionalmente, responder a estas perguntas exige que os analistas traduzam pedidos de negócio em consultas técnicas, normalmente escritas em SQL ou expressas como cálculos DAX dentro do modelo semântico.

Para melhorar a acessibilidade aos dados e reduzir esta dependência de tradução técnica, a empresa gera uma ontologia com base no modelo semântico Power BI existente. Em vez de representar informação apenas como tabelas e colunas, a ontologia define entidades de negócio e as relações entre elas. Exemplos de entidades podem incluir Store, Product, Customer e Order, enquanto as relações descrevem como estas entidades interagem dentro do negócio.

Dentro desta ontologia, conceitos-chave de negócio como Revenue, Discount e Profit são definidos explicitamente, em vez de estarem embebidos apenas em cálculos técnicos. Esta abordagem cria uma representação semântica de como a organização opera, capturando tanto os dados como o seu significado de negócio.

Um agente de dados de IA é então criado no Microsoft Fabric e ligado à ontologia. Os utilizadores de negócio podem agora interagir com o sistema em linguagem natural, fazendo perguntas como:

• “Quais lojas têm o maior crescimento de receita este mês?”
• “Quais produtos vendem mais durante promoções?”
• “Quais regiões mostram retenção de clientes em declínio?”

O agente de IA interpreta estas perguntas, mapeia-as para os conceitos relevantes definidos na ontologia (como Store, Revenue, Promotion e Customer) e gera automaticamente as consultas adequadas para obter a informação necessária. Como resultado, os utilizadores acedem a insights de forma mais direta, sem precisar de compreender a estrutura de dados subjacente ou linguagens de consulta.

Riscos e limitações

• Automatização excessiva sem supervisão humana - Os agentes de IA podem automatizar análises e gerar insights, mas automatização excessiva sem revisão humana pode levar a conclusões incorretas. Os agentes de operações dependem de modelos de linguagem de grande escala (LLMs) para criar playbooks e passos de raciocínio. Como os serviços de IA baseados em LLM são probabilísticos e podem falhar, as suas saídas devem ser sempre revistas com cuidado.

• Monitorizar o “raciocínio silencioso” - Outro desafio é perceber como um agente de IA chegou a uma determinada resposta. Se o raciocínio acontece silenciosamente dentro do modelo, erros podem passar despercebidos. As organizações devem implementar mecanismos de monitorização e processos de validação para garantir que os resultados se mantêm fiáveis.

• Limitações dos modelos semânticos - Atualmente, apenas modelos semânticos Direct Lake estão acessíveis aos agentes de IA para ligação de entidades e relações. Esta limitação exclui uma grande parte dos modelos semânticos existentes e pode impedir cenários em que as organizações querem aceder a dados onde já residem, usando DirectQuery em vez de os duplicar no OneLake.

• Sem construção automática de ontologias - Construir uma ontologia significativa exige acordo sobre definições de negócio e processos de governação. Isto pode ser moroso, especialmente para organizações que ainda não têm modelos semânticos maduros.

• Dependência centrada no OneLake - A arquitetura do Fabric está fortemente centrada no OneLake. Exceto atalhos para ficheiros Delta Parquet que podem permanecer externos, a maior parte dos dados tem de residir no OneLake. Isto levanta questões para organizações com grandes investimentos em plataformas como Google BigQuery, Teradata, Snowflake, SQL Server ou Azure SQL Database. Mesmo ao criar atalhos para formatos como CSV, Parquet ou JSON armazenados no S3 ou Google Cloud Storage, o processo de transformação muitas vezes copia os dados para o OneLake. Para algumas empresas, esta mudança arquitetural pode exigir planificação significativa.

Como será o futuro?

A combinação de ontologias e agentes de IA sugere uma mudança na forma como as organizações interagem com dados. Em vez de os dashboards serem a interface principal, a interface passa cada vez mais a ser a conversa. Os utilizadores fazem perguntas e os sistemas de IA interpretam essas perguntas através de uma compreensão do negócio.

O Microsoft Fabric parece avançar de forma consistente nesta direção. A integração do Copilot, agentes de IA e ontologias indica uma estratégia mais ampla para incorporar IA generativa diretamente nos fluxos de trabalho analíticos.

No futuro, a ontologia do Fabric integrar-se-á com o Fabric Activator, permitindo alertas automatizados orientados por eventos que monitorizam propriedades em todas as instâncias de um tipo de entidade para garantir supervisão contínua. Os utilizadores do Fabric também poderão gerar automaticamente ontologias a partir de múltiplos modelos semânticos.