<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Lucas Andrade  on Medium]]></title>
        <description><![CDATA[Stories by Lucas Andrade  on Medium]]></description>
        <link>https://medium.com/@lucasandradesilva753?source=rss-491272ce8c01------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*R8Ds2gqmfh0hxVm5jZBWxQ.jpeg</url>
            <title>Stories by Lucas Andrade  on Medium</title>
            <link>https://medium.com/@lucasandradesilva753?source=rss-491272ce8c01------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 09:34:17 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@lucasandradesilva753/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Monitoramento 360° do Power BI: a nova arquitetura unificada da Afya]]></title>
            <link>https://medium.com/afya/monitoramento-360-do-power-bi-a-nova-arquitetura-unificada-da-afya-c31934771a6f?source=rss-491272ce8c01------2</link>
            <guid isPermaLink="false">https://medium.com/p/c31934771a6f</guid>
            <category><![CDATA[data-governance]]></category>
            <category><![CDATA[databricks]]></category>
            <category><![CDATA[dados]]></category>
            <dc:creator><![CDATA[Lucas Andrade ]]></dc:creator>
            <pubDate>Tue, 16 Dec 2025 15:30:19 GMT</pubDate>
            <atom:updated>2026-01-09T21:31:59.306Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uKrsL_arOSHUtpTI83BmhA.png" /></figure><p>Centralizando métricas, acessos e auditorias para garantir segurança e eficiência.</p><p>Na Afya, sempre acompanhamos o uso do nosso ambiente de Power BI, mas esse monitoramento ficava espalhado em várias ferramentas, dependia de processos manuais e não tinha muita padronização. Com a migração para o Databricks, modernizamos tudo e criamos uma solução mais robusta, escalável e inteligente.</p><p>Reestruturamos toda a ingestão de dados da API do Power BI, deixando o processo mais rápido e confiável, ampliamos nossos KPIs e automatizamos todo o fluxo de ponta a ponta. O resultado é uma visão 360° do ambiente, juntando análises, governança e alertas automáticos baseados nas regras de negócio definidas pela equipe de Governança de Dados.</p><p>Nosso objetivo é garantir visibilidade total sobre acessos, permissões, liberações por audiência e, principalmente, sobre inconformidades pontos essenciais para manter o uso correto e seguro do Power BI em toda a Afya.</p><h4>Ambiente Anterior — Como Era o Monitoramento do Power BI Antes da Migração</h4><p>Antes da migração para o Databricks, o monitoramento do Power BI na Afya dependia de uma arquitetura que funcionava, mas era extremamente complexa. O código de ingestão era grande e cheio de tratamentos manuais, principalmente porque os dados da API do Power BI chegavam em JSONs profundos e inconsistentes, exigindo várias transformações até chegar ao formato final.</p><p>Além disso, boa parte da lógica precisava ser aplicada antes de salvar os dados, já que o Redshift tem pouca flexibilidade para tratamentos mais avançados. O fluxo de converter JSON → DataFrame Pandas → Parquet → Redshift era frágil, quebrava com qualquer mudança de schema e demandava retrabalho constante.</p><p>A arquitetura também era <strong>complexa</strong>, <strong>distribuída e difícil de evoluir</strong>, envolvendo várias ferramentas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/941/1*efOwP8DIj7NWJNmsWOL_1g.png" /><figcaption>Ferramentas utilizadas no ambiente anterior</figcaption></figure><ul><li>Python para extração e transformações</li><li>Airflow como orquestrador</li><li>S3 para armazenar dados brutos</li><li>Redshift para carga analítica</li><li>dbt para padronização e histórico incremental</li></ul><p>No conjunto, isso criava um pipeline longo, sensível e com baixa flexibilidade para mudanças.</p><p><strong>Resumo dos principais desafios:</strong></p><ul><li>Código extenso e complexo</li><li>Muitas transformações manuais de JSON</li><li>Fragilidade ao carregar Parquet no Redshift</li><li>Dificuldade de tratar dados no Redshift</li><li>Pipeline distribuído em várias ferramentas e difícil de manter</li></ul><h4>Visão Macro da Nova Solução no Databricks</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*7htBsgMcgnbUqwjI.jpeg" /><figcaption>Imagem que representa a ingestão antiga</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bg3ff4ts3IUKJ3dlbTYDAQ.png" /><figcaption>Imagem que representa a nova ingestão unificada no databricks</figcaption></figure><p>Com a migração para o Databricks, toda a arquitetura de monitoramento do Power BI foi unificada, tornando o processo mais simples, estável e escalável.</p><p><strong>1. Ingestão centralizada e performática</strong></p><p>A extração da API do Power BI agora ocorre diretamente no Databricks, utilizando PySpark para garantir processamento distribuído, padronização e uma ingestão muito mais confiável do que no ambiente anterior.</p><p><strong>2. Dados unificados no Unity Catalog</strong></p><p>Os dados são armazenados no Unity Catalog, em uma camada <strong>Bronze</strong> estruturada via projeto dbt de engenharia.<br> Essa padronização permite que todas as BUs acessem os dados com segurança, governança e rastreabilidade eliminando a fragmentação e a complexidade que existia no Redshift.</p><p><strong>3. Monitoramento 360° e alertas automatizados</strong></p><p>Foi criado um modelo dbt de <strong>inconformidades</strong>, que aplica automaticamente as regras definidas para o uso adequado do ambiente de Power BI.<br> A partir dele, foram desenvolvidos alertas automáticos enviados via Microsoft Teams para os grupos responsáveis, garantindo que qualquer ponto crítico seja comunicado rapidamente.</p><p>Cada alerta possui registro completo de:</p><ul><li>data de aviso</li><li>SLA</li><li>data de correção</li></ul><p>O que possibilita acompanhar o ciclo de resolução de forma estruturada e transparente.</p><h4><strong>Detalhes da Implementação</strong></h4><p>A solução foi desenvolvida inteiramente no <strong>Databricks</strong>, utilizando Unity Catalog para governança, Delta Lake como formato transacional, dbt como motor de padronização e um dashboard final focado em governança e inconformidades. Todo o pipeline foi redesenhado para ser padronizado, resiliente e totalmente alinhado às limitações da API do Power BI.</p><p><strong>1. Ambiente e Arquitetura Geral</strong></p><p>A ingestão foi centralizada no Databricks, utilizando:</p><ul><li><strong>Unity Catalog</strong> → governança, lineage, segurança de acesso e consistência;</li><li><strong>Databricks Jobs</strong> → orquestração e execução diária dos notebooks;</li><li><strong>Delta Lake</strong> → armazenamento transacional, versionamento e histórico;</li><li><strong>Azure Blob Storage (Staging Area)</strong> → área temporária, disponibilizada por variável de ambiente;</li><li><strong>dbt</strong> → criação e limpeza da <em>camada Bronze</em>.</li></ul><p><strong>Camada RAW → ingestão do Databricks</strong></p><p>As tabelas RAW são criadas diretamente pelos notebooks, consumindo os Parquets processados:</p><p>raw_ingestion_prod.afya_powerbi_*</p><p><strong>2. Camada Bronze (dbt) — Única Camada Modelada</strong></p><p>Após a ingestão, um projeto dbt consome as tabelas RAW e produz a <strong>camada Bronze</strong>, que contém:</p><ul><li>dados limpos</li><li>estrutura padronizada</li><li>colunas normalizadas</li><li>conversões de tipos</li><li>tratamento de nulos</li><li>padronização de nomenclatura</li><li>remoção de inconsistências conhecidas da API do Power BI</li></ul><p>Essa é a única camada modelada <strong>não existe Silver ou Gold</strong>, pois a Bronze já entrega tudo estruturado para o dashboard e para as BUs.</p><p>Os modelos dbt são publicados em catálogos separados por área, garantindo segurança e isolamento entre BUs.</p><p><strong>3. Orquestração das Ingestões</strong></p><p>Um Databricks Job executa notebooks específicos, como:</p><ul><li>powerbi_activity_events.ipynb</li><li>powerbi_reports_users.ipynb</li><li>powerbi_apps_users.ipynb</li><li>powerbi_refresh_histories.ipynb</li><li>powerbi_datasources.ipynb</li><li>powerbi_workspaces.ipynb</li><li>entre outros.</li></ul><p>Cada notebook trata um endpoint da API do Power BI.</p><p><strong>4. Padronização via PowerBIManager</strong></p><p>Para evitar duplicação de código e garantir manutenção simplificada, foi criada a classe PowerBIManager, que oferece funções comuns a todas as ingestões:</p><ul><li>recuperação de credenciais via Databricks Secrets</li><li>obtenção do token do Power BI</li><li>envio de requests com retry/backoff</li><li>padronização de logs</li><li>limpeza de dados</li><li>conversão JSON → Parquet</li><li>escrita no Unity Catalog (overwrite/append/merge)</li><li>gravação de JSONs na <strong>staging área do Blob Storage</strong>, e não no DBFS</li></ul><p>Isso mantém todos os notebooks padronizados e facilita evolução futura.</p><p><strong>5. Tipos de Ingestão</strong></p><p>Existem três grupos principais:</p><p><strong>A) Endpoints Diretos (simples)</strong></p><p>Ex.: workspaces, reports, apps, datasets.</p><p>Esses endpoints retornam tudo em uma única chamada → ingestão simples.</p><p>Fluxo:<br> request → JSON (staging) → Parquet → RAW Delta → Bronze dbt.</p><p><strong>B) Endpoints Iterativos (um por item)</strong></p><p>Ex.:</p><ul><li>activity events</li><li>apps_users</li><li>reports_users</li></ul><p>Necessário iterar sobre listas e respeitar limites da API.<br> Mesmo assim, esses endpoints funcionam bem com retry/backoff e <strong>não costumam gerar erro 429</strong>.</p><p><strong>C) Endpoints Críticos (limite por hora → checkpoint)</strong></p><p>Ex.:</p><ul><li>refresh histories</li><li>datasources</li></ul><p>Aqui foi necessário criar:</p><ul><li>lógica de batch</li><li>checkpoint persistente</li><li>divisão de IDs respeitando limites da API</li><li>armazenamento de cada batch como JSON na <strong>staging do Blob Storage</strong></li><li>processamento sequencial seguro</li></ul><p>Esse mecanismo impede erro 429 e garante ingestão resiliente.</p><p><strong>6. Governança, Regras de Negócio e Inconformidades (dbt)</strong></p><p>Um dos pontos centrais da solução foi transformar a antiga planilha manual de inconformidades mantida pela equipe de Governança de Dados em um <strong>modelo dbt totalmente automatizado</strong>, alimentado diretamente pelos alertas gerados durante o processo de ingestão.</p><p>Esse modelo consolida, deduplica e aplica todas as regras de negócio definidas pela Governança, criando uma tabela única e governada que serve como fonte oficial para dashboards e alertas enviados no Teams.</p><p><strong>O que a tabela de Inconformidades contém (exatamente conforme o modelo):</strong></p><p>O modelo gera automaticamente uma visão completa com:</p><ul><li><strong>id</strong> (identificador único da inconformidade)</li><li><strong>inconformidade</strong> (tipo da regra violada)</li><li><strong>bu_produto</strong> (unidade ou produto afetado)</li><li><strong>nome_do_relatorio</strong></li><li><strong>nome_do_workspace</strong></li><li><strong>nome_do_dataset</strong></li><li><strong>nome_do_workspace_dataset</strong></li><li><strong>email_do_criador</strong></li><li><strong>email_do_atualizador</strong></li><li><strong>data_da_notificacao</strong></li><li><strong>sla</strong> (calculado conforme o tipo de métrica)</li><li><strong>data_prevista_correcao</strong></li><li><strong>data_correcao</strong> (preenchida automaticamente quando a inconformidade desaparece na ingestão)</li><li><strong>status_correcao</strong></li><li><strong>Está no prazo</strong></li><li><strong>A vencer</strong></li><li><strong>Prazo vencido</strong></li><li><strong>Corrigido</strong></li></ul><p><strong>O que o modelo faz automaticamente:</strong></p><ul><li><strong>Consolida</strong> todos os alertas gerados na ingestão (raw).</li><li><strong>Deduplica</strong> registros duplicados.</li><li><strong>Combina</strong> dados novos com históricos incrementais.</li><li><strong>Define o SLA</strong> com base na categoria da inconformidade.</li><li><strong>Calcula o status dinamicamente</strong>, considerando prazo e data de correção.</li><li><strong>Marca como “Corrigido”</strong> quando o item deixa de aparecer na ingestão — sem intervenção manual.</li><li><strong>Mantém histórico completo</strong> de cada inconformidade.</li><li><strong>Concede permissões</strong> automaticamente para Governança, Engenharia de Dados e SPM.</li></ul><p>O processo antes manual foi substituído por uma camada robusta, incremental, versionada e 100% automatizada servindo como <strong>motor central</strong> para:</p><ul><li>alertas enviados no Teams</li><li>dashboards de monitoramento</li><li>rastreabilidade e auditoria</li><li>governança do ambiente Power BI</li></ul><p><strong>7. Dashboard de Monitoramento (Databricks SQL)</strong></p><p>O dashboard foi criado no Databricks SQL usando diretamente:</p><ul><li>tabelas RAW</li><li>camada Bronze</li><li>tabela de Inconformidades</li></ul><p>Ele reúne, em um único painel:</p><p><strong>Status de governança do Power BI</strong></p><ul><li>workspaces sem owner</li><li>reports sem dataset</li><li>datasets sem datasource</li><li>refresh schedules inconsistentes</li><li>permissões fora do padrão</li><li>audiências divergentes nos apps</li></ul><p><strong>Inconformidades e SLAs</strong></p><ul><li>histórico completo</li><li>tempo de resolução</li><li>responsável pela correção</li><li>reincidência de problemas</li><li>alertas disparados</li></ul><p><strong>Acompanhamento operacional</strong></p><ul><li>status das ingestões</li><li>volumes por endpoint</li><li>falhas de requisições</li><li>variação de atividade de usuários</li><li>acessos a relatórios e apps</li></ul><p>Tudo em um único ecossistema, 100% governado no Unity Catalog.</p><h4><strong>Trechos de Código e Explicações</strong></h4><p>Para ilustrar como estruturamos a camada de ingestão dos metadados do Power BI no Databricks, esta seção apresenta as principais funções responsáveis por realizar as requisições à API REST do Power BI. Cada trecho inclui o código utilizado e uma explicação clara sobre seu funcionamento, motivação e fluxo interno.</p><ol><li><strong>Workspaces</strong></li></ol><pre>def fetch_workspaces(output_path: str, delta_config: dict = None):<br>    &quot;&quot;&quot;<br>    Realiza o processo completo de extração dos workspaces do Power BI, salvando em staging, convertendo<br>    para Parquet e opcionalmente carregando no Unity Catalog.<br><br>    Args:<br>        output_path (str): Caminho onde o arquivo JSON com os dados será salvo.<br>        delta_config (dict, opcional): Configurações para salvar os dados no Unity Catalog.<br>            Espera as chaves: &#39;catalog&#39;, &#39;schema&#39;, &#39;table&#39;, &#39;mode&#39; e opcionalmente &#39;merge_key&#39;.<br><br>    Returns:<br>        str: Caminho do arquivo JSON salvo em staging.<br><br>    Raises:<br>        Exception: Em caso de falha em qualquer etapa do processo.<br>    &quot;&quot;&quot;<br>    try:<br>        logger.info(&quot;Obtendo credenciais do Power BI...&quot;)<br>        credentials = manager.get_power_bi_credentials()<br><br>        logger.info(&quot;Obtendo token...&quot;)<br>        token = manager.get_powerbi_token(<br>            credentials[&#39;client_id&#39;], credentials[&#39;username&#39;], credentials[&#39;password&#39;]<br>        )<br><br>        logger.info(&quot;Coletando workspaces...&quot;)<br>        workspaces = get_workspaces(token)<br><br>        logger.info(f&quot;Salvando workspaces na staging em: {output_path}&quot;)<br>        output = manager.save_to_staging(data=workspaces, destination_path=output_path)<br><br>        if workspace_columns:<br>            parquet_path = output_path.replace(&quot;.json&quot;, &quot;.parquet&quot;)<br>            logger.info(f&quot;Convertendo JSON para Parquet em: {parquet_path}&quot;)<br><br>            manager.convert_json_to_parquet(<br>                input_path=output_path,<br>                output_path=parquet_path,<br>                select_columns=workspace_columns<br>            )<br><br>            logger.info(f&quot;Conversão concluída para: {parquet_path}&quot;)<br><br>        if delta_config:<br>            logger.info(f&quot;Salvando dados no Unity Catalog com config: {delta_config}&quot;)<br><br>            manager.write_to_unity_catalog(<br>                parquet_path=parquet_path,<br>                catalog=delta_config[&quot;catalog&quot;],<br>                schema=delta_config[&quot;schema&quot;],<br>                table=delta_config[&quot;table&quot;],<br>                mode=delta_config[&quot;mode&quot;],<br>                merge_key=delta_config.get(&quot;merge_key&quot;)<br>            )<br><br>        return f&quot;Workspaces salvos com sucesso em: {output}&quot;<br><br>    except Exception as e:<br>        manager.log_and_raise(&quot;Falha no processo de fetch dos workspaces&quot;, e)</pre><p><strong><em>Explicação</em></strong><em>: </em>Executa toda a ingestão de Workspaces: gera token, coleta dados da API, salva JSON na staging (Blob Storage), converte para Parquet filtrando colunas e grava no Unity Catalog caso configurado. Em caso de falha, loga e aborta.</p><p><strong>2. Activity Events</strong></p><pre>def get_activity(<br>    access_token: str,<br>    start_date: str = None,<br>    end_date: str = None,<br>    continuation_token: str = None,<br>    loop: int = 0,<br>    data: list = None,<br>    attempt: int = 0<br>):<br>    &quot;&quot;&quot;<br>    Busca eventos de atividade do Power BI Admin API (activityevents), com suporte a paginação<br>    e tentativa de dois formatos de data para evitar erro 400.<br><br>    Funciona assim:<br>    - Na primeira chamada (loop=0), usa start_date e end_date filtrando por ViewReport.<br>      Se der 400, tenta formato alternativo de data.<br>    - Nas chamadas seguintes, usa o continuationToken para pegar mais páginas até acabar<br>      ou atingir o limite de 200 loops.<br>    - Todos os eventos são acumulados na lista data.<br><br>    Args:<br>        access_token (str): Token OAuth2 com permissões de admin.<br>        start_date (str): Data/hora inicial (ex.: &#39;2025-08-10T00:00:00Z&#39;).<br>        end_date (str): Data/hora final (ex.: &#39;2025-08-10T23:59:59Z&#39;).<br>        continuation_token (str, opcional): Token para paginação.<br>        loop (int, opcional): Número da iteração atual.<br>        data (list, opcional): Lista acumulada de eventos.<br>        attempt (int, opcional): Tentativa para formato de data (0 ou 1).<br><br>    Returns:<br>        list: Lista de eventos retornados pela API.<br>    &quot;&quot;&quot;<br>    if data is None:<br>        data = []<br><br>    base_url = &quot;https://api.powerbi.com/v1.0/myorg/admin/activityevents&quot;<br><br>    date_formats = [<br>        f&quot;&#39;{start_date}&#39;&amp;endDateTime=&#39;{end_date}&#39;&quot;,<br>        f&quot;{start_date}&amp;endDateTime={end_date}&quot;<br>    ]<br><br>    date_format = date_formats[attempt if attempt &lt; len(date_formats) else 0]<br><br>    if loop == 0:<br>        url = f&quot;{base_url}?startDateTime={date_format}&amp;$filter=Activity eq &#39;ViewReport&#39;&quot;<br>    else:<br>        safe_token = continuation_token.strip(&quot;&#39;\&quot;&quot;) if continuation_token else &quot;&quot;<br>        url = f&quot;{base_url}?continuationToken=&#39;{safe_token}&#39;&quot;<br><br>    headers = {&quot;Authorization&quot;: f&quot;Bearer {access_token}&quot;}<br>    response = requests.get(url, headers=headers)<br><br>    logger.info(f&quot;URL usada (Loop {loop}, Tentativa {attempt}): {url}&quot;)<br>    logger.info(f&quot;Status: {response.status_code}&quot;)<br><br>    if response.status_code == 400 and attempt + 1 &lt; len(date_formats) and loop == 0:<br>        logger.warning(&quot;400 Bad Request — tentando outro formato de data.&quot;)<br>        return get_activity(<br>            access_token=access_token,<br>            start_date=start_date,<br>            end_date=end_date,<br>            continuation_token=continuation_token,<br>            loop=loop,<br>            data=data,<br>            attempt=attempt + 1<br>        )<br><br>    if response.status_code != 200:<br>        logger.error(f&quot;Erro na requisição: {response.status_code} - {response.text}&quot;)<br>        return data<br><br>    if not response.text.strip():<br>        logger.warning(&quot;Resposta vazia da API.&quot;)<br>        return data<br><br>    try:<br>        response_json = response.json()<br>    except json.JSONDecodeError:<br>        logger.error(f&quot;Erro ao decodificar JSON: {response.text}&quot;)<br>        return data<br><br>    current_data = response_json.get(&quot;activityEventEntities&quot;, [])<br>    data.extend(current_data)<br><br>    logger.info(f&quot;Loop {loop + 1}: {len(current_data)} eventos coletados.&quot;)<br><br>    token = response_json.get(&quot;continuationToken&quot;)<br><br>    if not token or loop &gt;= 199:<br>        return data<br><br>    return get_activity(<br>        access_token=access_token,<br>        continuation_token=token,<br>        loop=loop + 1,<br>        data=data,<br>        attempt=0<br>    )</pre><p><strong><em>Explicação</em></strong><em>: </em>Busca eventos do Admin API com paginação recursiva. Na primeira chamada tenta dois formatos de data se ocorrer erro 400. A cada resposta adiciona os eventos ao acumulador e continua usando o continuationToken até não haver mais dados ou atingir o limite de loops.</p><p><strong>3. Data sources</strong></p><pre>def get_dataset_datasources(dataset_id: str, token: str, max_retries: int = 3, delay: int = 2) -&gt; List[dict]:<br>    &quot;&quot;&quot;<br>    Obtém a lista de datasources de um dataset específico no Power BI (admin endpoint),<br>    retornando os campos selecionados e incluindo dataset_id, unique_id e update_at.<br><br>    Args:<br>        dataset_id (str): ID do dataset.<br>        token (str): Token de autenticação Bearer.<br>        max_retries (int): Tentativas máximas em caso de erro HTTP ou exceptions.<br>        delay (int): Tempo de espera inicial entre tentativas (em segundos).<br><br>    Returns:<br>        List[dict]: Lista de dicionários com os dados dos datasources.<br><br>    Raises:<br>        Exception: Se falhar após o número máximo de tentativas.<br>    &quot;&quot;&quot;<br>    url = f&quot;https://api.powerbi.com/v1.0/myorg/admin/datasets/{dataset_id}/datasources&quot;<br>    headers = {<br>        &quot;Authorization&quot;: f&quot;Bearer {token}&quot;,<br>        &quot;Content-Type&quot;: &quot;application/json&quot;<br>    }<br><br>    attempts = 0<br>    wait_time = delay<br><br>    while attempts &lt; max_retries:<br>        try:<br>            logger.info(f&quot;Requisição para datasources do dataset {dataset_id}, tentativa {attempts + 1}&quot;)<br>            response = requests.get(url, headers=headers)<br><br>            if response.status_code == 200:<br>                raw = response.json().get(&quot;value&quot;, [])<br>                update_at = datetime.now().isoformat()<br><br>                return [<br>                    {<br>                        &quot;datasource_type&quot;: ds.get(&quot;datasourceType&quot;),<br>                        &quot;datasource_id&quot;: ds.get(&quot;datasourceId&quot;),<br>                        &quot;gateway_id&quot;: ds.get(&quot;gatewayId&quot;),<br>                        &quot;connection_details_server&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;server&quot;),<br>                        &quot;connection_details_database&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;database&quot;),<br>                        &quot;connection_details_path&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;path&quot;),<br>                        &quot;connection_details_kind&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;kind&quot;),<br>                        &quot;connection_details_connection_string&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;connectionString&quot;),<br>                        &quot;connection_details_email_address&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;emailAddress&quot;),<br>                        &quot;connection_details_url&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;url&quot;),<br>                        &quot;connection_details_login_server&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;loginServer&quot;),<br>                        &quot;connection_details_class_info&quot;: ds.get(&quot;connectionDetails&quot;, {}).get(&quot;classInfo&quot;),<br>                        &quot;dataset_id&quot;: dataset_id,<br>                        &quot;unique_id&quot;: f&quot;{dataset_id}_{ds.get(&#39;datasourceId&#39;, &#39;&#39;)}&quot;,<br>                        &quot;update_at&quot;: update_at<br>                    }<br>                    for ds in raw<br>                ]<br><br>            elif response.status_code == 404:<br>                logger.warning(f&quot;Dataset {dataset_id} não encontrado. Pulando.&quot;)<br>                return []<br><br>            elif response.status_code == 429:<br>                attempts, wait_time = manager.handle_backoff(response, attempts, wait_time, max_retries)<br>                continue<br><br>            else:<br>                logger.error(f&quot;Erro HTTP {response.status_code} ao acessar dataset {dataset_id}: {response.text}&quot;)<br>                return []<br><br>        except requests.RequestException as e:<br>            logger.warning(f&quot;Erro na requisição do dataset {dataset_id}, tentativa {attempts + 1}: {e}&quot;)<br>            time.sleep(wait_time)<br>            attempts += 1<br>            wait_time *= 2<br><br>    manager.log_and_raise(f&quot;Falha ao obter datasources do dataset {dataset_id} após {max_retries} tentativas&quot;)</pre><p><strong><em>Explicação: </em></strong>Consulta datasources de um dataset específico com tentativas automáticas e backoff. Em sucesso, retorna apenas campos selecionados e adiciona metadados (dataset_id, unique_id, update_at). Trata erros 404, 429 e falhas de rede; esgota tentativas e lança exceção.</p><h4>Desafios e Soluções</h4><p>Os principais desafios foram lidar com a inconsistência da API do Power BI, substituir uma arquitetura fragmentada (Redshift + Airflow + S3) por um ambiente único e governado, eliminar processos manuais da planilha de inconformidades da equipe de Governança e criar um monitoramento centralizado e automatizado.<br> Com Databricks, PySpark, Delta Lake, Unity Catalog e dbt, padronizamos toda a ingestão, criamos a camada Bronze governada, automatizamos o modelo de inconformidades e implementamos alertas inteligentes e dashboards operacionais.</p><h4>Resultados Obtidos</h4><p>A ingestão ficou resiliente e unificada; a camada Bronze passou a concentrar dados limpos e governados acessíveis a todas as BUs; o modelo de inconformidades virou totalmente automático com alertas via Teams e histórico completo; e o dashboard no Databricks SQL permitiu o monitoramento 360° do ambiente Power BI.<br> O resultado é uma operação mais estável, governada, rastreável e eficiente com menos falhas, mais transparência e processos totalmente automatizados.</p><p>Antes de finalizar, deixo meu agradecimento especial à <strong>Jaiana</strong>, que foi fundamental em cada etapa deste projeto e tambem escreveu um artigo com a visão de <a href="https://www.linkedin.com/feed/update/urn:li:activity:7404524752490643457/">Governança de dados</a>. Sua parceria, conhecimento e precisão fizeram toda a diferença para alcançarmos uma solução sólida, escalável e alinhada às necessidades de Governança de Dados.</p><p>Agradeço também a você por chegar até aqui. Espero que este conteúdo ajude a esclarecer como estruturamos um ecossistema de monitoramento robusto no Databricks e inspire outras iniciativas de modernização e governança.<br> Se quiser trocar ideias, compartilhar sugestões ou discutir soluções semelhantes, será um prazer continuar essa conversa pelo <a href="https://www.linkedin.com/in/lucas-andrade-13555a19b/">LinkedIn</a>.</p><p>Se você gostou deste artigo, leia também:</p><ul><li><a href="https://medium.com/afya/ia-sem-dire%C3%A7%C3%A3o-n%C3%A3o-escala-como-criamos-modelos-orientativos-que-transformam-governan%C3%A7a-em-vantagem-28800f3d8da3">IA sem direção não escala: como criamos modelos orientativos que transformam governança em vantagem competitiva</a></li><li><a href="https://medium.com/afya/escalando-a-ia-estudo-para-implementa%C3%A7%C3%A3o-de-uma-arquitetura-de-mlops-af21d919e40a">Escalando a IA: Estudo para Implementação de uma Arquitetura de MLOps</a></li><li><a href="https://medium.com/afya/como-a-governan%C3%A7a-de-ia-na-afya-potencializa-a-inova%C3%A7%C3%A3o-e-mitiga-os-riscos-1e576a45ff0d">Como a Governança de IA na AFYA potencializa a inovação e mitiga os riscos</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c31934771a6f" width="1" height="1" alt=""><hr><p><a href="https://medium.com/afya/monitoramento-360-do-power-bi-a-nova-arquitetura-unificada-da-afya-c31934771a6f">Monitoramento 360° do Power BI: a nova arquitetura unificada da Afya</a> was originally published in <a href="https://medium.com/afya">afya</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[API REST do Power BI: Uma Abordagem Proativa para Monitoramento de Dados]]></title>
            <link>https://medium.com/afya/api-rest-do-power-bi-uma-abordagem-proativa-para-monitoramento-de-dados-9aa85e500482?source=rss-491272ce8c01------2</link>
            <guid isPermaLink="false">https://medium.com/p/9aa85e500482</guid>
            <category><![CDATA[power-bi]]></category>
            <category><![CDATA[dados]]></category>
            <dc:creator><![CDATA[Lucas Andrade ]]></dc:creator>
            <pubDate>Tue, 25 Feb 2025 20:20:09 GMT</pubDate>
            <atom:updated>2025-02-26T20:25:34.339Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oM8_frCkB9nkgToy62SMpg.png" /></figure><p>Como Automatizamos e Armazenamos Dados Históricos para Análises Proativas e Eficientes</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/747/1*4Y0NnjUL0VZ-fe_Rmn6Olw.png" /></figure><p>Na Afya, o maior hub de educação em saúde e healthtechs do Brasil, iniciamos um projeto para melhorar o monitoramento e a análise de dados utilizando a API REST do Power BI. O objetivo principal é armazenar o histórico das atividades, já que a API fornece dados apenas dos últimos 30 dias, e resolver falhas nas requisições feitas no Power Query via linguagem M.</p><h4><strong>Como funcionava o monitoramento antes do projeto?</strong></h4><p>Anteriormente, o monitoramento era realizado por meio de dashboards que faziam requisições diretamente para a API REST do Power BI utilizando a linguagem M. Esses dashboards monitoravam acessos, atualizações e agendamentos de relatórios, mas enfrentavam problemas devido à falta de armazenamento histórico e falhas frequentes nas requisições complexas.</p><p>Logo abaixo temos um exemplo de requisição:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/807/1*ulYH3hdHo9hSFN6CCP-oKQ.png" /><figcaption>Exemplo de requisição feita diretamente pelo dashboard via linguagem M</figcaption></figure><h4>A solução e suas ferramentas</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LGZWINRR2M5-nuSzNcZqBw.jpeg" /></figure><p>Para resolver esses problemas, implementamos uma solução robusta utilizando várias ferramentas e processos:</p><ul><li><strong>API REST do Power BI:</strong> Para obter dados atualizados.</li><li><strong>Python:</strong> Para automatizar e formatar requisições.</li><li><strong>Airflow:</strong> Para orquestrar e agendar tarefas de ETL.</li><li><strong>dbt (Data Build Tool)</strong>: Para transformar dados brutos em dados prontos para análise.</li><li><strong>AWS S3:</strong> Para armazenar arquivos JSON.</li><li><strong>Redshift (AWS):</strong> Para armazenar dados transformados em formato Parquet.</li></ul><h4>Detalhes da Implementação</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*07D4qcciVsxv3-Xpfpxs9w.jpeg" /></figure><p>A implementação da solução envolveu várias etapas:</p><ol><li><strong>Automatizando as Requisições:</strong> Usamos Python para criar scripts que formatavam as requisições em JSON e preenchiam dataframes com os dados extraídos da API REST do Power BI. Isso melhorou a confiabilidade das requisições, que antes falhavam com frequência no Power Query.</li><li><strong>Orquestração das Tarefas:</strong> Utilizamos o Apache Airflow para agendar e monitorar as tarefas de extração, transformação e carregamento (ETL) dos dados. Isso garantiu que as requisições fossem executadas de forma programada e eficiente.</li><li><strong>Transformação dos Dados:</strong> Utilizamos o dbt para aplicar transformações SQL nos dados armazenados no Redshift. Isso garantiu a consistência e a qualidade dos dados transformados. Além disso, para os modelos que precisavam de históricos salvos, utilizamos o modelo incremental para ir incrementando as chaves. Os modelos de activities e refresh_histories foram alguns dos que se beneficiaram dessa abordagem.</li><li><strong>Armazenamento dos Dados:</strong> Os dados extraídos foram inicialmente salvos em formato JSON no bucket S3. Posteriormente, os dataframes preenchidos com esses dados foram transformados em arquivos Parquet antes de serem salvos no Redshift. O uso do formato Parquet melhorou o desempenho das consultas e a eficiência do armazenamento.</li></ol><h4>Trechos de Código e Explicações</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/980/1*oG-zSIzrM0w0SpjcfsHJCA.jpeg" /></figure><p>Para ilustrar melhor como implementamos a principal etapa de requisições para a API do Power BI, neste trecho do artigo, mostrarei as funções desenvolvidas para realizar essas requisições, juntamente com as explicações das mesmas.</p><p><strong>Requisição de workspaces</strong></p><pre>import requests<br>import time<br>import logging<br>from commons.aws.secrets_manager import secrets_manager as secret<br>from commons.aws.s3.s3_jobs import S3Jobs<br>from governance_api_powerbi import governance_api_powerbi_helper as helper<br><br>def get_workspaces(token):<br>    workspaces = []<br>    url = &quot;https://api.powerbi.com/v1.0/myorg/admin/groups&quot;<br>    headers = {<br>        &#39;Authorization&#39;: f&#39;Bearer {token}&#39;,<br>        &#39;Content-Type&#39;: &#39;application/json&#39;<br>    }<br><br>    top = 5000<br>    skip = 0<br>    attempts = 0<br>    max_attempts = 3<br>    wait_time = 1  # Tempo inicial de espera em segundos<br><br>    while True:<br>        try:<br>            response = requests.get(<br>                f&quot;{url}?$top={top}&amp;$skip={skip}&quot;,<br>                headers=headers)<br><br>            # Verifica o status da resposta<br>            if response.status_code == 429:  # Too Many Requests<br>                if attempts &lt; max_attempts:<br>                    logger.warning(<br>                        f&quot;Recebido status 429. Aguardando {wait_time} segundos antes de tentar novamente...&quot;)<br>                    time.sleep(wait_time)<br>                    attempts += 1<br>                    # Aumenta o tempo de espera (backoff exponencial)<br>                    wait_time *= 2<br>                    continue<br>                else:<br>                    logger.error(<br>                        &quot;Número máximo de tentativas atingido. Abortando a requisição.&quot;)<br>                    raise Exception(<br>                        &quot;Limite de requisições atingido, abortando.&quot;)<br><br>            response.raise_for_status()  # Levanta um erro para códigos de status HTTP 4xx/5xx<br><br>            data = response.json()<br>            workspaces.extend(data.get(&#39;value&#39;, []))<br><br>            if len(data.get(&#39;value&#39;, [])) &lt; top:<br>                break<br><br>            skip += top<br>            attempts = 0  # Reseta tentativas após sucesso<br><br>        except requests.exceptions.RequestException as e:<br>            logger.error(f&quot;Erro ao obter workspaces: {e}&quot;)<br>            raise Exception(f&quot;Falha ao obter workspaces: {e}&quot;)<br><br>    logger.info(f&quot;Total de workspaces obtidos: {len(workspaces)}&quot;)<br>    return workspaces</pre><p><strong><em>Explicação</em>:</strong></p><ul><li><strong>Função get_workspaces:</strong> Faz requisições à API REST do Power BI para obter a lista de workspaces. Utiliza um token de administrador para autenticação e implementa um mecanismo de retry com backoff exponencial para lidar com erros de taxa de requisição (status 429). A função continua a coletar dados em lotes de até 5000 workspaces até que todos sejam obtidos ou um erro ocorra. Registra informações sobre o progresso e erros durante a execução.</li></ul><p><strong>Requisição de Atividades</strong></p><pre>import requests<br>import logging<br><br>def get_activity(<br>        access_token,<br>        start_date=None,<br>        end_date=None,<br>        continuation_token=None,<br>        loop=0,<br>        data=[]):<br>    base_url = &quot;https://api.powerbi.com/v1.0/myorg/admin/activityevents&quot;<br><br>    if loop == 0:<br>        url = f&quot;{base_url}?startDateTime=&#39;{start_date}&#39;&amp;endDateTime=&#39;{end_date}&#39;&amp;$filter=Activity eq &#39;ViewReport&#39;&quot;<br>    else:<br>        url = f&quot;{base_url}?continuationToken=&#39;{continuation_token}&#39;&quot;<br><br>    headers = {<br>        &quot;Authorization&quot;: f&quot;Bearer {access_token}&quot;<br>    }<br><br>    response = requests.get(url, headers=headers)<br>    response_json = response.json()<br><br>    token = response_json.get(&quot;continuationToken&quot;)<br>    current_data = response_json.get(&quot;activityEventEntities&quot;, [])<br>    appended_data = data + current_data<br>    loop_num = loop + 1<br><br>    logging.info(f&quot;Loop {loop_num}: {len(current_data)} eventos coletados.&quot;)<br><br>    if token is None or loop_num &gt; 199:<br>        return appended_data<br>    else:<br>        return get_activity(<br>            access_token,<br>            &quot;&quot;,<br>            &quot;&quot;,<br>            token,<br>            loop_num,<br>            appended_data)</pre><p><strong><em>Explicação</em>:</strong></p><ul><li><strong>Função get_activity:</strong> Faz requisições à API REST do Power BI para obter eventos de atividade, filtrando por atividades de visualização de relatórios. Implementa um mecanismo de paginação para continuar coletando dados até que todos os eventos sejam obtidos ou um limite de loops seja atingido. Utiliza um token de acesso para autenticação e registra informações sobre o progresso da coleta de dados.</li></ul><p><strong>Requisição de Datasets</strong></p><pre>import requests<br>import logging<br><br>def get_datasets(token):<br>    datasets = []<br>    url = &quot;https://api.powerbi.com/v1.0/myorg/admin/datasets&quot;<br>    headers = {<br>        &#39;Authorization&#39;: f&#39;Bearer {token}&#39;,<br>        &#39;Content-Type&#39;: &#39;application/json&#39;<br>    }<br><br>    try:<br>        logging.info(&quot;Fazendo requisição para obter datasets...&quot;)<br>        response = requests.get(url, headers=headers)<br>        response.raise_for_status()  # Levanta um erro para códigos de status HTTP 4xx/5xx<br><br>        # Processa a resposta<br>        data = response.json()<br>        datasets.extend(data.get(&#39;value&#39;, []))  # Adiciona os datasets obtidos<br><br>        logging.info(f&quot;Total de datasets obtidos: {len(datasets)}&quot;)<br>        return datasets<br><br>    except requests.exceptions.RequestException as e:<br>        logging.error(f&quot;Erro ao obter datasets: {e}&quot;)<br>        if &#39;response&#39; in locals():<br>            logging.error(f&quot;Resposta da API: {response.text}&quot;)<br>        raise Exception(f&quot;Falha ao obter datasets: {e}&quot;)<br></pre><p><strong><em>Explicação</em>:</strong></p><ul><li><strong>Função get_datasets:</strong> Faz uma requisição à API REST do Power BI para obter todos os datasets disponíveis na organização. Utiliza um token de administrador para autenticação e processa a resposta para retornar uma lista de datasets. Implementa tratamento de exceções para lidar com erros de requisição e registra informações relevantes para depuração.</li></ul><p><strong>Requisição de Histórico de Atualização</strong></p><pre>import requests<br><br>def get_refresh_history(dataset_id, access_token):<br>    url = f&quot;https://api.powerbi.com/v1.0/myorg/admin/datasets/{dataset_id}/refreshes&quot;<br>    headers = {<br>        &quot;Authorization&quot;: f&quot;Bearer {access_token}&quot;,<br>        &quot;Content-Type&quot;: &quot;application/json&quot;<br>    }<br><br>    try:<br>        response = requests.get(url, headers=headers)<br>        # Verifica se a requisição foi bem-sucedida<br>        if response.status_code == 200:<br>            return response.json()  # Retorna o conteúdo JSON<br>        else:<br>            return {<br>                &quot;error&quot;: f&quot;Erro na requisição. Status: {response.status_code}&quot;,<br>                &quot;details&quot;: response.text<br>            }<br>    except Exception as e:<br>        return {&quot;error&quot;: &quot;Exceção durante a requisição&quot;, &quot;details&quot;: str(e)}</pre><p><strong><em>Explicação</em>:</strong></p><ul><li><strong>Função get_refresh_history:</strong> Faz uma requisição à API REST do Power BI para obter o histórico de atualizações de um dataset específico. Utiliza um token de acesso para autenticação e retorna um dicionário com o histórico de atualizações. Em caso de falha na requisição, retorna um dicionário com informações sobre o erro, incluindo o status da resposta e detalhes. Implementa tratamento de exceções para lidar com erros durante a requisição.</li></ul><p><strong>Requisição de Fontes de Dados</strong></p><pre>import requests<br>import logging<br><br>def get_datasources_paginated(token, dataset_id):<br>    datasources = []<br>    url = f&quot;https://api.powerbi.com/v1.0/myorg/admin/datasets/{dataset_id}/datasources&quot;<br>    headers = {<br>        &#39;Authorization&#39;: f&#39;Bearer {token}&#39;,<br>        &#39;Content-Type&#39;: &#39;application/json&#39;<br>    }<br><br>    try:<br>        while url:<br>            logging.info(f&quot;Buscando fontes de dados para o dataset ID {dataset_id}...&quot;)<br>            response = requests.get(url, headers=headers)<br>            response.raise_for_status()<br>            data = response.json()<br><br>            # Adiciona o dataset_id a cada fonte de dados e adiciona à lista<br>            for datasource in data.get(&#39;value&#39;, []):<br>                datasource[&#39;dataset_id&#39;] = dataset_id<br>                datasources.append(datasource)<br><br>            # Verifica se há um próximo link<br>            url = data.get(&#39;@odata.nextLink&#39;)<br><br>            # Se não há datasources, saia do loop<br>            if not data.get(&#39;value&#39;, []):<br>                break<br><br>    except requests.exceptions.HTTPError as e:<br>        if e.response.status_code == 404:<br>            logging.warning(f&quot;Dataset ID {dataset_id} não encontrado. Ignorando...&quot;)<br>            return []  # Retorna lista vazia para esse dataset<br>        else:<br>            logging.error(f&quot;Erro ao fazer a requisição para o dataset ID {dataset_id}: {e}&quot;)<br>            raise<br><br>    logging.info(f&quot;Total de fontes de dados obtidas para o dataset ID {dataset_id}: {len(datasources)}&quot;)<br>    return datasources</pre><p><strong><em>Explicação</em>:</strong></p><ul><li><strong>Função get_datasources_paginated: </strong>Faz uma requisição à API REST do Power BI para obter todas as fontes de dados associadas a um dataset específico, paginando os resultados se necessário. Utiliza um token de acesso para autenticação e adiciona o dataset_id a cada fonte de dados retornada. Implementa tratamento de exceções para lidar com erros de requisição e registra informações sobre o progresso e erros durante a execução.</li></ul><p><strong>Requisição de Agendamento de Atualização</strong></p><pre>import requests<br>import logging<br><br>def get_dataset_refresh_schedule(dataset_id, access_token, top=1000):<br>    base_url = f&quot;https://api.powerbi.com/v1.0/myorg/admin/datasets/{dataset_id}/refreshSchedule&quot;<br>    headers = {<br>        &quot;Authorization&quot;: f&quot;Bearer {access_token}&quot;,<br>        &quot;Content-Type&quot;: &quot;application/json&quot;<br>    }<br><br>    try:<br>        logging.info(f&quot;Enviando requisição para: {base_url}&quot;)<br>        response = requests.get(base_url, headers=headers)<br><br>        if response.status_code == 200:<br>            data = response.json()<br>            logging.info(f&quot;Dados retornados: {data}&quot;)<br><br>            # Retorna o agendamento completo<br>            return data<br>        else:<br>            logging.error(<br>                f&quot;Erro na requisição para {base_url}. Status: {response.status_code}, Detalhes: {response.text}&quot;)<br>            return {&quot;error&quot;: &quot;Erro na requisição&quot;, &quot;details&quot;: response.text}<br><br>    except Exception as e:<br>        logging.error(f&quot;Erro durante a requisição de agendamento: {str(e)}&quot;)<br>        return {&quot;error&quot;: &quot;Exceção durante a requisição&quot;, &quot;details&quot;: str(e)}</pre><p><strong><em>Explicação</em>:</strong></p><ul><li><strong>Função get_dataset_refresh_schedule:</strong> Faz uma requisição à API REST do Power BI para obter o agendamento de atualização de um dataset específico. Utiliza um token de acesso para autenticação e retorna um dicionário com o agendamento de atualização. Em caso de falha na requisição, retorna um dicionário com informações sobre o erro, incluindo o status da resposta e detalhes. Implementa tratamento de exceções para lidar com erros durante a requisição.</li></ul><p><strong>Requisição de Relatórios</strong></p><pre>import requests<br><br>def get_reports(access_token):<br>    url = &quot;https://api.powerbi.com/v1.0/myorg/admin/reports&quot;<br>    headers = {<br>        &quot;Authorization&quot;: f&quot;Bearer {access_token}&quot;,<br>        &quot;Content-Type&quot;: &quot;application/json&quot;<br>    }<br><br>    try:<br>        response = requests.get(url, headers=headers)<br>        # Verifica se a requisição foi bem-sucedida<br>        if response.status_code == 200:<br>            return response.json()  # Retorna o conteúdo JSON<br>        else:<br>            return {<br>                &quot;error&quot;: f&quot;Erro na requisição. Status: {response.status_code}&quot;,<br>                &quot;details&quot;: response.text<br>            }<br>    except Exception as e:<br>        return {&quot;error&quot;: &quot;Exceção durante a requisição&quot;, &quot;details&quot;: str(e)}</pre><p><strong><em>Explicação</em>:</strong></p><ul><li><strong>Função get_reports:</strong> Faz uma requisição à API REST do Power BI para obter uma lista de todos os relatórios disponíveis. Utiliza um token de acesso para autenticação e retorna um dicionário com a lista de relatórios. Em caso de falha na requisição, retorna um dicionário com informações sobre o erro, incluindo o status da resposta e detalhes. Implementa tratamento de exceções para lidar com erros durante a requisição.</li></ul><p><strong>Requisição de Usuários por Workspace</strong></p><pre>import requests<br>import time<br>import logging<br><br>def get_users_by_workspace(access_token, group_id, max_retries=3, delay=2):<br>    url = f&quot;https://api.powerbi.com/v1.0/myorg/admin/groups/{group_id}/users&quot;<br>    headers = {<br>        &quot;Authorization&quot;: f&quot;Bearer {access_token}&quot;,<br>        &quot;Content-Type&quot;: &quot;application/json&quot;<br>    }<br><br>    logging.info(f&quot;Fazendo requisição para: {url}&quot;)<br><br>    for attempt in range(max_retries):<br>        try:<br>            response = requests.get(url, headers=headers)<br>            if response.status_code == 200:<br>                return response.json()  # Retorna o conteúdo JSON<br>            elif response.status_code == 401:<br>                logging.error(<br>                    &quot;Erro 401: Não autorizado. Verifique se o token é válido e se o usuário tem permissão.&quot;)<br>                # Se 401, espera e tenta novamente<br>                if attempt &lt; max_retries - 1:<br>                    logging.info(<br>                        f&quot;Tentativa {attempt + 1} falhou. Tentando novamente em {delay} segundos...&quot;)<br>                    time.sleep(delay)<br>                else:<br>                    return {<br>                        &quot;error&quot;: &quot;Unauthorized after multiple attempts&quot;,<br>                        &quot;details&quot;: response.text<br>                    }<br>            else:<br>                return {<br>                    &quot;error&quot;: f&quot;Erro na requisição. Status: {response.status_code}&quot;,<br>                    &quot;details&quot;: response.text}<br>        except Exception as e:<br>            logging.error(f&quot;Exceção durante a requisição: {str(e)}&quot;)<br>            return {&quot;error&quot;: &quot;Exception during request&quot;, &quot;details&quot;: str(e)}<br><br>    return {&quot;error&quot;: &quot;Failed to get users after retries&quot;}</pre><p><strong><em>Explicação</em>:</strong></p><ul><li><strong>Função get_users_by_workspace:</strong> Faz uma requisição à API REST do Power BI para obter a lista de usuários de um workspace específico. Utiliza um token de acesso para autenticação e implementa um mecanismo de retry com tentativas de repetição e atrasos entre as tentativas em caso de falha. Em caso de falha na requisição, retorna um dicionário com informações sobre o erro, incluindo o status da resposta e detalhes. Implementa tratamento de exceções para lidar com erros durante a requisição.</li></ul><h4>Desafios e Soluções</h4><p>Durante o desenvolvimento, enfrentamos alguns desafios, como a limitação de histórico da API REST do Power BI, que fornecia dados apenas dos últimos 30 dias. Para resolver isso, armazenamos dados históricos no Redshift e no S3. Além disso, migramos as requisições para scripts Python para reduzir as falhas e utilizamos o Apache Airflow para automatizar e agendar as tarefas de ETL.</p><h4>Resultados Obtidos</h4><p>Com a implementação da solução, conseguimos armazenar dados históricos além dos 30 dias fornecidos pela API, permitindo análises a longo prazo. A migração das requisições para Python reduziu significativamente as falhas de atualização, e a automação com o Apache Airflow melhorou a eficiência operacional. As equipes de análise de dados agora podem agir de forma proativa, identificando e resolvendo problemas antes que afetem os usuários.</p><p>Este projeto, baseado na API REST do Power BI, melhorou significativamente o monitoramento e a análise de dados ao armazenar históricos além dos 30 dias, reduzir falhas e automatizar tarefas de ETL. Utilizando Python, Airflow, dbt, AWS S3 e Redshift, conseguimos uma abordagem mais proativa e eficiente na gestão dos dados. As melhorias garantiram a qualidade das informações e a eficiência operacional. Próximos passos incluem integrar novas fontes de dados e aprimorar modelos de dados para manter a excelência no monitoramento.</p><p>Agradeço por dedicar seu tempo à leitura deste artigo. Espero que ele tenha sido útil para ampliar seu conhecimento sobre o tema, especialmente na busca por referências de como grandes empresas gerenciam suas plataformas de dados. Se tiverem comentários, sugestões ou elogios, sintam-se à vontade para me contatar pelo <a href="http://www.linkedin.com/in/lucas-andrade-13555a19b">LinkedIn</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9aa85e500482" width="1" height="1" alt=""><hr><p><a href="https://medium.com/afya/api-rest-do-power-bi-uma-abordagem-proativa-para-monitoramento-de-dados-9aa85e500482">API REST do Power BI: Uma Abordagem Proativa para Monitoramento de Dados</a> was originally published in <a href="https://medium.com/afya">afya</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>