<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Paulo Katsuo Katayama Junior on Medium]]></title>
        <description><![CDATA[Stories by Paulo Katsuo Katayama Junior on Medium]]></description>
        <link>https://medium.com/@paulo.katayama?source=rss-d4b144056088------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*MIbXSbIPaiuA3y3p</url>
            <title>Stories by Paulo Katsuo Katayama Junior on Medium</title>
            <link>https://medium.com/@paulo.katayama?source=rss-d4b144056088------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 05:55:40 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@paulo.katayama/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Tags de Políticas de Segurança no BigQuery: Reforçando a Segurança dos Dados]]></title>
            <link>https://medium.com/@paulo.katayama/tags-de-pol%C3%ADticas-de-seguran%C3%A7a-no-bigquery-refor%C3%A7ando-a-seguran%C3%A7a-dos-dados-e4c63d71865d?source=rss-d4b144056088------2</link>
            <guid isPermaLink="false">https://medium.com/p/e4c63d71865d</guid>
            <dc:creator><![CDATA[Paulo Katsuo Katayama Junior]]></dc:creator>
            <pubDate>Fri, 26 May 2023 12:22:07 GMT</pubDate>
            <atom:updated>2023-05-26T17:13:35.619Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bUOIoR039LDW0_T299Molw.jpeg" /></figure><p>Nesta era de dados, a segurança é uma preocupação fundamental para empresas que utilizam serviços de armazenamento e análise de dados em nuvem. O BigQuery, uma solução de data warehousing do Google Cloud Platform (GCP), oferece recursos avançados para o controle de acesso e segurança dos dados. Uma dessas ferramentas poderosas são as tags de políticas de segurança do BigQuery. Neste artigo, exploraremos em detalhes como as tags de políticas de segurança podem ser usadas para reforçar a segurança dos dados no BigQuery.</p><h4><strong>1. Controle de Acesso no BigQuery</strong></h4><p>Antes de abordarmos as tags de políticas de segurança, é importante entender como o BigQuery gerencia o controle de acesso aos dados. O BigQuery permite que você organize seus dados em projetos, datasets e tabelas, criando uma estrutura hierárquica para controle de acesso. As permissões podem ser atribuídas a níveis diferentes, permitindo que você conceda acesso granular aos usuários ou grupos de usuários.</p><h4><strong>2. O que são Tags de Políticas de Segurança?</strong></h4><p>As tags de políticas de segurança são uma camada adicional de controle de acesso fornecida pelo BigQuery. Elas permitem que você aplique restrições adicionais aos dados em nível de tabela com base em categorias específicas. As tags podem ser associadas a tabelas individuais, ajudando a garantir que apenas usuários autorizados tenham acesso aos dados sensíveis e que esses dados sejam utilizados de acordo com as políticas de segurança estabelecidas pela organização.</p><h4><strong>3. Tipos de Tags de Políticas de Segurança</strong></h4><p>O BigQuery oferece vários tipos de tags de políticas de segurança que podem ser aplicadas às tabelas. Alguns exemplos comuns incluem:</p><ul><li><strong>Confidencialidade</strong>: Essa tag pode ser usada para identificar dados confidenciais ou sensíveis, como informações pessoais ou financeiras, e restringir o acesso a esses dados apenas a usuários autorizados.</li><li><strong>Integridade</strong>: A tag de integridade pode ser usada para garantir que os dados não sejam modificados indevidamente. Ela pode ser aplicada a tabelas de dados que devem permanecer imutáveis para fins de auditoria ou conformidade.</li><li><strong>Uso Aceitável</strong>: Essa tag pode ser usada para definir políticas de uso aceitável dos dados. Ela pode estipular restrições sobre como os dados podem ser acessados, processados ou compartilhados, garantindo que estejam em conformidade com as políticas da organização ou regulamentações aplicáveis.</li></ul><p>Esses são apenas alguns exemplos de tags de políticas de segurança que podem ser aplicadas no BigQuery. As tags podem ser personalizadas de acordo com as necessidades da organização.</p><h4><strong>4. Implementação das Tags de Políticas de Segurança</strong></h4><p>A implementação das tags de políticas de segurança no BigQuery é um processo simples. Para adicionar uma tag a uma tabela específica, você pode usar a ferramenta do BigQuery Console, a API do BigQuery ou o comando bq da linha de comando. Vejamos como fazer isso usando o BigQuery Console:</p><ol><li>Acesse o <a href="https://console.cloud.google.com/">Console do Google Cloud</a> e abra o projeto que contém o dataset e a tabela em que deseja adicionar a tag de política de segurança.</li><li>Navegue até a seção do BigQuery e abra o dataset que contém a tabela desejada.</li><li>Selecione a tabela em que você deseja adicionar a tag de política de segurança.</li><li>Na guia “Detalhes da Tabela”, role para baixo até a seção “Tag de Política de Segurança” e clique em “Editar”.</li><li>Na caixa de diálogo de edição, você pode adicionar as tags de políticas de segurança desejadas. Insira as tags com os valores apropriados de acordo com os tipos de tags mencionados anteriormente.</li><li>Após adicionar as tags, clique em “Salvar” para aplicar as alterações.</li></ol><p>Agora, a tabela selecionada terá as tags de políticas de segurança associadas a ela. Essas tags ajudarão a reforçar o controle de acesso e as políticas de segurança definidas para os dados contidos na tabela.</p><h4><strong>5. Benefícios das Tags de Políticas de Segurança</strong></h4><p>As tags de políticas de segurança no BigQuery trazem uma série de benefícios para a segurança dos dados:</p><ul><li><strong>Controle granular de acesso</strong>: As tags permitem um controle mais preciso sobre quem pode acessar os dados em uma tabela específica, reforçando a segregação de funções e minimizando o risco de acesso não autorizado.</li><li><strong>Conformidade com regulamentos</strong>: Ao aplicar tags de políticas de segurança, você pode garantir que os dados estejam em conformidade com regulamentos e normas específicas, como a LGPD (Lei Geral de Proteção de Dados).</li><li><strong>Proteção de dados sensíveis</strong>: Com as tags, é possível identificar e restringir o acesso a dados sensíveis, como informações pessoais ou financeiras, reduzindo os riscos de vazamentos ou uso inadequado.</li><li><strong>Auditoria e rastreamento</strong>: As tags permitem que você acompanhe e audite o acesso aos dados com base em políticas de segurança estabelecidas. Isso facilita a identificação de atividades suspeitas ou em desacordo com as políticas da organização.</li></ul><h4><strong>6. Considerações de Melhores Práticas</strong></h4><p>Ao utilizar as tags de políticas de segurança no BigQuery, é importante considerar algumas melhores práticas:</p><ul><li><strong>Classificação adequada das tags</strong>: Certifique-se de classificar corretamente as tags com base na sensibilidade dos dados e nas políticas de segurança estabelecidas pela organização. Isso ajudará a aplicar restrições adequadas e garantir a conformidade.</li><li><strong>Atribuição de permissões corretas</strong>: Verifique se as permissões de acesso às tabelas estão configuradas corretamente, levando em conta as tags de políticas de segurança. Apenas usuários autorizados devem ter acesso às tabelas que possuem tags aplicadas.</li><li><strong>Revisão e atualização periódica</strong>: Faça revisões periódicas das tags de políticas de segurança para garantir que elas estejam atualizadas e alinhadas com as políticas de segurança em evolução da organização. À medida que novas exigências de conformidade surgem ou os requisitos de segurança mudam, é importante adaptar as tags para refletir essas mudanças.</li><li><strong>Treinamento e conscientização dos usuários</strong>: Eduque os usuários sobre as tags de políticas de segurança e sua importância. Certifique-se de que eles entendam como aplicar corretamente as políticas de segurança ao acessar e manipular os dados nas tabelas com tags.</li></ul><h4><strong>7. Casos de Uso e Exemplos Reais</strong></h4><p>Vamos explorar alguns casos de uso onde as tags de políticas de segurança no BigQuery são especialmente úteis:</p><ul><li><strong>Dados pessoais sensíveis</strong>: Se a organização lida com dados pessoais sensíveis, como informações de identificação pessoal (PII), as tags podem ser aplicadas para restringir o acesso a esses dados apenas a usuários autorizados, garantindo a privacidade e conformidade com regulamentações como a LGPD.</li><li><strong>Dados financeiros confidenciais</strong>: Empresas que lidam com dados financeiros confidenciais podem usar as tags de políticas de segurança para garantir que apenas equipes financeiras específicas tenham acesso aos dados sensíveis, evitando violações de segurança e vazamentos de informações.</li><li><strong>Colaboração segura</strong>: Se diferentes equipes ou departamentos compartilham um conjunto de dados no BigQuery, as tags podem ser usadas para aplicar políticas de acesso e uso aceitável, garantindo que cada equipe tenha acesso apenas aos dados relevantes para suas atividades.</li></ul><h4><strong>Conclusão</strong></h4><p>As tags de políticas de segurança no BigQuery são uma poderosa ferramenta para reforçar a segurança dos dados e garantir a conformidade em ambientes de armazenamento e análise em nuvem. Ao aplicar tags às tabelas, é possível controlar o acesso granularmente, proteger dados sensíveis, garantir a conformidade com regulamentos e ter uma visibilidade clara das políticas de segurança aplicadas.</p><p>Ao implementar as tags de políticas de segurança, é importante seguir as melhores práticas, revisar periodicamente as políticas e educar os usuários sobre o uso correto das tags. Com essas medidas, as organizações podem fortalecer sua postura de segurança de dados no BigQuery e mitigar os riscos de acesso não autorizado ou uso inadequado dos dados.</p><p>Aproveite ao máximo as tags de políticas de segurança no BigQuery para garantir a proteção e privacidade dos dados da sua organização, mantendo-se em conformidade com as regulamentações aplicáveis e promovendo um ambiente seguro para a análise e compartilhamento de informações críticas.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e4c63d71865d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Use SQL para agilizar análise de crédito em fintechs]]></title>
            <link>https://medium.com/base39/otimizando-o-processo-de-an%C3%A1lise-de-cr%C3%A9dito-com-sql-como-utilizar-sql-para-automatizar-e-otimizar-4272ac0b8247?source=rss-d4b144056088------2</link>
            <guid isPermaLink="false">https://medium.com/p/4272ac0b8247</guid>
            <dc:creator><![CDATA[Paulo Katsuo Katayama Junior]]></dc:creator>
            <pubDate>Mon, 13 Feb 2023 18:10:07 GMT</pubDate>
            <atom:updated>2023-02-28T18:11:49.675Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*v_sYeRl-3aSk-kfIaSYQcQ.png" /></figure><p>As fintechs têm revolucionado o mercado financeiro ao oferecer soluções inovadoras e eficientes para empréstimos e financiamentos. No entanto, o processo de análise de crédito é uma das etapas mais importantes e trabalhosas deste processo. Ele envolve avaliar as informações financeiras e comportamentais do solicitante para determinar se ele é elegível para o empréstimo.</p><p>O SQL pode ser uma ferramenta valiosa neste processo, pois permite acesso e análise de grandes quantidades de dados de forma rápida e eficiente.</p><p>Aqui estão alguns exemplos de como utilizar SQL para melhorar o processo de análise de crédito nas fintechs.</p><h4><strong>Análise de perfil do cliente</strong></h4><p>Você pode usar SQL para selecionar informações específicas sobre seus clientes, como idade, estado e renda. Por exemplo, você pode selecionar todos os clientes com idade acima de 50 anos e renda mensal acima de R$ 5.000:</p><pre>WITH clientes <br>AS (<br>     SELECT  &#39;João&#39;    AS nome,  55 AS idade, &#39;SP&#39; AS estado, 6000 AS renda<br>     UNION ALL<br>     SELECT  &#39;Maria&#39;   AS nome,  10 AS idade, &#39;SP&#39; AS estado, 5500 AS renda<br>     UNION ALL<br>     SELECT  &#39;Pedro&#39;   AS nome,  55 AS idade, &#39;RJ&#39; AS estado, 7000 AS renda<br>     UNION ALL<br>     SELECT  &#39;Lucas&#39;   AS nome,  55 AS idade, &#39;SP&#39; AS estado, 5000 AS renda<br>     UNION ALL<br>     SELECT  &#39;Juliana&#39; AS nome,  55 AS idade, &#39;SC&#39; AS estado, 6500 AS renda<br>    )<br><br>SELECT nome, idade, estado, renda<br>FROM clientes<br>WHERE idade &gt; 50 AND renda &gt; 5000;</pre><pre>nome      | idade | estado | renda<br>----------------------------------<br>João      | 55    | SP     | 6000<br>Pedro     | 55    | RJ     | 7000<br>Juliana   | 55    | SC     | 6500</pre><h4><strong>Análise de histórico de empréstimos</strong></h4><p>Você pode usar SQL para selecionar informações sobre o histórico de empréstimos de seus clientes. Por exemplo, você pode selecionar todos os clientes que têm mais de dois empréstimos e a soma total de valores deles:</p><pre>WITH clientes <br>AS (<br>     SELECT  1 AS id, &#39;João&#39;    AS nome UNION ALL<br>     SELECT  2 AS id, &#39;Maria&#39;   AS nome UNION ALL<br>     SELECT  3 AS id, &#39;Pedro&#39;   AS nome UNION ALL<br>     SELECT  4 AS id, &#39;Lucas&#39;   AS nome UNION ALL<br>     SELECT  5 AS id, &#39;Juliana&#39; AS nome<br>    ),<br>    <br> emprestimos <br>AS (<br>     SELECT  1 AS id_cliente, 5000 AS valor UNION ALL<br>     SELECT  2 AS id_cliente, 1000 AS valor UNION ALL<br>     SELECT  2 AS id_cliente, 3000 AS valor UNION ALL<br>     SELECT  2 AS id_cliente, 5000 AS valor UNION ALL<br>     SELECT  3 AS id_cliente, 2500 AS valor UNION ALL<br>     SELECT  3 AS id_cliente, 3500 AS valor UNION ALL<br>     SELECT  3 AS id_cliente, 4000 AS valor UNION ALL<br>     SELECT  4 AS id_cliente, 5000 AS valor UNION ALL<br>     SELECT  4 AS id_cliente, 5000 AS valor UNION ALL<br>     SELECT  5 AS id_cliente, 1000 AS valor<br>    )<br><br><br>SELECT  c.nome, <br>        COUNT(e.id_cliente) as qtde_emprestimos, <br>        SUM(e.valor) as valor_total<br>FROM clientes c<br>INNER JOIN emprestimos e ON c.id = e.id_cliente<br>GROUP BY c.nome<br>HAVING COUNT(e.id_cliente)  &gt; 2;</pre><pre>nome     | qtde_emprestimos  | valor_total<br>------------------------------------------<br>Pedro    | 3                 | 10000<br>Maria    | 3                 | 9000</pre><h4><strong>Análise de pagamentos em dia</strong></h4><p>Você pode usar SQL para selecionar informações sobre a pontualidade dos pagamentos dos clientes. Por exemplo, você pode selecionar todos os clientes que estão em dia com seus pagamentos:</p><pre>WITH clientes <br>AS (<br>     SELECT  1 AS id, &#39;João&#39;    AS nome UNION ALL<br>     SELECT  2 AS id, &#39;Maria&#39;   AS nome UNION ALL<br>     SELECT  3 AS id, &#39;Pedro&#39;   AS nome UNION ALL<br>     SELECT  4 AS id, &#39;Lucas&#39;   AS nome UNION all <br>     SELECT  5 AS id, &#39;Juliana&#39; AS nome<br>    ),<br>    <br> emprestimos <br>AS (<br>     SELECT  01 AS id, 1 AS id_cliente, 5000 AS valor, <br>            &#39;2022-07-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  02 AS id, 2 AS id_cliente, 1000 AS valor, <br>            &#39;2022-09-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  03 AS id, 2 AS id_cliente, 3000 AS valor, <br>            &#39;2022-09-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  04 AS id, 2 AS id_cliente, 5000 AS valor, <br>            &#39;2022-09-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  05 AS id, 3 AS id_cliente, 2500 AS valor, <br>            &#39;2022-09-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  06 AS id, 3 AS id_cliente, 3500 AS valor, <br>            &#39;2022-09-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  07 AS id, 3 AS id_cliente, 4000 AS valor, <br>            &#39;2022-09-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  08 AS id, 4 AS id_cliente, 5000 AS valor, <br>            &#39;2022-11-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  09 AS id, 4 AS id_cliente, 5000 AS valor, <br>            &#39;2022-11-01&#39; AS  data_vencimento UNION ALL<br>     SELECT  10 AS id, 5 AS id_cliente, 1000 AS valor, <br>            &#39;2022-11-01&#39; AS  data_vencimento<br>    ),<br>    <br> pagamentos <br>AS (<br>     SELECT  01 AS id_emprestimo, &#39;2022-07-01&#39; AS  data_pagamento UNION ALL<br>     SELECT  02 AS id_emprestimo, &#39;2022-08-15&#39; AS  data_pagamento UNION ALL<br>     SELECT  05 AS id_emprestimo, &#39;2022-09-01&#39; AS  data_pagamento UNION ALL<br>     SELECT  06 AS id_emprestimo, &#39;2022-09-10&#39; AS  data_pagamento UNION ALL<br>     SELECT  07 AS id_emprestimo, &#39;2022-10-11&#39; AS  data_pagamento UNION ALL<br>     SELECT  08 AS id_emprestimo, &#39;2022-11-15&#39; AS  data_pagamento UNION ALL<br>     SELECT  09 AS id_emprestimo, &#39;2022-11-01&#39; AS  data_pagamento UNION ALL<br>     SELECT  10 AS id_emprestimo, &#39;2022-10-20&#39; AS  data_pagamento<br>    )<br><br>SELECT c.nome, e.valor, p.data_pagamento, e.data_vencimento<br>FROM clientes c<br>INNER JOIN emprestimos e ON c.id = e.id_cliente<br>INNER JOIN pagamentos p ON e.id = p.id_emprestimo<br>WHERE p.data_pagamento &lt;= e.data_vencimento;</pre><pre>nome         | valor    | data_pagamento   | data_vencimento     <br>------------------------------------------------------------<br>João         | 5000     | 2022-07-01       | 2022-07-01<br>Maria        | 1000     | 2022-08-15       | 2022-09-01<br>Pedro        | 2500     | 2022-09-01       | 2022-09-01<br>Lucas        | 5000     | 2022-11-01       | 2022-11-01<br>Juliana      | 1000     | 2022-10-20       | 2022-11-01</pre><p>No entanto, além de realizar consultas básicas, é possível utilizar o SQL para realizar análises mais complexas. Isso inclui o cálculo de tendências, queries aninhadas, o uso de funções chamadas &quot;Window function&quot; como o ROW_NUMBER, o DENSE_RANK, o PERCENTILE, o NTILE, oLAG,oLEAD,entre outras. Estes comandos podem ajudar a automatizar e otimizar ainda mais o processo de análise de crédito.</p><h4><strong>ROW_NUMBER: Classificação dos clientes com base em seus pagamentos</strong></h4><p>O uso da função ROW_NUMBER, permite numerar linhas de uma tabela de forma consecutiva, de acordo com a ordem especificada pelo usuário. Isso pode ser útil ao se buscar identificar as linhas com as maiores pontuações de crédito, por exemplo:</p><pre>WITH pagamentos <br>AS (<br>     SELECT  1 AS id_cliente, 5000 AS valor_pagamento UNION ALL<br>     SELECT  2 AS id_cliente, 1000 AS valor_pagamento UNION ALL<br>     SELECT  2 AS id_cliente, 3000 AS valor_pagamento UNION ALL<br>     SELECT  2 AS id_cliente, 5000 AS valor_pagamento UNION ALL<br>     SELECT  3 AS id_cliente, 2500 AS valor_pagamento UNION ALL<br>     SELECT  3 AS id_cliente, 3500 AS valor_pagamento UNION ALL<br>     SELECT  3 AS id_cliente, 4000 AS valor_pagamento UNION ALL<br>     SELECT  4 AS id_cliente, 5000 AS valor_pagamento UNION ALL<br>     SELECT  4 AS id_cliente, 5000 AS valor_pagamento UNION ALL<br>     SELECT  5 AS id_cliente, 1000 AS valor_pagamento<br>    )<br><br>SELECT ROW_NUMBER() OVER (ORDER BY valor_pagamento DESC) AS ranking,<br>       id_cliente,<br>       valor_pagamento<br>FROM (<br>      SELECT id_cliente, SUM(valor_pagamento) as valor_pagamento<br>      FROM pagamentos<br>      GROUP BY id_cliente<br>     ) AS ranking_pagamentos;</pre><pre>ranking | id_cliente  | valor_pagamento<br>---------------------------------------<br>1       | 4           | 10000<br>2       | 3           | 10000<br>3       | 2           | 9000<br>4       | 1           | 5000<br>5       | 5           | 1000</pre><h4><strong>DENSE_RANK: Classificação dos clientes conforme a sua pontuação</strong></h4><p>Outra função interessante é o DENSE_RANK, que numera linhas de forma consecutiva, mas não salta números caso haja linhas com valores iguais.</p><p>Olhando para o exemplo anterior, utilizando o DENSE_RANK no lugar do ROW_NUMBER, os clientes com ids 3 e 4 empatariam no ranking 1, pois possuem o mesmo valor de pagamento, exemplo:</p><pre>WITH pagamentos <br>AS (<br>     SELECT  1 AS id_cliente, 5000 AS valor_pagamento UNION ALL<br>     SELECT  2 AS id_cliente, 1000 AS valor_pagamento UNION ALL<br>     SELECT  2 AS id_cliente, 3000 AS valor_pagamento UNION ALL<br>     SELECT  2 AS id_cliente, 5000 AS valor_pagamento UNION ALL<br>     SELECT  3 AS id_cliente, 2500 AS valor_pagamento UNION ALL<br>     SELECT  3 AS id_cliente, 3500 AS valor_pagamento UNION ALL<br>     SELECT  3 AS id_cliente, 4000 AS valor_pagamento UNION ALL<br>     SELECT  4 AS id_cliente, 5000 AS valor_pagamento UNION ALL<br>     SELECT  4 AS id_cliente, 5000 AS valor_pagamento UNION ALL<br>     SELECT  5 AS id_cliente, 1000 AS valor_pagamento<br>    )<br><br>SELECT DENSE_RANK() OVER (ORDER BY valor_pagamento DESC) AS ranking,<br>       id_cliente,<br>       valor_pagamento<br>FROM (<br>      SELECT id_cliente, SUM(valor_pagamento) as valor_pagamento<br>      FROM pagamentos<br>      GROUP BY id_cliente<br>     ) AS ranking_pagamentos;</pre><pre>ranking | id_cliente  | valor_pagamento<br>-----------------------------------------<br>1       | 4           | 10000<br>1       | 3           | 10000<br>2       | 2           | 9000<br>3       | 1           | 5000<br>4       | 5           | 1000</pre><p>Uma outra utilidade dessa função seria para classificar os solicitantes de empréstimo em diferentes categorias, como “alta pontuação”, “média pontuação” e “baixa pontuação”.</p><pre>WITH solicitantes<br>AS (<br>     SELECT  1 AS id_solicitante, 90 AS pontuacao UNION ALL<br>     SELECT  2 AS id_solicitante, 85 AS pontuacao UNION ALL<br>     SELECT  3 AS id_solicitante, 70 AS pontuacao UNION ALL<br>     SELECT  4 AS id_solicitante, 50 AS pontuacao UNION ALL<br>     SELECT  5 AS id_solicitante, 30 AS pontuacao<br>    ),<br> <br> pontuacao_solicitantes<br>AS (<br>    SELECT  id_solicitante, <br>            pontuacao, <br>            DENSE_RANK() OVER (ORDER BY pontuacao DESC) AS classificacao<br>    FROM solicitantes<br>    ) <br>    <br>SELECT id_solicitante, <br>       pontuacao, <br>       classificacao,<br>       CASE WHEN classificacao &lt;= <br>                (SELECT COUNT(*) FROM pontuacao_solicitantes) * 0.33 <br>            THEN &#39;Alta Pontuação&#39; <br>            WHEN classificacao &gt; <br>                (SELECT COUNT(*) FROM pontuacao_solicitantes) * 0.33 <br>                AND classificacao &lt;= <br>                (SELECT COUNT(*) FROM pontuacao_solicitantes) * 0.66<br>            THEN &#39;Média Pontuação&#39; <br>            ELSE &#39;Baixa Pontuação&#39; <br>       END AS categoria<br>FROM pontuacao_solicitantes;</pre><pre>id_solicitante  | pontuacao  | classificacao | categoria<br>---------------------------------------------------------------<br>1               | 90         | 1             | Alta Pontuação<br>2               | 85         | 2             | Média Pontuação<br>3               | 70         | 3             | Média Pontuação<br>4               | 50         | 4             | Baixa Pontuação<br>5               | 30         | 5             | Baixa Pontuação</pre><h4><strong>PERCENTILE: Cálculo do percentil de valor dos empréstimos</strong></h4><p>A função PERCENTILE também pode ser útil ao se buscar identificar o percentil de pontuação de crédito. Por exemplo, é possível calcular qual é o valor de pontuação que 90% dos solicitantes de empréstimo possuem e classificá-los:</p><pre>WITH emprestimos <br>AS (<br>    SELECT 01 AS id, 1000 AS valor_emprestimo UNION ALL<br>    SELECT 02 AS id, 2000 AS valor_emprestimo UNION ALL<br>    SELECT 03 AS id, 2500 AS valor_emprestimo UNION ALL<br>    SELECT 04 AS id, 2500 AS valor_emprestimo UNION ALL<br>    SELECT 05 AS id, 6000 AS valor_emprestimo UNION ALL<br>    SELECT 06 AS id, 6200 AS valor_emprestimo UNION ALL<br>    SELECT 07 AS id, 6800 AS valor_emprestimo UNION ALL<br>    SELECT 08 AS id, 8000 AS valor_emprestimo UNION ALL<br>    SELECT 09 AS id, 9000 AS valor_emprestimo UNION ALL<br>    SELECT 10 AS id, 9200 AS valor_emprestimo <br>),<br><br>percentil <br>AS (<br>     SELECT  valor_emprestimo,<br>             (SELECT PERCENTILE_CONT(0.90) <br>              WITHIN GROUP (ORDER BY valor_emprestimo) AS percentil_90 <br>              FROM emprestimos) AS percentil_90<br>     FROM emprestimos<br>    )<br><br>SELECT valor_emprestimo,<br>       percentil_90,<br>       CASE  WHEN valor_emprestimo &gt;= percentil_90<br>             THEN &#39;Acima do Percentil&#39;<br>             ELSE &#39;Abaixo do Percentil&#39;<br>       END AS categoria<br>FROM percentil;</pre><pre>valor_emprestimo | percentil_90 | categoria<br>-----------------------------------------------------<br>1000             | 9020         | Abaixo do Percentil<br>2000             | 9020         | Abaixo do Percentil<br>2500             | 9020         | Abaixo do Percentil<br>2500             | 9020         | Abaixo do Percentil<br>6000             | 9020         | Abaixo do Percentil<br>6200             | 9020         | Abaixo do Percentil<br>6800             | 9020         | Abaixo do Percentil<br>8000             | 9020         | Abaixo do Percentil<br>9000             | 9020         | Abaixo do Percentil<br>9200             | 9020         | Acima do Percentil</pre><h4><strong>Combinando as funções</strong></h4><p>Podemos utilizar a combinação de funções em uma mesma análise. O código abaixo utiliza uma Common Table Expression (CTE) chamada “Pontuacao_Credito”, para primeiramente selecionar os dados de usuários e suas respectivas pontuações de crédito, aplicando as funções DENSE_RANK, ROW_NUMBER e PERCENTILE_DISC. Em seguida, é selecionado os 5 usuários com as maiores pontuações de crédito, de acordo com o valor obtido na função DENSE_RANK. Além disso, o código também calcula o valor da pontuação que 90% dos usuários possuem:</p><pre>WITH Creditos <br>AS (<br>    SELECT 01 AS id_usuario, 5000 AS valor_credito UNION ALL<br>    SELECT 02 AS id_usuario, 4500 AS valor_credito UNION ALL<br>    SELECT 03 AS id_usuario, 3500 AS valor_credito UNION ALL<br>    SELECT 04 AS id_usuario, 2700 AS valor_credito UNION ALL<br>    SELECT 05 AS id_usuario, 2700 AS valor_credito UNION ALL<br>    SELECT 06 AS id_usuario, 8300 AS valor_credito UNION ALL<br>    SELECT 07 AS id_usuario, 8300 AS valor_credito UNION ALL<br>    SELECT 08 AS id_usuario, 9100 AS valor_credito UNION ALL<br>    SELECT 09 AS id_usuario, 7100 AS valor_credito UNION ALL<br>    SELECT 10 AS id_usuario, 4000 AS valor_credito <br>),<br><br>Pontuacao_Credito <br>AS (<br>     SELECT id_usuario, <br>            valor_credito, <br>            ROW_NUMBER() OVER (ORDER BY valor_credito DESC) AS RowNumber, <br>            DENSE_RANK() OVER (ORDER BY valor_credito DESC) AS DenseRank,<br>            (SELECT PERCENTILE_DISC(0.9)  <br>             WITHIN GROUP (ORDER BY valor_credito DESC) AS Percentile_90 <br>             FROM Creditos) AS Percentile_90<br>     FROM Creditos<br>   ) <br><br>SELECT id_usuario, <br>       valor_credito, <br>       RowNumber, <br>       DenseRank,<br>       Percentile_90<br>FROM Pontuacao_Credito<br>WHERE DenseRank &lt;= 5;</pre><pre>id_usuario | valor_credito | rownumber | denserank | percentile_90<br>-------------------------------------------------------------------<br>8          | 9100          | 1         | 1         | 2700<br>6          | 8300          | 2         | 2         | 2700<br>7          | 8300          | 3         | 2         | 2700<br>9          | 7100          | 4         | 3         | 2700<br>1          | 5000          | 5         | 4         | 2700<br>2          | 4500          | 6         | 5         | 2700</pre><p>Outros exemplos de códigos SQL para a análise de crédito:</p><h4><strong>Cálculo da tendência dos dados de pagamentos dos clientes</strong></h4><p>Para o cálculo da média móvel dos valores pagos pelo cliente, utilizamos abaixo a função AVG e a cláusula OVER. A cláusula PARTITION BY divide os dados pela coluna “id_cliente”, a cláusula ORDER BYordena os dados pela coluna “data_pagamento”, e a cláusula ROWS BETWEEN 1 PRECEDING AND CURRENT ROW especifica que a média móvel será calculada considerando o valor pago na linha atual e na linha anterior:</p><pre>WITH pagamentos<br>AS (<br>SELECT 1 AS id_cliente, &#39;2021-01-01&#39; AS data_pagamento, 100.00 AS valor_pago<br>UNION ALL<br>SELECT 1 AS id_cliente, &#39;2021-01-02&#39; AS data_pagamento, 150.00 AS valor_pago<br>UNION ALL<br>SELECT 1 AS id_cliente, &#39;2021-01-03&#39; AS data_pagamento, 125.00 AS valor_pago<br>UNION ALL<br>SELECT 2 AS id_cliente, &#39;2021-01-01&#39; AS data_pagamento, 200.00 AS valor_pago<br>UNION ALL<br>SELECT 2 AS id_cliente, &#39;2021-01-02&#39; AS data_pagamento, 175.00 AS valor_pago<br>UNION ALL<br>SELECT 2 AS id_cliente, &#39;2021-01-03&#39; AS data_pagamento, 150.00 AS valor_pago<br>)<br><br>SELECT  id_cliente,<br>        data_pagamento,<br>        valor_pago,<br>        AVG(valor_pago) OVER (PARTITION BY id_cliente ORDER BY data_pagamento <br>        ROWS BETWEEN 1 PRECEDING AND CURRENT ROW) AS media_movel<br>FROM pagamentos<br>ORDER BY id_cliente, data_pagamento</pre><pre>id_cliente  | data_pagamento | valor_pago  | media_movel<br>---------------------------------------------------------<br>1           | 2021-01-01     | 100         | 100,0<br>1           | 2021-01-02     | 150         | 125,0<br>1           | 2021-01-03     | 125         | 137,5<br>2           | 2021-01-01     | 200         | 200,0<br>2           | 2021-01-02     | 175         | 187,5<br>2           | 2021-01-03     | 150         | 162,5</pre><h4><strong>Cálculo da tendência de inadimplência</strong></h4><p>O código abaixo calcula a taxa de inadimplência e a sua média móvel para empréstimos em diferentes datas de emissão. A taxa de inadimplência é calculada como o número de empréstimos atrasados dividido pelo número total de empréstimos. A média móvel é calculada usando a função AVG com a cláusula OVER (ORDER BY data_emissao), o que significa que a média é calculada sobre o conjunto de linhas ordenadas por data de emissão:</p><pre>WITH emprestimos<br>AS ( <br> SELECT &#39;2022-01-01&#39; AS data_emissao, &#39;atrasado&#39; AS status_pagamento UNION ALL<br> SELECT &#39;2022-01-01&#39; AS data_emissao, &#39;atrasado&#39; AS status_pagamento UNION ALL<br> SELECT &#39;2022-01-01&#39; AS data_emissao, &#39;normal&#39;   AS status_pagamento UNION ALL<br> SELECT &#39;2022-01-01&#39; AS data_emissao, &#39;normal&#39;   AS status_pagamento UNION ALL<br> SELECT &#39;2022-02-01&#39; AS data_emissao, &#39;normal&#39;   AS status_pagamento UNION ALL<br> SELECT &#39;2022-02-01&#39; AS data_emissao, &#39;atrasado&#39; AS status_pagamento UNION ALL<br> SELECT &#39;2022-02-01&#39; AS data_emissao, &#39;atrasado&#39; AS status_pagamento UNION ALL<br> SELECT &#39;2022-02-01&#39; AS data_emissao, &#39;atrasado&#39; AS status_pagamento UNION ALL<br> SELECT &#39;2022-03-01&#39; AS data_emissao, &#39;normal&#39;   AS status_pagamento UNION ALL<br> SELECT &#39;2022-03-01&#39; AS data_emissao, &#39;normal&#39;   AS status_pagamento UNION ALL<br> SELECT &#39;2022-03-01&#39; AS data_emissao, &#39;normal&#39;   AS status_pagamento UNION ALL<br> SELECT &#39;2022-03-01&#39; AS data_emissao, &#39;atrasado&#39; AS status_pagamento<br>),<br><br>inadimplencia <br>AS (<br>     SELECT  data_emissao,<br>             COUNT(CASE WHEN status_pagamento = &#39;atrasado&#39; <br>                        THEN 1 END) AS inadimplentes,<br>             COUNT(*) AS total<br>     FROM emprestimos<br>     GROUP BY data_emissao<br>    )<br> <br>SELECT data_emissao, <br>       (inadimplentes / total::DECIMAL(18,2) *100)::VARCHAR(4)  <br>        || &#39;%&#39;AS taxa_inadimplencia, <br>       (AVG((inadimplentes / total::DECIMAL(18,2) *100)) <br>        OVER (ORDER BY data_emissao))::VARCHAR(4)  || &#39;%&#39;AS media_movel<br>FROM inadimplencia</pre><pre>data_emissao | taxa_inadimplencia | media_movel<br>--------------------------------------------<br>2022-01-01   | 50.0%              | 50.0%<br>2022-02-01   | 75.0%              | 62.5%<br>2022-03-01   | 25.0%              | 50.0%</pre><h4><strong>Métricas para medir o tempo entre as etapas de cadastro do usuário, simulação do empréstimo, contrato realizado e pagamento do crédito ao cliente</strong></h4><p>O código abaixo calcula a média de tempo gasto em cada etapa do funil (Cadastro, Simulação, Contrato, Pagamento) para cada usuário.</p><ol><li>O primeiro bloco com log_eventoscria uma tabela temporária com dados de exemplo de log de eventos.</li><li>O segundo bloco com funil_etapas agrupa os dados do log de eventos por usuário e, para cada usuário, calcula a data e hora mais recente em que ele completou cada etapa do funil.</li><li>O terceiro bloco com tempo_etapas calcula o tempo entre cada etapa para cada usuário.</li><li>Finalmente, o bloco SELECT no final da consulta calcula a média do tempo gasto em cada etapa do funil para todos os usuários.</li></ol><pre>WITH log_eventos<br>AS (<br> SELECT 1 AS id_usuario, &#39;Cadastro&#39;  AS etapa, &#39;2022-02-13 19:09&#39; AS data_hora<br> UNION ALL<br> SELECT 1 AS id_usuario, &#39;Simulação&#39; AS etapa, &#39;2022-02-14 12:40&#39; AS data_hora<br> UNION ALL<br> SELECT 1 AS id_usuario, &#39;Contrato&#39;  AS etapa, &#39;2022-02-15 17:15&#39; AS data_hora <br> UNION ALL<br> SELECT 2 AS id_usuario, &#39;Cadastro&#39;  AS etapa, &#39;2022-02-13 12:09&#39; AS data_hora<br> UNION ALL<br> SELECT 2 AS id_usuario, &#39;Simulação&#39; AS etapa, &#39;2022-02-14 07:09&#39; AS data_hora<br> UNION ALL<br> SELECT 2 AS id_usuario, &#39;Contrato&#39;  AS etapa, &#39;2022-02-18 17:30&#39; AS data_hora<br> UNION ALL<br> SELECT 2 AS id_usuario, &#39;Pagamento&#39; AS etapa, &#39;2022-02-21 08:00&#39; AS data_hora    <br> UNION ALL<br> SELECT 3 AS id_usuario, &#39;Cadastro&#39;  AS etapa, &#39;2022-03-10 13:07&#39; AS data_hora<br> UNION ALL<br> SELECT 3 AS id_usuario, &#39;Simulação&#39; AS etapa, &#39;2022-03-11 12:30&#39; AS data_hora <br> UNION ALL<br> SELECT 4 AS id_usuario, &#39;Cadastro&#39;  AS etapa, &#39;2022-07-01 16:00&#39; AS data_hora<br> UNION ALL<br> SELECT 4 AS id_usuario, &#39;Simulação&#39; AS etapa, &#39;2022-07-02 11:34&#39; AS data_hora<br> UNION ALL<br> SELECT 5 AS id_usuario, &#39;Cadastro&#39;  AS etapa, &#39;2022-07-15 09:38&#39; AS data_hora <br>  ),<br><br>funil_etapas <br>AS (<br>     SELECT id_usuario, <br>            MAX(CASE WHEN etapa = &#39;Cadastro&#39; <br>                     THEN data_hora::timestamp END) AS data_hora_cadastro,<br>            MAX(CASE WHEN etapa = &#39;Simulação&#39; <br>                     THEN data_hora::timestamp END) AS data_hora_simulacao,<br>            MAX(CASE WHEN etapa = &#39;Contrato&#39; <br>                     THEN data_hora::timestamp END) AS data_hora_contrato,<br>            MAX(CASE WHEN etapa = &#39;Pagamento&#39; <br>                     THEN data_hora::timestamp END) AS data_hora_pagamento<br>     FROM log_eventos<br>     GROUP BY id_usuario<br>    ),<br><br>tempo_etapas <br>AS (<br>     SELECT id_usuario,<br>       (data_hora_simulacao - data_hora_cadastro) AS tempo_cadastro_simulacao,<br>       (data_hora_contrato - data_hora_simulacao) AS tempo_simulacao_contrato,<br>       (data_hora_pagamento - data_hora_contrato) AS tempo_contrato_pagamento,<br>       (data_hora_pagamento - data_hora_cadastro) AS tempo_cadastro_pagamento<br>     FROM funil_etapas<br>    )<br><br>SELECT AVG(tempo_cadastro_simulacao) AS cadastro_simulacao,<br>       AVG(tempo_simulacao_contrato) AS simulacao_contrato,<br>       AVG(tempo_contrato_pagamento) AS contrato_pagamento,<br>       AVG(tempo_cadastro_pagamento) AS total<br>FROM tempo_etapas</pre><pre>cadastro_simulacao | simulacao_contrato | contrato_pagamento | total<br>---------------------------------------------------------------------------<br>19:52              | 2 days 19:28       | 2 days 14:30       | 7 days 19:51</pre><h4><strong>Conclusão</strong></h4><p>Esses são apenas alguns exemplos de consultas SQL que podem ser úteis para a análise de dados de empréstimos consignados. A linguagem SQL é muito poderosa e permite realizar uma ampla gama de análises de dados, dependendo das suas necessidades específicas. Ao seguir os exemplos apresentados aqui, você pode ter uma compreensão mais profunda dos dados dos seus clientes e tomar decisões informadas sobre conceder empréstimos.</p><p>É importante notar que as consultas apresentadas aqui são apenas para fins ilustrativos e que é necessário adaptá-las à sua base de dados específica. Além disso, é importante ter conhecimentos básicos em SQL antes de começar a realizar análises complexas.</p><p>Ao trabalhar com dados de empréstimos consignados, é importante ter em mente que a privacidade e segurança dos dados dos clientes são prioridade. É importante implementar medidas de segurança adequadas e seguir as leis e regulamentos relevantes para garantir a proteção dos dados.</p><blockquote><strong>Os códigos SQL desse artigo podem serem executados utilizando o simulador </strong><a href="http://www.sqlfiddle.com/"><strong>http://www.sqlfiddle.com/</strong></a><strong> com a engine do PostgresSQL 9.6.</strong></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4272ac0b8247" width="1" height="1" alt=""><hr><p><a href="https://medium.com/base39/otimizando-o-processo-de-an%C3%A1lise-de-cr%C3%A9dito-com-sql-como-utilizar-sql-para-automatizar-e-otimizar-4272ac0b8247">Use SQL para agilizar análise de crédito em fintechs</a> was originally published in <a href="https://medium.com/base39">Base39</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>