<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Pedro Andriow on Medium]]></title>
        <description><![CDATA[Stories by Pedro Andriow on Medium]]></description>
        <link>https://medium.com/@andriow?source=rss-bdd50f603ac8------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*LR4dVSMddxyr0rS-C6n0ug.png</url>
            <title>Stories by Pedro Andriow on Medium</title>
            <link>https://medium.com/@andriow?source=rss-bdd50f603ac8------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 13:52:33 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@andriow/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Monitorando o Espaço em Disco no Linux: Identificação de Pastas que Consomem Mais Recursos]]></title>
            <link>https://medium.com/@andriow/monitorando-o-espa%C3%A7o-em-disco-no-linux-identifica%C3%A7%C3%A3o-de-pastas-que-consomem-mais-recursos-caa2b1f71e39?source=rss-bdd50f603ac8------2</link>
            <guid isPermaLink="false">https://medium.com/p/caa2b1f71e39</guid>
            <category><![CDATA[linux-tutorial]]></category>
            <category><![CDATA[linux]]></category>
            <category><![CDATA[tutorial]]></category>
            <dc:creator><![CDATA[Pedro Andriow]]></dc:creator>
            <pubDate>Thu, 20 Feb 2025 17:41:53 GMT</pubDate>
            <atom:updated>2025-02-20T17:41:53.851Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Hq49575NosJSqdfv" /><figcaption>Photo by <a href="https://unsplash.com/@scottrodgerson?utm_source=medium&amp;utm_medium=referral">Scott Rodgerson</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>Resumo rápido</h3><pre>alias ducks=&#39;du -cksh * | sort -hr | head -n 10&#39;<br>cd /$HOME<br>ducks</pre><p>A gestão eficiente de servidores Linux é essencial para manter a continuidade e o desempenho das operações de TI. Um dos problemas comuns enfrentados pelos administradores é a escassez de espaço disponível em disco rígido. Esse problema pode surgir devido ao acúmulo de logs de processos ou à instalação de aplicações que consomem grande quantidade de espaço. Diante dessa situação, torna-se imprescindível implementar um processo de monitoramento e análise para identificar quais arquivos e pastas estão consumindo mais recursos de disco. Este procedimento não só otimiza o uso do espaço disponível, mas também previne possíveis interrupções e melhora a eficiência do servidor.</p><h3>Entendendo o comando DU</h3><p>O comando du (Disk Usage) é uma ferramenta poderosa no Linux para analisar o uso de espaço em disco. Ele permite que você visualize quais diretórios e arquivos estão consumindo mais espaço, ajudando a identificar áreas que podem precisar de limpeza ou otimização.</p><p>Mais referências sobre a utilização do du: <a href="https://sempreupdate.com.br/linux/comandos/comando-linux-du-como-dominar-a-analise-de-espaco-em-disco/?form=MG0AV3">SempreUpdate</a> e <a href="https://www.certificacaolinux.com.br/comando-linux-du/?form=MG0AV3">Certificação Linux</a></p><p>Para esse comando em específico são utilizadas as seguintes opções:</p><p>du -cksh *: Esse comando calcula o uso de espaço em disco para cada arquivo e diretório no diretório atual.</p><ul><li>-c: Exibe um total geral no final.</li><li>-k: Mostra o uso de disco em kilobytes.</li><li>-s: Exibe apenas o total de cada diretório, sem listar os arquivos internos.</li><li>-h: Formata os resultados em unidades legíveis (KB, MB, GB).</li></ul><h3>Organizando a saída das informações</h3><p>Para organizar a saída das informações e para otimizar a busca pelos diretórios com maior consumo de recursos, devemos ordenar o resultado de maneira decrescente, e também realizarmos um filtro para que retorne apenas os diretórios que mais ocupem espaço em disco.</p><p>Para isso utilizamos o operador pipe| , que direciona a saída do comando anterior como entrada para o próximo comando.</p><p>Então utilizamos o comando sort -hr: Este comando ordena os resultados recebidos do comando anterior.</p><ul><li>-h: Ordena em ordem humana legível (reconhecendo unidades como KB, MB, GB).</li><li>-r: Ordena em ordem decrescente (do maior para o menor).</li></ul><p>Após termos o resultado ordenado, podemos então aplicar o filtro de quantidade de arquivos ou pastas que queremos verificar por vez. Para isso será necessário utilizarmos novamente o operador pipe |, seguido do comando head -n 10 . Este comando exibe apenas as primeiras 10 linhas da saída, ou seja, os 10 arquivos ou diretórios que mais ocupam espaço em disco.</p><p>Então, o comando completo du -cksh * | sort -hr | head -n 10 lista os 10 arquivos ou diretórios que mais ocupam espaço em disco no diretório atual, ordenados do maior para o menor, apresentando os resultados de forma legível para humanos.</p><h3>Criando um alias permanente para facilitar o processo</h3><p>Para automatizar o processo é possível adicionar o comando como um todo dentro de um alias, da seguinte maneira:</p><pre>alias ducks=&#39;du -cksh * | sort -hr | head -n 10&#39; </pre><p>Como próximo passo, é necessário registrar o alias no arquivo ~/<strong>.bashrc</strong> para que sempre que abrir o terminal o comando fique disponível para uso. Para isso basta utilizar o seu editor favorito de texto (por exemplo nano e vim) para editar o arquivo <strong>~/.bashrc</strong> e adicionar ao final do arquivo a definição do alias feita anteriormente.</p><p>Após salvar o arquivo, execute o comando source ~/.bashrc para aplicar as mudanças. Isso garantirá que o alias esteja disponível em todas as sessões futuras do terminal. Para mais detalhes, você pode consultar o artigo da <a href="https://mazer.dev/pt-br/linux/dicas/criando-alias-bash-apelidos-linha-comandos-permanentes-linux/">Mazer.dev</a> , que fornece guia completo sobre como criar e gerenciar aliases no Linux.</p><h3>Usando o alias para identificar pastas e arquivos que mais ocupam espaço em disco</h3><p>A baixo segue um exemplo, com as pastas anonimizadas, da busca por quais arquivos estão ocupando o maior espaço em disco de um determinado servidor.</p><pre>alias ducks=&#39;du -cksh * | sort -hr | head -n 10&#39;<br>cd /home<br>ducks<br>user1@myserver:/home# ducks<br>217G    total<br>108G    user1<br>28G     user2<br>16G     user3<br>15G     user4<br>14G     user5<br>13G     user6<br>6.0G    user7<br>4.8G    user8<br>3.7G    user9<br>user1@myserver:/home# cd user1/<br>user1@myserver:/home/user1# ducks<br>102G    total<br>98G     folder1<br>2.8G    folder2<br>1.1G    folder3<br>6.1M    folder4<br>6.1M    folder5<br>3.6M    folder6<br>user1@myserver:/home/user1# cd folder1/<br>user1@myserver:/home/user1/folder1# ducks<br>98G     total<br>71G     folder1-1<br>16G     folder1-2<br>4.1G    folder1-3<br>2.4G    folder1-4<br>1.6G    folder1-5<br>955M    folder1-6<br>946M    folder1-7<br>458M    folder1-8<br>317M    folder1-9<br>user1@myserver:/home/user1/folder1# cd folder1-1/<br>user1@myserver:/home/user1/folder1/folder1-1# ducks<br>71G     total<br>53G     folder1-1-1<br>14G     folder1-1-2<br>4.4G    folder1-1-3<br>572M    folder1-1-4<br>19M     file1.ipynb<br>1.2M    folder1-1-5<br>780K    file2.ipynb<br>692K    file3.ipynb<br>124K    file4.ipynb<br>user1@myserver:/home/user1/folder1/folder1-1# cd folder1-1-1/<br>user1@myserver:/home/user1/folder1/folder1-1/folder1-1-1# ducks<br>53G     total<br>9.5G    file1.json<br>8.0G    file2.json<br>8.0G    file3.json<br>8.0G    file4.json<br>7.6G    file5.json<br>7.5G    file6.json<br>1.9G    file7.json<br>1.3G    file8.json<br>1.2G    file9.json</pre><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=caa2b1f71e39" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[CLT x PJ Como calcular qual modelo de contratação vale mais a pena.]]></title>
            <link>https://medium.com/@andriow/clt-x-pj-como-calcular-qual-modelo-de-contrata%C3%A7%C3%A3o-vale-mais-a-pena-c5c05673b1fc?source=rss-bdd50f603ac8------2</link>
            <guid isPermaLink="false">https://medium.com/p/c5c05673b1fc</guid>
            <category><![CDATA[pessoa-física]]></category>
            <category><![CDATA[cltxpj]]></category>
            <category><![CDATA[contrato]]></category>
            <category><![CDATA[pessoa-jurídica]]></category>
            <dc:creator><![CDATA[Pedro Andriow]]></dc:creator>
            <pubDate>Mon, 22 Aug 2022 13:17:52 GMT</pubDate>
            <atom:updated>2022-08-22T13:25:13.808Z</atom:updated>
            <content:encoded><![CDATA[<p>Algumas dicas do que levar em consideração quando for realizar uma avaliação se uma contratação em modelo PJ realmente vale a pena financeiramente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*5WoHOYP6zBtSjuf-" /><figcaption>Photo by <a href="https://unsplash.com/@dkfra19">Dimitri Karastelev</a> on <a href="https://unsplash.com/">Unsplash</a></figcaption></figure><p>Dentro da área de tecnologia as contratações em modelo PJ sempre foi um tema presente, ou seja um modelo em que o funcionário abre uma empresa e então passa a atender outra empresa, normalmente esse é um modelo que faz sentido em uma questão tributária para ambos lados.</p><p>Com a pandemia de COVID-19, apareceu uma realidade de muitas empresas internacionais se aproveitarem da desvalorização da nossa moeda para contratar talentos aqui, oferecendo salários em dólar. Nesse caso a esmagadora maioria das contratações são realizadas no modelo Pessoa Jurídica.</p><p>Pensando nisso eu bolei aqui uma planilha com o objetivo de ajudar a calcular se realmente vale a pena assumir uma posição como PJ, quando se comparado o salário com a contratação no formato CLT, e aqui vou explicar o racional por trás de cada cálculo dela, para que vocês consigam reproduzir ela e fazer seus cálculos.</p><p>Para um primeiro exemplo, vou utilizar a comparação direta, que pelos cálculos, chegaria a um ponto de igualdade entre o recebimento na modalidade PJ com o teto atual do INSS na data de escrita do presente artigo (agosto de 2022), que está em R$6.433,37.</p><p>Para aqueles que já conhecem dos cálculos, a imagem abaixo traz um spoiler, dos valores necessários para igualar os ganhos, mais adiante irei detalhar cada bloco de cálculo para os que tenham interesse em continuar a leitura.</p><p>Para aqueles que desejarem utilizar a planilha, eu a disponibilizei no GitHub no repositório: <a href="https://github.com/Andriow/clt_x_pj">https://github.com/Andriow/clt_x_pj</a>. Para os que não possuem muita intimidade com o GitHub, podem acessar a seguinte página <a href="https://github.com/Andriow/clt_x_pj/blob/main/calculo_clt_x_pj.xlsx">https://github.com/Andriow/clt_x_pj/blob/main/calculo_clt_x_pj.xlsx</a> e clicar no botão de <strong>download.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/975/1*J60pKuZfKx4PUNPGXuZjwA.png" /></figure><p>É importante antes de entrar nos detalhes da planilha esclarecer algumas premissas que foram utilizadas para os cálculos, que poderá fazer diferença na hora de reproduzirem a planilha.</p><p>1 — Diversas empresas hoje oferecem plano de previdência privada para seus funcionários, normalmente é descontado em folha 5% do salário do funcionário e na hora de depositar no fundo de pensão a empresa deposita mais 1% além dos 5% que foram descontados, por esse motivo ela aparece tanto como benefício quanto como desconto na tabela acima.</p><p>2 — Os valores de vale refeição e vale alimentação eu usei uma média dos principais sindicatos existentes hoje em dia, isso pode mudar também de empresa para empresa.</p><p>3 — Para o plano de saúde eu fiz uma média de cotação de contratação de plano particular para meu perfil, então utilizei esse valor como base de cálculo. Isso também pode alterar de pessoa para pessoa.</p><p>4 — Estou assumindo que, independentemente do modelo de contratação, as pessoas sejam responsáveis com seu futuro financeiro, tanto em questões previdenciárias (INSS + previdência privada) quanto com um colchão de segurança em caso de desemprego (FGTS e investimentos).</p><h3>CLT</h3><p>Começando a análise pelo CLT, temos a primeira linha, de recebíveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/387/1*nQpvt1vPv78qrkIECFGyCA.png" /></figure><p>Nesse caso deve-se levar em consideração o valor bruto oferecido, e também o valor pago em horas extras, para simplificar o exemplo estou usando uma empresa que não tem o costume de realização de horas extras, mas se o local em que você trabalha essa é uma prática normal, vale a pena adicionar no cálculo o valor médio recebido. Sendo que a remuneração total é a remuneração bruta mais as horas extras, multiplicado pelo prazo do contrato. Estou usando 12 meses para ilustrar um exemplo anual.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*rsj7D2ldgouYND8XVDa9CQ.png" /></figure><p>O próximo passo é olhar para férias, ela entra como uma remuneração extra, pois é um período em que o funcionário recebe seus proventos sem estar de fato trabalhando. Alguns contratos PJ preveem um tempo de férias pagas, mas outros não, então se a pessoa não trabalha por um determinado período, ela não recebe o valor relativo a aquele período.</p><p>Para o cálculo das férias é considerado 1 salário, relativo ao tempo que a pessoa não trabalhou, mais um adicional previsto em lei de 1/3 de salário.</p><p>O décimo terceiro salário também entra como um benefício para CLT que poucos contratos PJ oferecem.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*vJ6-ZX4lKh9-9zQ_5mRWmA.png" /></figure><p>Olhando para os benefícios clássicos da CLT temos que levar em consideração o vale refeição, vale alimentação e o plano de saúde, que normalmente as empresas oferecem para seus colaboradores. Nesse ponto estou adicionando também como benefício aquele 1% relativo a previdência privada que a empresa deposita diretamente no fundo de pensão, nos casos de empresas que oferecem planos de previdência privada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/387/1*OWO4KEjrsOCOfbyq-fa2Bg.png" /></figure><p>Agora os descontos mensais, temos o INSS, que nesse caso está considerando o teto como desconto.</p><p>O imposto de renda pode ser calculado utilizando a tabela oficial de imposto em vigência (<a href="https://www.gov.br/receitafederal/pt-br/assuntos/orientacao-tributaria/tributos/irpf-imposto-de-renda-pessoa-fisica">https://www.gov.br/receitafederal/pt-br/assuntos/orientacao-tributaria/tributos/irpf-imposto-de-renda-pessoa-fisica</a>). Nesse caso foi utilizada a faixa de 27,5% com a dedução indicada na tabela atual.</p><p>Os gastos com previdência privada entram como descontos, já que normalmente são descontados 5% do rendimento para depósito no fundo de pensão.</p><p>Também é importante considerar os descontos de vale refeição, que cada empresa tem sua regra para descontos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/387/1*3aC5xeRDbefBRPv9hoH0MA.png" /></figure><p>Também estou levando em consideração empresas que oferecem bônus anuais para o batimento de metas, algumas fintechs oferecem bônusque podem chegar até o valor de 8 salários, porém aqui para fins de cálculo estou utilizando um multiplicador de 2,5 salários como bônus. Nesse caso você também deve preencher com o valor que realmente faça sentido na sua realidade.</p><p>É importante notar que sobre os valores recebidos de bônus, também incide imposto de renda, porém ele utiliza uma tabela diferente, conforme pode ser consultado em: <a href="http://www.portaltributario.com.br/guia/tabelairf.html">http://www.portaltributario.com.br/guia/tabelairf.html</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*t8LEHqNlFxLG0-4UgLRKBQ.png" /></figure><p>Por fim, somando os valores de proventos, férias, benefícios, e bônus, nesse exemplo, chegamos a um total de recebimentos no período de 12 meses de R$131.211,18.</p><p>Da mesma forma temos os descontos somado ao imposto sobre o bônus recebido, que totaliza R$23.380,74, o que gera um valor líquido anual de R$107.830,44.</p><p>Porém para quem está no regime de CLT, tem que também levar em consideração o FGTS que a empresa é obrigada a depositar, normalmente o trabalhador não tem acesso a esse dinheiro, mas de tempos em tempos é possível utilizar ele, seja através de saques, ou da compra da casa própria. Esse é um valor que também serve como um seguro para caso de demissão sem justa causa, em que o trabalhador pode sacar o valor depositado para que consiga manter seu sustento até ser recolocado no mercado de trabalho.</p><p>O cálculo do FGTS é de 8% sobre o valor mensal, multiplicado por 13, visto que também é recolhido o FGTS sobre o 13º salário.</p><p>Levando em consideração o FGTS, o total de recebimentos no modelo CLT, para quem recebe o teto do INSS, é de R$9.543,45.</p><p>É claro que nem todo esse valor estará disponível para utilização, no final das contas, mas é importante ter uma visibilidade do todo recebido para no final poder tomar uma decisão assertiva.</p><h3>Pessoa Jurídica</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/473/1*3k8lm6Gjfx7mZTlVMEKPpg.png" /></figure><p>Da mesma forma que no CLT, para a análise de pessoa jurídica vamos começar com os proventos, que é o valor da nota fiscal mensal de serviço prestado. Nesse caso eu adicionei em baixo apenas por referência, qual seria o valor em dólar, para que seja possível realizar uma comparação quando receber uma proposta internacional de trabalho remoto. Para fins de exemplo a cotação do dólar foi utilizada em R$5,60 e desconsiderei os custos de nacionalização do dinheiro.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/465/1*iWk4e8mDEWovQvdq30tqqA.png" /></figure><p>Aqui em PJ dá para trazer vários pontos em um único grupo de explicação, pois normalmente os contratos PJ não preveem férias remuneradas nem 13º salário. Porém se no contrato que for oferecido houver essas previsões, é importante que a planilha esteja preparada para receber esses valores.</p><p>Estou considerando aqui que a empresa irá oferecer plano de saúde para o terceirizado, então adicionei o mesmo custo que foi utilizado no modelo CLT para manter a justiça no cálculo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/468/1*3qNMJMMGiswsFJjzL7FPXA.png" /></figure><p>Já sobre os gastos da pessoa jurídica, aqui precisamos de uma atenção diferenciada, que muitas vezes são ignorados quando há uma proposta desta modalidade na mesa.</p><p>Inicialmente o gasto com alimentação, já que não é oferecido Vale Alimentação nem Vale Refeição, porém a pessoa precisa continuar se alimentando, então aqui eu coloco como gasto em alimentação o valor recebido como a soma dos benefícios no CLT.</p><p>Se o contratante não oferecer um plano de saúde, esse valor precisa ser considerado como gasto também, a final de contas nunca sabemos quando teremos uma emergência e depender apenas do SUS pode ser um pouco complicado.</p><blockquote>Para casos de contrato Pessoa Jurídica é necessário uma visibilidade maior de investimentos para o futuro, nesse caso eu coloquei como previdência privada, mas pode ser qualquer tipo de investimento. Para calcular o valor eu somei o valor depositado mensalmente na previdência privada do CLT mais o valor mensal que seria recolhido ao FGTS. Com a vantagem que nesse caso o rendimento seria com certeza superior ao rendimento do FGTS.</blockquote><p>Como empresa será necessário contratar um contador, temos atualmente diversos escritórios de contabilidade online que realizam esse processo, a um custo reduzido, aqui no exemplo utilizei o plano mais caro do maior escritório online, mas pode ser que você encontre opções mais baratas.</p><p>Na pessoa jurídica, o formato de cálculo do imposto pago é diferenciado, principalmente se for pelo Simples Nacional. Aqui é preciso calcular qual o valor a ser pago, para isso eu indico a calculadora que está no site <a href="https://www.canaltributario.com.br/simulador/">https://www.canaltributario.com.br/simulador/</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/539/1*SwfBG5ZAd8QfDtIg8T99-w.png" /></figure><p>Você irá precisar saber em qual anexo a sua atividade se encaixa, porém para desenvolvimento de software normalmente é considerado o Anexo IV, mas seu contador poderá lhe dar essa informação de forma mais precisa.</p><p>Para preenchimento do simulador é preciso preencher o RBT12 e o valor da nota mensal emitida. Na planilha que eu demonstrei eu indiquei qual campo deve ser utilizado para preencher o RBT12.</p><p>O último ponto dos descontos aqui da pessoa jurídica é relacionado ao prolabore do sócio, ou seja, quanto que será depositado para o sócio da empresa pessoa física como remuneração do serviço. Normalmente não existe uma regra desse valor, indicando sempre que cabe o bom-senso de que o prolabore seja equivalente às atividades realizadas pelo sócio na empresa.</p><p>O prolabore tem também um ponto interessante, sobre ele incide desconto de INSS e de Imposto de Renda pessoa física. Considerando que quem está lendo tem uma preocupação com seu futuro, recolher o INSS pelo teto de rendimentos iria garantir uma aposentadoria pelo teto da aposentadoria do INSS. Por essa razão indiquei que o prolabore seria no valor do teto do INSS, havendo assim desconto do INSS e imposto de renda pessoa física sobre esse valor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/468/1*TrZUKyXfIFs9GFzc7DGOgA.png" /></figure><p>Finalizando a análise dos proventos pessoa jurídica, temos um total de recebimentos no valor de R$168.336,00 com um total de descontos de R$51.753,23. O que gera um total mensal de R$9.715,22.</p><h3>Conclusão</h3><p>De forma prática, é possível ter uma noção de que um contrato na modalidade pessoa jurídica deve ser entre 87% e 110% superior a uma proposta CLT para que gere o mesmo ganho final oferecido pelo CLT. A porcentagem pode variar para baixo no caso de empresas que não ofereçam previdência privada nem bônus para modalidades CLT.</p><p><strong>Esse é o ponto de equilíbrio.</strong></p><p>Quando pensamos em contrato PJ precisamos também levar em consideração sempre um adicional de risco, já que um contrato PJ é muito mais fácil de ser rescindido do que um contrato CLT, e a para a empresa contratante é muito mais simples desligar quem está em contrato PJ. Nesse mesmo exemplo para termos um adicional de risco de 25% seria necessário que o contrato fosse de R$16.000,00 mensais, o que iria gerar uma remuneração mensal próximo de R$12.150,00.</p><p>Esse artigo não tem como objetivo falar que contratos PJ são ruins, apenas fazer uma menção de que é necessário olhar vários pontos para ver se realmente aquele valor oferecido realmente é vantajoso sobre o valor CLT.</p><p>Principalmente as pessoas que estão entrando novas no mercado de trabalho, veem o contrato PJ como uma forma de acelerar seus ganhos, e acabam colocando valores muito baixos de prolabore e não se preocupando com gastos de plano de saúde ou investimentos para o futuro, o que no futuro pode cobrar seu preço, seja com um valor de aposentadoria pública inferior, ou por não ter guardo dinheiro suficiente para uma velhice tranquila.</p><p><strong>Minha grande dica final é de que não se iludam simplesmente pelo valor oferecido, levem em conta todos os itens aqui demonstrados mais todos aqueles você achar relevante para tomada de decisão, só o valor do rendimento bruto não diz muita coisa.</strong></p><p>Tenha sempre em mente o valor que você considera justo para uma contratação no modelo Pessoa Jurídica, para quando aparecer alguma proposta, você tenha facilidade de saber se ela está em um valor atrativo ou não, principalmente se você está trabalhando com um contrato CLT.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c5c05673b1fc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como montar um portfólio de Data Science que irá diferenciar você em um processo seletivo]]></title>
            <link>https://medium.com/@andriow/como-montar-um-portf%C3%B3lio-de-data-science-que-ir%C3%A1-diferenciar-voc%C3%AA-em-um-processo-seletivo-e53d70b9c4fc?source=rss-bdd50f603ac8------2</link>
            <guid isPermaLink="false">https://medium.com/p/e53d70b9c4fc</guid>
            <category><![CDATA[dicas]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[portfolio]]></category>
            <category><![CDATA[ciencia-de-dados]]></category>
            <dc:creator><![CDATA[Pedro Andriow]]></dc:creator>
            <pubDate>Fri, 12 Aug 2022 00:47:31 GMT</pubDate>
            <atom:updated>2022-08-12T00:47:31.089Z</atom:updated>
            <content:encoded><![CDATA[<p>Dicas de como criar um portfólio que faça com que você se destaque em processos seletivos para vagas de ciência de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*evQRNC6_7ZqfWuxk" /><figcaption>Photo by <a href="https://unsplash.com/@ffstop">Fotis Fotopoulos</a> on <a href="https://unsplash.com/">Unsplash</a></figcaption></figure><p>Para quem está começando na área de ciência de dados, uma das melhores formas de se diferenciar em um processo seletivo é a apresentação de um portfólio de modelos treinados. Muitas vezes com um portfólio bem-feito, as empresas podem inclusive optar por não aplicar testes por acreditar que o portfólio é capaz de demonstrar que o candidato tem o conhecimento necessário para aquela determinada vaga.</p><p>Nesse artigo o objetivo é abordar os temas de onde armazenar seu portfólio, como organizar seu código, itens que ao estar presente no seu portfólio são diferenciais, e por final como se portar em um primeiro contato já tendo o seu portfólio feito.</p><h3><strong>Onde armazenar o portfólio</strong></h3><p>A melhor forma de estruturar um portfólio é realizar o uso de ferramentas que permitam demonstrar o código desenvolvido aliado com o resultado gerado pela execução de uma determinada porção de código, além de que permita adicionar algum comentário sobre aquele código desenvolvido.</p><p>Para quem já tem um pouco de conhecimento na área, ao ler essa descrição vai atrelar o armazenamento no formato de notebook de ferramentas como o Jypyter, por exemplo. Realmente é uma boa opção,<strong> porém não é a única</strong>, outra opção bastante interessante é a de construir o seu portfólio em plataformas de blog, ou de artigos, como o próprio Medium.</p><p>As plataformas de blog e artigos podem dar um pouco mais de trabalho para desenvolvimento do conteúdo, porém elas tem um alcance maior de pessoas, além de ter todo um viés de comunidade, ao desenvolver o seu portfólio além de demonstrar para os recrutadores o que você sabe, você também expõe o seu trabalho para a comunidade, ajudando a ensinar para outras pessoas aquele conhecimento, além de abrir para críticas de pessoas mais experientes em relação ao código desenvolvido, permitindo assim um ambiente de aprendizado contínuo.</p><p>Caso a plataforma selecionada seja a de notebook, é preciso ter um cuidado bastante especial, para <strong>garantir que o notebook não esteja poluído, ou fora de uma ordem lógica</strong>. Levando em consideração que um notebook deva contar uma história, é importante realizar um exercício de uma vez finalizado o notebook, o revisitar do começo e executar as células novamente na ordem que elas estão para garantir que haverá uma experiência linear no entendimento do código desenvolvido.</p><p><strong>Em notebooks comentários nunca são de mais</strong>, não é considerado exagero ter uma célula de markdown para cada célula de código do notebook, explicando o motivo que levou a desenvolver aquele trecho de código de uma determinada forma.</p><p>Existem vários locais que podem ser utilizados para armazenar o seu portfólio, alguns dos melhores locais são repositórios GIT, aqui entra o GitHub e o GitLab, que podem armazenar seu portfólio, inclusive com uma vantagem de que demonstram que você tem conhecimento com ferramentas de versionamento de código. Ao armazenar em um repositório GIT é importante ter um arquivo de README.md explicando o que cada notebook possui, pois isso facilita para o avaliador a entender qual arquivo ele deverá olhar primeiro, e o que ele deverá esperar em cada um dos arquivos.</p><p>Outra plataforma interessante para manter seu portfólio no formato de notebook é o Kaggle, além de ter várias bases de dados prontas para uso, e um ambiente de execução e processamento do notebook em nuvem, permite armazenar no seu perfil o que você desenvolveu. O único ponto de atenção é que o nome do seu notebook deve ser o mais explicativo possível, e o início dele deve ter uma explicação bastante clara do que ele se propõe a fazer.</p><h3>O que vai fazer o seu portfólio se destacar</h3><p>Antes de falar o que vai trazer de diferencial para o seu notebook, é importante falar o que não vai trazer ganho no formato de portfólio.</p><h4><strong>O que não fazer:</strong></h4><p>Se você escolher uma base de dados simples, como o MNIST ou o IRIS, realizar a modelagem com scikit-learn, usar um gridsearch para busca de hiperparâmetros, avaliar o modelo por um F1-Score, só demonstra que você foi capaz de reproduzir o que está na documentação, isso não irá gerar nenhum destaque para o seu portfólio, se o avaliador quiser essa informação ele vai direto na documentação do scikit-learn.</p><p>Um outro ponto bastante importante aqui é a honestidade, evite pegar notebooks públicos já com resultados bonitos e adicionar ao seu portfólio só para aumentar. O avaliador vai perceber, e não é raro que o avaliador utilize do portfólio na entrevista, perguntando por que você usou tal determinado método em um local, então se você realmente fez aquele código, essa pergunta terá uma resposta simples, caso contrário, vai ficar feio na entrevista, o que a depender do avaliador, pode gerar uma eliminação do processo.</p><p><strong>Busque por bases de dados desafiadoras</strong></p><p>Baseado nisso, a primeira dica é a de tentar fugir do óbvio, gaste um tempo no Kaggle procurando alguma base de dados interessante, ou que ofereça algum desafio maior. Hoje em dia tem muitas bases com características interessantes lá, como por exemplo classes desbalanceadas, dados faltantes, dados poluídos, poucos dados para criação de modelos. Não faltam desafios interessantes na plataforma.</p><p><strong>Realize uma análise exploratória bem detalhada</strong></p><p>Uma vez escolhido um desafio fora dos clássicos, é necessário gastar um tempo realizando uma análise exploratória na base de dados utilizado. Não economize nos gráficos na exploração dos dados. É muito importante também explicar em comentários tudo que você conseguir extrair de informação, ou seja deixe claro por exemplo que a base está desbalanceada, ou verificar se a correlação entre as variáveis e a variável target fazem sentido.</p><p>Por exemplo se uma variável tem vários dados faltantes e uma alta correlação com a variável target, isso indica que será necessário realizar um tratamento com maior atenção nessa variável, ou que será necessário utilizar algum modelo que permita realizar o treinamento com dados faltantes. Deixe em comentários todas as informações relevantes que você extrair da análise exploratória dos dados.</p><p><strong>Demonstre que entendeu o contexto da sua base de dados</strong></p><p>Demonstre entendimento do dado que está sendo trabalhado, no mercado real uma métrica técnica não serve de nada se ela não estiver atrelada ao contexto em que o modelo está inserido.</p><p>No mundo empresarial métricas como F1-Score, precisão, <em>recall</em>, tem menos importância do que se você conseguir mostrar, através de <em>backtesting</em>, quanto de lucro aquele modelo seria capaz de gerar a mais para a empresa, ou quanto a empresa deixaria de desperdiçar de um determinado recurso (seja ele financeiro ou não) ao adotar esse modelo, quanto tempo ele poderia reduzir de uma tarefa repetitiva e manual de uma pessoa, liberando essa pessoa para realizar uma tarefa mais nobre para empresa.</p><p>No fim das contas, no mundo empresarial conta muito mais a métrica do contexto, do que as métricas técnicas do modelo.</p><blockquote><strong>É claro que o bom senso pesa muito aqui, você não vai conseguir extrair uma métrica de negócio, ou métrica empresarial convincente se você não estiver com as métricas técnicas em bons níveis.</strong></blockquote><p>Se coloque no papel de quem irá avaliar o seu notebook, se está realizando uma modelagem visando lucro financeiro no mercado imobiliário, será de grande valia você ter uma célula de conclusões na qual você traga uma informação como:</p><blockquote>“Ao realizar o <em>backtest </em>deste modelo, seria possível aumentar o lucro em 35% para o período de 01/01/2015 a 31/12/2015, caso o modelo, que possui uma precisão de 95%, fosse aplicado em todas as decisões de compra e venda de residências.”</blockquote><p>Isso demonstra muito mais para quem está lendo do que simplesmente falar: O modelo possui uma precisão de 95%.</p><p><strong>Referencie o seu trabalho</strong></p><p>Por fim, sabemos que todo código desenvolvido é realizado com base em referências, <strong>não sinta vergonha</strong> de dizer quais foram suas referências para desenvolvimento desse código, isso inclusive demonstra para o avaliador como é o seu processo de pesquisa, quais conteúdos você considera relevante, e como você utiliza dessas referências para resolver um problema em específico.</p><p>A forma mais simples de realizar a referência é adicionar no trecho de texto em que você explica o código, onde você encontrou aquela solução, e explicar por que ela foi útil para aquele ponto.</p><blockquote><strong>Quem está avaliando não espera que você saiba tudo sobre tudo, mas sim que tenha a capacidade de entender o problema, realizar pesquisas e por fim conseguir adaptar o que encontrou para solucionar aquele problema.</strong></blockquote><h3>Como se portar no contato inicial com o seu portfólio em mãos</h3><p>Em um primeiro momento é importante adicionar o link do seu portfólio público no seu currículo, quando o seu currículo chega para a avaliação técnica ao ter o link já faz com que o avaliador gaste um tempo maior avaliando o seu currículo.</p><p>Um ponto que é <strong>muito importante</strong> levar em consideração é o perfil comportamental atrelado ao envio do portfólio, humildade sempre é algo a ser levado em consideração.</p><blockquote><strong>Se mesmo tendo o seu portfólio em mãos o avaliador técnico da empresa solicitar um teste para você, isso indica que o avaliador entendeu que, na realidade da empresa, existem desafios diferentes daqueles que você demonstrou dominar no seu portfólio, e deseja entender com um pouco mais de profundidade seu conhecimento em relação a realidade da empresa.</strong></blockquote><p>Outro motivador para essa solicitação é o fato de que ao ter dois candidatos com perfis muito próximos, e o avaliador deseja ter um ponto de comparação justo entre os dois candidatos.</p><p>Uma vez tendo um portfólio bem-feito, qualquer teste novo que a empresa solicite não deverá ser um problema. Inclusive algumas entrevistas são realizadas em formato ao vivo, na qual o avaliador solicita que compartilhe a tela e realize algum desafio em tempo real. Nesses casos normalmente não há problemas em realizar algumas consultas, e se você realizar uma consulta ao seu portfólio pode ser melhor visto pelo avaliador do que uma consulta ao StackOverflow.</p><h3>Conclusão</h3><p>Ter um bom portfólio é um ótimo passo, primeiro para aumentar o seu conhecimento como cientista de dados, e depois para demonstrar esse conhecimento ao público.</p><p>Em alguns momentos o portfólio pode inclusive reduzir algumas etapas do processo seletivo, mas isso não será uma verdade sempre, esteja aberto a realizar as provas e os testes mesmo após o avaliador ter acesso ao seu portfólio.</p><p>Conheça a fundo seu portfólio, ele será de grande valia para sua carreira como cientista de dados, será uma base de referência rápida, é muito mais fácil buscar em um código que você já desenvolveu, do que realizar toda uma pesquisa novamente para encontrar como resolver um problema.</p><p>E não tenha medo de problemas complexos, se você está chegando na área de ciência de dados, problemas complexos serão parte do seu dia a dia, então quanto antes se familiarizar com eles, mais fácil ficará sua adaptação ao mercado.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e53d70b9c4fc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Arquitetura de um datalake preparado para ELT]]></title>
            <link>https://medium.com/@andriow/arquitetura-de-um-datalake-preparado-para-elt-5c97169c4737?source=rss-bdd50f603ac8------2</link>
            <guid isPermaLink="false">https://medium.com/p/5c97169c4737</guid>
            <category><![CDATA[arquitetura]]></category>
            <category><![CDATA[etl]]></category>
            <category><![CDATA[data-lake]]></category>
            <dc:creator><![CDATA[Pedro Andriow]]></dc:creator>
            <pubDate>Thu, 02 Dec 2021 21:25:26 GMT</pubDate>
            <atom:updated>2021-12-02T21:25:26.511Z</atom:updated>
            <cc:license>https://creativecommons.org/licenses/by-nc-sa/4.0/</cc:license>
            <content:encoded><![CDATA[<h3>Arquitetura de um Data Lake preparado para ELT</h3><p>Como montar um data lake com foco em ELT e alta disponibilidade de dados.</p><p>Atualmente existe uma grande discussão na internet sobre data lakes, e as vantagens e desvantagens das suas duas mais famosas arquiteturas, a ETL e a ELT. Esse artigo não tem como objetivo entrar na discussão sobre qual modelo de arquitetura é melhor, ambos têm suas vantagens e desvantagens, com isso em mente o ponto principal desse artigo é de apresentar e detalhar como montar uma estrutura de data lake utilizando ELT.</p><p>Outro ponto que vale a pena comentar de antemão é o fato de que o desenho aqui proposto é uma arquitetura independente de provedor de serviços de nuvem, podendo ser adaptado para ser utilizado nos maiores recentes, em alguns comentários posso citar a AWS pois é o serviço que tenho maior contato, porém como o objetivo é utilizar o ambiente de nuvem como provedor de infraestrutura (IAAS), essa arquitetura é facilmente adaptada a qualquer provedor existente atualmente.</p><p>Com isso é importante salientar que essa é uma arquitetura com baixo nível de lock-in, ou seja, caso haja a necessidade de migrar de provedor de nuvem, todas as ferramentas aqui citadas podem ser movimentadas entre os provedores.</p><h3>Visão geral do projeto</h3><p>Com o objetivo de facilitar a vida do leitor, vou deixar o desenho macro da arquitetura agora no início do artigo, e posteriormente vou entrando em detalhe em cada uma das camadas explicando com maiores detalhes. Sabendo que essa é apenas uma sugestão, cada empresa, ou para cada aplicação pode ser necessário realizar adaptações para suprir as necessidades específicas de cada caso.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*icuyNq5lKhhh51bER-ZvdA.png" /><figcaption>Visão geral do Data Lake</figcaption></figure><h3>Fonte dos dados</h3><p>A camada de fonte dos dados se refere a entrada dos dados no data lake, essa camada pode variar bastante na realidade de cada empresa, mas comumente ele pode ser um banco de dados operacional, filas de eventos, mensagens trocadas entre sistemas, o CRM da empresa.</p><p>Nesse tópico vale a pena prestar uma atenção em relação aos conectores das ferramentas para compatibilidade com a camada de aquisição de dados, muitas ferramentas já possuem conectores prontos para integração com o <strong>Kafka</strong>, por exemplo, e isso facilita bastante o processo.</p><h3>Aquisição dos dados</h3><p>A camada de aquisição dos dados está marcada como o Kafka, devido a resiliência da ferramenta, e ao fato de que além de ter uma ferramenta fazendo um pipeline de dados, você também consegue trazer um broker de mensageria para as aplicações da empresa, basta que uma aplicação escreva sua mensagem no tópico do Kafka, e todas as outras aplicações que se interessarem por aquele tópico terão acesso a ela, inclusive o próprio data lake, pois <strong>o Kafka passa a atuar como um barramento de dados</strong>.</p><p>Em questão de resiliência o Kafka se bem configurado tem uma tolerância a falhas imensa, e isso se faz muito necessário na arquitetura proposta, pois a camada de aquisição dos dados é a única camada que tem a possibilidade de gerar um gargalo no data lake, como tudo é concentrado nela antes de ser armazenado, se ela sofre uma indisponibilidade, toda a alimentação do data lake fica comprometida.</p><p>Outras ferramentas de mercado também tem a possibilidade de realizar essa transferência de dados entre a fonte do dado e o data lake, como o próprio Apache Airflow, de uma forma menos trabalhosa do que configurando um Kafka, porém ele não oferece a possibilidade de se tornar o barramento de dados principal da empresa, e a sua garantia de estabilidade também não garante tanto quanto do Kafka. Mas ao se pensar em estruturas mais enxutas e que trafeguem uma quantidade menor de informações, pode ser uma boa opção sim.</p><p>Na camada de aquisição vale a pena mencionar que o Kafka pode ser utilizado de diversas formas diferentes, seja criando um cluster gerenciado dentro da empresa, no qual se tem maior controle com distribuições como o <strong>Apache Kafka</strong> (<a href="https://kafka.apache.org/">https://kafka.apache.org</a>) ou o<strong> Confluent Kafka Community</strong> (<a href="https://docs.confluent.io/5.5.3/quickstart/cos-quickstart.html">https://docs.confluent.io/5.5.3/quickstart/cos-quickstart.html</a>), mas existem já algumas opções de Kafka gerenciados, os principais provedores de nuvem já possuem a sua versão, e a Confluent também possui uma ferramenta gerenciada, que se bem dimensionado, pode valer a pena a sua utilização.</p><h3>Armazenamento dos dados</h3><p>A camada de armazenamento aqui se divide em 4 sub níveis diferentes, a camada RAW que é onde estarão os dados no formato de saída do Kafka, por exemplo se a fonte do dado for um banco operacional com change data capture ligado ao Kafka, o dado armazenado aqui na camada RAW será o dado do CDC do banco, que possui um formato específico, que é diferente do dado tabular armazenado no banco de dados. Então todo dado que chega no data lake deve ir para a camada de RAW. Essa camada é uma camada que pode ser efêmera, pode se adicionar a ela um tempo de vida desse dado mais curto, visto que ela deve ser apenas uma camada de transição do dado.</p><p>O data lake em si se divide em outras três camadas, que por aderência a definições de mercado, chamadas de Bronze, Prata e Ouro, em que cada uma das camadas possui uma característica específica.</p><ul><li><strong>Camada Bronze</strong>: É uma camada na qual deve replicar de forma fiel o dado do mesmo jeito em que ele está na fonte de dados, então o processo padrão é que da camada RAW o dado vá para a camada Bronze.</li><li><strong>Camada Prata</strong>: A camada que irá conter os dados confiáveis, então todo o processo de qualidade de dados, que garanta que nenhum dado esteja errado, ou fora de um padrão definido, irá gerar o dado confiável para ser armazenado na cama prata. Nesse ponto também vale salientar que essa camada é a primeira camada em que o dado pode ser consumido de forma confiável, pois houve validação de que o dado está correto.</li><li><strong>Camada Ouro</strong>: Nessa parte os dados estão já transformados, e disponíveis a consumo de forma mais simplificada, então se um relatório, por exemplo, precisa ser executado diariamente, essa camada pode já realizar o processamento dos dados do relatório e disponibilizar essa informação em um data mart, removendo o processamento da ferramenta de dashboard e absorvendo em um local que tenha uma maior capacidade de processar dados.</li></ul><p>É importante salientar que atualmente existem diversas ferramentas para facilitar o armazenamento dos dados nas camadas principais do data lake, são ferramentas que propõe uma funcionalidade que foi batizada de <strong>Delta Lake</strong>, pois permite a realização de operações semelhantes a upsert no dado armazenado no data lake, criando assim uma camada mais gerenciável de maior alto nível do dado armazenado.</p><p>Nesse ponto a indicação aqui é da adoção do Apache Iceberg (<a href="https://iceberg.apache.org/">https://iceberg.apache.org/</a>) como ferramenta de delta lake, pois além de ser uma ferramenta gratuita, nos testes realizados demonstrou um desempenho muito semelhante ao das maiores ferramentas pagas, sendo relativamente fácil de se trabalhar com ele. Pesa a favor dele também a sua compatibilidade com as principais ferramentas de mercado atuais, como o Spark, o Hive e o Trino.</p><h3>Qualidade dos dados</h3><p>O primeiro passo para mover o dado da camada Bronze para a Prata, é a garantia de que o dado esteja correto, dentro de padrões determinados. Existem diversas ferramentas hoje disponíveis para realizar esse tipo de validação, algumas no formato de biblioteca, como a <strong>Great Expectations</strong> (<a href="https://greatexpectations.io/">https://greatexpectations.io/</a>) que pode ser utilizada direto dentro de um cluster que só estará disponível enquanto executa essa validação, reduzindo assim custos operacionais.</p><p>Uma outra ferramenta um pouco mais robusta para definição da qualidade de dados é o <strong>Apache Griffin (</strong><a href="https://griffin.apache.org/">https://griffin.apache.org)</a>, que é uma ferramenta um pouco mais robusta, na qual as regras de qualidade de dados ficam em arquivos externos de configuração, facilitando sua manutenção e também possibilita a criação de ferramentas visuais que gerem esses arquivos de configuração, para serem utilizadas por pessoas que tem o conhecimento do domínio do dado, porém não possuem o conhecimento técnico necessário para realizar a codificação. Para esse tipo de ferramenta ainda não encontrei nenhuma opção de código aberto, mas encontrando eu atualizo essa postagem aqui.</p><p>Uma vez que a massa de dados que esteja na camada bronze esteja passando pela validação de qualidade, esse dado pode ser movido para a camada prata, possibilitando seu consumo da forma mais confiável possível.</p><h3>Processamento dos dados</h3><p>A camada de processamento de dados é o coração do data lake, pois ele é quem realiza a transformação do dado, trafegando-o da camada prata para a camada ouro do data lake. Com isso em mente, essa é uma camada que deve ser desenvolvida pensando na necessidade específica de cada processamento de dados executado dentro do data lake.</p><p><strong>O ideal é que essa camada possua a capacidade de oferecer clusters de processamento de tamanho diferente para cada tarefa executada</strong>, dimensionado de acordo com a necessidade da tarefa. Exemplificando, se um processamento precisa olhar para 5 milhões de registro, ele deve ser executado em um cluster mais potente do que outro processamento que irá olhar apenas para 10 mil registros.</p><p>Da mesma forma a ferramenta de processamento utilizada pode variar de acordo com a necessidade, se o objetivo é apenas realizar a união de tabelas, com filtros, ferramentas como <strong>Apache Hive</strong> (<a href="https://hive.apache.org/">https://hive.apache.org/</a>) e o <strong>Apache Trino</strong> (<a href="https://trino.io/">https://trino.io/</a>) podem dar conta do recado, utilizando uma sintaxe próxima a do SQL para tal. Agora se o processamento envolve operações mais complexas, o <strong>Apache Spark</strong> (<a href="https://spark.apache.org/">https://spark.apache.org/</a>) passa a ser uma opção a ser considerada.</p><p>Uma opinião que tenho é de que os processamentos sejam executados em clusters efêmeros, que são finalizados tão logo quanto se termine o processamento. Utilizando essa abordagem ajuda a garantir que não seja desperdiçado recursos com clusters em nuvem que estejam ociosos.</p><p>Atualmente os principais fornecedores de nuvem possuem ferramentas que possibilitam esse tipo de uso, inclusive com a possibilidade de utilizar o cluster com máquinas do tipo <em>SPOT,</em> que são mais baratas devido a não garantia da sua disponibilidade. Porém se o processamento é rápido, o risco da máquina ficar indisponível é bastante aceitável, visto a probabilidade de ocorrer o evento de indisponibilidade no meio do processamento passa a ser mais raro.</p><p>Nesse ponto o <strong>Apache Airflow (</strong><a href="https://airflow.apache.org/">https://airflow.apache.org</a><strong>) </strong>pode ser utilizado como <strong>orquestrador</strong> do data lake, ele já oferece a possibilidade de atuar como quem lança esse cluster e adiciona a ele a tarefa a ser realizada, garantindo que o cluster seja finalizado ao término do seu processamento. As dags do Airflow podem ser utilizadas para garantir que processamentos dependentes mantenham sua ordem de execução, e processos que não tenham nenhum tipo de dependência possam ser executado em paralelo, para ganho de tempo, por exemplo.</p><h3>Governança dos dados</h3><p>A parte da governança dos dados fica sob responsabilidade do armazenamento dos meta-dados dos dados armazenados no data lake, nesse sentido a ferramenta opensource mais comum para essa função é o Hive Metastore, ela é de simples utilização, e consegue cumprir com o prometido de forma fácil. Atualmente existem algumas outras soluções nesse sentido de código fechado, porém é necessário avaliar se o seu custo vale a pena em frente ao que o Hive entrega.</p><p>Outro ponto quando se fala em governança de dados é a utilização de ferramentas de catálogo de dados, que tem sua importância no fato de que se bem-organizado e atualizado, irá facilitar muito a vida de quem vai consumir essa informação, ao saber exatamente onde o dado é gerado, qual a sua finalidade e toda a transformação que esse dado recebeu até o momento de sua consulta. Uma ferramenta que me chamou bastante minha atenção recentemente nesse sentido foi o <strong>DataHub </strong>(<a href="https://datahubproject.io/">https://datahubproject.io</a>).</p><h3>Acesso aos dados</h3><p>A camada de acesso aos dados pode ser definida como a camada que irá realizar a disponibilização desse dado ao consumidor final, seja ele a ferramenta de dashboard da companhia, modelagem de machine learning ou qualquer outra aplicação analítica que precise daquela informação.</p><p>Essa camada pode variar bastante, mas a ferramenta que pode fazer muito bem essa primeira interface é o próprio <strong>Apache Trino</strong>, comentado anteriormente, que oferece uma conexão JDBC, o que traz compatibilidade com praticamente todas as ferramentas de consumo existentes hoje em dia. A desvantagem dessa abordagem é que será necessário manter essa aplicação funcionando em um cluster, que pode em determinados momentos acabar ocioso.</p><p>Uma alternativa a essa ferramenta é a utilização de ferramentas próprias dos fornecedores de nuvem para tal, como o <strong>Athena </strong>(OLTP) e o <strong>Redshift Spectrum</strong> (OLAP) da <em>Amazon Web Services</em>, ou o próprio <strong>BigQuery </strong>da <em>Google Cloud Plataform</em>, que são formas de acessar os dados armazenados no data lake utilizando um servidor gerenciado no qual o custo fica apenas relacionado a quantidade de dados que foram lidos do data lake.</p><p>A abordagem dessas ferramentas pode ser bastante atrativa, se todo o trabalho de processamento foi realizado previamente e na camada Ouro do data lake foi armazenado o dado já no formato que será utilizado pelo consumidor.</p><p>Como o custo é realizado no volume do dado lido, ao utilizar esse tipo de abordagem, é interessante prestar a atenção para que o dado seja armazenado em algum formato com compactação na camada ouro, como por exemplo o <strong>Apache Parquet</strong> (<a href="https://parquet.apache.org/">https://parquet.apache.org/</a>).</p><h3>Consumo dos dados</h3><p>Da mesma forma que a camada de fonte de dados fica bastante abstrata nesse material, a camada de consumo também, nesse ponto todo mundo que tenha o interesse a consumir dados do data lake entra, como por exemplo as ferramentas de dashboard, modelos de machine learning, aplicações que utilizem dados analíticos, entre outras.</p><p>O único ponto de atenção maior nesse caso é da integração da ferramenta de consumo com a parte de acesso aos dados, mas as principais opções do mercado possuem ao menos conexão JDBC ou ODBC, o que as tornam compatíveis com a grande maioria das ferramentas de acesso ao dado.</p><p>Algo a se observar também é que nessa camada de consumo de dados, pode-se construir APIs para disponibilização dos dados, então, por exemplo, em modelos de negócio que visam sua monetização na venda dos seus dados, essa API pode se comunicar diretamente com a camada de acesso aos dados da camada ouro do data lake.</p><h3>Conclusão</h3><p>Um data lake pode ser construído de diversas maneiras diferentes, utilizando de vários desenhos de arquiteturas diferentes também, o objetivo aqui é de propor uma baseada no conceito de ELT, no qual todo o dado é primeiro trafegado para dentro do data lake e após isso ele passa a ser garantido e transformado.</p><p>Essa abordagem nos traz algumas vantagens, pois como o processamento fica em um segundo momento já utilizando a estrutura de clusters do provedor de nuvem, toda a parte de validação do dado e de transformação do dado pode ser realizada de forma paralela, e o dado passa a ficar disponível nas camadas do data lake de uma forma bastante ágil.</p><p>Com isso o data lake pode ter sua taxa de atualização aumentada, podendo realizar o processo todo várias vezes ao dia, garantindo assim que o dado esteja disponível para seus consumidores com maior velocidade.</p><p>O proposto principal é de ter desenhado uma arquitetura perene do data lake, com as suas camadas e como elas devem interagir entre si, como a tecnologia avança atualmente em velocidades bastante altas, a todo momento surgem ferramentas novas que possam deixar as que aqui foram indicadas obsoletas, mas as camadas em si e os seus objetivos são coisas mais permanentes.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5c97169c4737" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Automação da Análise Exploratória dos Dados]]></title>
            <link>https://medium.com/@andriow/automa%C3%A7%C3%A3o-da-an%C3%A1lise-explorat%C3%B3ria-dos-dados-1d077af4046c?source=rss-bdd50f603ac8------2</link>
            <guid isPermaLink="false">https://medium.com/p/1d077af4046c</guid>
            <category><![CDATA[data-exploration]]></category>
            <category><![CDATA[eda]]></category>
            <category><![CDATA[pandas-profiling]]></category>
            <category><![CDATA[dataprep]]></category>
            <category><![CDATA[análise-exploratória]]></category>
            <dc:creator><![CDATA[Pedro Andriow]]></dc:creator>
            <pubDate>Fri, 22 Oct 2021 21:32:19 GMT</pubDate>
            <atom:updated>2021-10-23T13:27:34.387Z</atom:updated>
            <content:encoded><![CDATA[<p>Como entender rápidamente o comportamento das variáveis em um dataset desconhecido.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*sdxXlkKZ99_KLZ5s" /><figcaption>Photo by <a href="https://unsplash.com/@goumbik">Lukas Blazek</a> on <a href="https://unsplash.com/">Unsplash</a></figcaption></figure><p>Uma tarefa muito comum no dia a dia de uma pessoa com o papel de cientista de dados é se deparar com um dataset desconhecido e então ter a necessidade de realizar uma análise exploratória dos dados para conseguir ter um primeiro entendimento sobre os dados.</p><p>Partindo de um princípio que a primeira exploração tende a seguir sempre um protocolo padrão, acaba sendo uma tarefa bastante repetitiva, gerando inclsusive muita replicação de código em diversos notebooks diferentes. Com base nesse contexto, começaram a surgir algumas bibliotecas com o objetivo de facilitar esse primeiro contato com o dado, reduzindo a quantidade de código repetido, e o tempo de desenvolvimento gasto para fazer o primeiro entendimento, além de garantir que o/a cientista não se esqueça de uma determinada visualização ao realizar várias explorações iniciais.</p><p>Nesse artigo vou trazer duas bibliotecas com o objetivo de realizar essa primeira análise de dados, o <a href="https://github.com/sfu-db/dataprep">Dataprep</a> e o <a href="https://github.com/pandas-profiling/pandas-profiling">Pandas Profiling</a>, que são duas bibliotecas bastante completas para realizar o primeiro contato e o primeiro entendimento de um dataset novo.</p><h3>Dataprep</h3><p>O Dataprep é uma biblioteca de EDA (<em>Exploratory Data Analysis</em>) compatível tanto com o Pandas quanto com o Dask. Além da parte EDA o Dataprep também tem funções de limpeza de dados, mas isso é assunto para um próximo momento.</p><p>Para exemplificar aqui a utilização da ferramenta vamos utilizar o dataframe do Titanic, diretamente no ambiente de desenvolvimento do kaggle, então para carregar os dados:</p><pre>df = pd.read_csv(&#39;/kaggle/input/titanic/train.csv&#39;)</pre><p>O primeiro passo é instalar o dataprep.</p><pre>!pip install dataprep</pre><p>O segundo passo é carregar as funções do dataprep, no modulo de EDA que serão úteis na primeira avaliação.</p><pre>from dataprep.eda import plot, plot_correlation, create_report, plot_missing</pre><p>A primeira função que vamos utilizar é a plot, ela serve para ter uma visão de como as variáveis do dataset estão distribuídas:</p><pre>plot(df)</pre><p>O primeiro retorno da função plot, é uma descrição geral do dataset, em que ela traz o número de variáveis existente no datast, número de linhas, quantas células estão faltando, se temos dados duplicados no dataset, e uma primeira visão de quais variáveis possuem dados faltantes, quais tem um valor que pode ser considerado enviesado (<em>skewed</em>), e quais variáveis podem ou não ser categóricas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/1*e8ND372CB3iduADibI5xvQ.png" /></figure><p>Com isso dá para começar a fazer uma primeira análise do dataset, por exemplo podemos verificar que no dataset estão faltando muitos dados relacionados à cabine do passageiro, já indicando que essa é uma informação que irá precisar de uma atenção maior no futuro. Logo após essa informação a biblioteca plota os valores de todas as variáveis existentes no dataset:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/992/1*8fVvcEKmP6h7inYpdoFvPA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1004/1*mrvo5d3hVzJQTK8Ja9uhrg.png" /></figure><p>Assim, possibilita-se um primeiro entendimento do dataset como um todo e como está a distribuição de cada uma das variáveis.</p><p>A função plot também pode ser utilizada para verificar as variáveis de forma independente, retornando várias informações interessantes sobre a variável, na aba <em>Stats</em> ele traz um overview sobre a variável, a distribuição dela e uma análise estatística descritiva, nas outras abas a biblioteca traz os gráficos mais comuns que facilitam o entendimento do dataset.</p><pre>plot(df, &quot;Age&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/613/1*frCeqzNQxj9B2OMRBd13Jw.png" /></figure><p>Também é possível aplicar a função plot para um par de variáveis no dataset, sendo que nesse caso a própria biblioteca plota os gráficos mais comuns. Como exemplo é possível ver a distribuição de idade dos passageiros em cada um dos portos de embarque.</p><pre>plot(df, &quot;Age&quot;, &quot;Embarked&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/687/1*GUH4nbahuXZWY9iXK8CScQ.png" /></figure><p>A segunda função interessante é a plot_correlation, que calcula a correlação entre as variáveis existentes utilizando as três formas mais comuns de verificar as correlações, que são Pearson, Spearman e KendallTau:</p><pre>plot_correlation(df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*vmLYzBOGlVrbdaHMQTHbSA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/629/1*8FQiCC8GjlKuNRLkoQDwBA.png" /></figure><p>Após realizada a análise de correlação, é possível fazer uma análise de dados faltantes no dataset, no qual é possível ter uma visão de quais as variáveis que necessitam uma maior atenção em relação a tratamento de dados faltantes, trazendo a informação de uma forma descritiva ou em forma de gráficos.</p><pre>plot_missing(df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/583/1*ufBv8PoRiUJA_cMcewm5RA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/603/1*9iwWthIxH-e1CcmEfS9QQw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/1*cBdpJ1t4xDDbh7JMMALCUA.png" /></figure><p>A última das funções do Dataprep que será abordada aqui no artigo é uma função que permite gerar com um único comando um relatório completo, com todas as análises realizadas anteriormente. Essa função gerará na célula do notebook uma interface na qual é possível navegar por menu em todas as opções geradas anteriormente com a biblioteca. Nesta função não há a necessidade de executar as outras anteriormentes, ela pode ser executada apenas ela, e obter de forma simples e rápida todas as análises vistas anteriormente, em uma única célula do notebook.</p><pre>create_report(df)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4Eb7pLgypO2LpwX-b7FY2w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*htsq-lbxF6qDxoONqB261A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UoC68V8ebByecGoeU2W-9A.png" /></figure><p><strong>Pandas Profiling</strong></p><p>Diferente do visto pelo Dataprep, o Pandas Profiling garante no seu github apenas compatibilidade com dataframes do pandas, mas a sua execução é tão simples quanto a execução do report do Dataprep, sendo que o resultado também é muito próximo, trazendo de uma vez só toda a visão dos dados.</p><p>No caso de teste rodado no ambiente do kaggle, não foi necessário instalar a biblioteca, mas caso seja necessário a instalação pode ser realizada via pip install facilmente.</p><pre>!pip install pandas-profiling[notebook]</pre><p>A execução depende apenas de um comando, que é instanciar o ProfileReport passando como parâmetro o dataset a ser analisado.</p><pre>from pandas_profiling import ProfileReport</pre><pre>report = ProfileReport(df)</pre><pre>report</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8GdlD9PBSRnuUJ7hT0aJyA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zkpSQ5aZorujCopwEcPGlQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HnHcYFptGeZrdEi8gMhEOQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bk9Wr63JPE63QnOxjWQ4Xg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8fdbTOpRCgE5BVK4kLlAsw.png" /></figure><p>Além de permitir uma visualização simples e rápida do comportamento do dataset, o Pandas Profiling permite salvar todo o resultado em um arquivo .html, que pode ser publicado em qualquer local, para que qualquer pessoa, mesmo sem conhecimento nenhum em programação, possa ter um entendimento do dataset. Para isso é apenas necessário executar um comando indicando qual arquivo irá armazenar a saída da análise.</p><pre>report.to_file(&quot;your_report.html&quot;)</pre><p>Utilizar bibliotecas de automação da análise exploratória dos dados traz diversas vantagens para quem deseja entender um determinado dataset, podendo listar: a certeza que nenhuma variável do dataset será esquecida, além de já trazer de forma automatizada os melhores gráficos possíveis para uma determinada variável ou um determinado par de variáveis, permitindo que a pessoa que está realizando a análise não precise gastar seu tempo programando a visualização dos dados, e com isso podendo focar seu tempo muito mais no entendimento do dado e das informações que estão armazenadas nos dados.</p><p>É importante salientar também que uma automação de análise exploratória de dados não pode ser considerada como a única forma de realizar uma exploração de um dataset, ela é ótima para uma primeiro contato com um dado desconhecido, cabendo a pessoa que está fazendo a análise ter o entendimento de quais são os próximos passos necessários para o entendimento de forma mais completa do dado.</p><p>Ambas as ferramentas aqui apresentadas tem suas particularidades, e são complementares, permitindo que o primeiro contato com o dado seja muito mais simples e rápido.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1d077af4046c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como criar um robô de investimentos em criptomoedas na Quant Connect]]></title>
            <link>https://medium.com/@andriow/como-criar-um-rob%C3%B4-de-investimentos-em-criptomoedas-na-quant-connect-c2e92b01b02f?source=rss-bdd50f603ac8------2</link>
            <guid isPermaLink="false">https://medium.com/p/c2e92b01b02f</guid>
            <category><![CDATA[investing]]></category>
            <category><![CDATA[investing-robot]]></category>
            <category><![CDATA[bitcoin]]></category>
            <category><![CDATA[robo]]></category>
            <category><![CDATA[investimento]]></category>
            <dc:creator><![CDATA[Pedro Andriow]]></dc:creator>
            <pubDate>Fri, 03 Sep 2021 21:26:00 GMT</pubDate>
            <atom:updated>2021-09-03T21:26:00.907Z</atom:updated>
            <content:encoded><![CDATA[<p>Como construir um robô capaz de conseguir um retorno de 342.76 % no período de 2 anos operando BitCoins.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/401/1*NBS963gjYFNXlvUt7_ItNg.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@santesson89">Andrea De Santis</a> on <a href="https://unsplash.com/">Unsplash</a></figcaption></figure><p>Atualmente o mercado de criptomoedas é um dos mercados mais voláteis que existe, e um dos principais ativos é o BitCoin. Essa volatilidade dos mercados de criptomoedas é um prato cheio para aqueles que desejam operar utilizando robôs de investimentos, pois diferente de um ser humano, o robô pode ficar ligado 24 horas por dia monitorando um determinado ativo para detectar os melhores momentos de compra e de venda. Assim o ser humano se concentra muito mais na definição da estratégia de investimento do que na operação em si.</p><h3>Definição da plataforma que irá operar o robô</h3><p>Atualmente existem diversas plataformas para robôs de investimentos, no presente artigo o foco será na <a href="https://www.quantconnect.com/">Quant Connect</a>, devido a algumas características da plataforma que são interessantes, e facilitam bastante na hora de começar a realizar as operações.</p><p>A primeira coisa que chama atenção é a quantidade de opções de ativos que a plataforma é capaz de trabalhar, entre ações, opções, indices futuros, ETFs americanos, diversos pares de moedas (forex) e uma gama imensa de criptoativos.</p><p>Um ponto bastante positivo da plataforma é a integração com as corretoras para operacionar o robô em ambiente real, então uma vez configurado um robô que tenha performado bem em backtesting, é bastante simples e seguro transportar esse robô para um ambiente produtivo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/630/1*iEVpF0D6HNR6jYm8ct4awQ.png" /></figure><p>O principal ponto é que a plataforma permite que comece a desenvolver seus robôs já no nível gratuíto, com toda uma estrutura de backtest (avaliação de como o seu robô teria perfomado em um espaço de tempo no passado) disponível no clique de um botão, literalmente. Além da facilidade de criar a conta, havendo integração de login com a sua conta do Google, por exemplo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/857/1*QFxkyWXlqHZm66KHjndCZQ.png" /></figure><h3>Utilização da plataforma</h3><p>Uma vez feito o login, por exemplo com a sua conta do Google, você já tem na mão tudo que precisa para começar a desenvolver seu novo robô de investimentos. Para isso basta clicar no link “+ Create New Algorithm”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/478/1*zz-UigxVS_ZO985ALjL0rw.png" /></figure><p>Com isso a plataforma já entrega tudo que você precisa para começar o seu robô de investimentos, em uma interface bastante intuitíva, inclusive já com uma estrutura de código inicial com as principais funções prontas para implementar seu novo robô.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3Yz8HvKGPunGbsPQjgC6cQ.png" /></figure><p>O menu de controle também é bastente intuitívo, tendo apenas 5 botões:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/536/1*DH_5ZdSSbjngF_Yh2qPl3w.png" /></figure><ul><li>Build: Aqui a plataforma irá realizar a compilação do seu projeto, se você cometer algum erro de sintaxe, por exemplo, ao clicar nesse botão irá aparecer o erro.</li><li>Backtest: Esse é o botão que irá iniciar o teste do seu robô de investimentos, ele irá utilizar dos dados históricos da Quant Connect e verificar como que o seu robô iria se comportar em um período específico de tempo, que é configurado no código.</li><li>Optimize: Nesse botão a plataforma faz sugestões de otimização para os hiper parâmetros do seu robo, infelizmente não está disponível na versão gratuíta.</li><li>Go Live: Uma vez que o robô esteja com uma performance aceitável, aqui é onde iremos realizar a configuração da exchange de bitcoin para colocar o seu robô para realmente emitir as ordens de compra e venda na sua carteira.</li><li>Results: Armazena o histórico de todos os seus backtests para que seja possível comparar o resultado obtido com cada alteração do código do seu robô.</li></ul><h3>Codificação do seu robô</h3><p>Uma vez entendido como funciona a plataforma, vamos ao código necessário para termos nosso robô de negociação de bitcoin funcionando. Eu vou inicialmente colocar trechos de código aqui para explicar passo a passo, porém no final do artigo vou deixar um GIST com todo o código desenvolvido aqui.</p><p>Todos os robôs que são utilizados na plataforma devem herdar a classe QCAlgorithm, ao fazer isso facilita bastante, pois nessa classe existem várias funções úteis para a utilização do robô, no python a herança é realizada da seguinte forma:</p><pre>class BasicMACDBitcoinBot(QCAlgorithm):</pre><p>A primeira função que a classe deve ter é a função que irá inicializar o seu robô:</p><pre>def Initialize(self):</pre><p>Dentro dela, iremos realizar as configurações iniciais do robô, iniciando pelas indicações de qual período o robô deverá operar, esse é um ponto bem importante, pois o backtest irá respeitar essas configurações. Para data de início e data de fim devemos seguir o padrão de YYYY,MM,DD. Essa configuração também é respeitada em produção, caso queira, por exemplo, que seu robô opere apenas por 1 mês, é nesse parâmetro que deverá indicar. Caso queira que seu robô seja executado sem um prazo de fim, basta não adicionar a data de fim.</p><pre>self.SetStartDate(2019,1,1)<br>self.SetEndDate(2021,1,1)</pre><p>É necessário definir quanto de dinheiro o robô terá para realizar as negociações. Esse é o dinheiro inicial que estará disponível para o robô, então se você tiver na sua conta um valor superior a esse, o robô estará limitado a iniciar a sua operação com esse valor. Aqui também é uma forma de limitar as perdas do robô, caso o seu robô não performe bem, esse é o valor máximo da sua carteira que você irá perder. Aqui o valor está setado em unidades de dólar americano, ou seja $100,00.</p><pre>self.SetCash(100)</pre><p>Um parâmetro bem interessante é um parâmetro de warm up do seu robô, ese é um parâmetro que o robô irá utilizar para começar a preencher os seus indicadores de estratégia. Nesse exemplo a estratégia utilizada será pelo indicador <a href="https://www.investimentonabolsa.com/2014/11/macd-moving-average-convergence.html">MACD</a>, que como é um indicador baseado em médias móveis, necessita que o robô fique um período apenas observando as cotações até ter um número de registros suficiente para começar a calcular as médias móveis. Como parte da configuração do robô será definir os períodos das médias, optei por colocar um longo período de warm up, no caso de 150 dias.</p><pre>self.SetWarmUp(150)</pre><p>Para esse exemplo, foi definido que o robô deve realizar apenas uma operação por dia, para isso então é necessário inicializar uma variável para armazenar a data da movimentação, e inicializamos ela com a data mínima do python, para que já no primeiro dia o robô entre em operação.</p><pre>self._previous = datetime.min</pre><p>O próximo passo é configurar qual ativo será utilizado, ao indicar o “BTCUSD” o robô irá operar com BitCoin, utilizando a resolução da cotação diária, e indicando qual mercado irá fornecer as cotações, no caso GDAX. Aqui tem um detalhe, caso você deseje operar outro tipo de ativo, por exemplo um ETF norte americano, ao invés de utilizar o AddCrypto deverá utilizar AddEquity, <strong>com o detalhe que nesse caso não será necessário adicionar o .Symbol no final da linha, o .Symbol é necessário apenas no AddCrypto</strong>.</p><p>Caso você queira utilizar mais de um ativo, você pode definir um peso para cada um deles, através da propriedade weight. Como esse exemplo é mono ativo, dá para deixar o peso zerado mesmo. Também é possível definir desde o início um valor de STOP para o ativo, também irá ficar zerado, já que pela estratégia iremos realizar as vendas apenas manualmente. E por último temos o lastSignal, que é uma variável que foi criada para armazenar qual a última ação realizada, se foi uma compra ou se foi a liquidação da carteira, inicializo ela com “NA” para indicar que não há nenhuma operação realizada.</p><pre>self.symbol = self.AddCrypto(&quot;BTCUSD&quot;, Resolution.Daily, Market.GDAX).Symbol        <br>self.symbol.weight = 0        <br>self.symbol.stopprice = None        <br>self.symbol.lastSignal = &quot;NA&quot;</pre><p>O próximo passo é configurar o indicador que será utilizado na estratégia, no caso um MACD com a média curta em 5 dias, a média longa em 15 dias, e um sinal de 9 dias. Indicamos também dizendo que deverá utilizar uma média simples, e que deverá utilizar a resolução da cotação diária. <strong>Esse item é muito importante que esteja na mesma configuração da resolução do ativo, que foi definida anteriormente. </strong>Também podemos adicionar gráficos para acompanhar de forma individual cada uma das médias do indicador.</p><pre>self.symbol.macd = self.MACD(self.symbol, 5, 15, 9, MovingAverageType.Simple, Resolution.Daily)        self.PlotIndicator(&quot;MACD&quot;, True, self.symbol.macd, self.symbol.macd.Signal)        <br>self.PlotIndicator(&quot;BTCUSD&quot;, self.symbol.macd.Fast, self.symbol.macd.Slow)</pre><p>A segunda função principal do sistema é a onData, ela recebe por parâmetro os dados de cotações atuais dos ativos adicionados na função de inicialização. Essa é a principal função do nosso robô, a cada nova informação de cotação existente para um determinado ativo é essa função que a plataforma irá acionar.</p><pre>def OnData(self, data):</pre><p>Como a cada novo dado essa função é chamada, o primeiro ponto é garantir que o indicador utilizado na estratégia está pronto, para realizar essa verificação é só validar a propriedade <em>IsReady </em>dela, caso seja falso, já damos um return para garantir que não vamos operar sem ter todos os dados necessários para a nossa análise.</p><pre>if not self.symbol.macd.IsReady: return</pre><p>Como na hora de configurar o robô, foi definido que a resolução da operação será diária, é bom fazer um double check para evitar que o robô opere mais do que uma vez por dia, para isso nós vamos utilizar a variável <em>_previous</em>, que definimos na função de inicialização do projeto. No caso se o <em>_previous</em> for idêntico a data de hoje, significa que hoje o robô já efetuou a sua operação.</p><pre>if self._previous.date() == self.Time.date(): return</pre><p>O próximo passo é de recuperar os valores calculados pelo indicador. No caso aqui iremos acessar o indicador do simbolo que estamos acompanhando, logo depois definimos um valor de tolerância. Após esse passo é necessário recuperar os dados do indicador, qual o <em>signal </em>dele, ou seja qual a direção do indicador no período definido no construtor. Os próximos que iremos recuperar são as duas médias móveis que utilizamos no indicador a <em>FAST</em> que é a média móvel de curto prazo e a <em>SLOW</em> que é a média móvel de longo prazo. O último item que recuperamos é o resumo total do indicador, no caso o <em>CURRENT</em>.</p><p>O valor de tolerância não está sendo utilizado aqui. Porém, por ele é possível fazer um controle maior de quando a operação deverá acontecer ou não, ao final do artigo veremos maiores detalhes sobre esse ponto.</p><pre>macd = self.symbol.macd        <br>tolerance = 0.0025;        <br>signal = macd.Signal.Current.Value        <br>fast = macd.Fast.Current.Value        <br>slow = macd.Slow.Current.Value        <br>current = macd.Current.Value</pre><p>Uma vez recuperados os valores dos indicadores é possível iniciar a aplicação da estratégia definida em si. A estratégia desenvolvida no presente exemplo é a de que quando a média <em>FAST</em> for superior a média <em>SLOW, </em>indica um início de tendência de alta, a estratégia utilizada é ao perceber essa alteração de tendência realizar uma compra da totalidade do dinheiro disponível em BitCoins.</p><pre>#Se a média móvel fast estiver maior do que a slow, significa uma tendencia de alta.<br>if fast &gt; slow:  # 0.01%<br>    self.symbol.lastSignal = &#39;LONG&#39;<br>    # Recuperando quanto de dinheiro tem na carteira<br>    usdTotal = self.Portfolio.CashBook[&quot;USD&quot;].Amount <br>    # Se não tivermos dinheiro na carteira, não realiza a compra.<br>    if usdTotal == 0: return<br>    # Recuperando o valor da última cotação<br>    limitPrice = self.Securities[&quot;BTCUSD&quot;].Price<br>    quantity = usdTotal / limitPrice<br>    # executa a compra<br>    self.LimitOrder(&quot;BTCUSD&quot;, quantity, limitPrice)</pre><p>Continuando na nossa estratégia, quando o valor de <em>SLOW </em>for superior ao valor do <em>FAST</em>, isso indica que o ativo entrou em tendência de baixa. No caso aqui não realizamos operações de venda a descoberto (o famoso <em>short</em>), quando detectamos que o ativo entrou em tendência de baixa, nossa ação é apenas de desmontar a operação, realizando a venda da totalidade dos BitCoins existentes na carteira.</p><pre># Se a média móvel fast estiver menor do que a slow, indica uma tendencia de queda, nesse ponto vendemos toda a posição.<br>elif slow &gt; fast:<br>    self.symbol.lastSignal = &#39;NA&#39;<br>    # Recuperando quantos BTC temos em carteira<br>    quantity = self.Portfolio.CashBook[&quot;BTC&quot;].Amount<br>    if quantity &gt; 0:<br>        # Recuperando o valor da última cotação<br>        limitPrice = self.Securities[&quot;BTCUSD&quot;].Price<br>        # Executa a venda<br>        self.LimitOrder(&quot;BTCUSD&quot;, -quantity, limitPrice)</pre><p>De acordo com a estratégia, quando a média <em>FAST </em>for identica a média <em>SLOW</em>, significa que não houve nenhum tipo de variação de tendência, então por conta disso optamos por não realizar nenhum tipo de operação.</p><p>Aqui cabe um comentário sobre aquele parâmetro de tolerância que foi definido anteriormente, ele pode ser utilizado para reduzir um pouco a frequência de operações, ao definir que só deve considerar uma alteração de tendência quando a razão entre as duas médias for superior a uma determinada tolerância, nos testes com BitCoin a tolerância acabou reduzindo o resultado final do robô, então na busca do melhor resultado optou-se por remover a tolerância, mas deixamos como referência para reavaliar no futuro.</p><p>A última linha de código do robô serve simplesmente para atualizar a data de referência, para garantir que só vá ocorrer uma nova movimentação no dia seguinte.</p><pre>self._previous = self.Time</pre><h3>Resultados do robô</h3><p>Ao executar o backtest do robô, a plataforma realiza toda a simulação de como o seu robô se comportou dentro do período definido, e é possível realizar um acompanhamento diário de como o robô performou, além de dar os resultados financeiros do período como um todo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/1*fWAAP6gRKOKYLmLRWRrhUg.png" /></figure><h3>Conclusão</h3><p>Desevolver um robô de investimentos utilizando a plataforma da Quant Connect é bastante simples, permitindo que sejam criados robôs com diversas estratégias baseadas em inúmeros indicadores. Aqui a criatividade é o limite. Nesse artigo o objetivo foi o de realizar um primeiro contato com a plataforma e conseguir operacionalizar de maneira simples e rápida um robô que tenha um retorno atrativo.</p><p>Esse robô utiliza uma estratégia bastante simples, não sendo indicado colocar seu dinheiro para rodar nele sem ao menos comparar o resultado com o de outras estratégias antes.</p><p>ESSE ARTIGO <strong>NÃO É </strong>UMA INDICACAO DE INVESTIMENTOS E SIM UMA APRESENTACAO DA PLATAFORMA. O AUTOR <strong>NÃO</strong> SE RESPONSABILIZA POR QUAISQUER PERDAS FINANCEIRAS PELO USO DA FERRAMENTA APRESENTADA.</p><h3>Código completo do robô</h3><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/48381e58ff1ebc1aed1e9826e4dba084/href">https://medium.com/media/48381e58ff1ebc1aed1e9826e4dba084/href</a></iframe><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c2e92b01b02f" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>