<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by João Paulo Nogueira on Medium]]></title>
        <description><![CDATA[Stories by João Paulo Nogueira on Medium]]></description>
        <link>https://medium.com/@joaopcnogueira?source=rss-a18f70031744------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*5L-chIAxSXSBMPdo.jpeg</url>
            <title>Stories by João Paulo Nogueira on Medium</title>
            <link>https://medium.com/@joaopcnogueira?source=rss-a18f70031744------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 18:25:21 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@joaopcnogueira/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Banking as a Service]]></title>
            <link>https://medium.com/datarisk-io/banking-as-a-service-5e0d557a2743?source=rss-a18f70031744------2</link>
            <guid isPermaLink="false">https://medium.com/p/5e0d557a2743</guid>
            <category><![CDATA[credit]]></category>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[banking-as-a-service]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[baas]]></category>
            <dc:creator><![CDATA[João Paulo Nogueira]]></dc:creator>
            <pubDate>Wed, 03 Aug 2022 19:02:32 GMT</pubDate>
            <atom:updated>2022-08-03T19:16:21.435Z</atom:updated>
            <content:encoded><![CDATA[<p><em>Como a Datarisk pode ajudar a sua empresa a explorar o BaaS?</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_abe20X_5rt65vxW8BNiJA.png" /><figcaption><a href="https://www.freepik.com/vectors/mobile-banking">Mobile banking vector created by jcomp — www.freepik.com</a></figcaption></figure><p>A oferta de serviços financeiros por meios digitais explodiu em 2020, saindo exclusivamente da área das empresas e instituições financeiras e sendo ofertados também por empresas dos mais diversos segmentos, como varejo, indústria, telecomunicações, entre outros.</p><p>Com isso, surgiu a necessidade do nascimento de um conceito que suportasse a abertura de um segmento bancário dentro de empresas que não possuem esse <em>know</em>-<em>how</em> como o <em>core</em> de seu negócio. Mesmo não sendo genuinamente do ramo financeiro, a interação com empresas que são, para suportar a oferta de crédito para seus clientes adquirirem seus produtos e serviços, sempre foi uma grande alavanca de vendas. Com o <em>Banking as a Service</em>, empresas que já possuem relacionamento e, muitas vezes, até dados de consumo dos seus clientes e fornecedores, podem realizar uma oferta melhor e mais assertiva do que os bancos tradicionais, abrindo novas oportunidades e linhas de rentabilidade.</p><h3>O que é?</h3><p>É um conceito que capacita qualquer empresa — independente do seu segmento de atuação — a oferecer produtos e serviços financeiros como: cartões de crédito e débito, possibilidade de parcelamento de compras através do <a href="https://medium.com/datarisk-io/bnpl-buy-now-pay-later-compre-agora-pague-depois-f0643cf8f0f9"><em>Buy Now Pay Later</em></a>, empréstimos pessoais, capital de giro e seguros, sem a necessidade de ser uma instituição financeira como bancos e seguradoras, por exemplo.</p><p>Na era do <em>Big Data</em> muitas empresas começaram a coletar, armazenar e processar dados dos seus clientes, o que possibilitou a criação de estruturas e soluções analíticas para os mais diversos produtos e serviços financeiros. Ser capaz de ter uma estrutura que suporte a operação assim como os bancos possuem, para começar a ofertar esses serviços, tem se tornado um grande diferencial competitivo.</p><h3>Como funciona?</h3><p>Com o <em>BaaS</em>, uma grande varejista, por exemplo, pode começar a oferecer cartões de crédito, crediário e soluções de <em>Buy Now Pay Later,</em> desenvolvidas totalmente dentro de casa, assim como possuir toda a infraestrutura necessária para operacionalizar esses serviços.</p><p>O <em>BaaS</em> é implementado por meio de APIs que possibilitam a comunicação entre diferentes plataformas e a integração para empresas que desejam oferecer produtos e serviços financeiros para seus clientes.</p><h3>Vantagens</h3><blockquote>Oferta de serviços personalizados</blockquote><p>Ao possuir e implementar toda a operação através de uma solução de <em>BaaS</em>, a personalização dos serviços ofertados fica facilitada. Uma empresa que possua esta solução, pode oferecer de forma mais assertiva crédito e empréstimos pessoais para seus clientes.</p><blockquote>Facilidade de pagamentos</blockquote><p>Com toda a infraestrutura dentro de casa, não há necessidade de depender de outras instituições para receber e facilitar a realização de pagamentos.</p><h3>Como podemos gerar valor para a sua empresa</h3><p>A <strong>Datarisk</strong> possui expertise no desenvolvimento de soluções analíticas e preditivas para produtos e serviços financeiros. Ajudamos empresas a desenvolver seu próprio <strong><em>score</em> de crédito</strong>, a partir dos dados históricos e transacionais de seus clientes, permitindo criar uma política de aprovação para concessão de seus próprios cartões de crédito. Isso então, é operacionalizado dentro da plataforma de<em> BaaS</em> da sua empresa.</p><p>Otimizamos a inteligência dos seus produtos e serviços ofertados através do <em>Banking as a Service,</em> visando garantir a saúde financeira, aumento da quantidade de vendas e redução de inadimplência, abrindo novas verticais de negócios e crescimento.</p><p>Além da implantação de uma plataforma de <em>BaaS</em>, a <strong>Datarisk</strong> também auxilia a otimizar a inteligência abordada nessas plataformas para alavancar ainda mais o seu negócio.</p><p>Para mais informações sobre a Datarisk visite nosso <a href="https://www.datarisk.io/">site</a> e redes sociais: <a href="https://www.instagram.com/datarisk.io/">Instagram</a>, <a href="https://www.linkedin.com/company/datarisk">Linkedin</a> e <a href="https://www.youtube.com/datarisk">Youtube</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5e0d557a2743" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datarisk-io/banking-as-a-service-5e0d557a2743">Banking as a Service</a> was originally published in <a href="https://medium.com/datarisk-io">Datarisk.io</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como Usar Pipelines no Scikit-Learn]]></title>
            <link>https://medium.com/data-hackers/como-usar-pipelines-no-scikit-learn-1398a4cc6ae9?source=rss-a18f70031744------2</link>
            <guid isPermaLink="false">https://medium.com/p/1398a4cc6ae9</guid>
            <dc:creator><![CDATA[João Paulo Nogueira]]></dc:creator>
            <pubDate>Tue, 11 Jun 2019 00:41:42 GMT</pubDate>
            <atom:updated>2019-08-04T18:29:57.591Z</atom:updated>
            <content:encoded><![CDATA[<h4>Melhorando a legibilidade e manuntenção dos seus códigos de machine learning</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*a2Crp7X7nP7PxlfjEzcKEQ.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@jjying?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">JJ Ying</a> on <a href="https://unsplash.com/search/photos/pipelines?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><h3>Motivação</h3><p>A forma mais conhecida de escrever códigos de machine learning e a que é geralmente ensinada é usando paradigma de programação procedural, onde cada etapa do código é feita em sequência, seguindo uma ordem específica e usando funções provenientes de pacotes ou escritas pelo usuário ou por terceiros. Códigos escritos nesse estilo não são os melhores para serem postos em produção porque geralmente não permitem a criação de um padrão de escrita de código que seja de fácil entendimento e manuntenção.</p><p>A classe Pipeline é uma funcionalidade do Scikit-Learn que ajuda criar códigos que possuam um padrão que possa ser facilmente entendido e compartilhando entre times de cientista e engenheiro de dados. Em sua essência, esse tipo de escrever código usa o estilo de programação Orientada à Objetos, mas não precisaremos tocar nos conceitos de programação OO para aprender a usar o Pipeline.</p><p>O objetivo desde tutorial é iniciar você a utilizar pipelines. Códigos de machine-learning são melhores escritos através de pipelines, que em essência fazem o output de uma dada transformação nos dados se tornarem o input para uma outra transformação que será aplicada nos dados.</p><h3>Introdução</h3><p>Para mostrar o uso de pipelines no scikit-learn, irei utilizar o dataset do titanic, muito bem explorado nesse artigo do <a href="https://paulovasconcellos.com.br/competicao-kaggle-titanic-tutorial-5b11993774f7">Paulo Vasconcellos</a>. A forma como o código está escrito no artigo citado (recomendo ir no artigo do Paulo e reproduzir o código), é um exemplo de código escrito no estilo programação procedural. Sem mais delongas, já irei aqui mostrar como fica o código escrito usando pipelines, para que você já sinta o feeling do negócio:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/c5644824beed3240f2b279b6e3b7f892/href">https://medium.com/media/c5644824beed3240f2b279b6e3b7f892/href</a></iframe><p>A principal diferença do código escrito no estilo acima para o código escrito no artigo do Paulo está na linha 21, quando o modelo é criado. Aqui, usamos a classe Pipeline que nos permite embutir no modelo não apenas o algoritmo usado, mas também a forma como ele irá pré-processar os dados. Perceba que o código fica muito mais limpo e fácil de ler. Além de explicitamente evidenciar o conceito de que um modelo não é apenas o algoritmo e deve incluir também todo o pré-processamento dos dados.</p><h3>Criando Pipelines</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/364/1*55B2yADwOV5018-xZnNOCg.gif" /></figure><p>Para criar um pipeline, primeiro devemos chamar a classe Pipeline do módulo pipeline do scikit-learn:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/255/1*z8Dk7rWl5r0EzaC5JhGaEQ.png" /></figure><p>O próximo passo é instanciar a classe Pipeline com cada passo do pré-processamento do modelo como um elemento de uma tupla. O primeiro elemento da tupla é um nome que identifique o transformador ou estimador utilizado e o segundo elemento é o transformador ou estimador que irá aplicar uma transformação nos dados ou treinar um algoritmo nos dados, respectivamente. As tuplas são postas dentro de uma lista e passadas para o parâmetro <strong>steps:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/437/1*xGqixlRgDb_GcjglbKXXRQ.png" /></figure><p>No Pipeline acima, primeiro aplicamos o OneHotEncoder do pacote category_encoders. Esse transformador irá pegar todas as variáveis categóricas dos dados e aplicar a transformação. O segundo passo do Pipeline é a imputação de valores faltantes em variáveis númericas pela substituição dos valores faltantes pela média. O terceiro e último passo é uma árvore de decisão que será treinada nos dados pré-processados nos passos anteriores.</p><p>O algoritmo deve ser o último elemento na lista de tuplas a ser passada para o parâmetro <strong>steps</strong> do Pipeline.</p><p>Com os pipelines, qualquer pré-processador ou transformador de váriaveis contido no scikit-learn ou pacotes que sigam templates do scikit-learn para criação de pré-processadores customizados, poderá ser incluído em um pipeline.</p><p>Toda vez que treinarmos o modelo, todos os passos definidos no Pipeline serão executados na ordem em que aparecem, com o output do passo atual servindo como input para o passo anterior. O próprio Pipeline também possui o método <strong>fit</strong>, que facilita a nossa vida:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/189/1*Hq2cfrDIPMzPrc24PGOy2Q.png" /></figure><p>Assim, quando chamamos o método <strong>fit</strong>, todos os passos definidos no Pipeline serão executados na ordem em que aparecem.</p><h3>Cross-Validation com Pipelines</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/326/1*cMnG5xr0qVNzU0F3GaVOdg.png" /><figcaption>Photo taken from the Caret documentation: <a href="https://topepo.github.io/caret/index.html">https://topepo.github.io/caret/index.html</a></figcaption></figure><p>Uma grande vantagem de usar o Pipeline é a possibilidades de incluí-los no esquema de cross-validation do seu modelo. Segue abaixo o código com uma validação 5-fold cross-validation:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a6e0037bc70a6c79ce9dc1a3c2c662ca/href">https://medium.com/media/a6e0037bc70a6c79ce9dc1a3c2c662ca/href</a></iframe><p>Perceba como, uma vez que você encapsulou todo o seu modelo dentro de um Pipeline, fica muito mais fácil validá-lo de forma correta e confiável. De forma bastante explícita, com o Pipeline o seu modelo não consiste apenas do algoritmo, mas também de todo o pré-processamento usado antes de aplicar o algoritmo nos dados. Isso fica evidente quando passamos o modelo para a função <strong>cross_validate</strong>, na linha 25. Como não precisamos reescrever código, ficamos livres de erros de copy &amp; paste que podem levar a leaks de informação, por exemplo.</p><h3>Grid-Search com Pipelines</h3><p>Uma vez que o pipeline está criado, podemos também facilmente realizar uma tunagem de hiperparâmetro utilizando o GridSearchCV. O pipeline basicamente se torna o nosso modelo, logo, basta apenas definirmos o tipo de validação desejada e os parâmetros que deverão ser tunados. Abaixo, por motivos de ilustração, incluo apenas o parâmetro <strong>max_depth </strong>no grid de hiperparâmetros e passamos o nosso modelo construído com Pipeline no instanciamento da classe GridSearchCV.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6d32ad5db50cb5ed8768c8e1b74adc26/href">https://medium.com/media/6d32ad5db50cb5ed8768c8e1b74adc26/href</a></iframe><h3>Pré-processando diferentes variáveis com ColumnTransfomer</h3><p>Ok. Talvez você tenha percebido que no pipeline definido nos códigos acima para criar o modelo, eu não defini em quais variáveis realizar o imputação de valores faltantes pela mediana e em quais aplicar o one-hot encoder. No código do artigo do Paulo, pelo menos fica evidente em quais variáveis os pré-processamentos estão sendo feitos. Mas calma lá, é nesse momento que o ColumnTransformer chega para nos ajudar! Basta apenas você criar um pipeline de pré-processamento para cada variável ou conjunto de variáveis e no fim usar o ColumnTransformer para compor todos os pré-processamentos, indicando na construção do modelo em quais variáveis cada pré-processamento irá atuar. No código abaixo está o código reescrito evidenciando quais variáveis receberão quais tipos de tratamento:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/dfbab83a16631458997f8fdd9f7f534b/href">https://medium.com/media/dfbab83a16631458997f8fdd9f7f534b/href</a></iframe><p>No código acima definimos dois Pipelines extras: num_transformer (linha 19) e cat_transformer (linha 24). No primeiro, criamos um Pipeline para tratar valores faltantes por imputação do valor médio. No segundo, criamos um Pipeline para aplicar um one-hot encoder em variáveis categóricas. Na linha 29 instanciamos a classe ColumnTransformer e passamos os pipelines de transformação de dados. Na linha 35, criamos o nosso modelo com um Pipeline, como anteriormene.</p><p>O ColumnTransformer é extremamente útil, apesar do caso tratado aqui ser bastante simples, apenas para efeito de ilustração. Mas imagina um pré-processamento de diferentes tipos de variáveis, com algumas variáveis numéricas tendo valores faltantes imputados pela mediana, outras pela média, um conjunto de variáveis categóricas com alta cardinalidade que precisa de um pré-processamento diferente de variáveis categóricas que apresentam baixa cardinalidade. Nessas situações, usar o Pipeline com o ColumnTransformer evita o seu código de se tornar um pesadelo sem fim para quem vai dar manuntenção ou para o seu futuro Eu!</p><h3>Conclusão</h3><p>As classes Pipeline e ColumnTransformer são o que há de supra sumo no scikit-learn para te ajudar a escrever um código limpo e de fácil manuntenção, que não vai te fazer passar vergonha na hora de mandar aquele código pra ser colocado em produção pro time de engenharia. Além de tudo, ele estabelece um padrão que facilita a leitura por qualquer cientista de dados que tenha domínio dessas ferramentas.</p><p>O Pipeline permite que você passe pra ele até um pré-processador customizado, inteiramente construído para as suas necessidades. Você deve apenas seguir um template do scikit-learn, que herda alguns métodos e atributos de umas classes base do scikit-learn para que o seu transformador customizado também possua os métodos <strong>fit</strong> e <strong>transform</strong>.</p><p>Como sugestão de exercício sugiro construir um transformador customizado para as variáveis Age e Fare, que atribua uma nova coluna para cada uma dessas variáveis indicando se o valor é missing ou não. Como leitura de apoio seguem esse excelente kernel <a href="https://www.kaggle.com/baghern/a-deep-dive-into-sklearn-pipelines"><em>A Deep Dive Into Sklearn Pipelines</em></a> e esse tutorial do blog Towards Data Science: <a href="https://towardsdatascience.com/custom-transformers-and-ml-data-pipelines-with-python-20ea2a7adb65"><em>Custom Transformers and ML Data Pipelines with Python</em></a><em>.</em></p><p>Sintam-se a vontade para entrar em contato comigo através do <a href="https://www.linkedin.com/in/jo%C3%A3o-paulo-nogueira-385658117/">Linkedin </a>ou pela própria comunidade do DataHackers!</p><h3>Referências</h3><ul><li><a href="https://scikit-learn.org/stable/modules/generated/sklearn.pipeline.Pipeline.html"><em>sklearn.pipeline.Pipeline</em></a></li><li><a href="https://scikit-learn.org/stable/modules/generated/sklearn.compose.ColumnTransformer.html"><em>sklearn.compose.ColumnTransformer</em></a></li><li><a href="https://scikit-learn.org/stable/modules/cross_validation.html"><em>Cross-Validation</em></a></li><li><a href="https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html">GridSearchCV</a></li><li><a href="https://www.kaggle.com/baghern/a-deep-dive-into-sklearn-pipelines"><em>A Deep Dive Into Sklearn Pipelines</em></a></li><li><a href="https://towardsdatascience.com/custom-transformers-and-ml-data-pipelines-with-python-20ea2a7adb65"><em>Custom Transformer and ML Data Pipelines with Python</em></a></li><li><a href="https://www.kdnuggets.com/2017/12/managing-machine-learning-workflows-scikit-learn-pipelines-part-1.html"><em>Managing Machine Learning Workflows with Scikit-Learn Pipelines</em></a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1398a4cc6ae9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/como-usar-pipelines-no-scikit-learn-1398a4cc6ae9">Como Usar Pipelines no Scikit-Learn</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como criar K-Fold cross-validation na mão em Python]]></title>
            <link>https://medium.com/data-hackers/como-criar-k-fold-cross-validation-na-m%C3%A3o-em-python-c0bb06074b6b?source=rss-a18f70031744------2</link>
            <guid isPermaLink="false">https://medium.com/p/c0bb06074b6b</guid>
            <category><![CDATA[brasil]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[data-hackers]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[João Paulo Nogueira]]></dc:creator>
            <pubDate>Fri, 08 Mar 2019 10:01:00 GMT</pubDate>
            <atom:updated>2019-03-08T10:01:00.858Z</atom:updated>
            <content:encoded><![CDATA[<h4>Saiba o que é e como implementar esse processo importante na validação de modelos</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LmBD9OaRAJPnBYBoZwyZMw.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/photos/pjAH2Ax4uWk?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Charles 🇵🇭</a> on <a href="https://unsplash.com/search/photos/hackers?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>Um dos métodos mais importante para avaliação de modelos de <em>machine learning</em> é o <em>cross-validation</em> que, em resumo, o que ele faz é dividir um <em>dataset </em>em conjuntos de treino e teste, usando o conjunto de treino para treinar o modelo e o conjunto de teste para avaliar quão bom o modelo generaliza para dados que ele ainda não viu.</p><h3>Motivação</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e_wzHoQKPlwMtFlbuYalAQ.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/photos/mRMQwK513hY?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Fab Lentz</a> on <a href="https://unsplash.com/search/photos/motivation?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>K-fold é o método de <em>cross-validation</em> mais conhecido e utilizado. O método consiste em dividir o <em>dataset </em>em k partes, usando k-1 partes para treino e a parte remanescente para teste, fazendo isso k vezes. Em cada uma das k vezes, testa-se o modelo com um fold diferente calculando a métrica escolhida para avaliação do modelo. Ao final do processo, teremos k medidas da métrica de avaliação escolhida, com as quais geralmente calculamos a média e o desvio-padrão.</p><p>Bibliotecas como Scikit-Learn e MLlib, por exemplo, oferecem funções super otimizadas para realização de tais tarefas, por isso são extremamente recomendadas para códigos em produção. Contudo, isso não exime um aspirante a cientista de dados de aprender como implementar um K-fold <em>cross-validation</em>. Implementar uma funcionalidade ou rotina que já existe em bibliotecas é um ótimo exercício para verificação de entendimento dos fundamentos e também uma excelente oportunidade de aprofundamento das habilidades de programação, que estão sendo cada vez mais exigidas por empresas em seus processos de seleção para cientista de dados.</p><h3>Mão na Massa!</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Xru8ereyANmyZjyF74d5yg.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/photos/GXEcTqlZHno?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Mimi Thian</a> on <a href="https://unsplash.com/search/photos/woman-coding?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p>Dado um <em>dataset </em>que desejamos usar para treinar e avaliar o nosso modelo, para usarmos o k-fold precisamos pegar apenas os seus índices. Logo, o nosso input será o conjunto dos índices do <em>dataset</em>, que pode ser uma lista em python, e o número k que nos indica em quantas partes dividir e quantas vezes treinar e avaliar o nosso modelo (número de folds). Usaremos um <em>dataset </em>com 10 linhas para mantermos a simplicidade e k = 2.</p><pre>indices = list(range(10))<br>k = 2</pre><p>O próximo passo é determinar o tamanho de cada subset da nossa lista de índices. No nosso caso, como temos uma lista com 10 elementos e k = 2, cada subset terá 5 elementos. Uma forma de escrever isso em Python é:</p><pre>subset_size = round(len(indices) / k)</pre><p>Dado que já temos o tamanho de cada subset para o k e o tamanho do dataset, podemos criar uma nova lista, em que cada elemento dela será um dos <em>subsets </em>da lista indices. Daremos à essa nova lista o nome sugestivo de <em>subsets</em>:</p><pre>subsets = [indices[x:x+subset_size] for x in range(0, len(indices), subset_size)]</pre><p>Agora que temos os 2 <em>subsets </em>salvos na lista <em>subsets</em>, podemos usá-los para criar 2 <em>folds</em> com os conjuntos de treino e teste para serem usados na avaliação do nosso modelo:</p><pre>kfolds = []<br>for i in range(k):<br>    test = subsets[i]<br>    train = []<br>    for subset in subsets:<br>        if subset != test:<br>            train.append(subset)<br>    kfolds.append((train, test))</pre><pre># output:<br># kfolds = [([0,1,2,3,4],[5,6,7,8,9]), ([5,6,7,8,9],[0,1,2,3,4])]</pre><p>A lista kfolds possui todos os índices dos conjuntos de treino e teste agrupados em tuplas. Cada tupla, ou <em>fold</em>, possui um conjunto de treino (primeiro elemento da tupla) e um conjunto de teste (segundo elemento da tupla). Logo, basta iterarmos sobre a lista kfold e em cada iteração, treinarmos o nosso modelo no primeiro elemento da tupla e testarmos no segundo elemento da tupla.</p><p>Abaixo está o código encapsulado em uma função conveniente chamada de kfoldcv:</p><pre>def kfoldcv(indices, k):<br>    <br>    size = len(indices)<br>    subset_size = round(size / k)<br>    <br>    subsets = [indices[x:x+subset_size] for x in range(0, len(indices), subset_size)]</pre><pre>    kfolds = []<br>    for i in range(k):<br>        test = subsets[i]<br>        train = []<br>        for subset in subsets:<br>            if subset != test:<br>                train.append(subset)<br>        kfolds.append((train,test))<br>        <br>    return kfolds</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*1v3nkpbV-DiC_aQh7CA1uQ.png" /><figcaption><a href="https://medium.com/data-hackers/como-escrever-no-data-hackers-53bfce813a52">Acesse o post e saiba com contribuir para o Data Hackers</a></figcaption></figure><p>Uma observação muito importante a ser feita: quando treinar um modelo de <em>Machine Learning,</em> ao selecionarmos uma parte do <em>dataset </em>para treino e outra para teste, é preciso garantir que esses conjuntos representem amostras cuidadosamente retiradas do nosso conjunto total de dados. A maneira mais simples de se fazer isso é dar um <em>shuffle </em>nos índices para que tenhamos uma garantia mínima de que o modelo não irá aprender alguma relação de ordem entrem os registros do <em>dataset</em>. Se você leu com calma até aqui, provavelmente percebeu que a nossa função kfoldcv não tem uma linha em que embaralhamos os índices do <em>dataframe</em>. Para nossa sorte, a função <em>built-in</em> do Python, random, nos ajuda a fazer isso:</p><pre>import random</pre><pre>def kfoldcv(indices, k = 10, seed = 42):<br>    <br>    size = len(indices)<br>    subset_size = round(size / k)<br>    random.Random(seed).shuffle(indices)</pre><pre>    subsets = [indices[x:x+subset_size] for x in range(0, len(indices), subset_size)]</pre><pre>    kfolds = []<br>    for i in range(k):<br>        test = subsets[i]<br>        train = []<br>        for subset in subsets:<br>            if subset != test:<br>                train.append(subset)<br>        kfolds.append((train,test))<br>        <br>    return kfolds</pre><p>Na função acima incluímos também, para efeito de reproducibilidade, o parâmetro seed, que garante que se duas pessoas pessoas diferentes usarem o mesmo dataset e o mesmo número de folds (k), mantendo a mesma seed, ambas irão obter o mesmo resultado.</p><h3>Finalizando</h3><p>Claro que bibliotecas como Scikit-Learn, MLlib, Pandas e companhia estão aí para nos ajudar e devemos tirar o máximo proveito delas, mas nada impede de tentarmos ir mais a fundo no entendimento de algumas funcionalidades oferecidas por essas bibliotecas, indo além do entendimento teórico e tentando implementar um código. Muito provavelmente a nossa versão da funcionalidade não será a mais otimizada e recomendada para ser posta em produção, mas com certeza sairemos desse processo com um conhecimento mais profundo.</p><p>Fiquem a vontade para compartilhar suas opiniões aqui nos comentários ou me adicionando no <a href="https://www.linkedin.com/in/joaopaulonogueira/"><strong>Linkedin</strong></a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c0bb06074b6b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/como-criar-k-fold-cross-validation-na-m%C3%A3o-em-python-c0bb06074b6b">Como criar K-Fold cross-validation na mão em Python</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[A Very Short Introduction to Machine Learning]]></title>
            <link>https://medium.com/@joaopcnogueira/a-very-short-introduction-to-machine-learning-23a2b67eb39c?source=rss-a18f70031744------2</link>
            <guid isPermaLink="false">https://medium.com/p/23a2b67eb39c</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[naive-bayes]]></category>
            <category><![CDATA[scikit-learn]]></category>
            <dc:creator><![CDATA[João Paulo Nogueira]]></dc:creator>
            <pubDate>Sat, 18 Aug 2018 14:16:51 GMT</pubDate>
            <atom:updated>2018-08-21T02:10:53.623Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*omNpCR7NFy2D6uq6XI9ayA.jpeg" /></figure><p>Machine Learning is a set of algorithms designed to make data-driven predictions about the world around us. One of the most common application of machine learning is the classification of emails as either spam or no spam.</p><p>Imagine you are walking down the street and see a pet. At first sight you are unable to say if it is a dog or a cat. You see the little pet and think: Does it have soft hair? Yes. Does it have fallen ears? No. It is quite difficult to predict if the little thing is a cat or a dog. Suddenly, the pet start to climb up a wall and you realize it is a cat because that is what cats can do.</p><p>With this framework in mind, every time you see a pet in your ride, you make these three questions: Does it have soft hair? Does it have fallen ears? Does it climb walls?; You also take note of the result: if it is a cat or a dog.</p><p>By the end of the walking, you end up with a data set about dogs and cats:</p><pre>#Does it have soft hair? fallen ears? Does it climb walls?<br>dog1 = [1, 0, 1]<br>dog2 = [1, 1, 0]<br>dog3 = [0, 0, 0]<br>cat1 = [1, 0, 1]<br>cat2 = [0, 0, 1]<br>cat3 = [0, 1, 1]</pre><pre>marks = [1, 1, 1, 0, 0, 0]</pre><p>The marks array indicates which one of the pets is a dog or a cat. So, accordingly to our observations, the first three pets are dogs (marked with 1) and the last three are cats (marked with 0).</p><p>Now that you have everything you need, you call the module MultinomialNB from scikit-learn python library and instantiate the model:</p><pre>from sklearn.naive_bayes import MultinomialNB<br>model = MultinomialNB()</pre><p>Next step, let’s train the model with the data set:</p><pre>data = [dog1, dog2, dog3, cat1, cat2, cat3]<br>model.fit(data, marks)</pre><p>Once you have trained the model, you can start to make predictions!!!</p><p>Again, you see another mysterious pet. Now it has soft hair, fallen ears and can climb walls, but even thought you can not distinguish between a dog or a cat. As you have trained our model, you can ask to it if the pet is a dog or a cat.</p><pre>mysterious = [1, 1, 1]</pre><p>To make the prediction, just type:</p><pre>modelo.predict([mysterious])</pre><p>The algorithm returned 0, indicating it has ranked the mysterious pet as a cat. The classification is probably right, because despite few dogs can climb walls, every cat can climb a wall. The pet is very likely to be a cat.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=23a2b67eb39c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Attempting to become a Data Scientist]]></title>
            <link>https://medium.com/@joaopcnogueira/attempting-to-become-a-data-scientist-9d203348bc5f?source=rss-a18f70031744------2</link>
            <guid isPermaLink="false">https://medium.com/p/9d203348bc5f</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[datacamp]]></category>
            <category><![CDATA[physics]]></category>
            <category><![CDATA[doctorate]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[João Paulo Nogueira]]></dc:creator>
            <pubDate>Tue, 22 May 2018 17:58:44 GMT</pubDate>
            <atom:updated>2018-05-22T22:56:47.182Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/425/1*EleK3_E_O1fWI-pFLEJ2qw.jpeg" /></figure><p>I am currently doing a PhD in physics in the subarea of complex system, which involves a lot of programming to either make data analysis or simulate some physical problem.</p><p>In the beginning of this year, I grab myself thinking about my life after doctorate and I started to prepare for a job position outside academia. I have been in academia for about 10 years and I started to think I need something new. When I heard about data science job positions outside the academic world, I definitely decided that I would like to go that path, to know how it is to work in another environments where you can ended up working with people coming from different backgrounds than yours.</p><p>So, after read lots of recommendations about how to properly start a career in data science on websites such as Quora, Medium, Reddit etc, I started to take online class at <a href="https://www.datacamp.com/home#">Datacamp</a>, specially the Data Analyst path with python. I am already a proficient python user (I use it in most of tasks and codes in my doctorate) and I also have a solid math background (because I am a physicist after all).</p><p>The courses in Datacamp are very good, they fit exactly in my daily basis work. I can study everywhere without the need of setting up an entire python environment to do so, because in Datacamp you can do all the stuffs on the web browser (although sometimes I get out of chrome and replicate what is being taught at my laptop environment).</p><p>What is more? It is not expensive (just $ 29.90/month), there is a lot of projects to do and an active community with interesting posts (although this they offer for free).</p><p>I intend not to stop in Datacamp. After I complete the data analyst track and the following data scientist track, I want to take some additional courses on <a href="https://www.udemy.com/">Udemy</a> about python for finances and maybe start the famous <a href="https://www.coursera.org/learn/machine-learning">machine learning</a> course taught by Andrew Ng on Coursera.</p><p>*<em>This text will probably be updated either here or in another post. I am entirely sure some things I have planned will change, so I am going to track these changes here on Medium.</em>*</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9d203348bc5f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como o Capitalismo Diminui a Escassez de Produtos e Serviços]]></title>
            <link>https://medium.com/@joaopcnogueira/como-o-capitalismo-diminui-a-escassez-de-produtos-83b13063bbac?source=rss-a18f70031744------2</link>
            <guid isPermaLink="false">https://medium.com/p/83b13063bbac</guid>
            <category><![CDATA[capitalismo]]></category>
            <category><![CDATA[mercado]]></category>
            <category><![CDATA[economia]]></category>
            <dc:creator><![CDATA[João Paulo Nogueira]]></dc:creator>
            <pubDate>Thu, 17 Dec 2015 16:07:01 GMT</pubDate>
            <atom:updated>2015-12-17T16:41:01.870Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*i4bnDxBYLFwB2hjEp3QlRQ.jpeg" /></figure><p>No senso comum, um bem (produto ou serviço) é considerado <strong>escasso</strong> quando uma parte da população não consegue ter acesso a ele. De fato, essa é uma boa definição prática mas para entendermos como o <strong>Capitalismo</strong> ajuda a resolver ou atenuar o problema da <strong>Escassez</strong> de produtos e serviços, precisamos de uma definição um pouco mais precisa do conceito de Escassez e Capitalismo.</p><p>Para tal, primeiramente é melhor definirmos o que é um <strong>produto não-escasso</strong> (daqui em diante irei referir a produtos, mas serve para serviços também). Um produto não-escasso é aquele em que há quantidade suficiente para atender a demanda de um grupo de pessoas a um custo zero. Talvez apenas o ar que respiramos seja o único produto não-escasso atualmente (não consegui pensar em outros).</p><p>Já o Capitalismo, como define Ludwig Von Mises em seu livro A Mentalidade Anticapitalista, é um <strong>sistema de produção em massa para a massa.</strong></p><p>Agora mãos à obra para entendermos o que o título quer dizer. Digamos que eu tenha uma quantidade X de um produto e quero distribuí-lo a um grupo de pessoas. Como decidir quem fica com certa quantidade do meu produto? Uma das formas é precificar o meu produto, ou seja, atribuo um preço a ele. Esse método de distribuição tem um defeito: se a quantidade de pessoas que querem o meu produto for muito maior que a quantidade X dele, o preço irá subir e apenas os mais ricos poderão comprar (Lei da Oferta e da Procura), o que por definição fará o meu produto ser classificado como um bem <strong>muito escasso</strong>. É aqui que o capitalismo com seu carácter de produção em massa entra em cena. Eu, munido de um pensamento capitalista, tentarei diminuir meus custos de produção para produzir um quantidade maior de produtos. Assim, aumento a oferta do meu produto no mercado. Como agora há uma quantidade maior de produtos no mercado, seu preço tende a cair e assim, ele se torna acessível e <strong>menos escasso</strong> para aqueles que antes não podiam comprar (os pobres).</p><p>Acredito que essa é uma das principais formas que capitalismo tem para distribuir riquezas. Isso aconteceu com casas, carros, livros, smartphones e qualquer outro tipo de produto ou serviço outrora considerado muito escasso (caro) e que agora é acessível por todos (porque é mais barato). Para se ter uma ideia, estima-se que uma pessoa de classe média hoje em dia por ter carros, casa e até uma rede de esgoto tenha uma qualidade de vida maior que a de Napoleão Bonaparte.</p><p>Excelente vídeo sobre Escassez do canal Porquê? Economês em bom português: <a href="https://www.youtube.com/watch?v=gZAj7zkPkfU">https://www.youtube.com/watch?v=gZAj7zkPkfU</a></p><p>Link para download do livro A Mentalidade Anticapitalista no site do Instituto Ludwig Von Mises Brasil: <a href="http://www.mises.org.br/Ebook.aspx?id=34">http://www.mises.org.br/Ebook.aspx?id=34</a></p><p>Dica de leitura sobre economia para iniciantes: Crash - Uma Breve História da Economia, Alexandre Versignassi.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=83b13063bbac" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>