<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Ricardo Manhães Savii on Medium]]></title>
        <description><![CDATA[Stories by Ricardo Manhães Savii on Medium]]></description>
        <link>https://medium.com/@ricardosavii?source=rss-c941cf3950ac------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*nDLO9dKq_KO3mBpw3Dx2Sg.jpeg</url>
            <title>Stories by Ricardo Manhães Savii on Medium</title>
            <link>https://medium.com/@ricardosavii?source=rss-c941cf3950ac------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 17:51:18 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@ricardosavii/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Zero findings: what it took to get a clean penetration test after inheriting leaky codebases]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-snippet">The penetration test report was short. An independent firm had spent its engagement attacking an application we had just launched, and the&#x2026;</p><p class="medium-feed-link"><a href="https://medium.com/@ricardosavii/zero-findings-what-it-took-to-get-a-clean-penetration-test-after-inheriting-leaky-codebases-d60cf6b5c2fe?source=rss-c941cf3950ac------2">Continue reading on Medium »</a></p></div>]]></description>
            <link>https://medium.com/@ricardosavii/zero-findings-what-it-took-to-get-a-clean-penetration-test-after-inheriting-leaky-codebases-d60cf6b5c2fe?source=rss-c941cf3950ac------2</link>
            <guid isPermaLink="false">https://medium.com/p/d60cf6b5c2fe</guid>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[security]]></category>
            <category><![CDATA[secure-coding]]></category>
            <category><![CDATA[devops]]></category>
            <dc:creator><![CDATA[Ricardo Manhães Savii]]></dc:creator>
            <pubDate>Sat, 21 Nov 2026 15:00:42 GMT</pubDate>
            <atom:updated>2026-11-21T15:03:36.339Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[Turning Machine Learning into value]]></title>
            <link>https://medium.com/@ricardosavii/trying-to-turn-machine-learning-into-value-de9f28cde056?source=rss-c941cf3950ac------2</link>
            <guid isPermaLink="false">https://medium.com/p/de9f28cde056</guid>
            <category><![CDATA[dvc]]></category>
            <category><![CDATA[cml]]></category>
            <category><![CDATA[mlops]]></category>
            <category><![CDATA[cd4ml]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Ricardo Manhães Savii]]></dc:creator>
            <pubDate>Fri, 08 Oct 2021 04:27:22 GMT</pubDate>
            <atom:updated>2024-04-23T19:17:43.277Z</atom:updated>
            <content:encoded><![CDATA[<p>For some time now I&#39;ve been trying to technically and clearly define visually all steps required to deliver an Intelligent System with all safenets and rail guards of &quot;normal&quot; software. MLOps, Continuous Delivery for Machine Learning, DevOps, and many other taxonomies could be cited here, but I&#39;m in as long as the goal is to turn an Algorithmic trained set of rules into a product.</p><p>And I like the simple idea, what we deliver is not Machine Learning, but its learned rules. Which <a href="https://medium.com/u/7462d2319de7">François Chollet</a> defined quite well in his book:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*9BeGLCibmFVEJBEv62yP8Q.png" /><figcaption>Figure 1: Machine Learning a new programming paradigm, source: Deep Learning with Python by <a href="https://medium.com/u/7462d2319de7">François Chollet</a></figcaption></figure><p>We&#39;ve always dealt with rules in software. Business rules, insights, or any hard-coded rule that assumes something and makes a decision are what we can call <strong>symbolic artificial intelligence</strong>. <strong>GOFAI</strong> (“Good Old-Fashioned Artificial Intelligence”) as <a href="https://en.wikipedia.org/wiki/John_Haugeland">John Haugeland</a> would call, used our own human brain to generate insights and from those, we would set rules and use those to exploit the world around us.</p><p>With permission from <a href="https://medium.com/u/7462d2319de7">François Chollet</a>, I would like to make a small edit to his figure and throw something wild like the image below:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aS708Nz2Ghf9z_k257hx0g.png" /><figcaption>Figure 2: Machine Learning is the same (but different) but still the same programming paradigm.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/498/0*GU3OPDCI_EFISfpu.gif" /></figure><p>Of course, there is a whole field dedicated to finding those sets of rules. But for the sake of conversation, Machine Learning is (at least here in my post) Software! Other authors might agree with this too.</p><blockquote>“AI models, however, are ultimately a software artifact like any other that needs to be integrated within an application. The trouble with MLOps as it is most often pursued today is data scientists are constructing AI models in almost complete isolation from the rest of the organization.”<br> — — <a href="https://thenewstack.io/the-road-to-ai-hell-starts-with-good-mlops-intentions/">&quot;The Road to AI Hell Starts with Good MLOps Intentions&quot;</a> by <a href="https://medium.com/u/2b1c8f1b5d10">Dmitry Petrov</a></blockquote><p>To persist a set of rules generated by Machine Learning is not a secret. Many tools provide solutions for this, and I sometimes stumble upon data scientists that don&#39;t know what persistence is. Then I would suggest reading the great <a href="https://scikit-learn.org/stable/modules/model_persistence.html">Scikit-Learn documentation</a>, mainly the interoperable formats section, then the <a href="https://www.tensorflow.org/tutorials/keras/save_and_load">Tensorflow documentation</a>, then the <a href="https://www.tensorflow.org/tutorials/keras/save_and_load">PyTorch documentation</a>. One note on this, you might have noticed, is that <a href="https://docs.python.org/3/library/pickle.html">pickle</a> (scikit-learn first recommendation for persistence) and <a href="https://github.com/tensorflow/tensorflow/blob/master/SECURITY.md">Tensorflow</a> put a warning on loading persisted rules. There is a security risk involved, if you don&#39;t want to execute arbitrary code during unpickling, YOU WON&#39;T BE SENDING THESE BY E-MAIL as a, totally random, example.</p><p>So, assuming that we correctly persist a set of rules, these are basically an application configuration file. That offers some risks (<strong>arbitrary code</strong>), but still, a configuration file. These configuration files can be very valuable of course, training Machine Learning models nowadays might consume lots of cloud credits or time-consuming tasks. So these files must be tracked! And I don&#39;t know a better tool than <a href="https://dvc.org/">DVC</a> to do that. <a href="https://cml.dev/">CML</a> and <a href="https://mlflow.org/">MLFLow</a> can help too. I personally don&#39;t like how MLFLow dumbs down and hide some simple things (like persistence), but that type of &quot;vendor lock-in&quot; can be helpful in some scenarios.</p><p>Having the whole <strong>Machine Learning experiment tracking</strong> working requires some minimum good practices from a data scientist. So some tool handling, git organization, and code good practices will come in handy too. Learning some basic CI/CD automation (and <a href="https://cml.dev/">CML documentation</a> is great for that) will make Data Scientists extremely efficient, as there are many manual tasks that can be &quot;easily&quot; automated. And then they can focus on what matters, setting up learning algorithms and experiment iteration.</p><p>Now let us get back to our track of <strong>Machine Learning is Software</strong>. I found the following image on the internet, without a source, if you happen to know it please comment below.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/493/1*uaXc1MlFZ5lQfUYO0feUMg.jpeg" /><figcaption>Figure 3: &quot;Continuous Delivery&quot; on google, no source…</figcaption></figure><p>I really liked that image, as it connects logically the code to the idea of delivery using Continous Integration and Continuous Delivery (CI/CD). During CI we expect to build and test the application with the goal of building trust in the code. <strong>Trust and security are essential </strong>to applications that will run your businesses, there is no flexibility on this nowadays.</p><p>If we merge my wild edit of Figure 2 with the idea in Figure 3, we have the figure below:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/829/1*iDVLVmaC5Z7t_CHVnaT28g.jpeg" /><figcaption>Figure 4: Continuous Delivery for Machine Learning</figcaption></figure><p>This image is not very exact, but I really like it. Do you know <a href="https://en.wikipedia.org/wiki/Yggdrasil">Yggdrasil</a>? A nordic mythological three rooted tree that connects 9 realms. No, I do not use drugs, but it reminded me of it. We have in it, at least, the whole idea of continuous delivery that we need. We have a &quot;normal&quot; application delivery, that is the &quot;SERVE CODE&quot; above, and its <strong>almost</strong> normal software delivery pipeline. Then we have the below part that comes from two sources &quot;TRAINING CODE&quot; and &quot;DATA&quot;. What I consider MOST important here is the idea of having intersecting pipelines, but both have their own CI/CD automation. They merge on the &quot;bake model&quot; step, which is an expression I really enjoyed from <a href="https://youtu.be/CHttwWGdWK4">Building Machine Learning Models into Docker Images</a> by <a href="https://medium.com/u/b13664e726ec">Luke Marsden</a> from the fantastic channel <a href="https://www.youtube.com/channel/UCG6qpjVnBTTT8wLGBygANOQ">MLOps.community</a> channel by <a href="https://medium.com/u/46b912916324">Demetrios Brinkmann</a> — by the way, your guitar songs are awesome.</p><p>Ok, those diagrams above do not provide us with a lot of information on how to do it… first time I tried to draw the entire delivery pipeline I got a nice visualization, not very technical or formal, but useful. It was for me with it I was able to prioritize development, set delivery expectations, and explain a lot to non-technical people. The figures below are trying to give more details on <a href="https://martinfowler.com/articles/cd4ml.html#TestingAndQualityInMachineLearning">Continuous Delivery for Machine Learning (CD4ML)</a>. The idea of <strong>Figure 5</strong> below is to, from left to right, show the path of a Machine Learning software.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tN11M-qCWxtQlxnEeITtJg.png" /><figcaption>Figure 5: Draft of a roadmap for a Machine Learning delivery pipeline with suggested roles involved.</figcaption></figure><p>At the beginning (left), we have the <strong>data fabric</strong> and <strong>feature store</strong> contexts, which are pretty empty for now, as I need help there. Then we have the <strong>exploratory workbench</strong>, which is a hugely important context to provide data analytics competencies to the business. It has <strong>three goals</strong>, feedback features to the <strong>feature store</strong>, provides the infrastructure to explore data and <strong>generate insights</strong>, and create <strong>modeling challenges</strong> to the <strong>modeling context</strong> on a <a href="https://www.youtube.com/watch?v=06-AZXmwHjo"><strong>data-centric approach</strong></a> (<a href="https://medium.com/u/592ce2a67248">Andrew Ng</a> — loved that <a href="https://www.youtube.com/watch?v=06-AZXmwHjo">video of yours</a>). Then within the <strong>modeling context</strong> and <strong>benchmarking</strong> is where the machine learning training happens, a whole set of scoping challenges happens and homemade tools can help there. <strong>Benchmarking context</strong> is the safeguard to just approve what is really trusted by the company. It&#39;s very common for big companies to have a <strong>bureaucratic</strong> <strong>process</strong> of <strong>change requests</strong> when production systems will be affected, this context fits well on this type of approach and systemic view. As evaluating machine learning models are a very laborious step with manual tasks, good scope of Machine Learning challenges can help alleviate that. After being approved on <strong>benchmarking</strong>, then the set of rules is baked into the serving application! After this, the application is mostly a common software… with specificities on monitoring, of course.</p><p>After this not very formal diagram, I was challenged by an architect to draw a sequential technical diagram. And from it was created Figure 6 below.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0osLlT4V8FAsiFICh-0qwg.png" /><figcaption>Figure 6: Draft of a sequential diagram of a Machine Learning delivery pipeline.</figcaption></figure><p>This diagram, of course, is not complete. But it&#39;s the best I got for now. I believe it&#39;s a good standpoint to define some contracts between different roles. As in Figure 5, the fine line of handouts between different teams was not clear — and are a VERY common point of attrition. The whole diagram also represents the idea that I did not mention in Figure 5, the feedback loop to retrain a served model. Basically try to get a different set of rules, if the rules in production are showing signs of trouble. This, clearly, is just possible with a good warning system for detecting possible data, schema*, feature, and concept drifts. *Schema drift will basically break the system… but feature and concept drifts are <a href="https://graphsignal.com/blog/monitoring-machine-learning-models-for-silent-failures/">silent</a>.</p><p>Finally, I really enjoy the conjunction between Software Engineering good practices and the reproducibility of Machine Learning practices. Applying Software Engineering good practices, learned in the business world over the last decades, solves many day-to-day problems for data scientists. Also, I believe, applying these practices could help solve (or ease) the <a href="https://en.wikipedia.org/wiki/Replication_crisis">replication crisis</a> happening in the academic and research world for lack of <a href="https://www.acm.org/publications/policies/artifact-review-badging">reproducibility</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=de9f28cde056" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[MLOps: por onde começar]]></title>
            <link>https://medium.com/datalab-log/mlops-por-onde-come%C3%A7ar-a7679db9b10e?source=rss-c941cf3950ac------2</link>
            <guid isPermaLink="false">https://medium.com/p/a7679db9b10e</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[mlops]]></category>
            <category><![CDATA[machine-learning-engineer]]></category>
            <dc:creator><![CDATA[Ricardo Manhães Savii]]></dc:creator>
            <pubDate>Thu, 13 May 2021 19:53:05 GMT</pubDate>
            <atom:updated>2021-05-13T21:00:47.840Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/640/0*H-xX_AailyhsTcL_" /><figcaption>Image by © <a href="https://juliendouvier.com/">Julien Douvier</a>.</figcaption></figure><p>Olá :)</p><p>A intenção deste post é oferecer um &quot;próximo passo&quot; para quem está estudando e tem interesse sobre o tema MLOps. Primeiro, MLOps entende-se por <em>Machine Learning Operations</em> e trata-se de operacionalizar/entregar produtos que utilizem técnicas de Machine Learning (ou &quot;Sistemas Inteligentes&quot;).</p><p><strong><em>Este texto complementa a apresentação feita no </em></strong><a href="https://www.meetup.com/pt-BR/datalabs/"><strong><em>Meetup Datalab Serasa Experian</em></strong></a><strong><em> disponível </em></strong><a href="https://youtu.be/5o_xFQEYI_c"><strong><em>aqui</em></strong></a><strong><em>. </em></strong><em>E os tópicos principais discutidos são:</em></p><ol><li>De onde surgiu MLOps</li><li>Quem são os profissionais de MLOps?</li><li>Explosão de procura por profissionais</li><li>Afinal, AI traz mais lucro?</li><li>Como fazer manutenção em uma ferramenta que se adapta?</li><li>Por onde começar a se preparar para entrar nesta profissão?</li></ol><p>O texto é sequencial como um todo, mas fique a vontade de consumi-lo na ordem que desejar.</p><h3>De onde surgiu MLOps?</h3><p>Ha quase uma década (2012) a <em>Harvard Business Review</em> anunciou como <strong>os dados seriam o futuro dos negócios</strong>. Com isso houve grande comoção e interesse de preparar e contratar uma grande quantidade de profissionais para os desafios do mundo de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*wZ1jlLx-u_FGePG8.png" /></figure><p>Ciência de Dados exige bons conhecimentos de matemática e estatística, isso chamou a atenção de estudantes e pesquisadores em diversas áreas de exatas. Porém, algo que (acredito) foi menosprezado inicialmente, é a complexidade de tornar os conceitos matemáticos e estatísticos em sistemas reais. Questões de maturidade de software, necessários para uma empresa confiar, ficaram de lado nos requisitos iniciais das equipes estabelecidas.</p><p>Entre o mundo da teoria e realidade da Ciência de Dados há um vão de aplicação. A maioria das universidades estão atrasadas nas técnicas e ferramentas para desenvolver um <em>software </em>com a maturidade esperada para uma grande empresa. Até por quê <em>DevOps</em> também é uma área razoavelmente nova. Os profissionais com bons conhecimentos de desenvolvimento já estão bem posicionados. Provavelmente com bons salários e com a ameaça de “retroceder” para pleno ou júnior, possuem pouco incentivo de estudar as novas complexidades da Ciência de Dados. Somando-se a isso as exigências, normalmente exageradas, de matemática e estatística parecem muitas vezes um obstáculo intransponível.</p><h3>Quem são os profissionais de MLOps?</h3><p>O vão entre Ciência de Dados, Engenharia de Dados, <em>DevOps</em>, SRE e Engenharia de <em>Software</em> atrai diversos perfis diferentes. Posso dizer por mim e conhecidos. O que vejo são profissionais intermediários ou iniciantes de 1) Ciência de Dados, por já terem algum contato com as exigências de matemática e estatística e as enxerga como &#39;transponíveis&#39;, ou 2) programadores que gostam do desafio e enquanto focam em conquistar as barreiras da teoria colocam a mão na massa em código, testes, complexidade e deployment.</p><p>A verdade é que ainda não há um consenso de quais <em>skills</em> são necessárias para um Engenheiro de Machine Learning. E dependendo de seu ponto de partida é interessante priorizar diferentes marcos de conhecimento. Listarei alguns mais adiante de acordo com alguns perfis.</p><h3>Explosão de procura por profissionais</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/659/1*Em5DkVd5YVEnYqQsYiy2eg.png" /><figcaption><a href="https://www.forbes.com/sites/forbesfinancecouncil/2020/09/01/past-the-ai-hype-when-is-ai-actually-profitable/?sh=4cee903e1fb4">https://www.forbes.com/sites/forbesfinancecouncil/2020/09/01/past-the-ai-hype-when-is-ai-actually-profitable/?sh=4cee903e1fb4</a></figcaption></figure><p>Veio à minha atenção que recentemente aumentou a procura por profissionais que saibam operacionalizar Sistemas que utilizam algoritmos de <em>Machine Learning</em>. Minha teoria, e posso estar errado, é que em 2014...2015 houve uma explosão de procura por cientistas de dados. O perfil procurado (e disponível) na época eram, em sua maioria, acadêmicos e pesquisadores. Que não necessariamente tinham o conhecimento de Engenharia de <em>Software. B</em>asicamente, não havia conhecimento de práticas necessárias na entrega de uma <strong>base de código</strong> como um <strong>produto confiável e utilizável</strong> por uma empresa.</p><p>De 2015 até recentemente, as empresas que investiram em equipes de Cientistas de Dados talvez viram poucos resultados e poucas entregas. Soluções de Sistemas Inteligentes precisam de nichos bem específicos para se tornarem um modelo de negócios viável [<a href="https://www.wired.com/story/deepminds-losses-future-artificial-intelligence/">1</a>, <a href="https://bdtechtalks.com/2020/08/17/openai-gpt-3-commercial-ai/">2</a>], muitas empresas ainda podem ter uma visão controversa sobre propriedade de dados [<a href="https://onezero.medium.com/deepminds-latest-a-i-health-breakthrough-has-some-problems-5cd14e2c77ef">3</a>] e automação não significa necessariamente menos trabalho (veremos adiante).</p><h3><strong>Afinal, AI traz mais lucros?</strong></h3><p>A reposta não é simples. A capacidade de entregar um Sistema Inteligente depende de investimentos além das equipes de Ciência de Dados. Toda uma cultura de processos e interação com tecnologia precisa mudar. Agora, as ferramentas possuem a capacidade de se adaptar e mudar com o tempo, as vezes, de forma imperceptível ao usuário mais incauto.</p><p>A realidade de ter um sistema inteligente como ferramenta é bem diferente. As tarefas “automatizáveis” são, primeiro, tarefas de baixo valor direto, mecânicas e repetitivas. Suponhamos que um primeiro sistema inteligente seja implantado e aumente a eficiência de toda uma área, o aumento de eficiência nos esforços implica que as pessoas são capazes de fazer mais em menos tempo. Neste ponto temos um ponto de decisão, e ocorre uma de duas, 1) <strong>ocorre um excesso de mão de obra</strong> ou 2) a equipe não dava conta de todo o trabalho antes então agora conseguem atender 100% do trabalho ou algo próximo disso. <strong>Em ambos os casos a mão de obra não é redirecionada</strong> para as novas tarefas que surgirão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/807/0*Y0eKQW2RYf_ycT3M.png" /><figcaption><a href="https://xkcd.com/1319/">https://xkcd.com/1319/</a></figcaption></figure><p>Na figura, apesar de ser uma tirinha de comic, apresenta a realidade de carga de trabalho após uma automação ser implantada. <strong>O trabalho não diminui, ele muda!</strong> O novo sistema precisa de pessoas para guiá-lo e monitorá-lo e “alimentá-lo” com dados, se possível, cada vez melhores em qualidade.</p><p><strong>Os Sistemas Inteligentes precisam, no mínimo, ser atualizado de tempos em tempos.</strong> Essa atualização depende de uma interação constante entre Cientistas de Dados e a área “cliente”. Os<strong> dados variam com o tempo</strong> e precisam, se possível, ser melhorados. O<strong> algoritmo treinado possui limites</strong>, normalmente não muito claros, então especialistas da área “cliente”, precisam amostrar e monitorar os resultados dados pelo sistema.</p><p>E, claro, se temos uma pergunta sendo respondida de forma “automática”, provavelmente <strong>teremos novas perguntas a fazer</strong> aos dados… o que recomeça todo o ciclo de desenvolvimento para um novo algoritmo.</p><h3>Como fazer manutenção em uma ferramenta que se adapta?</h3><p>Um Sistema Inteligente é isso fundamentalmente, adaptável! E é esperado que ele faça isso mesmo! Como fazer manutenção, automatizar, manter seguro, testar, versionar, monitorar e atualizar algo adaptável? A verdade é que os algoritmos de Machine Learning atuais incluem um vínculo direto entre DADOS e o Sistema em produção. Versionar dados é um desafio enorme e muitas soluções estão surgindo sob o nome de <strong><em>Feature Stores</em></strong><em>.</em></p><p>O algoritmo treinado é um ser por si só. Caso nunca tenha visto, hoje em dia, conseguimos arquivar o algoritmo treinado como um arquivo binário. Ou seja, os milhares de dólares gastos para treinar um modelo de Machine Learning e concentram em um (ou alguns) arquivos binários. Esses arquivos precisam ser mantidos arquivados, versionados de forma coerente, prática e SEGURAS! Logo, sem enviar arquivos de modelos via e-mail ou coisas assim, por favor. Soluções para este tipo de desafio são encontradas sobre o nome de <strong><em>Model Stores</em></strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9lb--UWiHBxPEypc7g1g-A.png" /><figcaption>Cassie Kozyrkov in “How to avoid machine learning pitfalls.” — <a href="https://youtu.be/ZQtuTqmr4WI">https://youtu.be/ZQtuTqmr4WI</a></figcaption></figure><p>Quando “rodamos” o <strong>treinamento</strong> de um algoritmo, no final dele esperamos algo mais do que o arquivo binário mencionado no parágrafo anterior. Precisamos ter também a capacidade de <strong>avaliar</strong> (<em>benchmarking</em>) esse algoritmo de forma consciente e responsável.</p><p>Para isso entramos no maravilhoso mundo das métricas e procedimentos para experimentação científica. Há problemas que podem surgir no treinamento e, talvez, enganar um futuro “cliente” desprevenido. Para evitar possíveis enganos o experimento deve ser estruturado e organizado de forma coerente e correta, uma exigência mínima é dividir os dados em treino e validação. O uso e interpretação correta de diferentes métricas é importantíssimo. Além de boas práticas que todos os envolvidos devem seguir, há também tecnologias surgindo com o nome de <strong><em>Evaluation Store</em></strong>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/324/0*87Uak7GesId5db-F.jpg" /><figcaption>Weapons of Math Destruction by <a href="https://www.amazon.com.br/kindle-dbs/entity/author/B00GVH5RY0?ref_=dbs_p_ebk_r00_abau_000000">Cathy O’Neil</a></figcaption></figure><p>As tecnologias e processos listados acima não são responsabilidades somente do Engenheiro de Machine Learning. Estas podem (e devem) ser compartilhadas entre todos os envolvidos. Para isso as empresas precisam delinear procedimentos de entrega e validação em diversos pontos. Muitas ferramentas e tecnologias surgirão, mas elas dificilmente substituirão a humildade de submeter seu trabalho a testes e avaliação constantemente, o estudo e corretude para evitar as armadilhas, e a capacidade de duvidar de si mesmo. Quando tratamos com viés, devemos duvidar de nós mesmos! O viés presentes nos dados de treino de algoritmos, por vezes inconscientes e estruturais, serão automatizados!</p><h3>Por onde começar a me preparar?</h3><p>Caso tenha interesse por MLOps, nesta seção indico algumas referências e habilidades ou tecnologias que acho interessante para diferentes perfis.</p><p><strong>Para perfis iniciantes acadêmicos</strong>:</p><ul><li>Linguagem de programação <strong>Python</strong>… desculpem, sem mais. Outras linguagens podem ser úteis futuramente, mas acredito que a curva rápida de aprendizagem do Python seja um benefício enorme! E os principais frameworks de Machine Learning possuem API para Python.</li><li><strong>Version Control Systems (VCS)</strong>, aprendam a utilizá-los bem! Ajudam tanto na<strong> interação com outros profissionais</strong> como pode servir de base para aumentar a <strong>replicabilidade</strong> de seus experimentos de Machine Learning. Alguns exemplos mais comuns são: git, github, gitlab, bitbucket…</li><li><strong>Data Version Control (DVC)</strong>, apesar de ser o nome de uma ferramenta existente <a href="https://dvc.org/"><strong>DVC</strong></a> (e muito, muito boa por sinal). É também toda uma área de pesquisa e desenvolvimento. Resumindo, os VCSs não fazem versionamento de dados, e não é recomendado versionar arquivos binários também. Com isso, há ferramentas que complementam os VCSs para versionar estes artefatos.</li><li><strong>Continuous Integration / Continuous Deployment (CI/CD)</strong>. Isto já é um mundo gigantesco. Sugiro começar estudando e usando a ferramenta <a href="https://cml.dev/"><strong>Continuous Machine Learning (CML)</strong></a>. É da mesma empresa do DVC e a documentação deles é muito educativa!</li></ul><p><strong>Para perfis iniciantes e já desenvolvedores:</strong></p><ul><li>Estudar os principais <strong>algoritmos de Machine Learning</strong> e aprofundar em 1 ou 2 inicialmente. A documentação do pacote <a href="https://scikit-learn.org/"><strong>Scikit-learn</strong></a> é fantástica! Lá você encontrará dezenas de algoritmos com referências caso queira aprofundar mais. E código de dezenas de algoritmos, o código deles tem como objetivo principal ser educacional, por causa disso nem sempre são tão otimizados.</li><li>Estudar a estrutura de um experimento de Machine Learning. Neste ponto eu não tenho ótimas referências… <a href="https://towardsdatascience.com/crisp-dm-ready-for-machine-learning-projects-2aad9172056a"><strong>CRISP</strong></a> é uma metodologia, um pouco antiga, mas talvez seja interessante de conhecer inicialmente. O foco aqui é entender como funcionar a mecânica da entrega de um Sistema Inteligente. Talvez estes vídeos ajudem: <a href="https://youtu.be/0MDrZpO_7Q4">Reimagining DevOps for ML by Elle O’Brien, Iterative.ai</a>, <a href="https://youtu.be/06-AZXmwHjo">A Chat with Andrew on MLOps: From Model-centric to Data-centric AI</a>, <a href="https://youtu.be/M15wpfgERO0">Scitek — Conectando a Academia e o Mercado</a>, <a href="https://youtu.be/5o_xFQEYI_c?list=PLC-kdycnqLxjgDdCndwW-M68GqrqSuU0v">MLOps: Construindo seu primeiro pipeline de entrega para Machine Learning</a>.</li><li>Aprofundar em <strong>metodologia</strong> e <strong>boas práticas de experimentação</strong>. Aqui também não tenho uma referência simples. Acredito que um caminho é rodar o máximo de experimentos que você puder por si só, aos poucos acredito que enxergará alguns padrões. Outra fonte de recursos é o <a href="https://www.kaggle.com/">Kaggle</a>, não digo pelos desafios, mas eu gosto de entender como funciona a plataforma do Kaggle. Algumas perguntas boas são: como as empresas cadastram seus dados no Kaggle? como as competições são organizadas e avaliadas? Uma outra fonte que gosto bastante, porém é bem extensa é o <a href="https://machinelearningmastery.com/">Blog Machine Learning Mastery</a>.</li></ul><p>Acredito que Engenheiros de Dados, desenvolvedores e pessoas em tecnologia ja há algum tempo queiram pular direto para estas recomendações abaixo. <strong>Para perfis intermediários:</strong></p><ul><li>Sugiro aprofundar em técnicas de Machine Learning de Redes Neurais profundas. Um livro, disponível gratuitamente, e simplesmente fantástico é o “Deep Learning” de Ian Goodfellow. Sugiro prestar atenção nos pontos que tornam as redes neurais muito interessantes por algumas adições computacionais que elas trazem. Entre algumas outras, temos treinamento iterativo, feature engineering, fine-tuning… e sua maleabilidade trouxeram muitas das inovações que vimos nas notícias na última década.</li><li>Aprofundar em novos frameworks de Machine Learning, alguns importantes são: <a href="https://www.tensorflow.org/?hl=pt-br">Tensorflow</a> (Keras embutido) e <a href="https://pytorch.org/">Pytorch</a>.</li><li>Aprofundar em algumas ferramentas de auto-ml, sugestão para começar: <a href="https://automl.github.io/auto-sklearn/master/">Auto-Sklearn</a></li><li>Apesar de ainda estar em desenvolvimento, o <a href="https://www.kubeflow.org/">Kubeflow</a> é um projeto essencial para se conhecer no mundo de MLOps. Sua documentação é muito didática e a comunidade é ótima!</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/550/0*vz_3VCMKtNPFKMZm" /><figcaption><a href="https://www.deeplearningbook.org/">https://www.deeplearningbook.org/</a></figcaption></figure><p>Para todos os interessados, sinceramente eu ainda não fiz o curso, mas confio muito no Andrew Ng:</p><ul><li><a href="https://www.coursera.org/specializations/machine-learning-engineering-for-production-mlops">https://www.coursera.org/specializations/machine-learning-engineering-for-production-mlops</a></li></ul><p>Obrigado por ler e, por favor, envie seus comentários. Eu, como muitos outros, estou aprendendo e uma parte essencial disto é escutar.</p><p>Sucesso em seus estudos!</p><h3>Referências não colocadas no texto:</h3><p>[1] DeepMind’s Losses and the Future of Artificial Intelligence — <a href="https://www.wired.com/story/deepminds-losses-future-artificial-intelligence/">https://www.wired.com/story/deepminds-losses-future-artificial-intelligence/</a></p><p>[2] The untold story of GPT-3 is the transformation of OpenAI<a href="https://bdtechtalks.com/2020/08/17/openai-gpt-3-commercial-ai/"> — https://bdtechtalks.com/2020/08/17/openai-gpt-3-commercial-ai/</a></p><p>[3] DeepMind’s Latest A.I. Health Breakthrough Has Some Problems — <a href="https://onezero.medium.com/deepminds-latest-a-i-health-breakthrough-has-some-problems-5cd14e2c77ef">https://onezero.medium.com/deepminds-latest-a-i-health-breakthrough-has-some-problems-5cd14e2c77ef</a></p><p>[4] The Only 3 ML Tools You Need — <a href="https://towardsdatascience.com/the-only-3-ml-tools-you-need-1aa750778d33">https://towardsdatascience.com/the-only-3-ml-tools-you-need-1aa750778d33</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a7679db9b10e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/datalab-log/mlops-por-onde-come%C3%A7ar-a7679db9b10e">MLOps: por onde começar</a> was originally published in <a href="https://medium.com/datalab-log">DataLab Log</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Desafios de Inteligência Artificial em e-commerce de moda]]></title>
            <link>https://medium.com/dftblog/desafios-de-intelig%C3%AAncia-artificial-em-e-commerce-de-moda-67e23020d97e?source=rss-c941cf3950ac------2</link>
            <guid isPermaLink="false">https://medium.com/p/67e23020d97e</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[fashion]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[research]]></category>
            <category><![CDATA[e-commerce-business]]></category>
            <dc:creator><![CDATA[Ricardo Manhães Savii]]></dc:creator>
            <pubDate>Tue, 07 Jul 2020 19:32:17 GMT</pubDate>
            <atom:updated>2020-07-07T19:32:17.227Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z3tN5yzrHI-XcftywGfD3w.png" /><figcaption>Header image contains work from others: Ada Lovelace cool image (WomenThatDid), music theme (<a href="http://www.ilfondamento.be/why-music-is-an-important-element-in-casinos/">http://www.ilfondamento.be/why-music-is-an-important-element-in-casinos/</a>), neural network (<a href="http://www.diegonogare.net/2020/04/os-principais-nomes-no-deep-learning/">u</a>nknown), graph top (<a href="https://janzz.technology/?attachment_id=9468">https://janzz.technology/?attachment_id=9468)</a>, graph right (<a href="https://www.semanticscholar.org/paper/Graph-based-analysis-of-computer-science-curricula-Pasterk-Bollin/205bde44cb082d4a79838bc2919dc25d5cfc7584">https://www.semanticscholar.org/paper/Graph-based-analysis-of-computer-science-curricula-Pasterk-Bollin/205bde44cb082d4a79838bc2919dc25d5cfc7584</a>) and Linear Algebra matrix reference (<a href="http://physics-ref.blogspot.com/2014/06/linear-algebra-8-systems-of-linear.html">http://physics-ref.blogspot.com/2014/06/linear-algebra-8-systems-of-linear.html</a>).</figcaption></figure><p>A ideia deste texto surgiu de uma breve apresentação que ministrei durante um encontro das <strong>São Paulo Women in Machine Learning &amp; Data Science</strong>. A apresentação foi breve e acredito que há muito mais para explorar.</p><p>O <em>e-commerce</em> no Brasil já crescia de forma constante até inicio de 2020. Neste novo cenário o comércio eletrônico aumentou em importância para clientes e comerciantes. O mundo digital é uma solução enquanto comerciantes precisam encerrar os atendimentos físicos e clientes precisam consumir produtos diminuindo o risco de contaminação.</p><p>Com a vinda massiva de novos comerciantes e clientes ao mundo digital os desafios da computação só aumentam. E acredito que nas universidades há respostas a diversos destes desafios. Anualmente o Brasil matricula mais de 130mil alunos em cursos de <strong>Ciências, matemática e computação</strong>¹. Apesar de serem os cursos com maior índice de evasão, formam-se algumas dezenas de milhares de profissionais anualmente.</p><p>Durante seus anos de estudos estes alunos tem oportunidades e encontros com diversos temas de pesquisa acadêmica, que, por experiência própria, passam desapercebidos. Há pouquíssimas vagas para iniciação científica, além de diversos outros problemas (benefícios e política de trabalho entre outros) que torna a decisão de aceitar estas oportunidades um sacrifício pessoal. Logo pode ser uma decisão bem difícil, e pessoal, trocar um trabalho por uma bolsa de estudos.</p><p>Os temas de pesquisa normalmente encontrados dificilmente estão ligados à aplicações específicas no mercado. Porém posso dizer que todas tem uma aplicação direta ou indireta. Diversas áreas de pesquisa desde otimização, grafos e álgebra linear possuem iniciativas ligadas à uma necessidade de mercado. E é muito muito difícil mapear e detalhar propostas de pesquisa e torná-las em projetos efetivos com bolsas e incentivos para pesquisadores. Isto é um mérito de professores, doutores e centros de incentivo à pesquisa.</p><p>Ouvi diversar vezes durante minha graduação, de alunos que preferiam trabalhar a fazer iniciação científica, que no trabalho lidariam com “problemas reais”. Este texto tem como objetivo incetivar alunos a enxergar que <strong>problemas de</strong> <strong>pesquisa são “problemas reais”</strong>. São problemas tão presentes que ou são difíceis de enxergar ou assume-se que estão resolvidos.</p><p>Abaixo eu listo e comento alguns dos desafios que encontramos em e-commerce e tento mapear com algumas áreas de pesquisa ativas no momento. Aviso: Por favor, considere durante sua leitura que não sou especialista em nenhuma das áreas que comento aqui. Assuma isto como comentários de um leigo, eterno estudante, e posso estar profundamente errado.</p><p><em>¹dados de 2017 — </em><a href="http://portal.mec.gov.br/docman/setembro-2018-pdf/97041-apresentac-a-o-censo-superior-u-ltimo/file"><em>http://portal.mec.gov.br/docman/setembro-2018-pdf/97041-apresentac-a-o-censo-superior-u-ltimo/file</em></a></p><h3>Sistemas de recomendação</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*GdTWEwMJZkwZbez6Jjf0CQ.png" /><figcaption>Figura: Sistemas de recomendação</figcaption></figure><p>O catálogo das lojas online podem ser gigantescos, Dafiti possui mais de 500mil produtos online. Como encontrar o seu produto dentro disso tudo? Neste objetivo entram principalmente dois tipos de sistemas listados aqui: sistemas de recomendação e sistemas busca. Sistemas de recomendação é uma área de pesquisa por sí só, suas primeiras ideias datam do início da computação e até hoje estão em constante revisão. Principalmente na última década com o advento de novos modelos capazes de considerar múltiplas modalidades — imagens, texto livre, vídeo….</p><p>O sistema de recomendação trata de resolver o problema da futura compra do cliente. Qual produto o cliente quer neste momento? É um problema extremamente complexo, entre milhões de clientes e centenas de milhares de produtos, como escolhemos a combinação correta no momento certo? Uma prática comum é tratar esta tarefa como um problema de ranqueamento, onde definimos uma ordem do mais provável ao menos provável de ser comprado pelo cliente, com isso, simplificando muito, temos um ranqueamento de 500mil produtos para cada perfil de cliente.</p><p>Entre os desafios deste tipo de sistema temos dificuldades de engenharia: como armazenar uma matriz de milhões por 500 mil? Como consultar esse tipo de dado e extrair algo útil em milésimos de segundo? Temos também problemas de algoritmo: será que um filtro colaborativo basta? Será que conseguimos cruzar as modalidades de sku e cliente de forma a considerar suas múltiplas dimensões como sequência de compras, características pessoais, imagens dos produtos, texto de descrição?</p><p>Um paper que eu acho fantástico para começar a entender as possibilidades: Improving Fashion Item Encoding and Retrieval — <a href="https://research.zalando.com/welcome/mission/research-projects/improving-fashion-item-encoding-and-retrieval/">https://research.zalando.com/welcome/mission/research-projects/improving-fashion-item-encoding-and-retrieval/</a></p><p>Segue também uma referência bem interessante, promete obter boas recomendações somente usando a sessão atual do cliente: Session-based recommendations with Recurrent Neural Networks — <a href="https://arxiv.org/pdf/1511.06939v4.pdf">https://arxiv.org/pdf/1511.06939v4.pdf</a></p><h3>Sistemas de busca</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/805/1*wA8iS08k6mAd3ZXajc5DbA.png" /><figcaption>Figura: Sistemas de busca</figcaption></figure><p>Sistema de busca é uma área muito extensa em computação. E na última década há diversas iniciativas para aumentar o poder das ferramentas de busca. Uma das frentes, por exemplo, é a busca em dados não estruturados, vídeos e imagens por exemplo. Como temos centenas de milhares de produtos devemos nos preocupar muito na facilidade do cliente em encontrar diretamente o que deseja. Vemos na figura acima um exemplo, como um sistema é capaz de receber uma <em>string</em> “bota vermelha” e retornar resultado de produtos que sejam aceitas?</p><p>Sistemas mais simples podem, por exemplo, calcular a distância das palavras da query (“bota vermelha”) com palavras das decrições dos produtos e retornar as mais próximas. Mas qual medida de distância utilizar? Em sistemas de busca mais modernos podemos, por exemplo, fundir as modalidades de imagem e texto da query e calcular uma similaridade entre elas diretamente. Calculando a similaridade com todos os produtos para as queries, conseguimo então ranquear todos os produtos e esperar que o cliente encontre seu produto desejado.</p><p>Estes sistemas, busca e recomendação, tem uma grande complexidade já na hora de avaliar se a resposta foi boa ou ruim.</p><p>Um projeto que acho muito interessante nesta área é o Jina Ai — <a href="https://jina.ai/#/">https://jina.ai/#/</a></p><h3><strong>Avaliação de comentários</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/866/1*-zqM4S2wBtmz17FJVm2aMA.png" /><figcaption>Figura: Sistema para avaliação de comentários</figcaption></figure><p>Processamento de linguagem natural é uma área com muitas muitas aplicações. Avaliar comentários de produtos é só uma delas. Uma dificuldade que temos é dar conta da quantidade de comentários que recebemos. Imagine, temos centenas de milhares de produtos e recebemos diariamente centenas de comentários. Precisamos verificar se o comentário é condizente com a situação, cuidando de que comentários positivos e negativos sejam considerados e publicados claro! Mas devemos evitar problemas como insultos, publicação de informações pessoais por acidente ou por motivos crimosos, entre outros diversos problemas que encontramos.</p><p>Uma forma bem simples de resolver isto é utilizar técnica de <em>bag-of-words</em><strong><em> </em></strong>com um algoritmo classificador. Um sistema como este é uma oportunidade de criar uma interação entre humanos e máquina. Sistemas Inteligentes de semi-automações consideram que o Aprendizado de Máquina não é perfeito, mas pode diminuir a carga de trabalho dos humanos extraindo análises em grande quantidade de comentários e sugerir uma classificação. Assim o sistema pode excluir ou aprovar diversos comentários ou aponta-los para futura análise humana em lotes.</p><p>Achei o seguinte texto bem legal para quem quer começar nesta: A Beginner’s Guide to Word2Vec and Neural Word Embeddings — <a href="https://pathmind.com/wiki/word2vec">https://pathmind.com/wiki/word2vec</a></p><p>Para quem está interessado no atual estado da arte já recomendo algo como esta publicação: Google achieves state-of-the-art NLP performance with an enormous language model and data set — <a href="https://venturebeat.com/2019/10/24/google-achieves-state-of-the-art-nlp-performance-with-an-enormous-language-model-and-data-set/">https://venturebeat.com/2019/10/24/google-achieves-state-of-the-art-nlp-performance-with-an-enormous-language-model-and-data-set/</a></p><h3>Análises de comportamento do cliente</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9Z4w3XtYy4n8T5gffXak4w.png" /><figcaption>Figura: Análise de comportamento do cliente</figcaption></figure><p>Análise dos clientes é uma vasta área cheia de possíveis aplicações e pesquisa. Entender o comportamento humano através de suas interações com o site tem diversas complexidades. Muitos estudos simples são feitos para entendermos melhor o cliente, por exemplo, horários de acesso ao site, histórico de compras, e tipo de dispositivo que utiliza. Isto já nos trás hipóteses bem interessantes sobre os locais onde as pessoas costumam consumir produtos de moda, quanto tempo “paqueram” produtos de interesse e que tipo de armário nossos clientes montam.</p><p>E, sinceramente, esta área é tão extensa que mereceria diversos posts somente para este. Mas só quero chamar a atenção sobre LGPD (Lei Geral de Proteção de Dados Pessoais — <a href="http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13709.htm">http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2018/lei/L13709.htm</a>) pois este campo de pesquisa pode facilmente abrir muitas brechas de segurança e seus dados deve ser bem vistoriado, justificado seu uso e protegido.</p><p>Seguem abaixo um par de papers excelentes para começar a entender problemas na análise do cliente:</p><p>Customer Lifetime Value Prediction Using Embeddings — <a href="https://arxiv.org/pdf/1703.02596.pdf">https://arxiv.org/pdf/1703.02596.pdf</a></p><p>Media Exposure through the Funnel: A Model of Multi-Stage Attribution — <a href="https://dx.doi.org/10.2139/ssrn.2158421">https://dx.doi.org/10.2139/ssrn.2158421</a></p><h3>Automação de catálogo</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/898/1*DM7nsnMbbi1a8ad3kXl2sg.png" /><figcaption>Figura: Automação de catálogo</figcaption></figure><p>Ao termos centenas de milhares de produtos próprios, a Dafiti Group também trabalha com <em>Marketplace</em> (onde outras lojas vendem pelos nossos sites). Como garantir que o catálogo está organizado e com qualidade de informações? Para esta tarefa são necessários treinar diversos modelos de Machine Learning capazes de encontrar possíveis problemas nos cadastros dos produtos. Por exemplo, na Figura desta seção podemos ver um produto claramente na categoria equivocada.</p><p>Além dos modelos de Machine Learning, este tipo de controle de qualidade de catálogo exige a interação contínua entre um sistema de validação e equipes de humanos. Similar ao sistema inteligente de semi-automação mencionado antes. O sistema inteligente visa aumentar a capacidade das equipes de humanos para que consigam gerenciar centenas de milhares de produtos. E todo tipo de problema pode acontecer, estamos continuamente encontrando problemas e avaliando possíveis correções automatizadas.</p><p>Segue um paper com propostas bem interessantes e práticas: A Unified Model with Structured Output for Fashion Images Classification — <a href="https://arxiv.org/pdf/1806.09445.pdf">https://arxiv.org/pdf/1806.09445.pdf</a></p><h3>Otimização de banners</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/804/1*VAvo7ZPn6ayqPr4d1mR-lg.png" /><figcaption>Figura: Otimização de banners.</figcaption></figure><p>O espaço na tela do usuário é limitado, pense na tela como a vitrine de uma loja física. E na empresa temos inúmeras ideias de campanha ou mensagens que queremos passar para nossos clientes. Mensagens podem ser focadas para o perfil do cliente, algum evento especial de marcas ou algum foco da própria loja.</p><p>Colocaremos na vitrine o que cause <strong>maior impacto esperado </strong>nos resultados da loja. Então, diferente de uma vitrine de loja física temos informações das sessões dos clientes, que nos fornecem dicas do que poderia gerar um maior ou menor interesse em consumir no site. Na definição do desafio já começamos em um problema de pesquisa, o que mede esse impacto? Vendas? retenção de clientes? novos clientes? retenção de marcas…? Essa decisão comumente é tomada rapidamente e foca-se em vendas ou resultado financeiro momentâneo, porém estudos mais aprofundados podem dizer o que traria o maior ganho.</p><p>Outras perguntas que ainda não temos resposta: Mensagens de retenção, estilo de vida, motivacionais são mais “<strong>valiosas”</strong> que mensagens de venda direta ou promoções? características visuais das campanhas afetam seu resultado? conseguimos segmentar campanhas de acordo com o perfil do cliente?</p><p>Segue uma publicação recente com referências bem estruturadas para esta área: A Novel Methodology for Optimizing Display Advertising Campaigns Using Genetic Algorithms — <a href="https://www.researchgate.net/publication/321259861_A_Novel_Methodology_for_Optimizing_Display_Advertising_Campaigns_Using_Genetic_Algorithms">https://www.researchgate.net/publication/321259861_A_Novel_Methodology_for_Optimizing_Display_Advertising_Campaigns_Using_Genetic_Algorithms</a></p><p>Muito obrigado pela atenção ao meu texto e espero que a/o ajude em seus estudos. :)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=67e23020d97e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/dftblog/desafios-de-intelig%C3%AAncia-artificial-em-e-commerce-de-moda-67e23020d97e">Desafios de Inteligência Artificial em e-commerce de moda</a> was originally published in <a href="https://medium.com/dftblog">Dafiti Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Ferramentas que uso e como organizo um projeto de Data Science]]></title>
            <link>https://medium.com/dftblog/ferramentas-que-uso-e-como-organizo-um-projeto-de-data-science-5fd400ea26fe?source=rss-c941cf3950ac------2</link>
            <guid isPermaLink="false">https://medium.com/p/5fd400ea26fe</guid>
            <category><![CDATA[docker]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[rnd]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[makefile]]></category>
            <dc:creator><![CDATA[Ricardo Manhães Savii]]></dc:creator>
            <pubDate>Thu, 23 Jan 2020 15:47:23 GMT</pubDate>
            <atom:updated>2020-07-31T13:34:13.498Z</atom:updated>
            <content:encoded><![CDATA[<h3>Ferramentas e organização em um projeto de Data Science</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CbkhG_5qlx4Chs0ePSWXvg.png" /><figcaption>Header image contains work from others: Jupyter logo, GitHub logo, Python logo, Makefile logo by [Scott Doxey](<a href="https://dribbble.com/shots/2725990-Makefile-Logo">https://dribbble.com/shots/2725990-Makefile-Logo</a>), Docker logo and [Einstein’s cool image](<a href="https://www.teepublic.com/t-shirt/2925048-einstein-funny-t-shirt">https://www.teepublic.com/t-shirt/2925048-einstein-funny-t-shirt</a>)</figcaption></figure><p>Após ter iniciado muitos projetos de data science, ter entregue alguns, e ainda estar trabalhando na integração e qualidade de software de vários, eu adquiri uma série de estratégias de organização para estruturar o<strong> software</strong> final. Em muitos projetos meus, e outros que vejo, eu encontro alguns problemas: falta de definição de ambiente e empacotamento da aplicação, falta de modularidade, falta de testes, falta de documentação, entre outros.</p><p>Acredito que não sou só eu que percebo este problema. Muitos artigos apontam os problemas causados pela falta de documentação. Por exemplo, gosto deste texto de <a href="https://spectrum.ieee.org/author/stacey-higginbotham">Stacey Higginbotham</a> na IEEE <a href="https://spectrum.ieee.org/computing/software/hey-data-scientists-show-your-machinelearning-work">“Hey Data Scientists, show your machine learning work”</a>. O mundo acadêmico se preocupa cada vez mais com a perda de conhecimento e o lento avanço da ciência devido à carência de replicabilidade. Por exemplo, a ACM trabalha aplicando <em>badges</em> conforme uma <a href="https://www.acm.org/publications/policies/artifact-review-badging">taxonomia interessante para publicações</a>, diferenciando seu nível de replicabilidade.</p><p>Fora da academia temos de longa data a cultura de <strong>Engenharia de Software</strong>, <strong><em>DevOps</em></strong>, <strong><em>SRE </em></strong>(System Reliability Engineering), as quais já estão bem maduras em metodologias e ferramentas para construção de um sistema testado, confiável, modularizado, de manutenção simplificada, ou seja, com um nível de maturidade bom. Porém a ciência de dados sofre com a falta de padrões, na hora de entregar um Sistema Inteligente, correndo o grande risco de este ser uma caixa preta para quem o usa e, talvez, para quem o irá manter. Isto não só prejudica os profissionais envolvidos no processo, que ficarão amarrados futuramente à sistemas legados de difícil manutenção, mas também acabará prejudicando as empresas cujas equipes estarão muito ocupadas mantendo caixas pretas enquanto o débito técnico só aumenta.</p><p>Enfim, muitos e muitos problemas podem surgir. Mas acredito que um caminho para amenizar os riscos é a transparência e acordos de documentação e <a href="https://pt.wikipedia.org/wiki/Capability_Maturity_Model">maturidade de software</a>. No Dafiti Group criamos um sistema de avaliação de maturidade dos sistemas. É, basicamente, um check-list graduado de características de um sistema avaliado com notas de 0 a 5. Basicamente, um sistema pode até funcionar em seu notebook, porém se ela estiver no nível de maturidade 0 esse sistema ainda não pode ser colocado em produção, pois carece de documentação, os logs não estão formatados e bem definidos, não há uma cobertura de testes suficientes, entre outras características.</p><p>Sob esta necessidade de criar <strong>Sistemas Inteligentes </strong>com um nível de maturidade bom o suficiente para não ser uma caixa preta, eu venho estudando e aplicando algumas ferramentas que me ajudam na hora de ter um software mais compreensível.</p><p>Eu separo mentalmente os projetos em três principais etapas: <strong>EDA </strong>(<em>Exploratory Data Analysis), </em><strong><em>PoC</em></strong><em> (Proof of Concept</em>) e <strong>Desenvolvimento</strong>.</p><h3>Exploratory Data Analysis</h3><p>Esta seção, é bem pouco representada no projeto como um todo, porém pode ocupar a maior parte do tempo de desenvolvimento de um projeto. EDA é a fase em que estamos tratando de entender o problema apresentado. De forma bem resumida, definimos fontes de dados, avaliamos todos os dados que temos e sua relação com a tarefa, construímos features e definimos um <em>pipeline</em> de dados. Para mim, esta etapa tem dois objetivos: 1 - identificar o problema e 2 — montar o pipeline de dados para preparar a base de dados para treino, teste, validação e payload de predição do sistema final. Esta etapa, gigante, eu tento resumir em um ou dois <a href="https://jupyter.org/">notebooks</a> dentro de uma pasta com mesmo nome.</p><h3>Proof of Concept</h3><p>A prova de conceito é tentar demonstrar que conseguimos de alguma forma fornecer a modelagem requerida para sanar o problema, com um erro aceitável. Esta tarefa, por ser muito exploratória, testa diversos modelos, diversas formas de pré-processamento e inúmeras variabilidades, eu tento também resumir em um ou dois notebooks dentro da mesma pasta mencionada anteriormente.</p><p>Até este momento meu repositório de código é algo bem pequeno, algo assim:</p><pre>.<br>└── notebooks/<br>    ├── EDA.ipynb<br>    ├── ...<br>    └── POC.ipynb</pre><p>No fluxo de trabalho por aqui, nem todos os projetos podem/devem chegar na etapa de desenvolvimento. O projeto pode chegar ao final da PoC e concluirmos que, por exemplo, não conseguimos resolver o problema de forma aceitável. Nesse caso, o projeto seria cancelado, tentaremos extrair <em>insights</em>/aprendizados e formalizar uma retrospectiva do projeto para entender se podemos refatorar o projeto de alguma forma ou seguir adiante.</p><h3>Desenvolvimento</h3><p>No caso de obtermos sucesso na etapa de PoC entraremos na etapa de desenvolvimento e integração do modelo de aprendizado de máquina com a equipe <em>stakeholder</em> ou algum sistema. Neste momento é onde eu crio toda uma nova estrutura de pastas no repositório seguindo o seguinte padrão:</p><pre>.<br>├── notebooks/<br>│   └── ...<br>├── .circleci/<br>│   └── config.yml<br>├── docker/<br>│   └── Dockerfile<br>├── Makefile<br>├── README.md<br>├── MATURITY.md<br>├── requirements.txt<br>├── &lt;main_application&gt;/<br>│   ├── config.ini<br>│   ├── &lt;entrypoint_script1&gt;<br>│   ├── train<br>│   ├── serve<br>│   ├── ...<br>│   ├── services/<br>│   │   ├── sagemaker_starter.py<br>│   │   └── terraformer.py<br>│   ├── utils/<br>│   │   ├── archives.py<br>│   │   ├── arg_parser.py<br>│   │   ├── credentials.py<br>│   │   ├── files.py<br>│   │   └── logger.py<br>│   └── version.py<br>├── ml/<br>│   ├── input/<br>│   │   ├── ...<br>│   │   └── query.sql<br>│   └── output/<br>├── scripts/<br>│   ├── build_and_push.sh<br>│   └── test.sh<br>├── secrets/<br>│   ├── gcp_credentials.json<br>│   └── secrets.yml<br>├── .gitignore<br>├── setup.cfg<br>└── setup.py</pre><p>Antes de entrarmos nas pastas temos alguns arquivos na raiz do projeto que são muito importantes. O README.md contém uma documentação padrão - como eu tenho trabalhado seguindo uma mesma estrutura isso me economiza esforço em sempre criar um README do zero, grande parte é a mesma e eu preciso detalhar somente o algoritmo utilizado e se há alguma arquitetura específica do sistema.</p><p>O Makefile é um arquivo que, particularmente, adoro. Eu sou péssimo para memorizar comandos shell e scripts para iniciar funcionalidades. Com o Makefile, eu simplifico isso criando uma série de <em>targets </em>padrões para todos os meu projetos. Por exemplo, qualquer projeto meu responderá quando eu executar o comandomake data , cada projeto tem uma forma única de criar os dados, que está por trás desse comando. Outros targets que tenho padrões são make preprocess , make train , make local-serve e make local-predict . Caso queira aprender mais sobre Makefile indico esta leitura rápida para começar: <a href="https://krzysztofzuraw.com/blog/2016/makefiles-in-python-projects.html">https://krzysztofzuraw.com/blog/2016/makefiles-in-python-projects.html</a></p><p>O arquivo MATURITY.md contém o checklist de características do Dafiti Group. Isto, pessoalmente, me motiva muito quando vou cumprindo as tarefas para melhorar a maturidade do sistema. :) Os arquivos setup.py e setup.cfg seguem os padrões de packaging do python, e os uso mais como metadados do projeto: quem é o autor, tipo de aplicação, tags e labels relacionadas.</p><p>Uso, normalmente, um único arquivo requirements.txt em conjunto com um docker/Dockerfile para definir o ambiente da aplicação. Isso também me facilita no CICD (<em>Code integration e Code Deployment</em>), que é feito através do <strong>circleci</strong>, como pode-se ver no arquivo circleci/config.yml . Entre as etapas de deployment, normalmente está em <em>buildar</em> a imagem docker da aplicação na pasta &lt;main_application&gt;/ e subir para algum container registry, na AWS ou no Google Cloud Platform. Assim, de qualquer lugar (logado ao registry) eu posso usar o docker run &lt;imagem&gt; &lt;entrypoint_script&gt; . Esse padrão atende os principais serviços de treinamento em nuvem: AWS SageMaker, Google Cloud Machine Learning Engine ou um Kubernetes com Kubeflow.</p><p>A pasta ml existe por minha inabilidade de testar tudo em nuvem. Eu ainda sinto a necessidade de rodar localmente e como algoritmos de aprendizado de máquina possuem dependências de arquivos gerados durante alguns processos (exemplos, datasets, modelos salvos), é nessa pasta ml onde eu salvo. E normalmente eu incluo essa pasta no .gitignore para evitar problemas de arquivos muito grandes, apesar de normalmente eu lidar localmente com amostragem, servindo mais como um teste de integração.</p><p>No .gitignore eu também incluo a pasta secrets/ , onde guardo algumas chaves de acesso de serviços cloud. Conseguindo assim submeter diretamente algum <em>job</em>. Por último, temos a pasta scripts onde guardo scripts padrões para suporte ao CICD, por exemplo. Eu tenho algumas variações de scripts build_and_push.sh dependendo para qual cloud iremos fazer o <em>deploy</em>, assim o meu código do <strong>circleci </strong>não muda chamando scripts de mesma assinatura, porém para clouds distintas.</p><p>A pasta principal da aplicação contém na sua raiz os entrypoint_scripts , que para projetos deste tipo, normalmente, há train e serve , mas pode incluir outros, dependendo da necessidade. Dentro da pasta da aplicação eu tenho dois módulos: services e utils . services são classes que definem comportamentos específicos para esse projeto específico, por exemplo, uma class MLModel e uma Experiment . Já o módulo utils é composto por diversas funcionalidades rápidas e que me servem para diversos projetos. Uma intenção futura minha é tornar essa pasta utils em um pacote pip, ou algo do tipo. Pois tenho classes para lidar com Archives , que são funções de mesma assinatura para lidar com AWS S3 ou Google Cloud Storage. Por terem as mesmas assinaturas, mudar de uma cloud para outra exigem pouquíssimas mudanças nas minhas aplicações.</p><p>Algo que está em meus próximos passos é aumentar a cobertura de testes dos projetos. Até por que este texto já ficou um pouco grande.</p><p>Estou um pouco desatualizado com meus repositórios públicos. Mas minha intenção é que este padrão de projeto estará neste repositório público: <a href="https://github.com/ricoms/ml-explore-template">https://github.com/ricoms/ml-explore-template</a> caso alguém queira ajudar ou apontar issues, criticar ou sugerir formas, por favor, fique à vontade.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5fd400ea26fe" width="1" height="1" alt=""><hr><p><a href="https://medium.com/dftblog/ferramentas-que-uso-e-como-organizo-um-projeto-de-data-science-5fd400ea26fe">Ferramentas que uso e como organizo um projeto de Data Science</a> was originally published in <a href="https://medium.com/dftblog">Dafiti Group</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>