<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Milton Gama Neto on Medium]]></title>
        <description><![CDATA[Stories by Milton Gama Neto on Medium]]></description>
        <link>https://medium.com/@miltongamaneto?source=rss-5f10be0288a6------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*7cSNj6ahL6gjaTt2bcXF0A.jpeg</url>
            <title>Stories by Milton Gama Neto on Medium</title>
            <link>https://medium.com/@miltongamaneto?source=rss-5f10be0288a6------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 06:14:47 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@miltongamaneto/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Construindo aplicações personalizadas com LLM através de RAG (Retrieve Augmented Generation)]]></title>
            <link>https://medium.com/data-hackers/construindo-aplica%C3%A7%C3%B5es-personalizadas-com-llm-atrav%C3%A9s-de-rag-retrieve-augmented-generation-6f3a3df7b6de?source=rss-5f10be0288a6------2</link>
            <guid isPermaLink="false">https://medium.com/p/6f3a3df7b6de</guid>
            <category><![CDATA[generative-ai-tools]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <dc:creator><![CDATA[Milton Gama Neto]]></dc:creator>
            <pubDate>Thu, 01 Feb 2024 11:29:18 GMT</pubDate>
            <atom:updated>2024-02-01T11:29:18.604Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SxG0fVsiUmnUh-a6SD7VyA.png" /></figure><p>Os LLMs (Large Language Models) tem apresentado uma eficiência surpreendente em diversas atividades. Isso ocorre porque esses modelos são treinados em enormes bases de dados de diferentes contextos, como informações do Wikipédia, artigos científicos, blogs, códigos, entre outros. Porém para alguns fins específicos, assim como para dados corporativos e/ou privados, o modelo não consegue um bom desempenho, pois não teve acesso a informação. Com isso, um possível resultado são os erros conhecidos como alucinações.</p><p>Para aumentar a precisão e confiabilidade dos LLMs e fornecer um modo de expandir sua base de conhecimento, surgiu a técnica Retrieval Augmented Generation, ou simplesmente RAG, proposta por pesquisadores do Facebook AI Research (agora Meta AI). Com essa técnica, é possível construir soluções com dados privados e utilizar a “inteligência” de um LLM sem precisar treiná-lo novamente.</p><h3>Retrieve Augmented Generation (RAG)</h3><p>RAG, ou Geração Aumentada de Recuperação em português, é uma técnica que combina a recuperação de informação com um modelo de geração de texto para aprimorar os resultados. Esse método fornece ao modelo informações direcionadas, que podem estar mais atualizadas que o conjunto utilizado em seu treinamento ou serem específicas de um contexto particular.</p><p>A estrutura de uma solução de RAG envolve três etapas principais: (1) a identificação de documentos relevantes que refletem o contexto da entrada ou pergunta, (2) a junção deste contexto com um prompt contendo instruções específicas, e finalmente, (3) a criação do texto utilizando um LLM. A imagem a seguir exemplifica cada uma dessas fases:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hrICpTM7e1BH2uuwiIYZFQ.png" /><figcaption>Estrutura de uma solução RAG. Fonte: Autor</figcaption></figure><p>Detalhando um pouco mais cada componente:</p><h4>- Retrieve</h4><p>O principal diferencial da técnica de RAG em comparação a utilização de um LLM de maneira convencional, é justamente a etapa de recuperação da informação. Nesse momento, é possível adicionar conteúdo além do conhecimento do LLM.</p><p>Essa etapa é fundamental para obter boas respostas, por isso, a busca precisa ser precisa e localizar o conteúdo correto de acordo com a pergunta ou consulta realizada. Ainda que a imagem acima exiba apenas o fluxo percorrido pelo processamento de uma pergunta até chegar em uma resposta, vale salientar que a etapa de retrieve pode ser separada em dois momentos básicos: (1) inserção dos documentos e (2) busca dos documentos relevantes.</p><p>Dado a relevância da busca, um componente essencial que elevou a qualidade de buscas textuais e está constantemente presente nas arquiteturas de RAG são os Bancos de Dados Vetoriais, que armazenam e buscam os vetores gerados por meio de embeddings. É importante entender esses dois conceitos também:</p><p><strong>Embedding:</strong> técnica para representar palavras, textos ou outros objetivos como imagens e vídeos, em uma projeção no formato de vetor de números reais. Essa representação é realizada em um espaço multidimensional, em que os pontos mais próximos são mais semelhantes. Os Embeddings podem ser gerados a partir de Redes Neurais Profundas, que aprendem os padrões semânticos dos dados para realizar a conversão de maneira automática.</p><p>Essa representação consegue capturar o valor semântico ou contextual, evitando a dependência de uma correspondência textual exata.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SgDLv7bstP_iO3j9Mp39Tw.png" /><figcaption>Exemplo de embeddings. Fonte: <a href="https://openai.com/blog/introducing-text-and-code-embeddings">OpenAI</a></figcaption></figure><p><strong>Banco de Dados Vetorial:</strong> é um tipo de banco de dados projetado para salvar informações de vetores multidimensionais. Além do armazenamento, um dos principais benefícios é a forma eficiente de localizar e recuperar informação de acordo com a proximidade ou semelhança entre os vetores. Dessa maneira, são retornadas informações com maior semelhança semântica.</p><h4>- Augment</h4><p>Etapa voltada para prompt engineering. O aumento ocorre através da concatenação dos documentos relevantes em um prompt que fornece as instruções para o modelo, indicando o que fazer e que deve considerar as informações listadas assim como a pergunta do usuário.</p><p>Com a construção de bons prompts e informações recuperadas de maneira precisa para a pergunta em questão, o modelo receberá um conteúdo que não fez parte do seu treinamento e serão importantes para a resposta final.</p><h4>- Generate</h4><p>Com o prompt preparado, basta selecionar o LLM e submetê-lo para gerar a resposta. Dessa maneira, o LLM consegue utilizar suas informações internas (do treinamento) e as informações externas (do prompt) para conseguir gerar uma boa resposta para o que foi solicitado.</p><h3>Vantagens em utilizar RAG</h3><ul><li>Fornece informações para o LLM que não fez parte do seu treinamento;</li><li>Governança simples, seja para adicionar, remover ou atualizar o conteúdo;</li><li>Sem necessidade de retreinar um LLM, ou seja, apresenta um modo mais barato de personalizar a solução;</li><li>Possibilita a identificação das fontes utilizadas nas respostas, passando transparência para quem utiliza e reduz a chance de alucinação.</li></ul><h3>Implementando um sistema de RAG</h3><p>Essa seção apresenta uma implementação de RAG em Python. Foi utilizado o banco de dados vetorial ChromaDB, e os modelos da OpenAI text-embedding-ada-002 e GPT-3.5, para criação de vetores e geração de texto, respectivamente. Entretanto, todos esses componentes podem ser substituídos por outros de mesmo propósito.</p><p><strong>Step 0: Upload de documentos</strong></p><p>Antes de recuperar as informações, é necessário preparar a base de dados e inserir os documentos em uma collection/index. Além da seleção dos documentos, nesse momento também são construídos os embeddings.</p><p>O arquivo <em>prep_docs.py</em> abaixo é responsável por ler os PDFs de uma pasta, transformar e inserir as informações no ChromaDB.</p><pre>import PyPDF2<br>from openai import OpenAI<br>import chromadb<br>import uuid<br>import os<br><br>CHUNK_SIZE = 1000<br>OFFSET = 200<br><br>openai_client = OpenAI(api_key=os.environ[&quot;OPENAI_API_KEY&quot;])<br><br>chromadb_path = &quot;path/to/save/&quot; # CONFIG YOUR PATH<br>chroma_client = chromadb.PersistentClient(path=chromadb_path)<br>collection = chroma_client.create_collection(name=&quot;my_collection&quot;)<br><br>def get_document(document_path):<br>    &quot;&quot;&quot;Read a PDF document and return text in string&quot;&quot;&quot;<br>    file = open(document_path, &#39;rb&#39;)<br>    reader = PyPDF2.PdfReader(file)<br><br>    document_text = &quot;&quot;<br>    for i in range(len(reader.pages)):<br>        page = reader.pages[i]<br>        content = page.extract_text()<br>        document_text += content<br><br>    len(document_text)<br>    return document_text<br><br>def split_document(document_text):<br>    &quot;&quot;&quot;Split a document in a list of string&quot;&quot;&quot;<br>    documents = []<br>    for i in range(0, len(document_text), CHUNK_SIZE):<br>        start = i<br>        end = i + 1000<br>        if start != 0:<br>            start = start - OFFSET<br>            end =  end - OFFSET<br>        documents.append(document_text[start:end])<br>    return documents<br><br>def get_embedding(text):<br>    &quot;&quot;&quot;Transform a text in a vector using embedding model&quot;&quot;&quot;<br>    embedding = openai_client.embeddings.create(<br>        input=text,<br>        model=&quot;text-embedding-ada-002&quot;<br>    )<br>    <br>    return embedding.data[0].embedding<br><br>def prepare_documents(documents, document_name):<br>    &quot;&quot;&quot;Prepare documents to vector database, generating embedding and metadata&quot;&quot;&quot;<br>    embeddings = []<br>    metadatas = []<br>    for i, doc in enumerate(documents):<br>        embeddings.append(get_embedding(doc))<br>        metadatas.append({&quot;source&quot;: document_name, &quot;partition&quot; : i})<br><br>    return embeddings, metadatas<br><br>def create_ids(documents):<br>    &quot;&quot;&quot;Create a list of IDs for documents&quot;&quot;&quot;<br>    return [uuid.uuid4() for _ in documents]<br><br>def insert_data(documents, embeddings, metadatas, ids):<br>    &quot;&quot;&quot;Insert data in a ChromaDB collection&quot;&quot;&quot;<br>    collection.add(<br>        embeddings=embeddings,<br>        documents=documents,<br>        metadatas=metadatas,<br>        ids=ids<br>    )<br>    print(f&quot;Data successfully entered! {len(documents)} Chunks&quot;)<br><br>def run():<br>    print(&quot;Running prep docs...&quot;)<br>    data_path = &#39;data/&#39;<br><br>    documents = []<br>    embeddings = []<br>    metadatas = []<br><br>    documents_names = os.listdir(data_path)<br>    documents_names_size = len(documents_names)<br>    for i, document_name in enumerate(documents_names): <br>        print(f&quot;{i+1}/{documents_names_size}: {document_name}&quot;)<br><br>        document = get_document(os.path.join(data_path, document_name))<br>        document_chunks = split_document(document)<br>        document_embeddings, document_metadatas = prepare_documents(document_chunks, document_name)<br>        documents.extend(document_chunks)<br>        embeddings.extend(document_embeddings)<br>        metadatas.extend(document_metadatas)<br>    <br>    ids = create_ids(documents)<br>    insert_data(documents, embeddings, metadatas, ids)<br>        <br>if __name__ == &quot;__main__&quot;:<br>    run()</pre><p>As etapas seguintes que implementam o RAG serão divididas no arquivo <em>main.py</em> abaixo. O código é responsável por realizar a consulta no ChromaDB, preparar o prompt e utilizar o LLM.</p><p><strong>Step 1: Retrieve</strong></p><pre>import chromadb<br>from openai import OpenAI<br>import os<br><br>openai_client = OpenAI(api_key=os.environ[&quot;OPENAI_API_KEY&quot;])<br><br>chromadb_path = &quot;path/to/save/&quot; # CONFIG YOUR PATH<br>chroma_client = chromadb.PersistentClient(path=chromadb_path)<br>collection = chroma_client.get_collection(&quot;my_collection&quot;)</pre><pre><br>def get_embedding(text):<br>    &quot;&quot;&quot;Transform a text in a vector using embedding model&quot;&quot;&quot;<br>    embedding = openai_client.embeddings.create(<br>        input=text,<br>        model=&quot;text-embedding-ada-002&quot;<br>    )<br>    <br>    return embedding.data[0].embedding<br><br>def search_document(question):<br>    &quot;&quot;&quot;Search for relevant documents in ChromaDB according to the question&quot;&quot;&quot;<br>    query_embedding = get_embedding(question)<br>    results = collection.query(<br>        query_embeddings=[query_embedding],<br>        n_results=3<br>    )<br>    return results<br><br>def format_search_result(relevant_documents):<br>    &quot;&quot;&quot;Auxiliary function to format a list of documents into a string&quot;&quot;&quot;<br>    formatted_list = []    <br>    for i, doc in enumerate(relevant_documents[&quot;documents&quot;][0]):<br>        formatted_list.append(&quot;[{}]: {}&quot;.format(relevant_documents[&quot;metadatas&quot;][0][i][&quot;source&quot;], doc))<br>    <br>    documents_str = &quot;\n&quot;.join(formatted_list)<br>    return documents_str</pre><pre>relevant_documents = search_document(question)<br>documents_str = format_search_result(relevant_documents)</pre><p><strong>Step 2: Augment</strong></p><pre>prompt = &quot;&quot;&quot;Você é um assistente de IA que responde as dúvidas dos usuários com bases nos documentos a baixo.<br>Os documentos abaixo apresentam as fontes atualizadas e devem ser consideradas como verdade.<br>Cite a fonte quando fornecer a informação. <br>Documentos:<br>{documents}<br>&quot;&quot;&quot;<br><br>prompt = prompt.format(documents=documents_str)<br><br>messages=[<br>  {&quot;role&quot;: &quot;system&quot;,&quot;content&quot;: f&quot;{prompt}&quot;},<br>  {&quot;role&quot;: &quot;user&quot;,&quot;content&quot;: f&quot;{question}&quot;}<br>]</pre><p><strong>Step 3: Generate</strong></p><pre>chat_completion = openai_client.chat.completions.create(<br>    messages=messages,<br>    model=&quot;gpt-3.5-turbo&quot;,<br>    max_tokens=512,<br>    temperature=0<br>)<br>answer = chat_completion.choices[0].message.content</pre><h4>Código completo</h4><p><a href="https://github.com/miltongneto/RAG">GitHub - miltongneto/RAG: Introduction to RAG (Retrieve Augmented Generation)</a></p><h3>Como evoluir a solução</h3><p>Como foi mencionado, existem diversas maneiras de adaptar a solução, possibilidades para modificar o banco vetorial ou o LLM utilizado, seja optando por uma solução paga ou por meio de open-source. Cada opção apresentará um tradeoff.</p><p>Algumas opções comuns para variar esses componentes na aplicação:</p><ul><li>Bancos Vetoriais<br>- ChromaDB<br>- Azure AI Search (Microsoft)<br>- Vertex AI Search (Google)<br>- Pinecone<br>- Milvus<br>- Qdrant</li><li>Modelos (LLMs)<br>- GPT-3.5 (OpenAI)<br>- GPT-4 (OpenAI)<br>- PaLM 2 (Google)<br>- LLaMA 2<br>- Falcon<br>- Mistral 7B</li></ul><p>A comparação vetorial é uma excelente maneira de capturar a semântica, porém a comparação textual também tem suas vantagens e por isso combinar as duas, numa abordagem conhecida como busca híbrida, pode extrair o potencial de ambas. Já a escolha do LLM pode ser guiada pelo tamanho do modelo, precificação e em benchmark de performance.</p><p>Um tipo comum de aplicação é um chatbot, que mantém o contexto da conversa, isto é, não é executado apenas no formato de Pergunta e Resposta. Com algumas adaptações no código de RAG apresentado, a solução será capaz de utilizar o histórico da conversa. Existem algumas maneiras de fazer isso, por exemplo, utilizando o LLM para sumarizar o histórico ou por meio de janela deslizante enviar as últimas interações.</p><p>Uma outra forma de evoluir com o código, é por meio do framework LangChain, que tem o propósito de simplificar a construção de aplicações com LLMs, fornecendo interações e uma abstração de algumas etapas e complexidades. Devido ao intuito do artigo em detalhar as etapas que ocorrem em uma solução de RAG, o framework não foi adotado para conseguir explorar melhor o funcionamento ponta a ponta, porém é fortemente recomendado para escalar e evoluir com as soluções.</p><h3>Conclusão</h3><p>RAG é uma excelente maneira de criar aplicações com dados proprietários, além de ter maior domínio em relação ao tipo de informação utilizada. Esse tipo de técnica habilita uma série de aplicações, com um custo significativamente menor em comparação a treinar um modelo especializado.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6f3a3df7b6de" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/construindo-aplica%C3%A7%C3%B5es-personalizadas-com-llm-atrav%C3%A9s-de-rag-retrieve-augmented-generation-6f3a3df7b6de">Construindo aplicações personalizadas com LLM através de RAG (Retrieve Augmented Generation)</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Responsible AI: práticas necessárias para o futuro das soluções de Inteligência Artificial]]></title>
            <link>https://medium.com/data-hackers/responsible-ai-pr%C3%A1ticas-necess%C3%A1rias-para-o-futuro-das-solu%C3%A7%C3%B5es-de-intelig%C3%AAncia-artificial-4ab91f180544?source=rss-5f10be0288a6------2</link>
            <guid isPermaLink="false">https://medium.com/p/4ab91f180544</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[explainable-ai]]></category>
            <category><![CDATA[responsible-ai]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <dc:creator><![CDATA[Milton Gama Neto]]></dc:creator>
            <pubDate>Tue, 10 Oct 2023 12:26:19 GMT</pubDate>
            <atom:updated>2023-10-10T13:53:00.015Z</atom:updated>
            <content:encoded><![CDATA[<p>As soluções de Inteligência Artificial (IA) já faziam parte do cotidiano e cresciam num ritmo acelerado, porém após o lançamento do ChatGPT, no final de 2022, esse tema cresceu substancialmente. A capacidade dos modelos LLMs (Large Language Models) impressionou a sociedade, assim como os modelos de Generative AI para imagem e vídeos, o que impulsionou discussões e preocupações que foram além da bolha de tecnologia.</p><p>A preocupação dos impactos que as soluções de IA podem causar na sociedade, como os vieses podem influenciar as decisões, sobre a falta de clareza no processo que conduz as inferências, entre diversos outros questionamentos, fizeram com que o tema Responsible AI (ou IA Responsável) ganhasse mais importância e notoriedade.</p><p>De forma resumida, <strong>Responsible AI é a prática de desenvolver e operacionalizar soluções de inteligência artificial que sigam valores éticos, sejam confiáveis, justas e seguras, com objetivo de mitigar danos a sociedade e garantir uma atuação responsável.</strong></p><p>O assunto tem sido de extrema importância para as grandes empresas de tecnologia, ganhando cada vez mais relevância em suas páginas sobre IA, menções nos artigos e palestras.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j2sZEzfqbwwsOTKWumooEQ.png" /><figcaption>Responsible AI em grandes empresas de tecnologia</figcaption></figure><p>Alguns destaques de como essas empresas estão abordando o tema:</p><ul><li>O Google apresenta em sua página diversas diretrizes, um time especializado em Responsible AI, cursos direcionados para esse assunto, além de realizar publicações e divulgar ferramentas para auxiliar na prática.</li><li>A Meta, além de divulgar os pilares da companhia, divulgou recentemente junto com a publicação do seu modelo LLM, LLaMa, um relatório com as práticas adotadas de responsabilidade na construção, apresentando as métricas dos resultados obtidos por seu modelo em diferentes grupos da sociedade, para ressaltar que o modelo é justo e não contém discriminação por representatividade.</li><li>A Microsoft desenvolveu um padrão que define uma estrutura para criação de sistemas com IA. O tema é um dos recorrentes nas palestras e eventos da companhia. Vale ressaltar também as ferramentas disponibilizadas para auxiliar na construção de aplicações responsáveis.</li><li>Na OpenAI, um dos principais destaques adotados pela empresa para buscar resultados seguros com o ChatGPT, foi a adoção de RLHF, combinado com os testes realizados para garantir a segurança das respostas. A prática adotada foi fundamental para evitar discurso de ódio ou preconceito baseado no histórico de dados que veio da internet.</li></ul><h3>Por que o assunto é tão importante?</h3><p>Os modelos de Generative AI e de Machine Learning são construídos a partir de dados e seus resultados vão impactar de forma direta ou indireta a vida das pessoas. A má conduta desse tipo de sistema pode formar um ciclo nocivo para os cidadãos.</p><p>Os dados disponíveis hoje são reflexo da sociedade, é preciso de um cuidado no tratamento das informações para evitar propagar ou agravar os problemas existentes, o que acarretaria um ciclo nocivo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/808/1*Xhc_89AGswtH7thR5Y6epQ.jpeg" /><figcaption>Atenção com possíveis ciclos nocivos propagados pela IA</figcaption></figure><h3>Princípios de Responsible AI</h3><p>Para direcionar na construção de uma IA responsável, existem alguns princípios fundamentais que devem ser seguidos. Ainda que não seja uma unanimidade, alguns autores ou as diretrizes das big techs costumam variar um pouco as nomenclaturas, entretanto as diferenças são basicamente sinônimas, agrupamentos ou pequenas mudanças. Dessa forma, os princípios essenciais são:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*d3uYspqeOBYobglrj-OUSQ.png" /><figcaption>Princípios de Responsible AI</figcaption></figure><h4>Fairness</h4><p>Garantir que as decisões sejam justas, sem preconceitos e discriminações com indivíduos ou grupos, evitando que as soluções tenham vieses que criem ou agravem discriminações na sociedade.</p><p><em>Exemplo: remoção de variáveis ou dados que contenha conteúdo discriminatório ou viés com determinado grupo, seja um texto explicitamente discriminatório ou uma característica de uma pessoa que não tenha relação com o contexto do modelo, mas pode prejudicar devido ao histórico preconceituoso da sociedade.</em></p><h4>Transparency</h4><p>As decisões da IA devem ser compreensíveis e explicáveis, fornecendo detalhes dos fatores que conduziram a determinada resposta.</p><p><em>Exemplo: aplicação de técnicas de Explainable AI para fornecer interpretação do impacto das variáveis no modelo e em cada decisão recomendada. Deve haver visibilidade do assunto tanto do time técnico quanto de negócio/especialista, para que todos sejam aptos a explicar o que ocorreu para os clientes ou pessoas impactadas.</em></p><h4>Privacy &amp; Security</h4><p>Os sistemas devem proteger os dados pessoais e a privacidade das pessoas no momento da coleta, armazenamento e processamento das informações. Os sistemas também devem garantir a segurança dos dados, evitando acessos não autorizados e ataques maliciosos.</p><p><em>Exemplo: garantir que os usuários tenham ciência do motivo da coleta dos dados e da finalidade do uso, respeitando as legislações e regulamentações. Os dados devem ser tratados com cuidado em todas as etapas, seja dentro de uma empresa, com máscaras para dados sensíveis, políticas de acesso com restrições bem definidas, mas também durante os transações de informações na rede, utilizando mecanismos de criptografia, por exemplo.</em></p><h4>Accountability</h4><p>As pessoas e as organizações devem ser responsáveis pelos sistemas de IA, com papéis e responsabilidades claramente definidos.</p><p><em>Exemplo: definição clara e documentada de papéis, responsabilidades e autoridades nas tomadas de decisões, assim como os registros dos processos que envolvem a criação da solução de modo que esteja apto para ser auditado.</em></p><h4>Safety</h4><p>As soluções devem garantir que as respostas dos algoritmos são seguras, que não propagam discurso de ódio, discriminação ou qualquer conduta que fuja de uma conduta ética.</p><p><em>Exemplo: realizar testes manuais e automatizados das soluções, avaliando rigorosamente os resultados gerados para que as saídas não apresentem discriminação. E implementar regras de segurança para evitar tal tipo de resposta.</em></p><h4>Robustness</h4><p>Os sistemas devem ser robustos, bem testados e avaliados, para garantir que os resultados ocorram dentro do esperado, mesmo em situações adversas e que tome decisões confiáveis.</p><p><em>Exemplo: avaliação da solução em diversos cenários, com resultados metrificados que auxiliem na identificação dos pontos fortes e fracos.</em></p><h3>Em que momento deve ser colocado em prática?</h3><p>A preocupação em criar IAs responsáveis e com a prática dos princípios listados devem ser algo presente em todo o ciclo do produto. Em relação ao momento da execução, é importante destacar os seguintes pontos:</p><ul><li>A prática deve ser realizada em todas as etapas do projeto, na concepção, durante o desenvolvimento e após a implantação.</li><li>É um processo cíclico e interativo, que deve ser revisitado e analisado diversas vezes.</li><li>As pessoas estão envolvidas em todas as fases de um projeto de IA, um breve resumo das decisões passa por: coletar dados, controlar o desenvolvimento/implantação e aplicar a solução. Em todos esses momentos são necessários considerações e avaliações a respeito da responsabilidade.</li><li>É importante explorar e estressar as possibilidades e variedades de cenários, para encontrar lacunas e pontos críticos. Alcançar uma IA responsável requer entender os possíveis problemas, limitações ou consequências indesejadas.</li><li>Esse tipo de atividade não deve ser realizada por apenas uma pessoa. A diversidade dos perfis é um aspecto importante para garantir a melhor decisão e evitar o viés de uma pessoa.</li><li>Não há um checklist básico que resolva o problema para todos os contextos. Cada aplicação terá sua peculiaridade em relação ao contexto inserido, características próprias e desafios específicos. Os desafios de determinar o que é correto ou errado eticamente podem variar. É preciso analisar cada caso de forma individual e com atenção.</li></ul><h3>Interpretação para aumentar a responsabilidade</h3><p>Com o surgimento de modelos de Machine Learning muito complexos, com estruturas que não fornecem explicação intuitiva do processo decisório do ponto de vista da linguagem humana, surgiu uma área denominada de <a href="https://medium.com/data-hackers/explainable-ai-extraindo-explica%C3%A7%C3%B5es-e-aumentando-a-confian%C3%A7a-dos-modelos-de-ml-3a89b7b5a584">Explainable AI (XAI)</a>, voltada para fornecer maior grau de interpretação e aumentar a transparência dos modelos. Atualmente, existem diversas técnicas para extrair informações do que os modelos aprendem e consideram importante para realizar determinada inferência.</p><p>A explicabilidade/interpretabilidade dos modelos é um tema fundamental para garantir a transparência do processo decisório, ajudando a aumentar a compreensão, controle e robustez das soluções. As técnicas de XAI são vistas como um conceito central para direcionar na construção de IAs responsáveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ECPc0WmsLQyZcb5NBMkmmQ.png" /><figcaption>Arrieta, Alejandro Barredo, et al. “Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI”</figcaption></figure><h3>Futuro com ética e responsabilidade</h3><p>A inteligência artificial já é realidade e está presente na vida das pessoas, porém é preciso atenção em cada detalhe na concepção, desenvolvimento e operacionalização para garantir que as aplicações sejam seguras e responsáveis. Por trás da tecnologia, existem pessoas tomando decisões, por esse motivo é preciso responsabilizar os indivíduos e organizações de suas tarefas, tomar cuidado em cada etapa, explorar problemas de forma prévia para evitar que eles alcancem os usuários finais. Os princípios de Responsible AI ajudam a orientar essa jornada, tornando explícito os principais pontos de atenção, guiando com as recomendações e na direção para um caminho seguro. A partir disso, será possível criar aplicações de IA de sucesso, que não apenas visam ganhos financeiros, mas garantem que não vão causar danos sociais.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4ab91f180544" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/responsible-ai-pr%C3%A1ticas-necess%C3%A1rias-para-o-futuro-das-solu%C3%A7%C3%B5es-de-intelig%C3%AAncia-artificial-4ab91f180544">Responsible AI: práticas necessárias para o futuro das soluções de Inteligência Artificial</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Explainable AI: extraindo explicações e aumentando a confiança dos modelos de ML]]></title>
            <link>https://medium.com/data-hackers/explainable-ai-extraindo-explica%C3%A7%C3%B5es-e-aumentando-a-confian%C3%A7a-dos-modelos-de-ml-3a89b7b5a584?source=rss-5f10be0288a6------2</link>
            <guid isPermaLink="false">https://medium.com/p/3a89b7b5a584</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[responsible-ai]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[model-interpretability]]></category>
            <category><![CDATA[explainable-ai]]></category>
            <dc:creator><![CDATA[Milton Gama Neto]]></dc:creator>
            <pubDate>Mon, 12 Apr 2021 13:07:25 GMT</pubDate>
            <atom:updated>2021-04-25T14:55:26.928Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KaUWXEbqzq3CxZrIWB_A2Q.png" /></figure><p>Nas últimas décadas os modelos de Machine Learning (ML) obtiveram um crescimento enorme na performance devido ao aumento do poder computacional, volume de dados e o avanço dos algoritmos. As técnicas passaram a ficar cada vez mais complexas e seus mecanismos internos de decisão menos transparentes. Essa relação é conhecida como o trade-off entre performance e interpretabilidade, sendo uma forma simples de resumir que os modelos mais complexos apresentam acurácia maior e interpretabilidade menor, enquanto os menos complexos fornecem maior interpretabilidade e menor acurácia.</p><p>Os modelos muito complexos são conhecidos como modelos Black-Box, cujo objetivo é obter o resultado de sua saída sem ter preocupação com o mecanismo interno.</p><h4>Explainable AI</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*hk0jETQ6g4tzZ-DeEGZAAQ.png" /></figure><p>Com o aumento da adoção de soluções de ML e com a falta de transparência e explicações dos modelos mais avançados, requisito fundamental em alguns domínios, a área de eXplainable Artificial Intelligence (XAI) passou a crescer de forma acelerada nos últimos anos. Este campo de pesquisa tem por objetivo tornar os resultados dos sistemas de IA mais compreensíveis para humanos, apresentando mecanismos internos mais transparentes e provendo explicações para suas decisões em alguns níveis de detalhes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q0fIQ8X_MF8NbV_TBCqH5A.png" /><figcaption>Popularidade no Google Trends</figcaption></figure><p>O aumento dos estudos sobre Explainable AI nos últimos anos pode ser notado nas pesquisas no Google, imagem ao lado, bem como no crescimento no número de publicações científicas. Ressaltando que existem outros termos relacionados a XAI, tornando ainda mais abrangente esta busca, como por exemplo: Interpretability e Explainability.</p><p>Cada vez mais as soluções irão contar com mecanismos de interpretação para ML para aumentar a confiança, prover insights, e mais importante, impulsionar a ética e a responsabilidade (área denominada Responsible AI).</p><p>Dentre os pontos importantes relacionados aos benefícios e a necessidade de XAI, destacam-se:</p><ul><li>Detectar vieses, preconceito, falhas e vulnerabilidades;</li><li>Garantir a atuação de variáveis úteis;</li><li>Entender o comportamento do modelos e das predições;</li><li>Obter insights do business através da interpretação dos modelos;</li><li>Atender os domínios que necessitam de explicações das decisões;</li><li>Atender questões regulatórias;</li><li>Utilizar modelos complexos e conseguir alta interpretabilidade;</li><li>Aumentar robustez e confiança das soluções;</li></ul><h4>Abordagens</h4><p>Existem diversas abordagens para prover explicações dos modelos de ML,que diferem, normalmente, em função do tipo da técnica e objetivos. A seguir são apresentadas algumas das principais categorias de classificação destas.</p><p><strong>Global x Local</strong></p><p>Define o nível da interpretação, o qual o tipo Global é referente ao modelo como um todo, seu objetivo é explicar o comportamento geral, a lógica que segue, os principais fatores de influência, etc. Já a interpretação Local explica o comportamento da decisão do modelo para uma instância individualmente, isto é, para cada predição.</p><p><strong>Transparent x Post-Hoc</strong></p><p>Define em que momento a explicação será gerada. Transparent, também conhecido como Intrinsic ou White-box, são abordagens que fornecem interpretações em suas próprias estruturas, ou seja, no próprio modelo. Nesse caso, são modelos que fornecem mecanismos internos compreensíveis a respeito do processo de decisão, por exemplo as árvores de decisão e os modelos lineares, através de ramificações e coeficientes, respectivamente. Já a abordagem Post-hoc está associada a técnicas que são aplicadas no modelo, após seu treinamento, para criar explicações.</p><p><strong>Specific x Model-Agnostic</strong></p><p>Define quais modelos a técnica suportará. No caso de técnicas Specific-Model, como o próprio nome indica, ela serve para um modelo ou família específica, por exemplo: apenas para redes neurais artificiais. Enquanto Model-Agnostic, são os tipos de técnicas de XAI que funcionam para qualquer modelo preditivo. Essa distinção ocorre porque algumas abordagens buscam explicar tomando por base alguma estrutura interna do modelo para conseguir extrair informações, neste caso, são específicas. Já abordagens agnósticas costumam analisar as predições do modelo, além de usar suas funções de predição/decisão e dados de entrada.</p><h4>Explorando algumas técnicas</h4><p>Esta seção apresenta 6 técnicas de XAI que tem bastante destaque nesta área. Não será realizado um grande aprofundamento nos métodos, pois não é o objetivo deste artigo, mas sim fazer uma introdução e resumir o funcionamento destes, tentando sintetizar o que há de principal. Cada técnica apresentada segue com exemplo de aplicação prática utilizando libs em Python, com intuito de mostrar como utilizá-las e suas respectivas saídas.</p><p>Antes de começar a mostrar os algoritmos, uma breve contextualização do problema em que será aplicado. Utilizando a base de dados de <a href="https://archive.ics.uci.edu/ml/datasets/heart+disease">doença cardíaca (heart disease)</a>, serão construídos classificadores binários para identificar a presença ou ausência de doença.</p><p>Os códigos abaixo são apenas da parte específica da execução das técnicas de XAI, omitindo a parte do pré-processamento e modelagem, mantendo apenas o que é essencial para esse artigo. O código completo pode ser encontrado em: <a href="https://github.com/miltongneto/Explainable-AI">https://github.com/miltongneto/Explainable-AI</a>.</p><p>Abaixo, uma breve descrição de alguns tipos de variáveis para facilitar o entendimento:</p><pre># variável         =&gt; tipo</pre><pre># model            =&gt; Random Forest (scikit-learn)<br># nn               =&gt; Neural Network (Keras)<br># X_train, X_test  =&gt; DataFrame com features<br># X_idx            =&gt; DataFrame com features de apenas UMA instância<br># y_train, y_test  =&gt; Serie com target</pre><p><strong>Feature Importance e Permutation Importance</strong></p><p>Uma forma bastante útil de interpretar é medindo o grau de impacto das features, sendo um modo global de analisar o que mais influencia nas predições do modelo. De maneira agnóstica ao modelo, a técnica Permutation Feature Importance (<a href="https://www.stat.berkeley.edu/~breiman/randomforest2001.pdf">Breiman, 2001</a>) realiza permutações dos valores das features e calcula o erro nas predições, essa informação serve para medir a relevância após algumas iterações. Em resumo, se a feature que foi alterada aumentar muito o erro significa que ela é importante, pois o modelo contava bastante com ela, caso não altere o valor da predição a feature não é tão significante.</p><pre><strong>import</strong> <strong>eli5</strong><br><strong>from</strong> <strong>eli5.sklearn</strong> <strong>import</strong> PermutationImportance</pre><pre>eli5.show_weights(model, feature_names=X_train.columns.tolist())</pre><pre><em>## Opção com PermutationImportance</em><br><br><em># perm = PermutationImportance(model,n_iter=5).fit(X_train, y_train)</em><br><em># eli5.show_weights(perm, feature_names=X_train.columns.tolist())</em></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/223/1*zRvi6d9zXbTUvClJAYDzzA.png" /><figcaption>Lista de Feature Importances</figcaption></figure><p>O resultado é uma lista ordenada das features mais relevantes com informação da magnitude. O framework utilizado tem a capacidade de extrair o valor de Feature Importance de diversos modelos e libs específicas. Porém alguns modelos não tem essa informação, como é o caso da rede neural MLP do scikit-learn. Nesse caso, a versão comentada no código com o método Permutation Importance irá garantir o funcionamento para qualquer modelo.</p><p><strong>LIME (Local Interpretable Model-Agnostic Explanation)</strong></p><p>É um surrogate model (um modelo que é treinado para aproximar o funcionamento de outro modelo) que atua localmente. Para identificar o comportamento do modelo, o LIME (<a href="https://arxiv.org/abs/1602.04938">Ribeiro et al. 2016</a>) gera vizinhos da instância que está sendo interpretada através de perturbações em suas features, ponderando a distância da instância original. Esse dataset construído é utilizado para o treinamento de um modelo linear que será interpretado depois para explicar a predição.</p><pre><strong>import</strong> <strong>lime</strong><br><strong>import</strong> <strong>lime.lime_tabular</strong></pre><pre>explainer = lime.lime_tabular.LimeTabularExplainer(X_train.values, training_labels=y_train, class_names=class_names, feature_names=X_train.columns, kernel_width=3, discretize_continuous=<strong>True</strong>, verbose=<strong>False</strong>)</pre><pre>exp = explainer.explain_instance(X_idx.values[0], model.predict_proba, num_features=15)</pre><pre>exp.show_in_notebook()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RX6YRqhKERh1n5X7nxF1UA.png" /><figcaption>Resultado da explicação com LIME</figcaption></figure><p>É possível notar com o resultado do LIME quais variáveis impactaram no valor predito e seus respectivos sentidos.</p><p><strong>Anchor</strong></p><p>Desenvolvido pelos mesmos criadores do LIME, o algoritmo Anchor (<a href="https://homes.cs.washington.edu/~marcotcr/aaai18.pdf">Ribeiro et al., 2018</a>) também gera explicações locais utilizando perturbações nas instâncias. Entretanto, as explicações são baseadas em regras no formato IF-THEN. Essas regras são denominadas de âncoras, pois são “suficiente” para garantir determinado valor na predição, mesmo com modificação nos valores de outras features.</p><pre><strong>from</strong> <strong>anchor</strong> <strong>import</strong> utils<br><strong>from</strong> <strong>anchor</strong> <strong>import</strong> anchor_tabular</pre><pre>explainer = anchor_tabular.AnchorTabularExplainer(class_names, X_train.columns.tolist(), X_train.values)</pre><pre>print(&#39;Prediction: &#39;, explainer.class_names[model.predict(X_idx)[0]])</pre><pre>exp = explainer.explain_instance(X_idx.iloc[0].values, model.predict, threshold=0.90)</pre><pre><strong>print(&#39;Anchor: %s&#39; % (&#39; AND &#39;.join(exp.names())))<br>print(&#39;Precision: %.2f&#39; % exp.precision())<br>print(&#39;Coverage: %.2f&#39; % exp.coverage())</strong></pre><pre>exp.show_in_notebook()</pre><pre># Output<br>### Anchor: ca &gt; 0.00 AND cp_4 &gt; 0.00 AND exang &gt; 0.00<br>### Precision: 0.93<br>### Coverage: 0.16</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9NxxcwaZCqF3d5pXbJZQYg.png" /><figcaption>Resultado da explicação com Anchor</figcaption></figure><p>Segundo este método, a regra que sustenta a predição desta classe para essa instância específica é formada pela “âncora” destacado em azul, que correspondem a três cláusulas que devem ser atendidas. O método apresenta sua cobertura e precisão.</p><p><strong>SHAP (SHapley Additive exPlanations)</strong></p><p>O objetivo do algoritmo SHAP (<a href="http://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions">Lundberg, et al. 2017</a>) é explicar a predição de uma instância computando as contribuições das features. SHAP tem forte fundamentação na teoria dos jogos, utilizando a técnica Shapley values. Esta técnica fornece interpretação local e global.</p><pre><strong>import</strong> <strong>shap</strong><br>shap.initjs()</pre><p>Global</p><pre>explainer = shap.TreeExplainer(model)<br><br>shap_values = explainer.shap_values(X_test)<br>shap.summary_plot(shap_values[1], X_test, max_display=15)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/548/1*VAEZ65TrGFReDRKdBnJNqQ.png" /><figcaption>Resultado do SHAP global</figcaption></figure><p>O gráfico apresentado no resultado traz as features mais relevantes nas posições mais altas e indica a forma que elas afetam a predição. Isso é realizado de acordo com os valores das features, em que azul indica valores baixos e vermelho os altos. O afastamento destes para o lado esquerdo indica que a contribuição para a classe é negativa, para o lado direito é positiva. Em resumo, é uma combinação de feature importance com o efeito das features.</p><p>Local</p><pre>shap.force_plot(explainer.expected_value[1], shap_values[1][idx,:], X_idx)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YX6RyXn5Vp2yi6LucLwx1w.png" /><figcaption>Resultado do SHAP local</figcaption></figure><p>Neste resultado as contribuições são apresentadas para a instância analisada.</p><p><strong>PDP (Partial Dependence Plot)</strong></p><p>Técnica de visualização PDP (<a href="https://statweb.stanford.edu/~jhf/ftp/trebst.pdf">Friedman, 2001</a>) para explicações que mostra o efeito marginal de uma ou duas variáveis nas predições dos modelos de ML. O método serve para mostrar as relações entre estes, com objetivo de explicar como as variáveis afetam o modelo. Além de ser agnóstica ao modelo, a técnica consegue mostrar relações complexas e não lineares.</p><pre><strong>from</strong> <strong>pdpbox</strong> <strong>import</strong> pdp, get_dataset, info_plots</pre><pre>pdp_ca = pdp.pdp_isolate(model=model, dataset=X_test, model_features=X_test.columns, feature=&#39;ca&#39;)</pre><pre>pdp.pdp_plot(pdp_ca, &#39;ca&#39;)</pre><p>O segundo gráfico exibe linhas individuais (várias instâncias)</p><pre>pdp_thalach = pdp.pdp_isolate(model=model, dataset=X_test, model_features=X_test.columns, feature=&#39;thalach&#39;)</pre><pre>pdp.pdp_plot(pdp_thalach, &#39;thalach&#39;, frac_to_plot=0.5, plot_lines=True, x_quantile=False, show_percentile=True, plot_pts_dist=True)</pre><p>Efeito da variável individualmente na predição</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*s5alS2BytmgjEtdgzxh04g.png" /><figcaption>Resultados do PDP aplicado em duas variáveis separadamente</figcaption></figure><p>Os exemplos acima mostram a relação entre a variável e as predições do modelo, de forma individual. No primeiro exemplo, à medida que o valor do atributo aumenta, o impacto é positivo na saída, no segundo ocorre o inverso.</p><pre>inter1 = pdp.pdp_interact(model=model, dataset=X_test, model_features=X_test.columns, features=[&#39;ca&#39;, &#39;oldpeak&#39;])<br><br>fig, axes = pdp.pdp_interact_plot(<br>    pdp_interact_out=inter1, feature_names=[&#39;ca&#39;, &#39;oldpeak&#39;], plot_type=&#39;contour&#39;, x_quantile=<strong>True</strong>, plot_pdp=<strong>True</strong><br>)</pre><p>Efeito de duas variáveis simultaneamente na predição</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/1*XDERhw_jbYLmwKZ6gmZRYw.png" /><figcaption>PDP 2D: interação entre duas variáveis e o impacto na predição</figcaption></figure><p>Na interação com dois atributos e o alvo, é possível notar como as regiões impactam de forma diferente na predição. Neste exemplo, quanto mais se aproxima do canto superior direito, maior o impacto na classe alvo, a doença.</p><p><strong>Counterfactual</strong></p><p>Uma explicação contrafactual diz respeito a situação ou evento que não aconteceu, mas poderia ter acontecido. Em ML, esse tipo de interpretação é utilizado localmente para explicar predições de instâncias, buscando alterar as “causas” para alcançar determinado “evento”, convertendo para ML, alterar as features para alcançar o alvo. O algoritmo tem o objetivo de identificar o conjunto mínimo de modificações nas características de uma instância para produzir uma predição predefinida, neste caso, para obter a outra classe. Nesse experimento foi utilizado uma variação do algoritmo original Counterfactual (<a href="https://arxiv.org/abs/1711.00399">Wachter et al., 2017</a>), chamado CounterfacualProto (<a href="https://arxiv.org/abs/1907.02584">Van Looveren and Klaise, 2019</a>). Este algoritmo combina o original com Protótipos, alcançando o resultado com maior velocidade, além de implementar uma versão que funciona bem com variáveis categóricas.</p><pre><strong>from</strong> <strong>alibi.explainers</strong> <strong>import</strong> CounterFactual, CounterFactualProto</pre><pre>cf = CounterFactualProto(nn,<br>    X_idx.shape,<br>    beta=.01,<br>    cat_vars=cat_cols_dict,<br>    ohe=<strong>True</strong>,<br>    max_iterations=1000,<br>    feature_range=feature_range_numeric,<br>    c_init=1.,<br>    c_steps=5<br>)<br><br>cf.fit(X_train.values)<br>explanation = cf.explain(X_idx.values)</pre><pre>pred_class_original = explanation[&#39;orig_class&#39;]<br>proba_original = explanation[&#39;orig_proba&#39;][0][pred_class_original]<br><br>print(f&#39;Original prediction: {pred_class_original} with probability {proba_original}&#39;) <br><br>pred_class_cf = explanation.cf[&#39;class&#39;]<br>proba_cf = explanation.cf[&#39;proba&#39;][0][pred_class_cf]<br><br>print(f&#39;Counterfactual prediction: {pred_class_cf} with probability {proba_cf}&#39;)</pre><pre>X_cf = explanation[&#39;cf&#39;][&#39;X&#39;]</pre><pre># Output<br>## Original prediction: 1 with probability 0.61<br>## Counterfactual prediction: 0 with probability 0.52</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/242/1*RC0ysGlsIRGXNFQz4-6Pag.png" /><figcaption>Dataframe de comparação da instância original com a Counterfactual</figcaption></figure><p>A coluna X representa a instância original, que a predição do modelo foi “Disease”. CF representa a instância gerada, a Counterfactual, que obteve “Normal” na predição do modelo. A coluna CF-X exibe a diferença entre ambas. Nesse caso, o modelo precisou alterar uma quantidade significativa de features, ainda que às vezes uma pequena modificação. Esta implementação toma cuidado com as features categóricas, no caso da “restecg”, a modificação foi em duas features devido ao One Hot Encoding. O dataframe acima foi gerado por uma função auxiliar que não está neste trecho de código.</p><h3>Conclusão</h3><p>As explicações e interpretações dos modelos vão ser cada vez mais necessárias para que soluções de Machine Learning sejam implantadas. Explainable AI cresceu e é uma tendência na área. Hoje é possível obter explicações de modelos black-box que possibilitam aumentar a confiança e responsabilidade das soluções propostas, continuando com alto nível de performance. As técnicas apresentadas de forma prática neste artigo podem ser facilmente adaptadas para outros problemas, ressaltando que não devem se limitar a estas. Código completo e com mais detalhes no <a href="https://github.com/miltongneto/Explainable-AI">github</a>.</p><p><a href="https://github.com/miltongneto/Explainable-AI">miltongneto/Explainable-AI</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3a89b7b5a584" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/explainable-ai-extraindo-explica%C3%A7%C3%B5es-e-aumentando-a-confian%C3%A7a-dos-modelos-de-ml-3a89b7b5a584">Explainable AI: extraindo explicações e aumentando a confiança dos modelos de ML</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Comparação entre as curvas epidemiológica e a retomada do futebol]]></title>
            <link>https://miltongamaneto.medium.com/compara%C3%A7%C3%A3o-entre-as-curvas-epidemiol%C3%B3gica-e-a-retomada-do-futebol-a57003194cb5?source=rss-5f10be0288a6------2</link>
            <guid isPermaLink="false">https://medium.com/p/a57003194cb5</guid>
            <category><![CDATA[covid19]]></category>
            <category><![CDATA[coronavirus]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[futebol]]></category>
            <category><![CDATA[analytics]]></category>
            <dc:creator><![CDATA[Milton Gama Neto]]></dc:creator>
            <pubDate>Tue, 02 Jun 2020 19:44:43 GMT</pubDate>
            <atom:updated>2020-06-02T20:59:00.366Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*UyS6__5CfdGQ_AF2" /><figcaption>Photo by <a href="https://unsplash.com/@martinsanchez?utm_source=medium&amp;utm_medium=referral">Martin Sanchez</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><p>Este artigo apresenta uma comparação entre o Brasil e alguns países da Europa, com foco na curva epidemiológica do coronavírus e decisões do retorno dos jogos de futebol em alguns campeonatos. O tema selecionado, o futebol, tem marcos bem definidos e serve como reflexão para as medidas que estão sendo adotadas no Brasil, podendo ser estendida para outros contextos.</p><p><em>(Nota: os dados da análise foram divulgados no dia 31/05/2020, por isso esta análise considera os dados até o dia 30/05/2020)</em></p><h3>Introdução</h3><p>Muito se ouve falar em reabertura do comércio e sobre tentativas de retomar outras atividades. Esse é um assunto polêmico que vem sendo bastante debatido seja por governantes e especialistas, como por parte da população em geral. O intuito deste artigo não é discutir questões econômicas, nem realizar predições para indicar o comportamento de novos casos da epidemia, mas sim realizar uma comparação com países que estão conseguindo diminuir a taxa diária de crescimento e de mortalidade causadas pelo coronavírus.</p><p>Recentemente, muitos clubes brasileiros e federações apresentaram propostas e planejam voltar com os campeonatos estaduais, com destaque para o Campeonato Carioca, com forte apoio dos dirigentes e pretensão de voltar dia 14 de junho. Com muita gente motivada com a volta de campeonatos na Europa, essa conversa tem ganhado força no Brasil.</p><p>O globoesporte.com publicou na semana passada uma matéria bem interessante comparando o campeonato Carioca com os principais campeonatos europeus. O título era bem sugestivo: “<a href="https://globoesporte.globo.com/rj/futebol/noticia/rio-na-contramao-veja-quantos-dias-os-paises-mais-afetados-pela-covid-19-levaram-do-pico-ate-a-volta-aos-treinos.ghtml">Rio na contramão? Veja quantos dias os países mais afetados pela Covid-19 levaram do pico até a volta aos treinos</a>”. Coletei as informações da matéria, e fiz uma análise do comportamento de novos casos da epidemia relacionando com a retomada do futebol. Para isso, foram utilizados os dados da <a href="https://coronavirus.jhu.edu/">Universidade Johns Hopkins</a> e os dados fornecidos pelo <a href="https://covid.saude.gov.br/">Ministério da Saúde</a>.</p><h3>Achatar a curva</h3><p>O mundo todo está lutando para superar essa pandemia, com foco voltado para achatar a curva epidemiológica. De forma resumida, a curva se refere ao número projetado de casos ao longo de um período de tempo, e achatar consiste em reduzir o número de novos casos de um dia para o outro (ou outra medida para prazos curtos).</p><p>O objetivo é evitar um crescimento acentuado da epidemia, que sobrecarregaria o sistema de saúde, podendo até entrar em colapso e não suportar a demanda.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*kvM9W7IcnvHPPb4fySyWZw.png" /><figcaption>Gráfico da curva epidemiológica</figcaption></figure><p>As curvas referidas na epidemiologia consideram ambas com a mesma quantidade de casos, porém com formas diferentes.</p><h3>Análise de novos casos</h3><p>O número de novos casos e de mortes no Brasil tem quebrado recordes constantemente nos últimos dias, e cada vez que isso acontece, algum governante insiste em dizer que atingimos o pico. Talvez os valores apresentados abaixo sejam o pico, talvez não, pois isso depende de informações futuras que não sabemos. O que não podemos é trabalhar com simples palpites ou achismo. É preciso entender do domínio e não deixar de analisar os fatos (e dados!). Esse trabalho requer muita interdisciplinaridade.</p><p>Abaixo uma comparação entre a Itália, Espanha, Alemanha e o Brasil, de acordo com o número de novos casos positivos por dia de COVID-19.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/1*l_f05ZqslrwFhbvDfwsLNA.png" /><figcaption>Comparação do número de novos casos por dia</figcaption></figure><p>É importante notar que o eixo <em>x </em>é o mesmo nos gráficos, ou seja, as datas de referências são as mesmas. E, o que não é nenhuma novidade, o coronavírus chegou no Brasil mais tarde em relação a Europa, isso reflete também no estágio atual. Enquanto o eixo <em>y</em> de cada gráfico é independente, pois o objetivo não é comparar os valores absolutos, o que é impactado por vários fatores, por exemplo, a população dos países. O foco está nas distribuições ao longo do tempo, no comportamento.</p><blockquote>Não há evidências para afirmar que atingimos o pico do número de novos casos.</blockquote><p>O que podemos perceber é uma propagação do vírus cada vez maior no Brasil, isto é, está infectando mais pessoas diariamente. Enquanto os países europeus apresentam uma queda na evolução. Causando o efeito de achatar a curva, mencionado anteriormente.</p><p>A analise dos dados deixa isso bem evidente, mas essa afirmação considera discursos e estudos de especialistas, como o caso do físico Roberto Kraenkel, membro do Observatório COVID-19 BR, que enfatizou o mesmo em <a href="https://g1.globo.com/fantastico/noticia/2020/05/31/brasileiros-que-vivem-no-exterior-falam-sobre-novo-normal-e-rotina-em-meio-a-pandemia.ghtml">entrevista</a> recente e ressaltou as medidas tomadas por certos países durante o período crescente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*CObyVdwksH1QeH4K4RFAvw.png" /></figure><h3>Análise de casos no Rio de Janeiro</h3><p>Como foi mencionado no início, o Rio de Janeiro é um dos estados mais insistentes no retorno do futebol, além de ocupar a segunda posição no Brasil dos estados com mais casos e mortes devido ao coronavírus. Como as comparações anteriores foram realizadas com o país inteiro, agora será comparado a distribuição deste com o Rio.</p><p>Para evitar ruídos dos pontos, suavizar e focar na tendência da série temporal, a análise utiliza a <a href="https://pt.wikipedia.org/wiki/M%C3%A9dia_m%C3%B3vel">média móvel</a> com 3 dias. Essa abordagem consistem em passar uma janela deslizante nos dados, e no intervalo da janela calcular o valor médio, neste caso deslizando um dia por vez e usando uma média aritmética. Por fim, foi feito a reescala dos valores, dessa forma, os dados ficam no mesmo intervalo, sem perder informação e facilitando a comparação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/923/1*TF9S8x_NDAIx3eJZTUu7Ug.png" /><figcaption>Análise do comportamento do crescimento de novos casos de covid-19 do Brasil e Rio de Janeiro. Considerando valores ajustados para mesma escala</figcaption></figure><p>As amostras seguem distribuições no tempo parecidas, com as tendências sendo preservadas e algumas diferenças nos atrasos ou amplitude das mudanças.</p><h3>O retorno dos campeonatos de futebol</h3><p>O campeonato Alemão voltou a realizar os jogos recentemente, com portões fechados e diversas outras medidas. Outros países já divulgaram o calendário do retorno. Comparando os principais marcos da pandemia e da retomada do futebol, temos a visualização dos dados abaixo em um gráfico de barras empilhadas, em que os marcos são separados pela quantidade de dias desde o evento anterior. Ressaltando também que a contagem inicial (primeira barra) foi realizada a partir da metade de fevereiro, uma filtragem aplicada para evitar uma proporção muito maior desta informação, ofuscando as demais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/953/1*w-wDJPAFx0FtWC-Q_V0Cog.png" /><figcaption>Comparação dos marcos através da contagem de dias na sequência</figcaption></figure><p>Do gráfico acima, as principais considerações são:</p><ol><li>Semelhante a primeira análise, é notável que o coronavírus chegou no Brasil de forma tardia, comparado com a Europa.</li><li>Os países europeus atingiram o pico muito mais rápido. Comparando com o Brasil, em especial o Rio de Janeiro, nem sabemos ainda se este valor será o maior da curva. Apesar de destacar essa duração, esse gráfico não tem como objetivo auxiliar na explicação dos possíveis motivos. Além disso, esse não é o foco no artigo, ainda que seja um tema muito interessante.</li><li>O Rio de Janeiro tem uma características bem diferente dos demais. Enquanto todos os países apresentados seguiram uma sequência cronológica para retomada com marcos bem definidos, sendo eles: (1) ocorrência de coronavírus; (2) atingiu o numero máximo de novos casos em um dia; (3) após atingir o valor máximo, o número de casos diários começaram a cair, após alguns dias foram liberados os treinos individuais; (4) depois a liberação de treinos em grupos; (5) por fim, a volta dos jogos. Já no Rio, os treinos (apenas com restrição de coletivo) foram liberados para acontecerem a partir de 26 de Maio, enquanto o pico (conhecido até o momento) aconteceu no dia 30 de Maio. A nota no gráfico indica o local de acordo com a data.</li><li>Com a data marcada para o dia 14 de Junho, o Rio de Janeiro tem a menor distância entre o auge da pandemia e o retorno. Lembrando que para medir a distancia real, basta somar os valores após as caixas vermelhas.</li></ol><p>Ainda que o Rio não siga a sequência dos marcos, o gráfico de barras empilhadas permite entender as fases que os países europeus aderiram e o tempo que as fases costumam demorar. Porém, separando as fases, removendo a sobreposição, temos o seguinte em um gráfico de etapas:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/915/1*TQKB7fZ-4e0zbMEJ8dRuLQ.png" /><figcaption>Avanço das etapas. Itália x Rio de Janeiro</figcaption></figure><p>Nesse comparativo, temos o destaque do longo período após o pico (barra verde) e o curto período, respectivamente, para Itália (superior) e Rio de Janeiro (inferior). Essa versão permite entender a sobreposição no tempo que ocorre no Rio de Janeiro, conforme o aumento dos casos (barra laranja) e o retorno dos treinos (vermelho e roxo). O que implica que o retorno dos treinos se deu antes do valor máximo de casos novos em um dia ser atingido.</p><p>Por fim, analisando os dois principais marcos, os picos de números de novos casos e as datas marcadas para retorno dos campeonatos, porém apoiados com as distribuições no tempo. Essa análise é de suma importância, pois considerar apenas o maior valor pode nos enganar, ele pode ser um <em>outlier</em>, e também não garante que o número está diminuindo. Os gráficos apresentados abaixo contam a reescala das amostras, de forma separada, mantendo a mesma distribuição dos dados originais. O foco está no comportamento de cada amostra, não no valor absoluto, que neste caso foi alterado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/917/1*GEFAIsZrIq9WRGECcX-V6g.png" /><figcaption>Comparação entre as curvas epidemiológicas da Itália e Rio de Janeiro</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/913/1*mIX2F7Zi7iF_v1OjevDSsQ.png" /></figure><p>As distribuições deixam claro que não só os jogos voltaram (ou voltarão) nesses países da Europa com um período significativo após atingir o valor máximo, como também houve uma diminuição diária de casos.</p><h3>Conclusão</h3><p>Devemos nos espelhar em países que conseguiram superar o pior cenário dessa pandemia, mas de acordo com o momento que estamos. As comparações não podem desconsiderar o tempo e contexto, não faz sentido aderir as mesmas medidas que outros países estão adotando agora, dado que eles estão em uma fase diferente. O epidemiologista <a href="https://g1.globo.com/fantastico/noticia/2020/05/31/brasileiros-que-vivem-no-exterior-falam-sobre-novo-normal-e-rotina-em-meio-a-pandemia.ghtml">Pedro Hallal, da Universidade Federal de Pelotas, indica</a> que deve ser repetido os procedimentos adotados por outros países no momento crítico da epidemia, ao invés de aderir medidas de afrouxamento. Compartilho dessa mesma visão, considerando que não há evidências de diminuição dos casos, então não podemos relaxar. Por fim, apesar de ser apaixonado por futebol, não é o momento para voltar com o futebol no Brasil. O futebol foi um exemplo, mas a análise e reflexão podem ser estendidas para diversos setores e decisões.</p><h3>Repositório no github</h3><p>Para quem tiver interesse, o código com a análise dos dados e os gráficos gerados estão no github. Foi desenvolvido em Python e os gráficos foram construídos com Plotly.</p><p><a href="https://github.com/miltongneto/Covid19-Curve-and-Soccer">miltongneto/Covid19-Curve-and-Soccer</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a57003194cb5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Otimizando o armazenamento da memória de um Dataframe Pandas]]></title>
            <link>https://miltongamaneto.medium.com/otimizando-o-armazenamento-da-mem%C3%B3ria-de-um-dataframe-pandas-ca8c4eb45699?source=rss-5f10be0288a6------2</link>
            <guid isPermaLink="false">https://medium.com/p/ca8c4eb45699</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[pandas]]></category>
            <dc:creator><![CDATA[Milton Gama Neto]]></dc:creator>
            <pubDate>Thu, 05 Sep 2019 17:49:36 GMT</pubDate>
            <atom:updated>2019-09-05T17:49:36.158Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="Urso panda em uma árvore" src="https://cdn-images-1.medium.com/max/1024/1*KL_2Z9m8iVO4LgF0Hbj7xg.jpeg" /><figcaption>Photo by <a href="https://unsplash.com/@hongqi?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Bruce Hong</a> on <a href="https://unsplash.com/search/photos/panda?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash</a></figcaption></figure><p><a href="https://pandas.pydata.org/">Pandas</a> é uma biblioteca para manipulação e análise de dados para linguagem de programação Python. É uma das bibliotecas mais utilizadas pelos cientistas de dados (Pandas é realmente incrível!).</p><p>Essa biblioteca não foi feita para trabalhar com Big Data. Porém com algumas técnicas que vou descrever aqui, é possível otimizar o armazenamento, carregar arquivos maiores do que são suportados quando utilizado de maneira convencional. Vale ressaltar que não é uma adaptação para processar Big Data, visto que, para o tamanho do arquivos se encaixa nesse termo é necessário que seja da grandeza de centenas de gigabytes ou mais. O que vamos fazer, é possibilitar o processamento de bases com centenas de megabytes ou poucos gigabytes em Pandas, onde muitas vezes não é possível sequer carregar dados dessa magnitude.</p><p>As duas principais técnicas descritas nesse artigo são: <strong>ler os dados em partes e ajustar os tipos dos atributos</strong>. No final, também são incluídas algumas dicas para melhorar o armazenamento, como limpeza de memória e seleção dos dados importantes.</p><p>Os códigos apresentados aqui são genéricos, sempre que possível, não se limitando a uma base de dados. O código implementado está no repositório no github (<a href="https://github.com/miltongneto/Otimizacao-Dataframe-Pandas">https://github.com/miltongneto/Otimizacao-Dataframe-Pandas</a>), a execução foi feita com uma base de 3GB.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ezFHczbuzeebyrIAMS69ow.jpeg" /><figcaption>Imagem de <a href="https://pixabay.com/pt/users/congerdesign-509903/?utm_source=link-attribution&amp;utm_medium=referral&amp;utm_campaign=image&amp;utm_content=1925422">congerdesign</a> por <a href="https://pixabay.com/pt/?utm_source=link-attribution&amp;utm_medium=referral&amp;utm_campaign=image&amp;utm_content=1925422">Pixabay</a></figcaption></figure><h3>Leitura dos dados</h3><p>O comando padrão da biblioteca Pandas para ler uma arquivo .csv é o <a href="https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.read_csv.html"><em>read_csv</em></a>, onde o único parâmetro obrigatório é o caminho do arquivo. Existe uma quantidade enorme de parâmetros que podem ser utilizados de acordo com a necessidade e são bem detalhados na documentação. Passando apenas o caminho do arquivo para uma base relativamente grande, vamos nos deparar com esta mensagem: <strong>MemoryError</strong>!</p><p>Estranho esse erro pelo fato do arquivo ser menor que a memória do computador? Sim! Adiante vamos entender melhor isso, mas no momento, nos preocuparemos em carregar os dados.</p><p>Para isso, utilizaremos o parâmetro <em>chunksizes. </em>Com ele, ao invés de lermos a base completa e carregar na memória, será realizada uma leitura em partes/blocos (<em>batches</em>). O parâmetro serve para definir o tamanho de cada bloco. O retorno do <em>read_csv </em>é diferente com este parâmetro, agora temos um gerador de <em>Dataframes</em>, onde cada um corresponde a uma parte dos dados do arquivo original. Armazenaremos as partes em uma lista, no final das iterações, criaremos um único <em>Dataframe.</em></p><pre>chunks = []<br>for chunk in pd.read_csv(filename,low_memory=False,chunksize=1000):<br>    chunks.append(chunk)</pre><pre>data = pd.concat(chunks)</pre><p>Com essa abordagem, conseguimos carregar os dados. A verificação da memória utilizada para armazenar o <em>Dataframe </em>é realizada com o código abaixo. O resultado desta operação vai mostrar que o espaço alocado é bem maior do que o tamanho original do arquivo.</p><pre>data.info(memory_usage=&#39;deep&#39;)</pre><p>Quando realizamos a leitura do arquivo, é realizada uma inferência de tipos para cada coluna, onde os valores são “supervalorizados”. Isto é, um espaço muito grande é alocado na memória, mas os dados reais não utilizam isso tudo. Por exemplo, os inteiros de 64 <em>bits</em> (<em>int64</em>) muitas vezes são desnecessários comparado a grandeza real dos dados, onde <em>int32</em>, <em>int16 </em>ou até mesmo <em>int8</em> já resolveriam o problema e alocariam um espaço bem menor para isso. O mesmo acontece para os ponto flutuantes (<em>float</em>).</p><blockquote>“Ok, mas eu já consegui carregar os dados, por que devo me preocupar com isso?”</blockquote><blockquote>Carregar os dados não significa que conseguirá manipulá-los. Além das operações ficarem mais lentas, é possível que elas não funcionem e apresentem erro de memória novamente.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UO8Nq_IMMnR2zwI2rh1ozQ.jpeg" /><figcaption>Imagem de <a href="https://pixabay.com/pt/users/falconp4-6175978/?utm_source=link-attribution&amp;utm_medium=referral&amp;utm_campaign=image&amp;utm_content=2820946">falconp4</a> por <a href="https://pixabay.com/pt/?utm_source=link-attribution&amp;utm_medium=referral&amp;utm_campaign=image&amp;utm_content=2820946">Pixabay</a></figcaption></figure><h3>Ajustando os tipos dos atributos</h3><p>É necessário realizar uma redução do tamanho da base na memória para conseguir manipular os dados.</p><p>Caso você não conheça os limites dos atributos e também não quer perder tempo analisando isso, existe uma maneira muito simples de ajustar o tipo dos dados para otimizar o armazenamento e tornar as operações mais eficientes.</p><pre>ints = data.select_dtypes(include=[&#39;int64&#39;,&#39;int32&#39;,&#39;int16&#39;]).columns<br>data[ints] = data[ints].apply(pd.to_numeric, downcast=&#39;integer&#39;)<br><br>floats = data.select_dtypes(include=[&#39;float&#39;]).columns<br>data[floats] = data[floats].apply(pd.to_numeric, downcast=&#39;float&#39;)<br><br>data.info(memory_usage=&#39;deep&#39;)</pre><p>Em resumo, na hora de realizar a inferência dos tipos, quando Pandas se depara com uma <em>String</em>, ele atribui para aquela coluna o tipo <em>Object</em>. Caso esteja manipulando atributos categóricos com dados nominais, é comum que haja uma repetição dos valores. Pois é de se esperar que a quantidade de possibilidades de uma variável seja menor que as instâncias da base de dados.</p><p>O tipo <em>Object</em> é o que requer mais memória. Vamos realizar uma transformação deste tipo para <em>Category. </em>Com isso teremos uma redução muito grande dos recursos consumidos.</p><p>O tipo <em>Category </em>não lida com as instâncias de forma independente, em vez disso, ele utiliza os valores únicos e faz cada ocorrência deste na base apontar para o mesmo endereço. Com isto, é possível aproveitar melhor a memória.</p><pre>objects = data.select_dtypes(&#39;object&#39;).columns<br>data[objects] = data[objects].apply(lambda x: x.astype(&#39;category&#39;))</pre><pre>data.info(memory_usage=&#39;deep&#39;)</pre><p>Essa redução acontece pelo modo que as categorias são armazenadas na memória. Através de uma estrutura do tipo <em>chave-valor</em>, onde cada categoria presente na coluna é transformada em um código e o seu valor textual é armazenado. Depois, as instâncias textuais (linhas da coluna) são transformadas em códigos (números inteiros) sem perder informação e usando bem menos espaço, pois campos textuais costumam necessitar de mais memória e a quantidade de repetição pode ser grande.</p><p>A otimização apresentada foi aplicada após o carregamento dos dados. Entretanto, as vezes não é possível realizar muitas operações devido ao espaço excedente, como foi mencionado anteriormente. Uma maneira de contornar isto é determinando os tipos das colunas para uma amostra, e depois ler a base completa.</p><pre>sample = pd.read_csv(filename, low_memory=False, nrows=1000)</pre><pre>types = sample.dtypes<br>types = types.apply(str)</pre><pre>dict_types = types.to_dict()</pre><pre>data = pd.read_csv(filename, low_memory=False, dtype=dict_types)</pre><h4>Combinando as técnicas</h4><p>É possível que não seja possível ler a base mesmo com os tipos ajustados, uma alternativa é combinar as técnicas mencionadas.</p><pre>sample = pd.read_csv(filename, low_memory=False, nrows=1000)</pre><pre>types = sample.dtypes<br>types = types.apply(str)</pre><pre>dict_types = types.to_dict()</pre><pre>chunks = []<br>for chunk in pd.read_csv(filename, low_memory=False,     dtype=dict_types, chunksize=1000):<br>    chunks.append(chunk)</pre><pre>data = pd.concat(chunks)</pre><h3>Outras abordagens úteis para reduzir o consumo desnecessário da memória</h3><p>Além das técnicas descritas, existem outras abordagens que podem ser úteis para manipular um conjunto de dados de larga escala que apresenta dificuldade para ser carregado na memória. Entre elas, temos:</p><h4>Filtrar as colunas que serão utilizadas</h4><p>Um parâmetro bem interessante do método <em>read_csv </em>é o <em>usecols. </em>Como o próprio nome sugere, o objetivo é indicar quais são as colunas desejadas e o <em>dataframe </em>gerado trará apenas estas.</p><p>Muitas vezes os dados não são conhecidos até usar o famoso comando <em>read_csv. </em>Entretanto com problema de memória pode não ser possível visualizar as informações presentes no arquivo. Realizar a leitura em duas etapas pode ser uma solução e reduzir significativamente o uso da memória. A primeira é realizada apenas para obter algumas linhas e o cabeçalho, através dos parâmetros <em>nrows</em> e <em>header</em>, respectivamente. Na segunda, será filtrada apenas as colunas desejadas, e o parâmetro <em>nrows</em> pode ser ignorado.</p><h4>Apagar dataframes que não tem mais utilidade e forçar o Garbage Collector</h4><p>É comum criar <em>dataframes</em> para diferentes propósitos ao longo da implementação, onde cada um guarda um tipo de informação ou até mesmo dados transformados. Também é comum que esses dados não sejam mais utilizados mais no código. Esses dados não serão excluídos automaticamente enquanto está sendo executado um <em>notebook </em>e pode ficar consumindo memória em momentos indesejados durante a execução do script.</p><p>Por isso é importante deletar os dados explicitamente através do comando nativo <em>del</em> do <em>python</em> e depois forçando o <em>gabage collector (gc) </em>com a função <em>collect</em>.</p><pre>import gc</pre><pre>def data<br>gc.collect()</pre><h4>Consideração sobre os experimentos realizados</h4><p>Os experimentos disponibilizados no <a href="https://github.com/miltongneto/Otimizacao-Dataframe-Pandas">github</a> podem ser difíceis de replicar, pois as configurações de hardwares da máquina podem interferir no resultado, além de outros fatores, por exemplo, o como gerenciamento de memória do computador e o consumo naquele determinado momento. Entretanto, o código pode ser aplicado em outras bases.</p><h3>Conclusão</h3><p>Pandas não foi construído para Big Data, mas explorar essa <em>lib </em>a fundo pode trazer grandes benefícios e versatilidade para os projetos, e evitar a troca de tecnologia impedimentos mais simples, afinal, essa biblioteca é muito boa! A documentação é bem clara e de fácil entendimento, além de ter uma quantidade imensa de funções e parâmetros extremamente úteis. Explorar estes detalhes é um ótimo caminho para resolver diversos desafios. As abordagens descritas não tornam Pandas escalável e propício para Big Data, mas é uma boa alternativa para conseguir ler alguns gigabytes.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ca8c4eb45699" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>