<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[A Garota do TI - Medium]]></title>
        <description><![CDATA[Buscando compreender o mundo através da reflexão, principalmente com Ciência e Tecnologia. - Medium]]></description>
        <link>https://medium.com/jessica-costa?source=rss----20721ca4b499---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>A Garota do TI - Medium</title>
            <link>https://medium.com/jessica-costa?source=rss----20721ca4b499---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 09:09:41 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/jessica-costa" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Sobre o Medo de Ficar para Trás]]></title>
            <link>https://medium.com/jessica-costa/sobre-o-medo-de-ficar-para-tr%C3%A1s-1f233fb658d1?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/1f233fb658d1</guid>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[tecnology]]></category>
            <category><![CDATA[tecnologia]]></category>
            <category><![CDATA[comportamento]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Tue, 03 Mar 2026 03:15:09 GMT</pubDate>
            <atom:updated>2026-03-03T03:25:23.002Z</atom:updated>
            <content:encoded><![CDATA[<p>Desde 2022 vivemos a ascensão dos modelos de inteligência artificial generativa, inclusive gosto de falar assim pois de certa forma o senso comum ainda entende modelos generativos como sinônimo de IA. Talvez porque os modelos que rodavam em sistemas de fraudes, por exemplo, não eram tão populares. No entanto, não importa o termo usado, os modelos estão nas mãos (e nas mentes) das pessoas e a velocidade com que surge uma nova ferramenta impressiona e a adoção também.</p><p>Como uma boa <em>millenial</em>, vivi a transição do mundo analógico para o digital e a adoção de novas tecnologias não era tão rápida, principalmente porque nem era tão acessível. Hoje os nativos digitais não fazem ideia de como o mundo funcionava sem tantos Apps e diversos dispositivos. Breve virão os “nativos da IA”, aqueles que nem saberão como era realizar uma pesquisa buscando por links ou mesmo organizar sua própria caixa de e-mail.</p><p>A moda agora é ter seu agente para tudo, há umas semanas atrás o que mais se falava era do Moltbot ou Clawdbot, um agente de IA que realizava diversas tarefas no computador do usuário, com acesso a diversos serviços como e-mail, navegador e dados dos usuários. Não demorou muito começaram a surgir publicações alertando sobre os riscos da adoção de modelos e ferramentas com tantos acessos. Esse foi um evento, mas toda semana surge alguma ferramenta nova de IA que se torna o hype do momento e que muitos usam sem parar para analisar se aquela “inocente ferramenta” é realmente segura e ética.</p><p>Por mais que falemos de segurança, privacidade, de responsabilidade e ética em IA, basta surgir um agente ou um modelo novo, que a adoção é quase imediata. Acredito que o nosso medo atual de “ficar pra trás” seja ativado nestes momentos, o que compromete o nosso julgamento. Pensamento e análise levam tempo, o que ninguém quer perder, mas ao mesmo tempo ao delegar tanto, será que deixamos de ser agentes de decisão e nos tornamos uns robôs geradores de dados?</p><p>Não quero que ninguém deixe de usar IA, não sou uma moralista da IA, vi este termo em uma rede social e achei bem interessante. Na verdade quero levar a todos a uma reflexão sobre como o medo e a pressa são antagônicos ao pensamento crítico e à segurança, principalmente na realidade tão complexa em que vivemos. A tecnologia traz consigo as ambivalências dos seres humanos, por isso a importância de estar ciente sobre os benefícios e riscos de qualquer coisa nova que surja, adotando ou não. No fundo acho que a tecnologia também pode ser usada para um mundo mais ético, pelo menos é a minha esperança.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1f233fb658d1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/sobre-o-medo-de-ficar-para-tr%C3%A1s-1f233fb658d1">Sobre o Medo de Ficar para Trás</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[TxGemma: LLM para Desenvolvimento de Fármacos]]></title>
            <link>https://medium.com/jessica-costa/txgemma-llm-para-desenvolvimento-de-f%C3%A1rmacos-93e75d512ac1?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/93e75d512ac1</guid>
            <category><![CDATA[vertex-ai]]></category>
            <category><![CDATA[gemma]]></category>
            <category><![CDATA[drug-discovery]]></category>
            <category><![CDATA[tecnologia]]></category>
            <category><![CDATA[txgemma]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Thu, 19 Jun 2025 02:32:15 GMT</pubDate>
            <atom:updated>2025-06-19T11:36:25.545Z</atom:updated>
            <content:encoded><![CDATA[<p>O desenvolvimento de fármacos é um processo caro e de alto risco, muitas vezes marcado por altas taxas de falhas e que pode durar demorar alguns anos. Dado estes cenários, várias iniciativas que utilizam Inteligência Artificial ter surgido para tornar este processo menos custoso, inclusive utilizando os tão famosos LLMs. Uma dessas iniciativas foi publicado no ArXiv em Abril de 2025 pelo pessoal do Google Deepmind: o <a href="https://arxiv.org/abs/2504.06196">TxGemma</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*ZEhlYGG1ItTCnaJl.png" /><figcaption>Fonte: <a href="https://developers.googleblog.com/pt-br/introducing-txgemma-open-models-improving-therapeutics-development/">Google for Developers</a></figcaption></figure><p>O <strong>TxGemma</strong> é um conjunto de modelos de linguagem grandes (LLMs), projetados para lidar com os altos custos e as elevadas taxas de falha associados ao desenvolvimento de terapias. Neste post vou adotar mais a proposta de desenvolvimento de fármacos pois além de ser o que testei, é um assunto que faz parte das minhas pesquisas de mestrado e atualmente doutorado.</p><h4>O Modelo</h4><p>O TxGemma é ajustado (fine-tuned) a partir do Gemma 2 (Modelo Aberto) e utiliza uma arquitetura de transformador do tipo “decoder-only”. Atualmente inclui modelos com 2, 9 e 27 bilhões de parâmetros. Os modelos são treinados em um abrangente conjunto de dados que inclui pequenas moléculas, proteínas, ácidos nucleicos, doenças e linhagens celulares.</p><p>O conjunto consiste em dois tipos principais de modelos:</p><ul><li><strong>TxGemma-Predict</strong>: Estes modelos, disponíveis nas versões de 2B, 9B e 27B, são otimizados para predições de alto desempenho em um amplo conjunto de tarefas de desenvolvimento terapêutico.</li><li><strong>TxGemma-Chat</strong>: Disponíveis nas variantes de 9B e 27B, estes modelos conversacionais são treinados com uma mistura de dados terapêuticos e dados de ajuste de instrução geral para manterem as capacidades de conversação e raciocínio. Eles permitem que cientistas interajam em linguagem natural e obtenham raciocínio (reasoning) para as predições.</li></ul><h4>Dados e Treinamento</h4><p>Os modelos foram ajustados com dados do<a href="https://tdcommons.ai/start/"> Therapeutics Data Commons (TDC)</a>, que inclui mais de 15 milhões de pontos de dados de várias entidades biomédicas. O TDC fornece acesso a recursos de ML em todas as modalidades terapêuticas e estágios de descoberta de fármacos. Contém tarefas de ML solucionáveis, conjuntos de dados prontos para ML, benchmarks e tabelas de classificação selecionados, todos acessíveis por meio de um pacote Python.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*X7OmpI6izujEFgYg.png" /><figcaption>Fonte: <a href="https://tdcommons.ai/start/">TDC Site</a></figcaption></figure><p>O foco do trabalho foram tarefas do TDC relevantes para a descoberta de fármacos, com diversas representações de dados: sequências SMILES (pequenas moléculas), sequências de aminoácidos (proteínas e peptídeos), sequências de nucleotídeos (ácidos nucleicos) e texto em linguagem natural (nomes de doenças/linhagens celulares). Para o treinamento, os dados brutos foram transformados em instruções, o que resultou em mais de 7 milhões de pontos de dados de treinamento. O paper referenciado no final do post tem exemplos de instrução. O que mostra a importância dos dados em modelos que passam por Fine-Tuning.</p><h3>Como Utilizar</h3><p>Atualmente existem algumas formas de utilizar este modelo e testar suas capacidades. A primeira delas é implantar o modelo no Vertex AI da Google Cloud e a outra forma é localmente através do Hugging Face. Neste post vou mostrar como funciona no Vertex AI e em um próximo post localmente (inclusive neste pretendo fazer uns testes mais específicos).</p><h4>Model Garden</h4><p>Uma forma de fazer a implantação ou deploy na Google Cloud é através do Console do Model Garden, basta procurar por TxGemma. Um aviso: vai aparecer termos de uso dos modelos de Health do Google. Nas opções de Deploy, você consegue tanto fazer pela Vertex AI quanto mais customizada pelo Kubernetes (GKE). As configurações abaixo se referem a opção do Vertex AI.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/570/1*4JdqowJ_l3-7NZQbpAsJJQ.png" /></figure><p>Cada vez que você escolhe um modelo, aparecem diversas opções de tipos de máquina e regiões que suportam este recurso, escolha adequadamente e clique na opção de Deploy. Ainda nesta janela, no parte inferior, vai aparecer um botão que ensina como fazer este mesmo processo via código Python, cURL e até pelo gcloud. Inclusive é uma opção legal para montar o código Python e fazer pela Vertex AI, assim é possível verificar o passo a passo e fazer diversos testes. Com o modelo implantado dá até para usar no Colab.</p><h4>Vertex AI</h4><p>Já para rodar inteiramente nos notebooks da Vertex AI é importante subir uma instância no Workbench. Uma instância básica de 16gb e 4vCPUs foi suficiente para rodar a Vertex AI. Porém para a implantação do modelo, a máquina foi outra.</p><p>Para o teste realizado, foi feito o deploy do modelo Predict de 9B com predições online. Importante destacar que dá para trabalhar tanto com os modelos de predições online quanto de predições em batch (talvez valha uma máquina mais robusta?). O código abaixo mostra um trecho de código básico para fazer o deploy do modelo que dura cerca de 30 minutos.</p><pre>import vertexai<br>from vertexai import model_garden<br><br>vertexai.init(project=PROJECT_ID, location=ENDPOINT_REGION)<br><br>model = model_garden.OpenModel(&quot;google/txgemma@txgemma-9b-predict&quot;)<br>endpoint = model.deploy(<br>  accept_eula=True,<br>  machine_type=&quot;ct5lp-hightpu-4t&quot;,<br>  serving_container_image_uri=&quot;us-docker.pkg.dev/vertex-ai-restricted/vertex-vision-model-garden-dockers/hex-llm-serve:20241210_2323_RC00&quot;,<br>  endpoint_display_name=&quot;google_txgemma-9b-predict-mg-one-click-deploy&quot;,<br>  model_display_name=&quot;google_txgemma-9b-predict-1750206418914&quot;,<br>  use_dedicated_endpoint=True,<br>)</pre><p>Um detalhe importante, para modelos conversacionais, utilize um modelo de chat. Na Opção de Online Prediction é possível ver todos os modelos implantados disponíveis de acordo com a região escolhida.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/238/1*dN2JCGxOEOaObJqc0vw_aw.png" /></figure><p>Para testar as capacidades do modelo foi usada um arquivo Json já ofertado pelos tutoriais do Gemma chamado TDC prompts. Nele aparecem diversas tarefas da área de farmacocinética e toxicidade em formato de prompts onde podem ser inseridos sequências. Vale uma pena uma análise só desse arquivo. Para baixar este arquivo para o projeto, use o gcloud:</p><pre>! gcloud storage cp gs://healthai-us/txgemma/templates/tdc_prompts.json tdc_prompts.json</pre><h4>Conclusão</h4><p>Todo este tutorial tem mais código e está disponível no<a href="https://github.com/JessicaIta/cloud-AI-codes"> Github</a>. O texto já ficou bem grande e tem muita coisa a se dizer sobre este tema. Como o assunto é muito amplo e tem muitas aplicações, vai ficar para os próximos posts. Mas gostaria de destacar que modelos de LLM necessitam de avaliação humana e vem como mais uma ferramenta para auxiliar nas nossas pesquisas e tarefas.</p><p><strong>Google Cloud credits are provided for this project.</strong></p><p>#AISprint</p><h4>Referências:</h4><p>Wang, E., Schmidgall, S., Jaeger, P.F., Zhang, F., Pilgrim, R., Matias, Y., Barral, J., Fleet, D. and Azizi, S., 2025. Txgemma: Efficient and agentic llms for therapeutics. <em>arXiv preprint arXiv:2504.06196</em>.</p><p><a href="https://github.com/google-gemini/gemma-cookbook/tree/main/TxGemma">gemma-cookbook/TxGemma at main · google-gemini/gemma-cookbook</a></p><p>Huang, K., Fu, T., Gao, W., Zhao, Y., Roohani, Y., Leskovec, J., Coley, C.W., Xiao, C., Sun, J. and Zitnik, M., 2021. Therapeutics data commons: Machine learning datasets and tasks for drug discovery and development. <em>arXiv preprint arXiv:2102.09548</em>.</p><p><a href="https://tdcommons.ai/">Therapeutics Data Commons</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=93e75d512ac1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/txgemma-llm-para-desenvolvimento-de-f%C3%A1rmacos-93e75d512ac1">TxGemma: LLM para Desenvolvimento de Fármacos</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Trabalhando com Vector Search e Langchain na Vertex AI]]></title>
            <link>https://medium.com/jessica-costa/trabalhando-com-vector-search-e-langchain-na-vertex-ai-2dbd2b64de60?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/2dbd2b64de60</guid>
            <category><![CDATA[vector-search]]></category>
            <category><![CDATA[tecnologia]]></category>
            <category><![CDATA[vertex-ai]]></category>
            <category><![CDATA[llm]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Fri, 14 Feb 2025 02:17:42 GMT</pubDate>
            <atom:updated>2025-02-14T02:18:45.003Z</atom:updated>
            <content:encoded><![CDATA[<p>Em um post anterior foi apresentado um pouco sobre <a href="https://medium.com/p/deb65795873f">como construir uma RAG simples com LlamaIndex</a>. De forma bem básica foi possível entender conceitos como embeddings e índices. Dessa vez vamos prosseguir no tema crescendo um pouco mais a complexidade, utilizando a Vertex AI da Google Cloud Platform(GCP) e o Langchain.</p><h4>Serviços e Frameworks</h4><p>A <strong>Vertex AI</strong> é a plataforma unificada de funcionalidades de Machine Learning da GCP e dentre elas está o <strong>Vector Search</strong>, que permite a criação, manipulação de índices e pesquisa por similaridade em vetores de embeddings. Já o <strong>Langchain</strong> é um dos frameworks existentes atualmente para integração de LLMs (Large Language Models) em aplicações. O framework permite a integração com diversos outros modelos de LLM.</p><p>Para utilizar o Langchain na Vertex AI é preciso baixar alguns pacotes, todos disponíveis no Pypi, são eles:</p><ul><li>langchain-community</li><li>langchain-text-splitters</li><li>langchain-google-vertexai</li></ul><h4>Utilizando a Vertex AI</h4><p>Para começar é preciso ter um projeto na GCP e criar uma instância no Workbench da Vertex AI para acessar as funcionalidades de notebooks. Pode usar as configurações básicas neste tutorial. O checkbox presente na instância permite que ela seja iniciada, parada, reiniciada e apagada. De modo geral, se a instância não estiver em uso, pare e inicie quando for efetivamente usar. Dessa forma você evita gastos inesperados. Com ela ativa, pode abrir o Jupyter-lab.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/247/1*j6gdLggJJYrrhkXv9OfMkA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/663/1*1F7dGHv2xxNfqgrn-wYSOQ.png" /><figcaption>Demonstração da Vertex AI</figcaption></figure><p>No código desse tutorial, que está disponibilizado no Github, existe uma função para criação de bucket no Cloud Storage, pois é efetivamente nele que serão armazenados os arquivos do índice. Porém vamos nos concentrar no índice agora. O código abaixo mostra como criar o índice, o endpoint do índice e por fim realizar o deploy que liga o índice ao endpoint. Nas referências está um link que explica o parâmetro <em>index_update_method, </em>recomendo a leitura. Com os recursos adequadamente criados, você já poderá usá-lo para indexar seus documentos. Todo este processo dura em torno de 20 a 25 minutos.</p><pre># Inicializando a AI Platform<br>from google.cloud import aiplatform<br>aiplatform.init(project=PROJECT_ID, location=LOCATION<br><br># Criação Índice<br>my_index = aiplatform.MatchingEngineIndex.create_tree_ah_index(<br>    display_name=&quot;embedvector-tutorial-index&quot;,<br>    dimensions=768,<br>    approximate_neighbors_count=20,<br>    distance_measure_type=&quot;DOT_PRODUCT_DISTANCE&quot;,<br>    index_update_method=&quot;STREAM_UPDATE&quot;<br>)<br><br># Criando o Endpoint do Índice<br>my_index_endpoint = aiplatform.MatchingEngineIndexEndpoint.create(<br>    display_name=&quot;embedvector-tutorial-index-endpoint&quot;,<br>    public_endpoint_enabled=True,<br>)<br><br># Realizando o Deploy<br>DEPLOYED_INDEX_ID = &quot;embedvector_tutorial_deployed&quot;<br>my_index_endpoint.deploy_index(index=my_index, deployed_index_id=DEPLOYED_INDEX_ID)</pre><p>Depois de todo este processo executado, você pode ir até o Vector Search e verificar o que foi criado. Existem duas abas Indexes e Index Endpoints. Lá estarão listados todos os índices e endpoints existentes no projeto e se estão preparados para uso. Estando tudo ok, vamos agora a geração dos embeddings dos documentos. <strong>Importante:</strong> Na lista dos indexes existe o ID que o identifica e que será usado sempre que for chamá-lo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/248/1*DJjIMmYHzLuUMBQdML5xQg.png" /><figcaption>Vector Search</figcaption></figure><p>No <a href="https://github.com/JessicaIta/cloud-AI-codes">Github</a> eu mostro uma das opções para quebrar documentos em PDF através do Langchain, especificamente com o pacote langchain-community. Os pedaços de texto, os <em>texts</em>, que serão usados para gerar os embeddings. No código a seguir é realizada a criação de um vector store, um tipo de banco de dados que permite guardar embeddings e realizar pesquisa ou busca por similaridade, além de armazenar no índice criado. Lembrando que é necessário passar um bucket para armazenar os arquivos gerados. Com relação ao modelo de embedding, o PDF utilizado estava em português, por isso foi usado o modelo <em>text-multilingual-embedding-002</em>. Demora um tempinho a depender da quantidade e do tamanho dos seus documentos.</p><pre> #Embedding documentos<br>from langchain_google_vertexai import VertexAIEmbeddings<br>from langchain_google_vertexai import VectorSearchVectorStore<br><br>embedding_model = VertexAIEmbeddings(model=&quot;text-multilingual-embedding-002&quot;)<br><br>vector_store = VectorSearchVectorStore.from_components(<br>    project_id=PROJECT_ID,<br>    region=LOCATION,<br>    gcs_bucket_name=BUCKET,<br>    index_id=my_index.name,<br>    endpoint_id=my_index_endpoint.name,<br>    embedding=embedding_model,<br>)<br><br>vector_store.add_texts(texts=texts, is_complete_overwrite=True)</pre><p>Após o processo executar, verifique no seu bucket os arquivos gerados. Com tudo indexado, hora de construir a RAG. Neste ponto, o vector store funcionará como um retriever, onde ele vai recuperar contextos nos embeddings gerados. Ele vai ler uma pergunta, gerar os embeddings da pergunta e realizar a busca no que está indexado. No código abaixo temos duas funções, uma que recupera o contexto e retorna em linguagem natural e outra que gera a resposta passando para a LLM o contexto recuperado da busca. A partir daí é gerada uma resposta mais concisa com a LLM, neste caso o modelo Gemini Flash.</p><pre>from langchain_core.messages import SystemMessage, HumanMessage<br>from langchain_google_vertexai import VertexAI<br><br>system_prompt = &quot;&quot;&quot;Você é um assistente para tarefas de resposta a perguntas. <br>Use as seguintes partes do contexto recuperado para responder à pergunta. <br>Se você não sabe a resposta, basta dizer que não sabe. <br>Use no máximo três frases e mantenha a resposta concisa.<br>Contexto: {context}:&quot;&quot;&quot;<br><br><br>def retrieve_contexts(question:str)-&gt; str: <br>    # Recuperando contextos <br>    retriever = vector_store.as_retriever()<br>    <br>    docs = retriever.invoke(question)<br><br>    # Combinando os contextos <br>    docs_text = &quot;&quot;.join(d.page_content for d in docs)<br>    <br>    return docs_text<br><br><br>def generate_answer(question: str)-&gt; str:<br>     <br>    llm = VertexAI(model_name=&quot;gemini-2.0-flash-001&quot;)<br>    <br>    contexto = retrieve_contexts(question)<br>    <br>    system_prompt_fmt = system_prompt.format(context=contexto)<br><br>    response = llm.invoke([SystemMessage(content=system_prompt_fmt),<br>                          HumanMessage(content=question)])<br>    return response</pre><h4>Conclusão</h4><p>Como todo o projeto foi rodado na Vertex AI, não é necessário chave de API para usar a Gemini. Com os embeddings no índice é possível recuperar sempre que quiser com aquele ID do índice que você vai encontrar no Vector Search. Porém caso só queira usar o tutorial para aprender mesmo, apague os recursos para não gerar custos inesperados. O código a seguir ensina como apagar, mas execute com cautela.</p><pre># Desfazer Deploy do Índice<br>my_index_endpoint.undeploy_index(deployed_index_id=DEPLOYED_INDEX_ID)<br><br># deletar Index Endpoint<br>my_index_endpoint.undeploy_all()<br>my_index_endpoint.delete(force=True)<br><br># deletar Index<br>my_index.delete()<br><br># Apagar Cloud Storage bucket<br>! gcloud storage rm {BUCKET_URI} --recursive</pre><p>Todo este tutorial tem muita informação e acredito que a melhor forma de aprender é entendendo o código por completo. <a href="https://github.com/JessicaIta/cloud-AI-codes">Todo ele está disponível no Github</a>. Inclusive neste repositório posso colocar outros códigos e modificações que for realizando. Espero que o tutorial seja útil. Não esqueçam de consultar as referências.</p><p><strong>Google Cloud credits are provided for this project.</strong></p><p>#VertexAISprint</p><h4>Referências:</h4><p><a href="https://cloud.google.com/vertex-ai/docs/vector-search/create-manage-index?hl=pt-br">https://cloud.google.com/vertex-ai/docs/vector-search/create-manage-index?hl=pt-br</a></p><p><a href="https://python.langchain.com/v0.1/docs/integrations/vectorstores/google_vertex_ai_vector_search/">https://python.langchain.com/v0.1/docs/integrations/vectorstores/google_vertex_ai_vector_search/</a></p><p><a href="https://medium.com/google-cloud-brasil/rag-super-customizado-com-vertex-ai-vector-search-e-langchain-53f2d7a8d4b8">https://medium.com/google-cloud-brasil/rag-super-customizado-com-vertex-ai-vector-search-e-langchain-53f2d7a8d4b8</a></p><p><a href="https://github.com/GoogleCloudPlatform/generative-ai/blob/main/embeddings/intro-textemb-vectorsearch.ipynb">https://github.com/GoogleCloudPlatform/generative-ai/blob/main/embeddings/intro-textemb-vectorsearch.ipynb</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2dbd2b64de60" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/trabalhando-com-vector-search-e-langchain-na-vertex-ai-2dbd2b64de60">Trabalhando com Vector Search e Langchain na Vertex AI</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[IA na Biologia: a era do Alphafold]]></title>
            <link>https://medium.com/jessica-costa/ia-na-biologia-a-era-do-alphafold-d5f334aaea8c?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/d5f334aaea8c</guid>
            <category><![CDATA[alphafold]]></category>
            <category><![CDATA[ciência]]></category>
            <category><![CDATA[bioinformatics]]></category>
            <category><![CDATA[tecnologia]]></category>
            <category><![CDATA[proteinas]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Tue, 19 Nov 2024 10:06:02 GMT</pubDate>
            <atom:updated>2024-11-19T12:10:06.716Z</atom:updated>
            <content:encoded><![CDATA[<p>Recentemente saiu o <a href="https://jornal.unesp.br/2024/10/09/trio-que-revolucionou-pesquisa-no-campo-da-estrutura-das-proteinas-recebe-o-nobel-de-quimica-de-2024/">prêmio Nobel de Química de 2024</a> e todo mundo ficou fascinado pelo Alphafold, uma aplicação de inteligência artificial (IA) na biologia molecular. Parecia coisa de ficção científica, mas agora dois meses depois do anúncio do prêmio, podemos conversar um pouco sobre o que é essa tecnologia e para onde ela está evoluindo. Mas antes de falar do Alphafold, vamos entender o problema que ele se propõe a resolver.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/552/0*ikIQquJqo27bZb1H.png" /><figcaption>Fonte: <a href="https://alphafold.ebi.ac.uk/">https://alphafold.ebi.ac.uk/</a></figcaption></figure><h3>Como é uma Proteína?</h3><p>Proteínas, como espero que tenham aprendido na escola, são as macromoléculas essenciais para a vida. São formadas por cadeias de aminoácidos, um composto orgânico que possui os grupos amina e carboxila (ácido carboxílico). Pessoas da área de Química não briguem comigo, é uma versão simplificada.</p><p>As proteínas podem ser representadas de várias formas, desde a sequência de aminoácidos até a estrutura tridimensional que as formam. A sequência de aminoácido é chamada de estrutura primária, e cada letra representa um aminoácido. Um segmento local tridimensional da proteína é chamado de estrutura secundária, as mais comuns são a alfa-hélice e a beta-folha. A estrutura terciária já se refere ao dobramento de uma cadeia sobre si mesma. Não sei se alguém já se perguntou o que significa <em>‘fold’ </em>em inglês, mas basicamente é <em>‘dobra’</em>. E finalmente a estrutura quaternária se refere a estrutura tridimensional completa da proteína. A figura a seguir, do Protein Data Bank (PDB), representa as quatro estruturas de um proteína.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9UC2SKEFsdRd_7LN.jpg" /><figcaption>Fonte: <a href="https://pdb101.rcsb.org/learn/guide-to-understanding-pdb-data/protein-hierarchical-structure">https://pdb101.rcsb.org/learn/guide-to-understanding-pdb-data/protein-hierarchical-structure</a></figcaption></figure><p>Dada as inúmeras combinações de cadeias de aminoácidos que podem existir, já sabemos que podem existir muitas proteínas. A sequência de aminoácidos de uma proteína é apenas o começo da história. A forma tridimensional que essa sequência assume, crucial para sua função biológica, é o resultado de um processo complexo de dobramento. Dito tudo isso, começamos a entender o problema do enovelamento: como uma cadeia de aminoácidos, a sequência primária de uma proteína, se dobra espontaneamente e adquire uma estrutura tridimensional funcional? Esse é um dos grandes desafios da biologia molecular e que o Alphafold veio para ajudar a resolver.</p><h3>Alphafold 2</h3><p>O Alphafold 2 é um modelo de rede neural lançado em 2020 pela Google DeepMind que prevê a estrutura tridimensional das proteínas. Foi a versão que mais teve impacto na comunidade científica, embora a versão 1 de 2018 já tenha apresentado resultados promissores. O AlphaFold prevê as coordenadas 3D de todos os átomos de determinada proteína utilizando a sequência primária de aminoácidos e as sequências alinhadas de proteínas homólogas (com ancestral em comum).</p><h4>Características da Rede Neural e Treinamento</h4><p>A arquitetura de rede neural central do Alphafold 2 consiste de blocos chamados de Evoformer que combinam mecanismo de atenção e outras camadas de redes neurais para processar os dados de entrada. As principais inovações no bloco Evoformer são novos mecanismos para trocar informações dentro das representações de alinhamento múltiplo de sequências e de pares de resíduos (outro nome para os aminoácidos), que permitem o raciocínio direto sobre as relações espaciais e evolutivas.</p><p>Inicialmente o treinamento do modelo foi realizado com dados de estruturas tridimensionais disponíveis no PDB. Porém uma característica marcante do Alphafold2, é que além do aprendizado supervisionado com o PDB, o modelo trabalhou com uma técnica similar ao <strong><em>noisy student self-distillation, </em></strong>uma técnica semi-supervisionada<strong><em>. </em></strong>A abordagem do Alphafold2 consistiu no uso a rede treinada para prever 350 000 sequências diversas do banco Uniclust30 e criar um novo dataset de estruturas preditas com mais alta confiança.</p><p>Em seguida, a mesma arquitetura foi treinada novamente do zero usando uma mistura de dados do PDB com o novo conjunto de dados de estruturas preditas. Dessa forma foi possível realizar <em>data augmentation</em> nos dados de treinamento. Este processo, chamado de <em>self-distillation</em>, autodestilação em português, consegue melhorar significativamente a acurácia utilizando dados não rotulados.</p><p>Com relação ao tempo de previsão, o artigo original relata que o AlphaFold produz previsões em minutos de unidade de processamento gráfico (GPU) a horas de GPU, dependendo do comprimento da sequência de proteína (por exemplo, cerca de um minuto de GPU por modelo para 384 resíduos). Outra informação muito relevante é que o Alphafold 2também possui um banco de dados público de estruturas, <a href="https://alphafold.ebi.ac.uk/">AlphaFold Protein Structure Database</a>, parceria da Google DeepMind e do EMBL-EBI. O que já uma forma interessante de trabalhar com os resultados do modelo de IA.</p><h3>Conclusão</h3><p>O Alphafold 2 está disponível para instalação através do código fonte, porém demanda um hardware poderoso, e também através do <a href="https://colab.research.google.com/github/sokrypton/ColabFold/blob/main/AlphaFold2.ipynb">Colabfold</a>, o que torna bem mais acessível.</p><p>Importante destacar é como a união das ciências como a bioinformática, a física, a química, podem trazer grandes inovações e ganhos para a comunidade científica e a sociedade. Inovações como essa podem abrir caminho para o desenvolvimento de medicamentos, vacinas, novas proteínas e muito mais.</p><p>Muito assunto e nem comecei a falar do Alphafold 3 que foi lançado este ano, 2024, e já tem inovações muito legais que permitem trabalhar com interações de proteínas e outras moléculas. Está disponível na versão Web server e mais recentemente a implementação do pipeline de referência no Github para uso não comercial, porém os parâmetros do modelo só são liberados pelo Google.</p><p>Esta versão ficará para outro post, até breve!</p><h4>Referências:</h4><ul><li><a href="https://www.nature.com/articles/s41586-021-03819-2">Client Challenge</a></li><li><a href="https://www.rcsb.org/">RCSB PDB: Homepage</a></li><li><a href="https://alphafoldserver.com/welcome">AlphaFold Server</a></li><li><a href="https://alphafold.ebi.ac.uk/">AlphaFold Protein Structure Database</a></li><li><a href="https://github.com/google-deepmind/alphafold">GitHub - google-deepmind/alphafold: Open source code for AlphaFold 2.</a></li><li><a href="https://github.com/google-deepmind/alphafold3">GitHub - google-deepmind/alphafold3: AlphaFold 3 inference pipeline.</a></li><li><a href="https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/#life-molecules">AlphaFold 3 predicts the structure and interactions of all of life&#39;s molecules</a></li><li><a href="https://jornal.unesp.br/2024/10/09/trio-que-revolucionou-pesquisa-no-campo-da-estrutura-das-proteinas-recebe-o-nobel-de-quimica-de-2024/">Trio que revolucionou pesquisa no campo da estrutura das proteínas recebe o Nobel de Química de 2024</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d5f334aaea8c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/ia-na-biologia-a-era-do-alphafold-d5f334aaea8c">IA na Biologia: a era do Alphafold</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Construindo uma RAG com Gemini e LlamaIndex]]></title>
            <link>https://medium.com/jessica-costa/construindo-uma-rag-com-gemini-e-llamaindex-deb65795873f?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/deb65795873f</guid>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[ia-generativa]]></category>
            <category><![CDATA[tecnologia]]></category>
            <category><![CDATA[retrieval-augmented-gen]]></category>
            <category><![CDATA[llamaindex]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Wed, 25 Sep 2024 02:06:49 GMT</pubDate>
            <atom:updated>2024-09-25T02:06:49.780Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*5JmbNS5AUMqjq5jm" /><figcaption>Fonte: <a href="https://www.llamaindex.ai/blog/llamaindex-gemini-8d7c3b9ea97e">https://www.llamaindex.ai/blog/llamaindex-gemini-8d7c3b9ea97e</a></figcaption></figure><p>Ultimamente, a personalização dos modelos grandes de linguagem(LLMs) aos contextos específicos tem sido um tópico central. Enquanto os modelos de LLMs oferecem bons resultados, suas aplicações em cenários mais especializados exigem uma especialização adicional. Duas técnicas se destacam nesse processo: Fine-tuning e Retrieval Augmented Generation (RAG):</p><ul><li><strong>Fine-tuning:</strong> Consiste em retreinar um modelo pré-treinado com um conjunto de dados específico para uma tarefa. Ela não será abordada nesse artigo.</li><li><a href="https://docs.llamaindex.ai/en/stable/understanding/"><strong>RAG</strong></a><strong>:</strong> Essa abordagem combina a recuperação de informações relevantes com a geração de texto. Ao invés de depender apenas do conhecimento pré-treinado do modelo, o RAG busca informações em fontes externas, como bases de dados ou documentos, para enriquecer as respostas geradas.</li></ul><p>Dada a complexidade e custo de se realizar Fine-Tuning, a RAG tem se tornado uma excelente alternativa para diversas soluções e novos frameworks tornam essa tarefa mais simples. Um desses que vem se tornando popular, pelo menos este ano de 2024 (tudo pode mudar no ano que vem), é o <a href="https://docs.llamaindex.ai/en/stable/">LlamaIndex</a>. Um detalhe bem bacana é que é possível integrar o LlamaIndex com vários modelos de LLM. Nesse tutorial, vou ensinar a montar uma RAG com LlamaIndex e o Gemini, o modelo de LLM do Google. Todo o código está disponível no repositório do <a href="https://github.com/JessicaIta/gemini-models">Github</a>.</p><h4>Montando o Código</h4><p>Estão especificados no notebook todos os pacotes utilizados, inclusive com uso de dotenv. Para o usar modelo Gemini é necessário gerar uma chave de API (<a href="https://medium.com/google-cloud-brasil/brincando-com-as-orqu%C3%ADdeas-os-r%C3%B3tulos-e-a-gemini-545caa2adbc6">já escrevi sobre, recomendo a leitura</a>). Neste tutorial eu faço a leitura de um arquivo científico da minha área de pesquisa em bioinformática. Não publiquei o PDF do artigo, mas as referências estão listadas para acesso. Os passos para montar a RAG estão descritos a seguir:</p><ul><li><strong>Realizar a Leitura do documento:</strong> Faz a leitura do PDF do artigo.</li><li><strong>Carregar o modelo Gemini:</strong> O código carrega o modelo Gemini, neste caso foi usado o modelo Gemini 1.5 Pro, mas podem ser utilizadas outras versões. No código do Github, apresento uma forma de você verificar todos os disponíveis.</li><li><strong>Criar um modelo de embedding:</strong> O modelo de embedding é usado para representar textos como vetores numéricos, neste caso foi usado um modelo da HuggingFace.</li><li><strong>Dividir textos em pedaços:</strong> Os textos são divididos em pedaços menores para facilitar o processamento. Recomendo fortemente uma leitura sobre chunks e como definir tamanhos adequados.</li><li><strong>Criar um índice:</strong> O índice é criado para armazenar os documentos e suas representações vetoriais através do VectorStoreIndex.</li><li><strong>Criar um engine de consulta:</strong> O engine de consulta permite que você faça perguntas ao índice e obtenha respostas relevantes.</li></ul><pre>from llama_index.core import SimpleDirectoryReader<br>from llama_index.core import VectorStoreIndex<br>from llama_index.llms.gemini import Gemini<br>from llama_index.embeddings.huggingface import HuggingFaceEmbedding<br>from llama_index.core import Settings<br><br>from llama_index.core.node_parser import SentenceSplitter<br>from llama_index.core.node_parser import TokenTextSplitter<br><br><br>documents = SimpleDirectoryReader(<br>    input_files=[&quot;pubmed_document.pdf&quot;]<br>).load_data()<br><br><br>llm  = Gemini(model=&quot;models/gemini-1.5-pro&quot;, temperature=0.3, top_p=1, top_k=32)<br>embed_model = HuggingFaceEmbedding(model_name=&quot;BAAI/bge-small-en-v1.5&quot;)<br><br>text_splitter = SentenceSplitter(chunk_size=1024, chunk_overlap=20)<br>splitter = TokenTextSplitter(chunk_size=1024, chunk_overlap=20)<br><br><br># global settings<br>Settings.llm = llm<br>Settings.embed_model = embed_model<br>Settings.text_splitter = text_splitter<br><br>index = VectorStoreIndex.from_documents(documents, show_progress=True)<br><br>query_engine = index.as_query_engine()</pre><p>Em diversos tutorias mais antigos eu encontrei o uso de ServiceContext, porém atualmente o LlamaIndex não utiliza este recurso mais e trabalha somente com a Settings, que permite o uso de variáveis globais. Como o documento é pequeno, será bem rápido o processamento, a opção <strong>show_progress=True</strong> permite a visualização do progresso do processamento. Finalizado o processamento, já é possível fazer as perguntas.</p><pre>response = query_engine.query(<br>    &quot;What are the factors that contribute to the development and <br>    spread of antibiotic resistance??&quot;<br>)<br>print(str(response))</pre><p>As respostas ficarão restritas ao conteúdo presente no documento ou qualquer outra base de dados que for utilizada. O documento está em inglês, logo é importante que as perguntas sejam em inglês também. Caso a pergunta fuja do contexto, o modelo responde que não é capaz de responder.</p><h4>Conclusão</h4><p>Temos aqui um tutorial de como criar uma RAG, lembrando que existem muito recursos que podem ser utilizados e formas de representar os textos que podem ser muito mais poderosas para um determinado propósito. Sempre recomendo consultar as documentações oficiais. De forma geral o objetivo do tutorial é justamente propor algo simples para demonstrar as potencialidades da técnica, além da possibilidade de integrar com vários outros modelos.</p><p>#AISprint</p><p><strong>Google Cloud credits are provided for this project.</strong></p><h4>Referências:</h4><p>Sobre o modelo Gemini: <a href="https://blog.google/technology/ai/google-gemini-ai/">https://blog.google/technology/ai/google-gemini-ai/</a></p><p>Paper da Meta sobre Retrieval-Augmented Generation :<em> </em><a href="https://research.facebook.com/publications/retrieval-augmented-generation-for-knowledge-intensive-nlp-tasks/"><em>https://research.facebook.com/publications/retrieval-augmented-generation-for-knowledge-intensive-nlp-tasks/</em></a></p><p>Curso de RAG da DeepLearning AI:<br><a href="https://www.deeplearning.ai/short-courses/building-evaluating-advanced-rag/"><em>https://www.deeplearning.ai/short-courses/building-evaluating-advanced-rag/</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=deb65795873f" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/construindo-uma-rag-com-gemini-e-llamaindex-deb65795873f">Construindo uma RAG com Gemini e LlamaIndex</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Usar ou Não Usar IA, Eis a Questão]]></title>
            <link>https://medium.com/jessica-costa/usar-ou-n%C3%A3o-usar-ia-eis-a-quest%C3%A3o-ac7db4dcf36f?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/ac7db4dcf36f</guid>
            <category><![CDATA[tecnologia]]></category>
            <category><![CDATA[projeto-de-software]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[ia-generativa]]></category>
            <category><![CDATA[ciência-de-dados]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Fri, 05 Jan 2024 01:15:26 GMT</pubDate>
            <atom:updated>2024-01-05T01:14:49.663Z</atom:updated>
            <content:encoded><![CDATA[<p>Começando este primeiro texto de 2024 parafraseando uma frase bem famosa de Shakespeare na sua famosa obra Hamlet: ser ou não ser, eis a questão, dessa vez para o uso de IA (Inteligência Artificial), que muitas vezes parece um dilema como Hamlet. Ano passado, o assunto da moda foi IA Generativa e como toda ferramenta, torna-se a “solução para todos os seus problemas”. Este ano acredito que continue sendo o tema da moda, principalmente porque as grandes empresas de tecnologia sempre estão lançando algo novo, o que manterá o tema em alta.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/480/0*FFIRU3jsABjW5t5L" /><figcaption><a href="https://media.giphy.com/media/RorC7LdGAZ8EanOi1F/giphy.gif">https://media.giphy.com/media/RorC7LdGAZ8EanOi1F/giphy.gif</a></figcaption></figure><p>Mas dado todo esse movimento gostaria de trazer algumas considerações sobre o uso de IA nos projetos. Não existe resposta definitiva quando o assunto é tecnologia, mas sim o que cabe para aquele problema com os recursos disponíveis no momento. Dito isso, quero desmistificar alguns mitos da ciência de dados para trazer a reflexão, jamais as respostas. Vamos convencionar neste texto que o termo IA abrangerá várias técnicas, inclusive Machine Learning e que GenAI é IA Generativa.</p><p><strong>1 - Trabalhar com Ciência de dados é fazer modelos de IA</strong></p><p>Comecemos pelo mito maior, que ciência de dados se resume a modelos de IA, o que é um erro comum. A expressão “Ciência de Dados ou Data Science” foi popularizada recentemente e dessa forma foi associada a aplicação de modelos de IA. Porém não podemos esquecer que problemas que envolvem dados podem ser resolvidos com técnicas de otimização, estatística, cálculo, que por sinal originaram a IA. O mais importante para caracterizar ciência é que você desenvolva uma solução baseado em dados com uma metodologia e experimentação que possa ser replicada.</p><p><strong>2 - IA Generativa dispensa outras técnicas de IA</strong></p><p>Mais um dos mitos recentes é achar que toda solução de IA necessita ser construída com GenAI. Em tecnologia sempre acontece isso, tecnologias novas acabam virando balas de prata. Eu diria que trabalhar com IA é justamente entender o propósito de cada técnica, entender o que se quer resolver e saber escolher a mais adequada para um determinado problema e cenário. Isso inclusive demonstra a sua senioridade em uma área, por isso o famoso jargão que o sênior só fala depende.</p><p><strong>3 - Não preciso fazer a análise dos meus dados, a GenAI faz tudo</strong></p><p>Primeiro ponto, parem de jogar os dados da sua empresa em ferramentas como ChatGPT ou Bard, prezem pela segurança. Agora vamos a essa questão da análise, uma análise mais estatística pode sim ser feita por modelos de GenAI, porém o entendimento do contexto é do ser humano. Por isso a GenAI não dispensa o seu trabalho, ela pode te dar ganhos de produtividade, mas toda a análise do contexto, recursos e objetivos de negócio é do analista/cientista.</p><p><strong>4 - Uma vez o modelo implantado não preciso mexer nele mais</strong></p><p>Esse é daqueles mitos que gera graves problemas. Uma vez o modelo implantado e sendo utilizado, a depender do problema que ele resolve, ele pode ficar obsoleto. Modelos para cenários que mudam muito, principalmente relacionado a séries temporais, precisam ser atualizados constantemente para que possam predizer adequadamente diante das mudanças. Um modelo é um produto como qualquer outro de tecnologia e necessita de manutenção, então ao implantar um projeto com IA, planeje essa etapa também.</p><p><strong>5 - Projeto de IA não precisa de engenharia de software</strong></p><p>Esse é um dos mitos que ronda a área de ciência de dados. De forma geral nem sempre uma solução em ciência de dados gera um software, uma análise exploratória realmente não é. Porém a partir do momento que você cria um modelo de IA que recebe entradas e retorna saídas de forma automatizada, executando tarefas para um usuário, você passa a ter um software. Logo todas aquelas práticas da engenharia de software como documentação, versionamento, boas práticas de codificação, testes, entre outras, passam a ser tarefas obrigatórias dado que este modelo pode rodar por anos. Além disso vem um adendo importante, modelos de IA tomam decisões, logo a criticidade é maior em avaliar como estas decisões estão sendo tomadas.</p><p>A escolha desses mitos foi baseada no que mais ouço e vejo na internet a respeito de projetos de IA e minha experiência na área. Então poderá gerar discordâncias, mas faz parte do debate. O importante é sempre termos em mente que a tecnologia não é só feita de codificação, mas também de decisões que podem impactar equipes, projetos, pessoas e organizações. Isso faz parte do amadurecimento como profissional de ciência de dados em que além de ter uma visão técnica, também possui uma visão mais abrangente do todo. IA não é só hype, mas sim um grande conjunto de ferramentas que precisa ser utilizado com sabedoria.</p><p>Espero que o texto seja útil. Um ótimo 2024.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ac7db4dcf36f" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/usar-ou-n%C3%A3o-usar-ia-eis-a-quest%C3%A3o-ac7db4dcf36f">Usar ou Não Usar IA, Eis a Questão</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Uma Reflexão sobre Inteligência Artificial nas Ciências da Vida]]></title>
            <link>https://medium.com/jessica-costa/uma-reflex%C3%A3o-sobre-intelig%C3%AAncia-artificial-nas-ci%C3%AAncias-da-vida-9fdcac5b0d37?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/9fdcac5b0d37</guid>
            <category><![CDATA[proteinas]]></category>
            <category><![CDATA[ia-generativa]]></category>
            <category><![CDATA[inteligencia-artificial]]></category>
            <category><![CDATA[tecnologia]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Sat, 04 Nov 2023 01:27:41 GMT</pubDate>
            <atom:updated>2023-11-04T01:28:28.208Z</atom:updated>
            <content:encoded><![CDATA[<p>Recentemente foi emitida uma Ordem Executiva do governo dos EUA sobre gerenciamento de riscos da inteligência artificial (IA). A ordem tem vários tópicos e eu diria que cada um vale uma reflexão, pois considero que a IA é o futuro, além de ser muito oportuno que tomemos consciência agora. Neste texto eu quero trazer uma reflexão (opinião) de um trecho que trata sobre questões biológicas ou ciências da vida.</p><figure><img alt="https://unsplash.com/pt-br/fotografias/recarga-de-liquido-em-tubos-pwcKF7L4-no" src="https://cdn-images-1.medium.com/max/1024/1*HZ_EN1hEfhEsZ3pgT9erUA.jpeg" /><figcaption>Fonte: <a href="https://unsplash.com/pt-br/fotografias/recarga-de-liquido-em-tubos-pwcKF7L4-no">Unsplash</a></figcaption></figure><p>A revista <strong><em>The Economist</em> </strong>em uma de suas edições de setembro de 2023 publicou várias matérias sobre como a IA pode revolucionar a ciência. Ela fala de várias aplicações e uma delas é sobre a aplicação em ciências da vida, cita por exemplo a <strong>AlphaFold</strong>, um modelo desenvolvido pelo Google Deepmind que prevê a estrutura de uma proteína a partir da sequência de aminoácidos. Inclusive existe um banco de dados, o <a href="https://alphafold.ebi.ac.uk/">AlphaFold Protein Structure Database</a>. As proteínas desempenham funções essenciais à vida e entender os seus padrões pode ajudar a diagnosticar doenças, criar novos medicamentos, entre outros.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/552/0*jlpPgFAcl2aDpKC1.png" /><figcaption><a href="https://alphafold.ebi.ac.uk/entry/Q8W3K0">Probable disease resistance protein At1g58602</a></figcaption></figure><p>Com o advento das LLMs de IA Generativa você abre novas possibilidades para aplicações em ciências da vida. Assim como a LLM prevê a próxima palavra numa frase, será possível prever a próxima “letra” de uma molécula. Em meu mestrado trabalhei com sequências de proteínas, não com LLM, mas extraindo propriedades que foram usadas em modelos de classificação de proteínas. Adorei trabalhar com este tema e considero muito promissor.</p><p>Todo este contexto mostra que é uma tendência e que veio para ficar. Na Ordem Executiva apresentada há trechos que abordam a questão dos riscos biológicos, especialmente de “materiais biológicos perigosos”. No trecho da Casa Branca a seguir fala um pouco o estabelecimento de normas para pesquisas biológicas.</p><blockquote>Proteção contra os riscos do uso de IA para projetar materiais biológicos perigosos, desenvolvendo novos padrões sólidos para triagem de síntese biológica. As agências que financiam projetos de ciências da vida estabelecerão estas normas como condição para o financiamento federal, criando incentivos poderosos para garantir uma triagem adequada e gerir os riscos potencialmente agravados pela IA.</blockquote><p>Já ouvi muitas discussões sobre os riscos de IA, nos mais diversos temas, sobre biologia molecular é a primeira vez. Mas acho pertinente que se comece a discutir isso, não com intuito de parar pesquisa ou demonizar, ao contrário, temos que ampliar. Mas estabelecer regras do que é um projeto ético e legal para se fazer. Destaco que tudo na síntese biológica necessita da parte experimental, então que não se comece com o surto coletivo de que estão criando armas com a IA. Não é bem assim.</p><p>Sabemos bem que a maioria dos projetos de ciências de vida tem incentivo governamental. São pesquisas custosas e demoradas, mas com verdadeiros avanços para a saúde e meio ambiente. <strong>Por isso deve-se primar pelo uso do recurso público e até privado para o bem humanitário.</strong> Sobre organizações que possam estar realizando pesquisas com IA com intuitos negativos para a humanidade, que sejam punidas. A ordem não estabelece nada, mas incentiva que agências façam essa legislação.</p><p>Inteligência Artificial para mim é uma ferramenta de propósito geral, assim como a eletricidade. Mas é essencial que comecemos a discutir como usar esta ferramenta tão poderosa de modo que se possa mitigar os danos e aproveitar os benefícios. O uso dela depende das decisões humanas. As decisões humanas que são o problema.</p><p>OBS: Este texto foi escrito em novembro de 2023.</p><p>Fonte:<br><a href="https://www.whitehouse.gov/briefing-room/statements-releases/2023/10/30/fact-sheet-president-biden-issues-executive-order-on-safe-secure-and-trustworthy-artificial-intelligence/">https://www.whitehouse.gov/briefing-room/statements-releases/2023/10/30/fact-sheet-president-biden-issues-executive-order-on-safe-secure-and-trustworthy-artificial-intelligence/</a></p><p><a href="https://alphafold.ebi.ac.uk/">AlphaFold Protein Structure Database</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9fdcac5b0d37" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/uma-reflex%C3%A3o-sobre-intelig%C3%AAncia-artificial-nas-ci%C3%AAncias-da-vida-9fdcac5b0d37">Uma Reflexão sobre Inteligência Artificial nas Ciências da Vida</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Geração de Código com PaLM 2]]></title>
            <link>https://medium.com/jessica-costa/gera%C3%A7%C3%A3o-de-c%C3%B3digo-com-palm-2-09e8306f28c4?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/09e8306f28c4</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[palm-2]]></category>
            <category><![CDATA[generative-ai-tools]]></category>
            <category><![CDATA[tecnologia]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Mon, 09 Oct 2023 23:46:40 GMT</pubDate>
            <atom:updated>2023-10-10T00:50:00.195Z</atom:updated>
            <content:encoded><![CDATA[<p>Para você que já começou a mexer com a PaLM 2 provavelmente deve já deve ouvido falar do <strong>Generative AI Studio</strong> da Google Cloud Platform (GCP). Lá você vai encontrar vários recursos para desenvolver com os modelos de LLM disponíveis, seja a própria PaLM 2 ou o LLama, por exemplo. Especificamente a PaLM 2 pode ser utilizada através da PaLM API que você pode utilizar através da Vertex AI. Importante frisar que para este tutorial você precisará ter um projeto na GCP e a ativar a Vertex AI API.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/778/0*5TYsfotMFNnV3F78" /><figcaption>Fonte: Google AI</figcaption></figure><p>Um dos mais famosos dos modelos é o <em>text-bison</em>, muito utilizado para os modelos de texto: perguntas, sugestões, instruções, entre outros. Mas além dele, temos outro modelo de texto, o <em>code-bison</em>, que é usado para geração de código de programação. Para utilizar especificamente este modelo na Generative AI Studio, escolha a opção <em>code-bison </em>em Modelo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/514/1*nOvfraHbB8d_oO_nRwXJOA.png" /></figure><p>Primeira coisa que você perceberá é que para modelo <em>code-bison</em> temos três parâmetros e não cinco como o <em>text-bison</em>. Os três são exatamente iguais, a temperatura, o limite de tokens e o máximo de respostas. A temperatura é relacionada ao grau de aleatoridade da resposta, ou seja quanto mais alta a temperatura mais aleatório, é recomendado valores mais baixos para respostas mais corretas, o padrão costuma ser 0.2. Já o limite de tokens é relacionado a quantidade máxima de saída de texto de uma solicitação. Um token tem cerca de quatro caracteres. O valor padrão é 1024. Já o máximo de respostas é o número máximo de respostas do modelo geradas por comando, em geral o valor padrão é 1. Todos estes parâmetros podem ser alterados.</p><p>Como as linguagens que mais utilizo são Python e SQL, as solicitações para o <em>code-bison</em> foram nessas linguagens. Um dos testes que fiz foi com um problema bem comum em soluções para pré-processamento de dados: encontrar padrões de texto. O prompt utilizado foi “Escreva um código em Python para identificar o padrão 01.aabb” somente e solicitei mais de uma solução. Particularmente para este tipo problema eu uso regex. A resposta que ele me retornou foi:</p><pre><br># Resposta 1<br>import re<br><br>def identificar_padrao(texto):<br>  padrao = re.compile(r&quot;01\.[a-f0-9]{4}&quot;)<br>  resultado = padrao.search(texto)<br>  if resultado:<br>    return resultado.group()<br>  else:<br>    return None<br><br>texto = &quot;01.aabbccdd&quot;<br>resultado = identificar_padrao(texto)<br>print(resultado)<br><br># Resposta 2<br>import re<br><br>def identify_pattern(string):<br>  pattern = re.compile(r&quot;01\.[a-f0-9]{4}&quot;)<br>  match = pattern.match(string)<br>  if match:<br>    return True<br>  else:<br>    return False<br><br>if __name__ == &quot;__main__&quot;:<br>  string = &quot;01.aabb&quot;<br>  print(identify_pattern(string))  # True</pre><p>O segundo experimento foi relacionado a construção de consultas SQL. Para consultas SQL é preciso ser mais específico na construção dos prompts, pois a construção de consultas está ligado ao contexto das tabelas. Um prompt muito genérico vai gerar uma consulta mais genérica, por isso é importante descrever as tabelas. O prompt utilizado e a resposta do modelo para este experimento estão mostradas a seguir.</p><blockquote>A tabela Produto possui os campos ident, produto e valor.<br>A tabela Venda possui os campos ident, data_venda e vendedor.</blockquote><blockquote>Preciso dos <strong>totais maiores</strong> que 200 de vendas por dia e vendedor nos últimos 30 dias.</blockquote><pre>SELECT <br>  v.vendedor, <br>  SUM(p.valor) AS total_vendas, <br>  v.data_venda <br>FROM Venda v<br>JOIN Produto p ON v.ident = p.ident<br>WHERE v.data_venda &gt;= DATE_SUB(NOW(), INTERVAL 30 DAY)<br>AND p.valor &gt; 200<br>GROUP BY v.vendedor, v.data_venda<br>HAVING SUM(p.valor) &gt; 200<br>ORDER BY v.vendedor, v.data_venda;</pre><p>A resposta da consulta tem um pequeno problema que é relacionado a cláusula WHERE, pois o modelo entendeu que eu pedi o valor maior do que 200. Mas a na verdade eu só gostaria do total maior do que 200. Pensando na solução, mudei a última frase do prompt para “<em>Preciso dos </em><strong><em>totais diários</em></strong><em> maiores que 200, por dia e vendedor nos últimos 30 dias</em>”. A solução que ele propôs já foi outra e dessa vez de acordo com o que pedi:</p><pre>SELECT <br>  DATE(v.data_venda) AS dia, <br>  v.vendedor, <br>  SUM(p.valor) AS total_diario<br>FROM Venda v<br>JOIN Produto p ON v.ident = p.ident<br>WHERE v.data_venda &gt;= DATE_SUB(NOW(), INTERVAL 30 DAY)<br>GROUP BY dia, vendedor<br>HAVING total_diario &gt; 200<br>ORDER BY dia, vendedor;</pre><p>Você pode salvar todos os resultados dos seus prompts no GCS através do Cloud Shell. Para isso é necessário ter um bucket criado no GCS. Para quem tem dúvidas de como criar, use este <a href="https://cloud.google.com/storage/docs/creating-buckets?hl=pt-br#storage-create-bucket-cli">tutorial do GCS</a>. O código a seguir, rodado no Cloud Shell, salva todas respostas em um arquivo Json e salva em um bucket de mesmo nome do meu projeto na GCP.</p><pre>MODEL_ID=&quot;code-bison&quot;<br>PROJECT_ID=$DEVSHELL_PROJECT_ID<br>curl \<br>-X POST \<br>-H &quot;Authorization: Bearer $(gcloud auth print-access-token)&quot; \<br>-H &quot;Content-Type: application/json&quot; \<br>https://us-central1-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/us-central1/publishers/google/models/${MODEL_ID}:predict -d \<br>$&#39;{<br>  &quot;instances&quot;: [<br>    { &quot;prefix&quot;: &quot;Escreva um codigo em python para identificar o padrao 01.aabb.&quot;}<br>  ],<br>  &quot;parameters&quot;: {<br>    &quot;temperature&quot;: 0.2,<br>    &quot;candidateCount&quot;: 5,<br>    &quot;maxOutputTokens&quot;: 1024<br>  }<br>}&#39; &gt; code_example.json<br><br>export PROJECT_ID=$(gcloud config get-value project)<br>gsutil cp *.json gs://$PROJECT_ID</pre><p>O modelo <em>code-bison</em> é bem poderoso e fácil de trabalhar, mas como sempre falo código não é só sintaxe de linguagem de programação, é contexto de negócio. Então não adianta achar que um modelo de LLM vai resolver tudo por você, é realmente necessário avaliar a resposta dada, melhorar as solicitações caso a resposta não seja adequadaou até corrigir o código. Lembre-se: é um modelo de IA, ele aprende probabilidades, a visão crítica da pessoa que desenvolve é sempre necessária.</p><p><em>Referências:<br></em><a href="https://ai.google/discover/palm2/"><em>https://ai.google/discover/palm2/</em></a><em><br></em><a href="https://developers.generativeai.google/products/palm"><em>https://developers.generativeai.google/products/palm</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=09e8306f28c4" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/gera%C3%A7%C3%A3o-de-c%C3%B3digo-com-palm-2-09e8306f28c4">Geração de Código com PaLM 2</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Eu li o livro Que Bobagem!]]></title>
            <link>https://medium.com/jessica-costa/eu-li-o-livro-que-bobagem-3dd06e661208?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/3dd06e661208</guid>
            <category><![CDATA[resenha]]></category>
            <category><![CDATA[livros]]></category>
            <category><![CDATA[ciência]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Fri, 15 Sep 2023 23:00:04 GMT</pubDate>
            <atom:updated>2023-09-15T23:01:11.488Z</atom:updated>
            <content:encoded><![CDATA[<p>Quando eu era criança eu escutava muito a frase “Não julgue um livro pela capa”. Não sei quem criou, mas quase sempre lembro dela quando vejo um livro na livraria. Recentemente foi lançado o livro <strong>Que bobagem! pseudociências e outros absurdos que não merecem ser levados a sério </strong>da Natalia Pasternak e do Carlos Orsi pela editora Contexto e que gerou uma enorme polêmica. Eu adoro ciência e suas discussões intermináveis, justamente por isso comprei e comecei a ler.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/310/1*BAhUPTaEvFTgmuhwAB8a0A.jpeg" /><figcaption>Fonte: Imagem de Divulgação</figcaption></figure><p>Para começar, a polêmica do título, que muitos consideraram pejorativo. Porém os autores explicam o porquê da escolha desse nome no epílogo. Eu sei que em termos de marketing foi ótimo, porque chamou a atenção de verdade. O livro é totalmente referenciado, ou seja, boa parte do que foi comentado já foi dito por outros autores. Inclusive no final do livro tem todas as referências para quem quiser consultar e se aprofundar. Umas das coisas mais mencionadas no livro foi o efeito placebo que você vai notar em vários capítulos do livro. Os temas abordados foram:</p><ul><li>Astrologia</li><li>Homeopatia</li><li>Acupuntura e Medicina Tradicional Chinesa</li><li>Curas Naturais</li><li>Curas Energéticas</li><li>Modismos de Dieta</li><li>Psicanálise e psicomodismos</li><li>Paranormalidade</li><li>Discos Voadores</li><li>Pseudoarqueologia e deuses astronautas</li><li>Antroposofia</li><li>Poder quântico e pensamento positivo.</li></ul><p>O livro se propõe a mostrar<strong> pseudociências e algumas ideias mais difundidas no Brasil que parecem ser científicas e não são</strong>, além de plantar a semente do ceticismo. Então ele não vai discorrer sobre outras áreas do conhecimento, como filosofia, pois o viés é científico. Dito isso, não faz sentido para mim a comoção absurda, que por um lado eu achei bacana porque finalmente uma polêmica nesse país foi ciência e não escândalos, mas por outro percebi como as pessoas são agressivas ao defender o que acreditam, principalmente quando não leram o livro. Você pode não gostar de algum capítulo do livro, mas não desmerecê-lo completamente.</p><p>A maior polêmica que vi foi justamente o capítulo sobre psicanálise. Para começar é meio capítulo e os argumentos utilizados foram de outros autores. Não vou entrar no mérito da discussão, porque percebi ser um vespeiro, mas o fato é que ao contrário do que dizem, em nenhum momento os autores desprezam práticas psicoterapêuticas comprovadas pela ciência. Porque justamente o viés é científico. Já fiz psicoterapia, e foi muito útil em um dos momentos difíceis com a ansiedade.</p><p>Sobre outra polêmica, a homeopatia, eu particularmente tive algum contato na minha vida. Lembro quando criança que as pessoas falavam como se fosse algo natural. Quando comecei a pesquisar descobri que existia o termo fitoterapia para os tais remédios naturais. E as dúvidas surgiram sobre o que era homeopatia. Quando descobri o que era, só pensei que se eu tomasse água daria no mesmo. Provavelmente a galera da Química pira com homeopatia. E sim, as pessoas acreditam que homeopatia é remédio natural e não algo diluído ao máximo.</p><p>Em um mundo onde a imagem de um “cadáver de um suposto extraterrestre” gera inúmeras matérias, dá para se perceber como não é tão difícil enganar as pessoas. Sempre surge uma dieta nova de influencers que só adoece pessoas. Além disso passamos por um dos piores momentos com teorias da conspiração, antivacinas e remédios baseados em “na minha prática clínica funciona” durante a pandemia de covid. Um pouco de ceticismo é muito bom para te fazer duvidar daquilo que te dizem sem evidências. E sobre aquilo que não tem evidências ou não conheço, eu só digo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/499/0*YG8_HnQgMuzHrf4N" /><figcaption>Fonte: Twiiter/X</figcaption></figure><p>Outro fato importante é que a Ciência não tem ideias fincadas na pedra. Novas evidências podem superar teorias e práticas antigas. Um dia acreditou-se que o Sol girava em torno da Terra, depois se percebeu que não, que a Terra girava em torno do Sol e finalmente que até o sistema solar se move na Via Láctea. Então sempre será assim, novas evidências, novas teorias, novas práticas.</p><p>Não dá para falar de todos os capítulos do livro, porque é extenso, são mais de 300 páginas e a ideia é só passar um pouco sobre tópicos que me chamaram mais atenção na obra. Como os autores mencionam, todo mundo tem sua “pseudociência de estimação”, aquela que você gostaria que fosse verdade ou funcionasse. E tudo bem, só saiba extamente o que ela é. Espero que este texto te desperte a curiosidade de ler este livro e também muitos outros. E só ratificando, não julgue um livro pela capa.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3dd06e661208" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/eu-li-o-livro-que-bobagem-3dd06e661208">Eu li o livro Que Bobagem!</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Dicas Úteis para Usar o BigQuery sem Tomar Susto]]></title>
            <link>https://medium.com/jessica-costa/dicas-%C3%BAteis-para-usar-o-bigquery-sem-tomar-susto-81b7dabf5a3d?source=rss----20721ca4b499---4</link>
            <guid isPermaLink="false">https://medium.com/p/81b7dabf5a3d</guid>
            <category><![CDATA[cloud-cost-management]]></category>
            <category><![CDATA[gcp]]></category>
            <category><![CDATA[bigquery]]></category>
            <category><![CDATA[technology]]></category>
            <category><![CDATA[tecnologia]]></category>
            <dc:creator><![CDATA[Jéssica Costa]]></dc:creator>
            <pubDate>Tue, 05 Sep 2023 01:10:44 GMT</pubDate>
            <atom:updated>2023-09-05T18:52:52.053Z</atom:updated>
            <content:encoded><![CDATA[<p>O BigQuery é um daquelas ferramentas que você vai se deparar caso trabalhe com projetos de Análise/Ciência de dados na Google Cloud Platform(GCP). Para quem não conhece, o BigQuery, segundo o site do Google Cloud, é um armazenamento de dados corporativo totalmente gerenciado que ajuda a gerenciar e analisar dados com recursos integrados, como aprendizado de máquina, análise geoespacial e business intelligence. Mas como tudo na nuvem é pago e antes que você tome um susto com o valor das consultas que você fez (principalmente se a fatura do cartão for sua), vou dar umas dicas bem úteis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/320/1*2FJoFCtdThhcm8YDqWHCVA.gif" /><figcaption>Fonte: <a href="https://gifer.com/pt/PMEg">https://gifer.com/pt/PMEg</a></figcaption></figure><p>Para realizar algumas demonstrações aqui eu vou usar na GCP o ‘bigquery-public-data’, um dataset público disponível no BigQuery com muitas tabelas. Para isso eu vou usar as tabelas do ‘google trends’ e mostrar algumas coisas que você pode fazer e o que não deve fazer.</p><h4>Usar as Guias do próprio BigQuery</h4><p>Para começar vou usar o velho jargão de que informação é poder para que você antes de sair fazendo um select, examine a tabela. No BiqQuery isso é possível bastando clicar na tabela e olhar o esquema de dados (estrutura da tabela). A figura a seguir mostra a tabela <em>international_top_rising_terms</em> e gostaria que você se atentasse as três guias: Esquema, Detalhes e Visualizar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/508/1*GJauQfukW3jmOMB5jElBiw.png" /></figure><p>A guia Esquema mostra todos os campos existentes, os tipos, se podem nulos, dentre outras informações. Queria destacar o aviso de tabela particionada que aparece acima das guias. Isso significa que em uma tabela particionada, os dados são armazenados em blocos físicos, cada um contendo uma partição de dados. E no que isso ajuda? Ajuda a definir quais blocos a consulta vai percorrer e não toda a tabela. Na guia Detalhes, você consegue ver exatamente qual campo particiona a tabela e mais informações úteis sobre a tabela, inclusive o tamanho dela.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*d3C_VnqcmZb6qRMeeBjorA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/645/1*PiY8UNnSTPXODhLyaaLThg.png" /><figcaption>Guia Detalhes</figcaption></figure><p>Já a guia Visualizar apresenta um overview dos dados contidos nessa tabela, ou seja, você não precisa fazer um select com limit para isso. O uso dessas guias é gratuito, então se você somente precisa examinar a estrutura da tabela, utilize desses recursos do próprio BigQuery. Só o uso dessas três guias já te dá uma boa base de informação da tabela.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*THJ0oe2Wcgvo0AQkaWlbrQ.png" /></figure><h4>Fazer consultas indicando a partição na cláusula Where</h4><p>Eu sempre me pergunto para que uma pessoa precisa fazer uma consulta que retorna uma tabela inteira. São pouquíssimos casos que um histórico inteiro precisa ser analisado. Agora te dou mais um motivo para você não fazer isso: em uma tabela gigante, isso vai sair bem caro. Como o campo da partição dessa tabela é um DATE, é bem comum inclusive, a estrutura da cláusula WHERE pode ser feita da forma a seguir.</p><pre>WHERE<br>  refresh_date &lt; &quot;2023-09-04&quot;<br>  AND refresh_date &gt;= &quot;2023-09-01&quot;</pre><p>Mas e se a tabela não for particionada? Se for uma tabela pequena, não há um grande problema, mas se for uma tabela grande, temos um problema. O que recomendo é que particione a tabela, <a href="https://cloud.google.com/bigquery/docs/creating-partitioned-tables?hl=pt-br">o BigQuery possui recursos e tutoriais para realizar essa tarefa</a>.</p><h4>Evitar usar o SELECT *</h4><p>Sempre evite o uso do SELECT * pois em uma tabela com muitos campos isso significa que serão mais dados processados. Vamos observar a consulta abaixo e observar alguns itens.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8fD69_RfxclvFCmyZZtZRA.png" /></figure><p>Ao escrever a consulta, o BigQuery sempre indica a quantidade de dados processados na consulta, na consulta abaixo 1,47 GB. Enquanto eu não clicar em Executar, ela não custará nada. Não adianta parar a execução. Agora vejamos como vai ficar a consulta quando eu indico os campos no SELECT.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WjjV-ifM27Of17jGDMhzCQ.png" /></figure><p>Você observa que a mesma com indicação dos campos que eu preciso já cai 870,99 MB de processamento. Isso já reduz o valor da consulta. Então a recomendação é sempre indicar os campos que você necessita.</p><h4>Deixe o CACHE habilitado</h4><p>Ao retornar os resultados, o BigQuery tem um recurso chamado CACHE (ele costuma vir habilitado). Na opção MAIS, Configurações da Consulta, Gerenciamento de Recursos, você consegue ver se ele está habilitado. Caso você execute esta mesma consulta, ela não vai custar nada por aproximadamente 24 horas. Caso você modifique a consulta, já será outra consulta, outro CACHE. Uma observação sobre o CACHE: se você indicar uma tabela de destino para os dados da consulta, ele não será habilitado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/606/1*xXv1Ucr0f27UG9KWif8ihA.png" /></figure><p>Existem mais dicas para diminuir custos do BigQuery, mas para não tornar o texto muito longo e cansativo, coloquei quatro dicas específicas relacionadas a própria ferramenta. Mas quero destacar que otimizações realizadas na escrita da própria consulta SQL como filtros, agregações e uso correto de joins melhoram significativamente os custos. Vou deixar para outro post essa parte e ficam algumas referências da ferramenta para que vocês aprendam mais. Até mais!</p><ul><li><a href="https://cloud.google.com/bigquery/docs/introduction?hl=pt-br">Informações gerais do BigQuery | Google Cloud</a></li><li><a href="https://cloud.google.com/bigquery/docs/partitioned-tables?hl=pt-br&amp;_ga=2.253508481.-947751732.1680134147">Introdução a tabelas particionadas | BigQuery | Google Cloud</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=81b7dabf5a3d" width="1" height="1" alt=""><hr><p><a href="https://medium.com/jessica-costa/dicas-%C3%BAteis-para-usar-o-bigquery-sem-tomar-susto-81b7dabf5a3d">Dicas Úteis para Usar o BigQuery sem Tomar Susto</a> was originally published in <a href="https://medium.com/jessica-costa">A Garota do TI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>