<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Fellipe Gomes on Medium]]></title>
        <description><![CDATA[Stories by Fellipe Gomes on Medium]]></description>
        <link>https://medium.com/@gomesfellipe?source=rss-cbd9306fd4e------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*F2Yz2mYMJeAdghuQN037Vw.jpeg</url>
            <title>Stories by Fellipe Gomes on Medium</title>
            <link>https://medium.com/@gomesfellipe?source=rss-cbd9306fd4e------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 19:42:38 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@gomesfellipe/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[TabFM contra CatBoost, XGBoost e LightGBM em 10 datasets tabulares]]></title>
            <link>https://medium.com/data-hackers/tabfm-contra-catboost-xgboost-e-lightgbm-em-10-datasets-tabulares-200c0ef7f88e?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/200c0ef7f88e</guid>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Fri, 16 Oct 2026 20:35:33 GMT</pubDate>
            <atom:updated>2026-10-16T20:35:33.205Z</atom:updated>
            <content:encoded><![CDATA[<p>Benchmark próprio do TabFM, o modelo fundacional tabular do Google, contra 3 GBMs em 10 datasets, com bootstrap pareado, Friedman, Wilcoxon e tempo de inferência medido.</p><p>Post publicado originalmente em: <a href="https://gomesfellipe.github.io/post/2026-08-06-tabfm-vs-gbm/">https://gomesfellipe.github.io/post/2026-08-06-tabfm-vs-gbm/</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XU1Z7Dd17SXo0KR6QZyy_w.png" /><figcaption><a href="https://gomesfellipe.github.io/">gomesfellipe.github.io</a></figcaption></figure><p>O Google liberou o <a href="https://github.com/google-research/tabfm">TabFM</a> em 30 de junho de 2026, um modelo fundacional para dados tabulares que promete classificação e regressão sem treino. A primeira coisa que fiz foi desconfiar. Modelo fundacional em dados tabulares é a promessa que a área persegue desde sempre: substituir o gradient boosting, que domina competição e produção há mais de uma década. Em vez de aceitar os números do anúncio, montei um benchmark próprio em 10 datasets contra CatBoost, XGBoost e LightGBM, com validação estatística em cada etapa.</p><blockquote>Resumo:</blockquote><blockquote>O TabFM ficou em primeiro lugar em ponto pontual nos 10 datasets, com rank médio exatamente 1.0 no teste de Friedman (χ² = 23.16, p ≈ 0).</blockquote><blockquote>Olhando dataset por dataset, com bootstrap pareado e correção de Holm-Bonferroni, a vantagem sobre o CatBoost só sobrevive em 2 dos 10.</blockquote><blockquote>A inferência custa caro: no California Housing foram 39.7 minutos contra 13.4 segundos dos três GBMs somados.</blockquote><blockquote>Acima de ~17 mil linhas o modelo estourou a memória do Metal Performance Shaders num Mac M1 de 8 GB, deixando 3 datasets de fora.</blockquote><blockquote>Os pesos pré-treinados vêm sob licença tabfm-non-commercial-v1.0, que proíbe uso comercial, mesmo com o código-base em Apache 2.0.</blockquote><blockquote>Uma auditoria na configuração revelou 3 bugs no LightGBM que mudaram a conclusão de 4 datasets.</blockquote><blockquote>Código, specs, notebooks e resultados: <a href="https://github.com/gomesfellipe/benchmark-tabfm-vs-gbm">gomesfellipe/benchmark-tabfm-vs-gbm</a>.</blockquote><p>Registrei cinco expectativas nas specs antes de rodar qualquer coisa, para poder contrastar depois: que o ganho apareceria em datasets pequenos, que não haveria vazamento tipo LLM, que datasets reais são maiores que os de benchmark, que a inferência seria o gargalo e que ainda assim valeria como ferramenta na caixa. Volto nelas no final.</p><h3>Como o TabFM funciona, comparado a uma árvore de decisão</h3><p>A comparação com <a href="https://gomesfellipe.github.io/post/2018-08-31-modelos-em-arvore/">modelos em árvore</a> mostra onde o custo migra. Uma árvore aprende a estrutura a partir dos seus dados: cada nó testa uma variável, escolhe o corte que maximiza ganho de informação e divide o espaço. Um GBM empilha centenas dessas árvores, cada uma corrigindo o resíduo da anterior. Todo o conhecimento fica gravado na estrutura durante o treino, e prever depois é só percorrer nós, o que custa quase nada.</p><p>O TabFM inverte a ordem. Ele foi pré-treinado em uma quantidade enorme de tabelas <strong>sintéticas</strong>, aprendendo como costuma ser a relação entre colunas e alvo em dados tabulares em geral. Quando você entrega o seu dataset, ele não treina: as linhas de treino entram como <strong>contexto</strong> e as de teste são previstas em uma passagem pela rede, no mesmo espírito do aprendizado em contexto de um LLM.</p><p>Duas consequências saem daí. Não existe etapa de treino para cronometrar, só inferência, e é nela que o custo inteiro aparece. E o tamanho do seu dataset vira tamanho de contexto, com todos os limites de memória que isso implica. A documentação registra teto de 500 features, no máximo 10 classes na classificação e degradação a partir de ~150 mil linhas.</p><h3>O desenho do experimento</h3><p>Escrevi o experimento no estilo <em>spec-driven development</em>, com uma constituição de 11 princípios e 8 specs numeradas antes de qualquer linha de código. Isso teve um efeito colateral que só percebi depois, quando fui auditar dois modelos: cada decisão de configuração já estava escrita e datada, então dava para comparar o que a spec prometia com o que o código realmente fazia.</p><p>Dez datasets rodam os quatro modelos. A métrica de cada um foi escolhida pelo problema, não por inércia: PR AUC onde há desbalanceamento forte, RMSE do log onde o alvo é assimétrico, MAE onde a escala é ordinal.</p><ul><li><strong>Auto MPG</strong> — Regressão · 398 linhas · RMSE</li><li><strong>Breast Cancer Wisconsin</strong> — Classificação · 569 · ROC AUC</li><li><strong>Pima Indians Diabetes</strong> — Classificação · 768 · ROC AUC</li><li><strong>Titanic</strong> — Classificação · 891 · ROC AUC</li><li><strong>Concrete Compressive Strength</strong> — Regressão · 1.030 · RMSE</li><li><strong>Ames Housing</strong> — Regressão · 2.930 · RMSE do log</li><li><strong>Wine Quality</strong> — Regressão ordinal · 6.497 · MAE</li><li><strong>Telco Customer Churn</strong> — Classificação · 7.043 · PR AUC</li><li><strong>Mushroom</strong> — Classificação · 8.124 · ROC AUC</li><li><strong>California Housing</strong> — Regressão · 20.640 · RMSE</li></ul><p>Todos os quatro recebem o dataset <strong>cru</strong>, sem feature engineering nem seleção de features. O CatBoost roda com os parâmetros padrão da biblioteca, porque os defaults dele já são agressivos: mil iterações, detector de overfitting automático e regularização L2 embutida. XGBoost e LightGBM não podem ser comparados com os defaults de fábrica (n_estimators=100, sem regularização), senão perderiam pela biblioteca e não pelo algoritmo. Os dois receberam uma configuração fixa, igual para todos os datasets, que imita o comportamento do CatBoost.</p><pre># XGBoost<br>XGBClassifier(  # ou XGBRegressor<br>    n_estimators=1000, learning_rate=0.03, max_depth=7, reg_lambda=3,<br>    subsample=0.8, colsample_bytree=0.8, tree_method=&quot;hist&quot;,<br>    grow_policy=&quot;depthwise&quot;, enable_categorical=True,<br>    early_stopping_rounds=50, eval_metric=&quot;auc&quot;,  # &quot;rmse&quot;/&quot;l1&quot; em regressão<br>    random_state=SEED,<br>)<br><br># LightGBM<br>LGBMClassifier(  # ou LGBMRegressor<br>    n_estimators=1000, learning_rate=0.03, num_leaves=127, max_depth=-1,<br>    reg_lambda=3, subsample=0.8, subsample_freq=1, colsample_bytree=0.8,<br>    random_state=SEED, verbose=-1,<br>)</pre><p>O TabFM roda puro, sem ensemble e sem fine-tuning, com n_estimators=8. Ele precisou ficar isolado num subprocesso próprio, porque torch com backend MPS no mesmo processo que os GBMs causa segfault por conflito de runtimes OpenMP nativos.</p><pre>from tabfm import tabfm_v1_0_0_pytorch as tv<br>from tabfm import TabFMClassifier<br><br>base = tv.load(model_type=&quot;classification&quot;, device=&quot;mps&quot;)<br>model = TabFMClassifier(model=base, n_estimators=8, random_state=SEED)<br>model.fit(X_train, y_train)          # não treina de fato, só carrega o contexto<br>proba = model.predict_proba(X_test)  # aqui está o custo inteiro</pre><p>Dois datasets exigiram cuidado no split. No California Housing, 39% das linhas compartilham latitude e longitude com outra linha, e o desvio padrão do preço dentro do mesmo ponto é só 22% do desvio geral. Split aleatório vazaria isso, então usei GroupShuffleSplit agrupado por coordenada, inclusive na fatia de validação do early stopping. O Bike Sharing Demand é série temporal, com split cronológico e sem embaralhar.</p><h3>Como decidi o que conta como diferença real</h3><p>Nenhuma afirmação de superioridade entra no relatório sem teste por trás. O protocolo tem quatro camadas:</p><ul><li><strong>Intervalo de confiança para toda métrica</strong>, via bootstrap com 10000 reamostragens a 95%. Nenhum número solto conta como conclusão.</li><li><strong>Bootstrap pareado na diferença</strong>: a cada reamostragem calculo métrica(A) menos métrica(B) nas <strong>mesmas amostras</strong>, o que captura a correlação entre modelos avaliados nas mesmas linhas.</li><li><strong>Teste omnibus antes dos pares</strong>, porque com 4 modelos são 6 comparações e sair testando par a par sem antes perguntar “existe alguma diferença aqui?” é pescaria estatística. O Friedman clássico não serve dentro de um dataset só (ele pede vários datasets como blocos), então generalizei o próprio bootstrap pareado: a covariância bootstrap das diferenças alimenta um teste de Wald qui-quadrado com k-1 graus de liberdade.</li><li><strong>Correção de Holm-Bonferroni</strong> nas 6 comparações de cada dataset. O efeito é desigual por tamanho de amostra: no Titanic (179 linhas de teste) ela derruba metade das diferenças que apareciam no intervalo bruto; no California Housing (4192 linhas) quase não muda nada.</li></ul><p>Entre datasets, com n = 10, vale o Friedman clássico com post-hoc de Nemenyi, mais o Wilcoxon signed-rank pareado para as comparações diretas do TabFM contra cada GBM. Rodar os dois post-hoc foi deliberado, e a diferença entre eles virou o achado mais interessante do consolidado.</p><h3>Resultado dataset a dataset</h3><ul><li><strong>Auto MPG</strong> — RMSE ↓ · TabFM 2,0263 · CatBoost 2,3322 · LightGBM 2,4066 · XGBoost 2,6686 · omnibus p = 0,073 · Holm: TabFM &gt; XGBoost</li><li><strong>Breast Cancer</strong> — ROC AUC ↑ · TabFM 0,9967 · CatBoost 0,9950 · LightGBM 0,9917 · XGBoost 0,9924 · omnibus p = 0,700 · Holm: nenhum par</li><li><strong>Pima Diabetes</strong> — ROC AUC ↑ · TabFM 0,8265 · CatBoost 0,8161 · LightGBM 0,8228 · XGBoost 0,8022 · omnibus p = 0,496 · Holm: nenhum par</li><li><strong>Titanic</strong> — ROC AUC ↑ · TabFM 0,8644 · CatBoost 0,8588 · LightGBM 0,8372 · XGBoost 0,8343 · omnibus p = 0,173 · Holm: nenhum par</li><li><strong>Concrete</strong> — RMSE ↓ · TabFM 3,9577 · CatBoost 4,1131 · LightGBM 4,5116 · XGBoost 4,7944 · omnibus p = 0,032 · Holm: nenhum par</li><li><strong>Ames Housing</strong> — RMSE do log ↓ · TabFM 0,1024 · CatBoost 0,1053 · LightGBM 0,1073 · XGBoost 0,1061 · omnibus p = 0,850 · Holm: nenhum par</li><li><strong>Wine Quality</strong> — MAE ↓ · TabFM 0,3709 · CatBoost 0,4843 · LightGBM 0,4528 · XGBoost 0,4443 · omnibus p ≈ 0 · Holm: os 6 pares</li><li><strong>Telco Churn</strong> — PR AUC ↑ · TabFM 0,6639 · CatBoost 0,6610 · LightGBM 0,6486 · XGBoost 0,6166 · omnibus p = 0,0003 · Holm: 3 pares, todos contra o XGBoost</li><li><strong>Mushroom</strong> — ROC AUC ↑ · TabFM 1,0000 · CatBoost 1,0000 · LightGBM 0,9998 · XGBoost 0,9981 · omnibus p = 0,0145 · Holm: TabFM e CatBoost &gt; LightGBM</li><li><strong>California Housing</strong> — RMSE ↓ · TabFM 0,3534 · CatBoost 0,4274 · LightGBM 0,4275 · XGBoost 0,4320 · omnibus p ≈ 0 · Holm: TabFM &gt; os 3 GBMs</li></ul><p>O TabFM tem a melhor métrica pontual em todos os dez, com um empate exato contra o CatBoost no Mushroom. Essa é a leitura que rende manchete. A honesta é outra: em <strong>cinco dos dez</strong> nenhuma comparação sobrevive à correção de Holm, ou seja, os quatro modelos estão empatados e a vitória do TabFM é ruído dentro do intervalo. Em <strong>apenas dois dos dez</strong> ele bate o CatBoost com significância isolada. Ter a melhor métrica em dez de dez e ter vantagem comprovada sobre o segundo colocado em dois de dez são resultados diferentes, e vale dizer os dois.</p><p>Onde a diferença é real, ela é grande. No Wine Quality o MAE cai de 0.4443 para 0.3709, uma redução de 16.5%, e o ranking fica 100% resolvido, com os seis pares estatisticamente distintos. No California Housing o RMSE cai de 0.4274 para 0.3534, redução de 17.3%. São os dois casos onde eu diria, sem ressalva, que o TabFM ganhou.</p><p>Também vale notar onde a expectativa falhou. Eu esperava vantagem em datasets pequenos, e é justamente ali que nada é significativo: Breast Cancer (569 linhas), Pima (768), Titanic (891) e Concrete (1030) terminam todos em empate. As duas vitórias claras vieram nos datasets de 6497 e 20640 linhas.</p><h3>O consolidado entre os 10 datasets</h3><p>Ranqueando os quatro modelos dentro de cada dataset e rodando o Friedman clássico: χ² = 23.16, 3 graus de liberdade, p ≈ 0. Existe diferença de rank médio.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/669/1*LxfDyyxAXp5s2C3IoGvmPQ.png" /><figcaption>Rank médio (1 = melhor), 10 datasets, Friedman χ² = 23.16, p ≈ 0</figcaption></figure><p>O rank médio do TabFM é exatamente 1.0, ou seja, ele foi o melhor em 100% da amostra. O post-hoc de Nemenyi, com diferença crítica de 1.4832, é mais contido: confirma TabFM sobre XGBoost (diferença de rank 2.6) e sobre LightGBM (2.1), e para no CatBoost (1.3, logo abaixo do limiar). Nenhuma comparação entre os três GBMs excede a diferença crítica.</p><p>O Nemenyi é conservador por construção, porque controla o erro em todos os pares simultaneamente. Por isso a spec também pedia o Wilcoxon signed-rank pareado, mais poderoso quando a pergunta é sobre dois modelos específicos:</p><ul><li><strong>TabFM contra CatBoost</strong> — n = 10 · W = 0,0 · p = 0,0039 · <strong>significativo</strong></li><li><strong>TabFM contra XGBoost</strong> — n = 10 · W = 0,0 · p = 0,0020 · <strong>significativo</strong></li><li><strong>TabFM contra LightGBM</strong> — n = 10 · W = 0,0 · p = 0,0020 · <strong>significativo</strong></li></ul><p>W = 0 nos três casos porque o TabFM venceu em ponto pontual em todos os datasets, com o único empate exato no Mushroom.</p><p>Isso não é contradição entre os testes, é diferença de propósito. Quando a pergunta é “o TabFM é melhor que o CatBoost?”, isolada, a resposta é sim, com p = 0.0039. Quando a pergunta é “ele é melhor que os três ao mesmo tempo, com controle de erro simultâneo?”, a resposta contra o CatBoost ainda não crava, nem com n = 10. Reportar os dois é mais honesto do que escolher o que soa melhor.</p><h3>O custo: 39.7 minutos contra 13.4 segundos</h3><p>A comparação justa é (treino + predição do GBM) contra (inferência do TabFM), porque o GBM paga adiantado e o TabFM paga na hora de usar.</p><ul><li><strong>Auto MPG</strong> — 313 linhas de treino · TabFM (inferência) 33,3s · 3 GBMs somados 2,3s</li><li><strong>Breast Cancer</strong> — 455 linhas · TabFM 61,0s · GBMs 2,8s</li><li><strong>Pima Diabetes</strong> — 614 linhas · TabFM 73,3s · GBMs 3,5s</li><li><strong>Titanic</strong> — 712 linhas · TabFM 54,7s · GBMs 1,9s</li><li><strong>Concrete</strong> — 824 linhas · TabFM 88,2s · GBMs 5,4s</li><li><strong>Ames Housing</strong> — 2.344 linhas · TabFM 613,7s (10,2 min) · GBMs 19,1s</li><li><strong>Wine Quality</strong> — 5.198 linhas · TabFM 637,7s (10,6 min) · GBMs 11,0s</li><li><strong>Telco Churn</strong> — 5.634 linhas · TabFM 605,5s (10,1 min) · GBMs 8,5s</li><li><strong>Mushroom</strong> — 6.499 linhas · TabFM 982,0s (16,4 min) · GBMs 10,1s</li><li><strong>California Housing</strong> — 16.448 linhas · TabFM 2.381,0s (39,7 min) · GBMs 13,4s</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/647/1*62fgzdSqrZzsSbztOSOl7Q.png" /><figcaption>Inferência do TabFM dividida pelo tempo de treino + predição dos 3 GBMs somadosMacBook M1, 8 GB, backend MPS</figcaption></figure><p>O custo não cresce só com o número de linhas. O Mushroom, com 6499 linhas, levou mais tempo que o Wine Quality com 5198, e a diferença é que as 22 features do Mushroom são todas categóricas. Dimensionalidade e cardinalidade categórica pesam tanto quanto a contagem de linhas.</p><p>Isso apareceu de novo no teto de memória. Três datasets ficaram de fora porque o TabFM não rodou neles neste M1 de 8 GB: Bank Marketing (36168 linhas de treino), Adult (39074) e Bike Sharing Demand (13903). No Bank Marketing testei as hipóteses uma a uma. Não era pressão de memória do momento, porque fechei tudo e o erro se repetiu no mesmo teto de 9.07 GiB. Não era teto de software do PyTorch, porque com PYTORCH_MPS_HIGH_WATERMARK_RATIO=0.0 o erro só ficou mais cru, vindo direto do driver Metal. Era memória física acabando mesmo. O Bike Sharing é o caso curioso: estourou com menos linhas que o California Housing, que rodou full-scale, e a diferença são as 4 features categóricas. O teto real neste hardware fica entre 16448 e 36168 linhas de treino, e não fui atrás do valor exato porque não valia o tempo.</p><p>A assimetria de custo é o argumento prático mais forte contra produção hoje. Em previsão de demanda o modelo raramente é a entrega final: ele alimenta política de estoque e sortimento, e em forecast recursivo cada previsão vira entrada da próxima, multiplicando a inferência a cada passo. Foi assim que a solução global de LightGBM venceu a competição M5. Com 40 minutos por passada, esse desenho não fecha.</p><h3>Duas auditorias que mudaram conclusões</h3><p>Esta é a parte que eu quase não publiquei, e acabou sendo a mais útil.</p><p>Terminada a primeira rodada, fui reler o relatório e uma coisa não fechava: o LightGBM perdia de forma consistente em todos os datasets. Isso costuma ser sinal de configuração ruim, não de algoritmo inferior. Fui auditar o código e achei três bugs:</p><p>1. subsample=0.8 era um no-op. O LightGBM só ativa subamostragem de linhas se subsample_freq for maior que zero, e eu nunca setei. O parâmetro ficava silenciosamente ignorado, então ele treinava com 100% das linhas em toda árvore enquanto o XGBoost aplicava o subsample de verdade. A configuração era simétrica no papel e assimétrica na execução.</p><p>2. num_leaves=63 era redundante com max_depth=6. Uma árvore binária de profundidade 6 tem no máximo 64 folhas, então quem limitava a árvore era o max_depth. Na prática a vantagem estrutural do LightGBM, o crescimento leaf-wise, ficava anulada: ele se comportava como uma árvore limitada por nível, igual ao XGBoost.</p><p>3. O eval_metric do early stopping não batia com a métrica de benchmark. No Titanic e no Breast Cancer o LightGBM parava as árvores no melhor binary_logloss, o default, enquanto o benchmark reportava ROC AUC. No Wine Quality o benchmark é MAE e o corte usava l2. O early stopping otimizava um alvo diferente do que era reportado.</p><p>Corrigi os três, que valem igualmente para todos os datasets, e re-rodei. O efeito não foi cosmético:</p><ul><li><strong>Titanic</strong> — LightGBM antes 0,8139 · depois 0,8372 · omnibus deixa de ser significativo, dataset vira empate geral</li><li><strong>Ames Housing</strong> — antes 0,1107 · depois 0,1073 · única diferença significativa desaparece</li><li><strong>Wine Quality</strong> — antes 0,4966 · depois 0,4528 · LightGBM sai de pior modelo para segundo melhor</li><li><strong>California Housing</strong> — antes 0,4368 · depois 0,4275 · LightGBM alcança o CatBoost</li></ul><p>O TabFM continuou com rank 1.0, então a conclusão principal não mudou. Mas quatro conclusões locais mudaram, e duas delas eram afirmações de superioridade que eu já tinha escrito.</p><p>Corrigir o LightGBM criou o problema simétrico. Com num_leaves=127 e sem teto de profundidade ele passou a crescer leaf-wise de verdade, enquanto o XGBoost seguia crescendo nível a nível com max_depth=6, ou seja, com a mesma classe de sub-configuração que eu tinha acabado de corrigir do outro lado. Testei duas variantes: <strong>A</strong>, mantendo o mecanismo depthwise com max_depth=7, e <strong>B</strong>, usando grow_policy=&quot;lossguide&quot; com max_leaves=127 para crescer best-first igual ao LightGBM. E fiz uma coisa que recomendo: <strong>travei o critério de decisão antes de rodar,</strong> definindo que venceria a variante com menor rank médio estilo Friedman.</p><p>Foi bom ter travado. A variante B ganhou com significância em dois datasets e com efeitos maiores, contra uma vitória significativa da A, mas caiu atrás até do LightGBM no Ames Housing, e o rank ordinal não pesa tamanho de efeito, só posição. A venceu por 3.3333 contra 3.5000. Sem o critério pré-registrado, seria fácil olhar o Wine Quality e trocar de vencedora depois do fato.</p><p>A lição das duas auditorias juntas vale mais que qualquer número da tabela: e<strong>m benchmark de GBM, boa parte do que parece diferença de algoritmo é diferença de configuração</strong>. Os três GBMs, que chegaram a ter 2.2% de distância entre si no California Housing, terminaram dentro de 1.1% depois das correções.</p><h3>Esperado contra encontrado</h3><ul><li><strong>Vantagem em datasets pequenos: </strong>não confirmada. Nos 4 menores (569 a 1.030 linhas) nada é significativo. As 2 vitórias claras foram em 6.497 e 20.640 linhas</li><li><strong>Não é vazamento tipo LLM</strong> : confirmada por construção. O pré-treino é em dados sintéticos, e o dataset entra como contexto, não como treino</li><li><strong>Datasets reais são maiores</strong> : confirmada da pior forma. Acima de ~17 mil linhas o modelo nem roda neste hardware</li><li><strong>Inferência é gargalo: </strong>confirmada e medida. De 14x a 178x mais lento que os 3 GBMs somados, chegando a 39,7 minutos</li><li><strong>Ferramenta na caixa: </strong>confirmada com ressalva. Ganha consistentemente (Wilcoxon p ≤ 0,0039 contra os 3), mas a licença impede uso comercial</li></ul><h3>Então eu colocaria em produção?</h3><p>Não hoje, e a razão principal não é a métrica, que é boa, é o princípio da parcimônia.</p><p>Tem também a licença. O código-base está sob Apache 2.0, mas os <strong>pesos pré-treinados</strong> vêm sob tabfm-non-commercial-v1.0, que proíbe uso comercial. No lançamento o README não mencionava isso e os pesos eram baixados silenciosamente do Hugging Face, o que gerou uma leva de posts apontando o risco de usar sem perceber. Na prática de consultoria, isso decide a conversa antes da métrica: dá para avaliar internamente, não dá para integrar numa entrega de cliente.</p><p>O TabFM entrega ganho real e sustentado quando o problema tem estrutura que os GBMs não capturam bem, como no Wine Quality e no California Housing. Em cinco dos dez datasets ele empata estatisticamente com um CatBoost rodando com parâmetros de fábrica, que treina e prevê em segundos, roda em qualquer lugar e não tem restrição de licença. Trocar segundos por dezenas de minutos, mais um teto de memória na faixa de dezenas de milhares de linhas, mais uma licença não comercial, para ganhar métrica numa fração dos casos, é um trade que não fecha para mim.</p><p>Onde ele faz sentido hoje: prova de conceito, baseline rápido em dataset pequeno para saber quanto dá para extrair de um problema antes de investir em feature engineering, e exploração de casos onde as métricas de GBM empacaram e você quer saber se o teto é do dado ou do modelo. Vale acompanhar. Não é substituto do CatBoost no pipeline de amanhã.</p><p>O achado mais reaproveitável do experimento, porém, não é sobre o TabFM. É que auditar a configuração encontrou três bugs que mudaram quatro conclusões, e que travar o critério de decisão antes de olhar o resultado impediu a escolha da variante que parecia melhor num recorte. Isso vale para qualquer benchmark, com ou sem modelo fundacional envolvido. É a mesma disciplina que uso em <a href="https://gomesfellipe.github.io/post/2023-05-30-solucao-final-ensure-healthy-lives-kaggle-competition/">write-up de competição</a>, aplicada ao próprio experimento.</p><p>O repositório tem as 8 specs, a constituição, o código do pipeline, um notebook executado por dataset, os CSVs de métricas, significância e tempos, e o relatório final. A seed é global e fixa, e rodar os 10 datasets do zero num M1 leva cerca de 1h30 só de inferência do TabFM.</p><p>BashCopiar</p><pre>git clone https://github.com/gomesfellipe/benchmark-tabfm-vs-gbm.git<br>cd benchmark-tabfm-vs-gbm<br>python3 -m venv .venv &amp;&amp; source .venv/bin/activate<br>pip install -r requirements.txt</pre><h3>Perguntas frequentes</h3><p><strong>O TabFM substitui o XGBoost e o LightGBM?</strong></p><p>Nos meus testes ele bate os dois com significância consolidada, tanto no Nemenyi quanto no Wilcoxon (p = 0.0020 contra cada um). Mas substituir envolve custo: a inferência foi de 14x a 178x mais lenta que os três GBMs somados, e os pesos têm licença não comercial. Como substituto direto em produção, não.</p><p><strong>E contra o CatBoost?</strong></p><p>É a comparação mais apertada. O Wilcoxon pareado entre os 10 datasets dá p = 0.0039 a favor do TabFM, mas o Nemenyi não crava (diferença de rank 1.3 contra diferença crítica de 1.4832), e dataset a dataset a vantagem só sobrevive à correção de Holm em 2 dos 10. O CatBoost com parâmetros de fábrica é um adversário duro.</p><p><strong>O TabFM não estaria “vazando” os dados, como um LLM que já viu tudo na internet?</strong></p><p>Não por esse mecanismo. O pré-treino é feito em tabelas sintéticas geradas artificialmente, não em datasets públicos reais. O seu dataset entra como contexto no momento da inferência, não como dado de treino do modelo.</p><p><strong>Quantas linhas o TabFM aguenta?</strong></p><p>A documentação fala em degradação a partir de ~150 mil linhas, com tetos de 500 features e 10 classes. Na prática, num Mac M1 de 8 GB com backend MPS, o teto real ficou entre 16448 e 36168 linhas de treino. E não é função só de linhas: um dataset com 13903 linhas e 4 features categóricas estourou memória enquanto outro com 16448 linhas e 8 features numéricas rodou.</p><h3>Referências</h3><ul><li><a href="https://github.com/google-research/tabfm">google-research/tabfm</a>, código-fonte, Apache 2.0</li><li><a href="https://huggingface.co/google/tabfm-1.0.0-pytorch">google/tabfm-1.0.0-pytorch</a>, pesos pré-treinados e a licença tabfm-non-commercial-v1.0</li><li><a href="https://www.marktechpost.com/2026/07/01/google-ai-introduces-tabfm-a-hybrid-attention-tabular-foundation-model-for-zero-shot-classification-and-regression/">Google AI Introduces TabFM</a>, MarkTechPost</li><li><a href="https://mindfulmodeler.substack.com/p/tabfm-minus-the-hype">TabFM minus the hype</a>, Mindful Modeler, análise crítica da licença</li><li><a href="https://www.nature.com/articles/s41586-024-08328-6">Accurate predictions on small data with a tabular foundation model</a>, Nature, artigo original do TabPFN</li><li><a href="https://arxiv.org/abs/2506.16791">TabArena: A Living Benchmark for Machine Learning on Tabular Data</a>, benchmark contínuo com 51 datasets e 27+ métodos</li><li><a href="https://www.jmlr.org/papers/v7/demsar06a.html">Statistical Comparisons of Classifiers over Multiple Data Sets</a>, Demšar (2006), base do Friedman/Nemenyi/Wilcoxon usados aqui</li><li><a href="https://github.com/gomesfellipe/benchmark-tabfm-vs-gbm">gomesfellipe/benchmark-tabfm-vs-gbm</a>, o experimento completo deste post</li></ul><h3>Sobre o autor</h3><p><em>Me chamo Fellipe Gomes, sou formado em estatística e atuo como cientista de dados desde 2018. Compartilho meus estudos e evolução por meio de artigos, tutoriais e projetos de código aberto. Se quiser saber mais sobre meu trabalho, sinta-se à vontade para entrar em contato através das minhas redes sociais </em><a href="https://www.linkedin.com/in/gomesfellipe/"><em>LinkedIn</em></a><em>, </em><a href="https://github.com/gomesfellipe"><em>GitHub</em></a><em> e </em><a href="https://www.kaggle.com/gomes555"><em>Kaggle</em></a><em>.</em></p><p><em>Gostou do conteúdo? Compartilhe e deixe suas dúvidas nos comentários. Sua experiência e feedback são fundamentais para continuar criando conteúdo de qualidade!</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=200c0ef7f88e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/tabfm-contra-catboost-xgboost-e-lightgbm-em-10-datasets-tabulares-200c0ef7f88e">TabFM contra CatBoost, XGBoost e LightGBM em 10 datasets tabulares</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como criar um agente com LLM local de graça e sem depender de APIs]]></title>
            <link>https://medium.com/data-hackers/como-criar-um-agente-com-llm-local-de-gra%C3%A7a-e-sem-depender-de-apis-3de981e6d420?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/3de981e6d420</guid>
            <category><![CDATA[ai-agent]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[langchain]]></category>
            <category><![CDATA[llama-cpp]]></category>
            <category><![CDATA[qwen]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Fri, 10 Jul 2026 15:08:29 GMT</pubDate>
            <atom:updated>2026-07-10T15:08:29.389Z</atom:updated>
            <content:encoded><![CDATA[<p>Neste post vamos rodar o modelo Qwen2.5 completamente offline em um Mac de uso pessoal, expô-lo como uma API OpenAI-compatible localmente e construir um agente com LangChain usando tools e saída estruturada sem gastar um centavo</p><p>Post publicado originalmente em: <a href="https://gomesfellipe.github.io/post/2026-02-21-qwen-local-agent/">https://gomesfellipe.github.io/post/2026-02-21-qwen-local-agent/</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*DmH_ZQ_8WUeZhZB0.png" /></figure><h3>Por que rodar LLMs localmente?</h3><p>Nos últimos anos, o mundo dos modelos de linguagem de grande porte (LLMs) deixou de ser um território exclusivo das gigantes americanas. Uma leva de modelos open-weight de origem chinesa como o <a href="https://huggingface.co/Qwen">Qwen</a> (Alibaba), o <a href="https://huggingface.co/deepseek-ai">DeepSeek</a> e o <a href="https://huggingface.co/01-ai">Yi</a> chegaram com qualidade surpreendente e, mais importante, com pesos disponíveis publicamente. Li sobre alguns deles em <a href="https://elisaterumi.substack.com/p/5-modelos-chineses-que-voce-precisa">um post que apareceu no meu LinkedIn</a> e fiquei curioso para testar: será que dá para rodar um desses modelos localmente no meu Mac e ainda plugar ele num agente LangChain funcional?</p><p>Mas, porque alguém escolheria rodar um LLM localmente ao invés de simplesmente chamar uma API? A resposta vai depender da necessidade do usuário:</p><ul><li><strong>Privacidade de dados:</strong> nenhum token sai da sua máquina. Para dados sensíveis como contratos, código proprietário, prontuários, isso pode ser um requisito não negociável.</li><li><strong>Custo zero de inferência:</strong> sem cobrança por token, sem surpresas no cartão de crédito no fim do mês.</li><li><strong>Funcionamento offline:</strong> avião, servidor sem acesso externo, ambiente air-gapped. O modelo simplesmente roda.</li><li><strong>Controle total:</strong> você decide qual versão do modelo usa, quando atualiza, como configura.</li></ul><p>Claro que esse caminho tem seus trade-offs. Hardware limitado significa que modelos maiores (70B+) estão fora de alcance sem uma GPU dedicada. A <strong>quantização</strong> (processo de reduzir a precisão dos pesos de 32 bits para 4 ou 8 bits) é o que torna possível rodar modelos de bilhões de parâmetros em <em>hardware consumer</em>, mas com alguma perda de qualidade e <strong>latência</strong>, que costuma ser maior do que a de uma API otimizada em data center. Mas para prototipagem, estudos e contextos onde privacidade importa, essa equação ainda faz muito sentido.</p><p>📌 Em posts anteriores usei o <a href="https://gomesfellipe.github.io/post/2025-05-04-bitcoin-agent/">GPT-4o-mini via API da OpenAI</a> para construir agentes. Aqui vamos por um caminho diferente: zero API externa, zero custo, tudo rodando localmente.</p><h3>O Ecossistema: QWEN2.5, GGUF E LLAMA.CPP</h3><h4>O modelo: Qwen2.5</h4><p>O <a href="https://huggingface.co/Qwen">Qwen2.5</a> é uma família de modelos desenvolvida pela Alibaba, disponível em múltiplos tamanhos (0.5B até 72B parâmetros) e com versões especializadas para código, matemática e visão computacional. Para este projeto, escolhi o <strong>Qwen2.5–4B-Instruct</strong> que tem um ponto de equilíbrio razoável entre capacidade e consumo de memória para um MacBook caseiro com Apple Silicon.</p><h4>O formato: GGUF</h4><p>O <a href="https://github.com/ggerganov/llama.cpp/blob/master/docs/gguf.md">GGUF</a> é o formato padrão para rodar modelos quantizados via llama.cpp. Ele empacota os pesos do modelo junto com os metadados necessários para inferência em um único arquivo portátil. A escolha da variante de quantização define o trade-off entre tamanho e qualidade:</p><p>VariantePrecisãoTamanho (4B)Qualidadeq4_k_m4 bits~2.5 GBboaq5_k_m5 bits~3.1 GBmelhorq8_08 bits~4.5 GBpróxima do original</p><p>Para este experimento usei q4_k_m, que cabe confortavelmente na memória unificada do M1 e ainda entrega respostas coesas.</p><h4>A infraestrutura: llama.cpp + llama-server</h4><p>O <a href="https://github.com/ggerganov/llama.cpp">llama.cpp</a> é uma biblioteca de inferência em C++ otimizada para rodar LLMs em hardware commodity, incluindo suporte a aceleração via <strong>Metal</strong> no Apple Silicon. Um setup_environment.sh do projeto já automatiza toda a configuração:</p><pre># Instalar llama.cpp via Homebrew<br># (com suporte a Metal para Apple Silicon)<br>brew install llama.cpp</pre><pre># Instalar dependências Python (versões pinadas no requirements.txt)<br>pip install -r requirements.txt<br># Baixar o modelo do Hugging Face<br>huggingface-cli download Qwen/Qwen2.5-4B-Instruct-GGUF \<br>  qwen2.5-4b-instruct-q4_k_m.gguf \<br>  --local-dir ~/.hf_cache/</pre><p>O requirements.txt do repositório já traz as versões exatas utilizadas neste projeto:</p><pre>langchain==1.2.10<br>langchain_openai==1.1.10<br>langchain-core==1.2.13<br>langchain-community==0.4.1<br>langgraph==1.0.8<br>llama-cpp-python==0.3.16<br>huggingface_hub==1.4.1<br>pydantic==2.12.5</pre><p>Com o modelo baixado, subir o servidor é uma única linha:</p><pre># Subir um servidor local com interface compatível com a API OpenAI<br>llama-server \<br>  -m ~/.hf_cache/qwen2.5-4b-instruct-q4_k_m.gguf \<br>  --port 8000 \<br>  -ngl 1</pre><p>A flag -ngl 1 ativa o offload de uma camada para a GPU via Metal, nesse caso suficiente para nosso teste aproveitar a aceleração do M1 sem saturar a memória (o usual é ngl -99 ou ngl-1 para usar todas as camadas). A partir daí, o servidor expõe um endpoint REST em <a href="http://localhost:8000/v1">http://localhost:8000/v1</a> com a mesma interface da API da OpenAI. Esse detalhe é o que torna tudo o que segue possível.</p><h3>Conectando ao Lang Chain via API OpenAI-Compatible</h3><p>O LangChain tem uma abstração chamada ChatOpenAI que, por padrão, aponta para os servidores da OpenAI, mas aceita uma openai_api_base customizada. Basta trocar a URL base e o ecossistema inteiro funciona sem alteração nenhuma:</p><pre>from langchain_openai import ChatOpenAI<br><br>model = ChatOpenAI(<br>    model=&quot;qwen2.5-4b-instruct&quot;,<br>    openai_api_base=&quot;http://localhost:8000/v1&quot;,<br>    openai_api_key=&quot;not-needed&quot;,<br>    temperature=0,<br>)</pre><p>Duas observações sobre esta configuração:</p><ul><li><strong>openai_api_key=&quot;not-needed&quot;</strong>: o llama-server não implementa autenticação, então qualquer string serve. O campo apenas precisa estar preenchido para satisfazer a validação do cliente.</li><li><strong>temperature=0</strong>: tecnicamente, determinismo total em LLMs envolve outros fatores (como seed e top_k), mas manter temperature=0 elimina a amostragem aleatória e aproxima o modelo de uma resposta “mais racional” ou “menos criativa”.</li></ul><h3>Definindo ferramentas com @tool</h3><p>A Anthropic publicou um <a href="https://www.anthropic.com/engineering/building-effective-agents?ref=aiappvn.com">guia sobre construção de agentes eficazes</a> em 2024 que eu acho uma das melhores referências práticas disponíveis. A definição deles é direta ao ponto: agentes são sistemas onde o LLM dirige dinamicamente o próprio fluxo de execução, escolhendo quais ações tomar e em que ordem, e é exatamente o que vamos construir aqui.</p><p>O mecanismo central é o <strong>Tool Calling</strong>: o LLM recebe uma lista de funções disponíveis (com nomes, parâmetros e descrições) e decide, a cada passo, qual chamar e com quais argumentos. O Python executa a função e devolve o resultado para o LLM, que então decide o próximo passo. Esse ciclo continua até o objetivo ser atingido.</p><p>No LangChain, o decorator @tool transforma qualquer função Python em uma ferramenta que o LLM pode invocar. O ponto crítico são os <strong>docstrings</strong>: é a partir deles que o modelo entende para que serve cada função. Uma descrição ruim leva a chamadas erradas ou desnecessárias.</p><pre>import math<br>from langchain.tools import tool<br><br>@tool<br>def multiply(a: float, b: float) -&gt; float:<br>    &quot;&quot;&quot;Multiplica dois números.&quot;&quot;&quot;<br>    return a * b<br>@tool<br>def add(a: float, b: float) -&gt; float:<br>    &quot;&quot;&quot;Soma dois números.&quot;&quot;&quot;<br>    return a + b<br>@tool<br>def divide(a: float, b: float) -&gt; float:<br>    &quot;&quot;&quot;Divide dois números.&quot;&quot;&quot;<br>    return a / b<br>@tool<br>def sqrt(x: float) -&gt; float:<br>    &quot;&quot;&quot;Calcula a raiz quadrada de um número.&quot;&quot;&quot;<br>    return math.sqrt(x)<br>@tool<br>def power(base: float, exponent: float) -&gt; float:<br>    &quot;&quot;&quot;Eleva um número à potência especificada.&quot;&quot;&quot;<br>    return math.pow(base, exponent)<br>@tool<br>def absolute(x: float) -&gt; float:<br>    &quot;&quot;&quot;Calcula o valor absoluto de um número.&quot;&quot;&quot;<br>    return abs(x)<br>@tool<br>def round_number(x: float, digits: int = 0) -&gt; float:<br>    &quot;&quot;&quot;Arredonda um número para o número especificado de casas decimais.&quot;&quot;&quot;<br>    return round(x, digits)<br>tools = [add, multiply, divide, sqrt, power, absolute, round_number]</pre><p>As operações matemáticas são deliberadamente simples, mas o ponto aqui não é o problema em si, mas demonstrar o <strong>padrão arquitetural</strong>. Basta substituir sqrt por buscar_dados_de_mercado ou absolute por consultar_base_de_conhecimento e a lógica é exatamente a mesma.</p><p>Outro elemento importante é o system_prompt. Aqui ele tem um papel muito específico: proibir explicitamente que o LLM calcule diretamente, forçando toda aritmética a passar pelas tools Python. Isso garante <strong>precisão computacional</strong> e <strong>auditabilidade</strong> enquanto cada operação tem uma entrada e saída rastreável.</p><pre>You are a strict mathematical agent.<br>- Respect parentheses.<br>- Follow PEMDAS.<br>- Use tools for ALL computations.<br>- Never compute directly.<br>- Return structured output only.</pre><p>Essa separação entre <strong>raciocínio</strong> (responsabilidade do LLM) e <strong>execução</strong> (responsabilidade do Python) é uma das ideias centrais no design de agentes robustos.</p><h3>Saída estruturada com Pydantic</h3><p>Por padrão, LLMs retornam texto livre. Em pipelines de produção isso pode ser um problema: difícil de parsear, inconsistente entre execuções, incompatível com sistemas downstream.</p><p>O LangChain suporta <strong>structured output</strong> via Pydantic: você define um schema e passa via response_format. O modelo é instruído a produzir exatamente aquele formato:</p><pre>from pydantic import BaseModel, Field<br><br>class MathResult(BaseModel):<br>    result: float = Field(..., description=&quot;Final numerical result&quot;)</pre><p>O schema aqui é simples, com um único campo float. Mas o padrão é o mesmo que usei no <a href="https://gomesfellipe.github.io/post/2025-10-26-telemarketing-agent/">post sobre análise de ligações de telemarketing</a>, onde o schema RelatorioLigacao tinha dezenas de campos aninhados (sentimento, tipo de ligação, resultado, respostas criativas). A lógica é idêntica; a complexidade do schema depende do problema.</p><h3>Criando e executando o agente com Streaming</h3><p>Com todas as peças prontas, a montagem do agente é direta:</p><pre>from langchain.agents import create_agent<br><br>agent = create_agent(<br>    model=model,<br>    tools=tools,<br>    system_prompt=&quot;&quot;&quot;<br>You are a strict mathematical agent.<br>- Respect parentheses.<br>- Follow PEMDAS.<br>- Use tools for ALL computations.<br>- Never compute directly.<br>- Return structured output only.<br>&quot;&quot;&quot;,<br>    response_format=MathResult,<br>)</pre><p>Para executar, uso agent.stream() com stream_mode=&quot;updates&quot;. Essa configuração expõe cada etapa do ciclo de raciocínio como um evento separado sendo uma forma de observabilidade nativa que dispensa ferramentas extras como o LangSmith para entender o que o agente está fazendo:</p><pre>input_payload = {<br>    &quot;messages&quot;: [<br>        {<br>            &quot;role&quot;: &quot;user&quot;,<br>            &quot;content&quot;: &quot;Calcule: (sqrt(16) + pow(2,3)) / abs(-4)&quot;<br>        }<br>    ]<br>}<br><br>final_result = None<br>for event in agent.stream(input_payload, stream_mode=&quot;updates&quot;):<br>    if &quot;model&quot; in event:<br>        model_step = event[&quot;model&quot;]<br>        for message in model_step.get(&quot;messages&quot;, []):<br>            if message.tool_calls:<br>                for call in message.tool_calls:<br>                    print(f&quot;[MODEL → TOOL CALL] {call[&#39;name&#39;]} args={call[&#39;args&#39;]}&quot;)<br>    if &quot;tools&quot; in event:<br>        tool_step = event[&quot;tools&quot;]<br>        for message in tool_step.get(&quot;messages&quot;, []):<br>            print(f&quot;[TOOL RESULT] {message.content}&quot;)<br>    if &quot;structured_response&quot; in event:<br>        final_result = event[&quot;structured_response&quot;].result<br>print(&quot;\nFinal Result:&quot;, final_result)</pre><p>O loop distingue três tipos de evento:</p><ul><li><strong>&quot;model&quot;</strong>: o LLM tomou uma decisão e quer chamar uma tool.</li><li><strong>&quot;tools&quot;</strong>: a tool foi executada e devolveu um resultado.</li><li><strong>&quot;structured_response&quot;</strong>: o agente encerrou o ciclo e emitiu a resposta final tipada.</li></ul><p>Para a expressão (sqrt(16) + pow(2,3)) / abs(-4), o agente resolve em 6 chamadas sequenciais, respeitando a ordem de precedência:</p><pre>[MODEL → TOOL CALL] sqrt args={&#39;x&#39;: 16}<br>[TOOL RESULT] 4.0<br>[MODEL → TOOL CALL] power args={&#39;base&#39;: 2, &#39;exponent&#39;: 3}<br>[TOOL RESULT] 8.0<br>[MODEL → TOOL CALL] add args={&#39;a&#39;: 4.0, &#39;b&#39;: 8.0}<br>[TOOL RESULT] 12.0<br>[MODEL → TOOL CALL] absolute args={&#39;x&#39;: -4}<br>[TOOL RESULT] 4.0<br>[MODEL → TOOL CALL] divide args={&#39;a&#39;: 12.0, &#39;b&#39;: 4.0}<br>[TOOL RESULT] 3.0<br>[MODEL → TOOL CALL] round_number args={&#39;x&#39;: 3.0, &#39;digits&#39;: 2}<br>[TOOL RESULT] 3.0<br><br>Final Result: 3.0</pre><p>O resultado √16+23|−4|=4+84=3.0 está correto, e cada etapa do raciocínio é rastreável. Isso é o que torna esse padrão valioso: não apenas o resultado final, mas a cadeia de decisões que levou até ele.</p><h3>Conclusão</h3><p>O que começou como curiosidade após ler sobre modelos se transformou em uma stack que pode ser replicável sem necessidade de supermáquinas. A combinação llama.cpp + GGUF + API OpenAI-compatible fornece um acesso a LLMs locais de um jeito que, há dois anos, seria impensável em hardware consumer.</p><p>Dá para construir um agente funcional, auditável e com saída tipada <strong>sem pagar nada</strong>, sem enviar dados para terceiros e sem depender de conexão com a internet. Para cenários onde privacidade e custo são requisitos (e isso inclui boa parte dos projetos corporativos reais), essa stack passou de curiosidade para uma opção viável. Mesmo que a empresa forneça licença para APIs pagas, bastaria mudar o modelo que toda stack continua funcional.</p><p>O agente matemático é só um exemplo, mas o padrão LLM local + tools Python + structured output + streaming observável é a estrutura que pode ser usada em outros contextos como ferramentas de acesso a APIs internas, consulta a bases de conhecimento privadas, processamento de documentos sensíveis.</p><h3>Sobre o autor</h3><p><em>Me chamo Fellipe Gomes, sou formado em estatística e atuo como cientista de dados desde 2018. Compartilho meus estudos e evolução por meio de artigos, tutoriais e projetos de código aberto. Se quiser saber mais sobre meu trabalho, sinta-se à vontade para entrar em contato através das minhas redes sociais </em><a href="https://www.linkedin.com/in/gomesfellipe/"><em>LinkedIn</em></a><em>, </em><a href="https://github.com/gomesfellipe"><em>GitHub</em></a><em> e </em><a href="https://www.kaggle.com/gomes555"><em>Kaggle</em></a><em>.</em></p><p><em>Gostou do conteúdo? Compartilhe e deixe suas dúvidas nos comentários. Sua experiência e feedback são fundamentais para continuar criando conteúdo de qualidade!</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3de981e6d420" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/como-criar-um-agente-com-llm-local-de-gra%C3%A7a-e-sem-depender-de-apis-3de981e6d420">Como criar um agente com LLM local de graça e sem depender de APIs</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Agente para análise interpretativa de ligações de telemarketing]]></title>
            <link>https://medium.com/data-hackers/agente-para-an%C3%A1lise-interpretativa-de-liga%C3%A7%C3%B5es-de-telemarketing-068e8b7547d1?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/068e8b7547d1</guid>
            <category><![CDATA[telemarketing]]></category>
            <category><![CDATA[langchain]]></category>
            <category><![CDATA[agents]]></category>
            <category><![CDATA[genai]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Fri, 12 Dec 2025 18:47:16 GMT</pubDate>
            <atom:updated>2025-12-12T18:47:16.872Z</atom:updated>
            <content:encoded><![CDATA[<p>Neste post vamos criar um agente para extrair insights estruturados de ligações de telemarketing, transformando gravações de áudio em um relatório analítico</p><p>Post publicado originalmente em: <a href="https://gomesfellipe.github.io/post/2025-10-26-telemarketing-agent/">https://gomesfellipe.github.io/post/2025-10-26-telemarketing-agent/</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*r3HbKu5AO933pvHL.png" /><figcaption><a href="https://gomesfellipe.github.io/">https://gomesfellipe.github.io</a></figcaption></figure><h3>Por que analisar ligações de telemarketing com IA?</h3><p>Quem nunca recebeu aquela ligação de telemarketing no momento mais inoportuno? Seja oferecendo um cartão de crédito, cobrando uma dívida ou tentando vender internet, essas ligações fazem parte do nosso cotidiano. Mas você já parou para pensar na quantidade de informações valiosas que existem nessas conversas?</p><p>Para empresas que operam call centers, analisar essas ligações manualmente é uma tarefa hercúlea. Imagine ter que ouvir centenas ou milhares de ligações por dia para:</p><ul><li>Avaliar a qualidade do atendimento</li><li>Identificar problemas recorrentes</li><li>Detectar possíveis fraudes</li><li>Treinar equipes com base em casos reais</li><li>Garantir compliance e conformidade legal</li></ul><h3>O desafio vai além da transcrição de textos</h3><p>Analisar ligações de telemarketing apresenta desafios que vão muito além da simples transcrição de áudio para texto. O grande volume de dados, a necessidade de identificar corretamente quem está falando em áudios mono (onde todas as vozes estão em um único canal) e a extração de informações relevantes a partir de conversas não estruturadas tornam o processo complexo e exigem soluções especializadas.</p><p>Entre os principais obstáculos técnicos estão: converter fala em texto com precisão mesmo diante de sotaques e ruídos, diarizar os speakers (diferenciar atendente e cliente), transformar transcrições em dados estruturados (como sentimento, tipo de ligação e problemas), além de garantir escalabilidade para processar milhares de ligações de forma eficiente, preferencialmente utilizando recursos como GPU.</p><h3>Solução técnica: Abordagem em 4 etapas</h3><p>Enquanto estudava para trablhar em um projeto com desafio semelhante, desenvolvi um pipeline em Python integrando três tecnologias de ponta, com foco em soluções gratuitas para estudo e prova de conceito. O projeto abrangeu desde a aquisição das ligações até a extração de insights estruturados, utilizando recursos pagos em ambiente de produção, mas priorizando ferramentas acessíveis para pesquisa e validação.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/841/0*znZyR38nGpS9zyx_.png" /></figure><p>Fluxo de trabalho completo</p><p>As etapas principais foram:</p><ol><li><strong>Coleta e preparação dos dados</strong>: Download e segmentação dos áudios com yt_dlp, pydub e ffmpeg.</li><li><strong>Transcrição dos áudios</strong>: <strong>Diarização/segmentação por locutor</strong>: Utilizando o modelo de diarização do <a href="https://github.com/pyannote/pyannote-audio">Pyannote.audio</a> e <strong>Reconhecimento automático de fala (ASR)</strong>: Modelos gratuitos do <a href="https://openai.com/research/whisper">Whisper da OpenAI</a> hospedados na Hugging Face.</li><li><strong>Análise interpretativa</strong>: Extração de informações estruturadas com GPT da OpenAI e o framework <a href="https://python.langchain.com/">LangChain</a> .</li><li><strong>Abordagem analítica</strong>: Exploração dos dados, criação de dashboards e, eventualmente, construção de modelos preditivos (por exemplo, prever se a venda foi concluída).</li></ol><p>Tecnologias Utilizadas:</p><ul><li><a href="https://openai.com/research/whisper"><strong>Whisper (OpenAI)</strong></a>: Modelo state-of-the-art para transcrição de áudio</li><li><a href="https://github.com/pyannote/pyannote-audio"><strong>Pyannote.audio</strong></a>: Framework especializado em diarização de speakers</li><li><a href="https://python.langchain.com/"><strong>LangChain</strong></a>: Framework de LLMs para extração estruturada</li><li><strong>Python</strong>: Orquestração de todo o pipeline</li><li><strong>Google Colab</strong>: Ambiente com GPU gratuita</li></ul><p>Este post vai cobrir apenas a terceira etapa do pipeline: a análise interpretativa das transcrições. Vamos mostrar como transformar o texto bruto das ligações em informações estruturadas e acionáveis usando agentes de GenAI, detalhando o processo de extração automática de sentimentos, problemas, resultados e respostas criativas a partir das conversas.</p><h3>Dados utilizados</h3><p>Para este experimento, selecionei alguns vídeos de esquetes de comédia sobre telemarketing <a href="https://www.youtube.com/watch?v=AJVpdNuLdv4">disponíveis no YouTube</a> e extraí um arquivo de áudio para cada ligação, segmentando as conversas individualmente. Veja um exemplo no <a href="http://gomes.fellipe.github.io/">post original no blog</a>.</p><p>A transcrição dos áudios foi realizada utilizando <a href="https://huggingface.co/openai/whisper-large-v3">Whisper</a> para reconhecimento de fala e <a href="https://huggingface.co/pyannote/speaker-diarization-3.1">Pyannote</a> para diarização dos locutores. Desenvolvi um script que integra essas ferramentas utilizando recursos de GPU em ambientes como Kaggle e Google Colab, o que permite processar grandes volumes de áudio gratuitamente.</p><p>Veja como ficou o resultado após a atribuição dos speakers no pós-processamento:</p><pre>SPEAKER_00: Eu gostaria de falar com o Eliel Clayton de Oliveira.<br>SPEAKER_01: Ele não tá, tá pra fazenda. Liga amanhã, ele deixou o celular.<br>SPEAKER_00: Ah, tudo bem. Eu posso deixar o telefone pra contato com ele no internet? Quem é você? Você é namorada dele? Não, eu sou uma da assessoria de cobrança.<br>SPEAKER_01: Da onde? Da outra fazenda? Da fazenda Bonança?<br>SPEAKER_00: Não, senhora. Eu sou da assessoria da bebê financeira. Ah, estavam então da Bahia, né? Vou falar pra ele que ligaram pra ele então, tá?<br>SPEAKER_01: É da bebê financeira, assessoria da bebê financeira.<br>SPEAKER_00: Você teve um bebê com ele? Aonde você tá, minha filha? Não, senhora, assessoria da bebê financeira.<br>SPEAKER_01: Estão falando que tem uma mulher que tem um bebê do Eliel.<br>SPEAKER_00: Acho melhor você ligar amanhã então, pra ver com ele, pra ver o DNA.</pre><p>⚠️ Naturalmente, todo modelo de transcrição apresenta uma taxa de acerto que pode variar conforme a qualidade do áudio, sotaques e presença de ruídos.</p><p>Neste post o foco está na construção do agente de análise interpretativa, assumindo que as transcrições já estão disponíveis e prontas para uso. Na versão do projeto que foi para produção, utilizamos uma ferramenta diferente para a etapa de transcrição, mas como prova de conceito até que achei o resultado bem descente.</p><h3>Análise estruturada com Agente de GenAI</h3><p>É aqui que a mágica realmente acontece: com o poder do <a href="https://www.langchain.com/">LangChain</a> e o recurso de <strong>Structured Output</strong>, conseguimos transformar transcrições brutas de ligações em dados estruturados e acionáveis. Em vez de apenas ler textos longos e desorganizados, extraímos automaticamente sentimentos, problemas, resultados e até respostas criativas. Tudo pronto para análise, visualização ou integração com sistemas de negócio.</p><p>A ideia central se baseia no conceito de saída estruturada (<a href="https://pydantic-docs.helpmanual.io/">Pydantic</a> models) para fornecer ferramentas que forçam o modelo a devolver um JSON consistente que depois é facilmente consumido por pipelines e dashboards.</p><p><a href="http://gomesfellipe.github.io/"><strong><em>Ver código</em></strong></a></p><p>Para criar o agente de análise interpretativa, encapsulamos toda a configuração do modelo de linguagem, defindo o schema de saída estruturada e estabelecendo as instruções para que o agente atue como um verdadeiro especialista em ligações de telemarketing. Com essa abordagem, garantimos que apenas informações realmente presentes na transcrição sejam extraídas, tornando o processo robusto, auditável e pronto para uso em escala, ou seja, para protótipos ou aplicações em produção.</p><p>Instanciando o agente (exemplo)</p><pre>def instance_agent(api_key: str):<br>    model = ChatOpenAI(model=&quot;gpt-4o&quot;, api_key=api_key, temperature=0)<br>    agent = create_agent(<br>        model=model,<br>        tools=[],<br>        response_format=ToolStrategy(<br>            schema=RelatorioLigacao,<br>            handle_errors=True<br>        ),<br>        system_prompt=(<br>            &quot;Você é um especialista em análise de ligações de telemarketing.\n&quot;<br>            &quot;Dado uma transcrição, preencha somente os blocos do relatório que fizerem sentido.\n&quot;<br>            &quot;- Se não houver problema, deixe &#39;problema&#39; como null.\n&quot;<br>            &quot;- Se não houver respostas criativas, deixe &#39;respostas_criativas&#39; como null.\n&quot;<br>            &quot;- Seja conservador: só preencha quando tiver evidência no texto.&quot;<br>        ),<br>    )<br>    return agent<br>agent = instance_agent(api_key=OPENAI_API_KEY)<br>result = agent.invoke({<br>    &quot;messages&quot;: [{&quot;role&quot;: &quot;user&quot;, &quot;content&quot;: transcriptions[&#39;audio_00&#39;]}]<br>})<br>result[&quot;structured_response&quot;].model_dump()</pre><p>Veja qual foi a saída obtida aplicando no nosso exemplo de áudio:</p><pre>{<br> &#39;sentimento&#39;: {<br>   &#39;sentimento_cliente&#39;: &#39;irritado&#39;,<br>   &#39;sentimento_atendente&#39;: &#39;impaciente&#39;,<br>   &#39;nivel_conflito&#39;: &#39;alto&#39;<br> },<br> &#39;informacao&#39;: {<br>   &#39;tipo_ligacao&#39;: &#39;cobranca&#39;,<br>   &#39;empresa_mencionada&#39;: None,<br>   &#39;produto_servico&#39;: None,<br>   &#39;resultado_ligacao&#39;: &#39;nao_resolvido&#39;,<br>   &#39;cliente_interessado&#39;: False<br> },<br> &#39;problema&#39;: None,<br> &#39;respostas_criativas&#39;: {<br>   &#39;teve_resposta_criativa&#39;: True,<br>   &#39;tipo_resposta&#39;: &#39;humor&#39;,<br>   &#39;citacao&#39;: &#39;Eu agora, eu tô tomando é uma Heineken, uma hora dessa. Tá entendendo?&#39;<br> }<br>}</pre><p>Loop para processar todos os áudios <em>(</em><a href="http://gomesfellipe.github.io/"><em>Ver código</em></a><em>)</em></p><h3>Insights estruturados</h3><p>Após processar todos os áudios podemos criar um dashboard que transforma as extrações em KPIs acionáveis, permitindo visualizar rapidamente métricas como taxa de ligações não resolvidas, distribuição dos tipos de ligação, níveis de conflito, frequência de respostas criativas e outros indicadores essenciais para tomada de decisão e melhoria contínua dos processos.</p><p><a href="http://gomesfellipe.github.io/"><em>Ver código do Dashboard</em></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*6iyPPrXGfi2ey0WS.png" /></figure><p>Fluxo de trabalho completo</p><h3>Benefícios Práticos e ROI Mensurável</h3><p>Para equipes que operam call centers e compliance, os ganhos são claros:</p><ul><li><strong>Automação de QA</strong> (Análise de 100% das ligações vs. amostragem manual);</li><li>Redução drástica no <strong>tempo de análise</strong>;</li><li><strong>Detecção precoce</strong> de problemas e fraudes;</li><li><strong>Treinamento</strong> baseado em casos reais e dados;</li><li>Evidências estruturadas para <strong>auditoria</strong>;</li><li>KPIs em tempo real e otimização de scripts (<strong>A/B testing</strong>).</li></ul><p>Para empresas, isso significa decisões mais rápidas, menos custos com retrabalho e ROI tangível na operação.</p><h3>Ética, licença e privacidade</h3><p>O dataset aqui usado é público (sketches de comédia) e foi apenas para fins pessoal/educacional. Para qualquer uso comercial:</p><ul><li>Verifique licença dos materiais originais;</li><li>Obtenha consentimento quando necessário;</li><li>Anonimizar dados pessoais;</li><li>Adotar práticas de privacidade e conformidade (LGPD / GDPR).</li></ul><h3>Conclusão: O futuro da análise de conversas</h3><p>O que começou como um experimento com ligações de telemarketing se transformou em uma demonstração poderosa do que é possível quando combinamos as melhores tecnologias de IA disponíveis hoje. <strong>Em menos de 4 minutos, processamos 13 ligações e extraímos insights que levariam horas para analistas humanos descobrirem.</strong></p><h3>Recursos adicionais</h3><p>Tutoriais Complementares:</p><ul><li><a href="https://gomesfellipe.github.io/post/2025-05-04-bitcoin-agent/">Meu post sobre Agentes Multiagente</a> — LangChain em ação</li><li><a href="https://gomesfellipe.github.io/post/2024-05-26-detec-o-de-linguagem-t-xica-com-o-llm-gemma-e-langchain/">Detecção de Linguagem Tóxica</a> — LLMs para análise de texto</li><li><a href="https://gomesfellipe.github.io/post/2024-04-20-sentiment-analysis-llama2/">Análise de Sentimentos com LLM</a> — Processamento de linguagem natural</li></ul><h3>Sobre o autor</h3><p><em>Me chamo Fellipe Gomes, sou formado em estatística e atuo como cientista de dados desde 2018. Compartilho meus estudos e evolução por meio de artigos, tutoriais e projetos de código aberto. Se quiser saber mais sobre meu trabalho, sinta-se à vontade para entrar em contato através das minhas redes sociais </em><a href="https://www.linkedin.com/in/gomesfellipe/"><em>LinkedIn</em></a><em>, </em><a href="https://github.com/gomesfellipe"><em>GitHub</em></a><em> e </em><a href="https://www.kaggle.com/gomes555"><em>Kaggle</em></a><em>.</em></p><p><em>Gostou do conteúdo? Compartilhe e deixe suas dúvidas nos comentários. Sua experiência e feedback são fundamentais para continuar criando conteúdo de qualidade!</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=068e8b7547d1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/agente-para-an%C3%A1lise-interpretativa-de-liga%C3%A7%C3%B5es-de-telemarketing-068e8b7547d1">Agente para análise interpretativa de ligações de telemarketing</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Construindo uma Equipe Multiagente de IA para Análise do Mercado Bitcoin]]></title>
            <link>https://medium.com/data-hackers/construindo-uma-equipe-multiagente-de-ia-para-an%C3%A1lise-do-mercado-bitcoin-06edc6dd66d6?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/06edc6dd66d6</guid>
            <category><![CDATA[bitcoin]]></category>
            <category><![CDATA[langgraph]]></category>
            <category><![CDATA[genai]]></category>
            <category><![CDATA[agents]]></category>
            <category><![CDATA[langchain]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Sat, 17 May 2025 09:42:45 GMT</pubDate>
            <atom:updated>2025-05-17T09:42:45.112Z</atom:updated>
            <content:encoded><![CDATA[<p>Neste post, exploramos a criação de uma equipe de agentes de IA usando Python, LangChain, LangGraph e LangSmith para automatizar e monitorar a análise do mercado de Bitcoin, desde a coleta de dados até a geração de relatórios automatizados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*C4DEYKE6dXPb9BHg.jpg" /><figcaption><a href="https://gomesfellipe.github.io/">https://gomesfellipe.github.io/</a></figcaption></figure><h3>Por que Analisar o Mercado Bitcoin com Agentes de IA?</h3><p>O cenário do bitcoin sempre foi meio intrigante. Foi lançado há 16 anos mas até hoje ninguém sabe ao certo quem está por trás do projeto — o criador, conhecido apenas pelo pseudônimo Satoshi Nakamoto, <strong>nunca revelou sua identidade</strong>. Além disso o bitcoin foi a <a href="https://www.mgcholding.com.br/blog/blockchain-bitcoin-e-ativos-virtuais-entenda-a-relacao/#:~:text=O%20blockchain%2C%20em%20sua%20ess%C3%AAncia,conhecida%20aplica%C3%A7%C3%A3o%20da%20tecnologia%20blockchain.">primeira e ainda é a mais conhecida aplicação da tecnologia <strong>Blockchain</strong></a>, que revolucionou a forma como lidamos com registros digitais e segurança dos dados. Sua <strong>natureza descentralizada</strong> e sua notória <strong>volatilidade</strong> o tornam um ativo único.</p><p>Quem não se lembra da história das <a href="https://www.binance.com/pt-BR/square/post/17395016879858">pizzas compradas por 10.000 BTC</a>, que hoje valeriam uma fortuna? Mesmo que variações dessa magnitude sejam improváveis, eventos programados como o <a href="https://www.binance.com/pt-BR/events/bitcoin-halving"><strong>Halving</strong></a> — que reduz pela metade a emissão de novas moedas a cada quatro anos, simulando a escassez de metais preciosos — continuam a impactar significativamente sua oferta e, historicamente, seu preço.</p><p>Mas como saber o momento certo de comprar ou vender? A resposta não é simples. O preço do Bitcoin é influenciado por uma miríade de fatores: dados <strong>on-chain</strong> (movimentações na própria blockchain), o cenário <strong>macroeconômico</strong> global (inflação, taxas de juros), o <strong>sentimento do mercado</strong> e a <strong>análise técnica</strong> tradicional (padrões gráficos e indicadores). Analisar isoladamente qualquer um desses aspectos oferece uma visão incompleta. A verdadeira compreensão exige uma abordagem holística, <strong>combinando diferentes perspectivas</strong>.</p><p>Foi pensando nisso, e inspirado pelos recentes avanços em modelos de linguagem grandes (<strong>LLMs</strong>) e frameworks de <strong>agentes</strong>, que surgiu a ideia: <strong>E se eu delegar essa tarefa repetitiva e complexa a uma equipe de assistentes de IA?</strong> E se a IA pudesse não apenas coletar e analisar os dados, mas também <strong>interpretar o cenário</strong> e <strong>sugerir ações</strong> alinhadas a uma estratégia de investimento de longo prazo, como a acumulação gradual de Bitcoin?</p><p>É aqui que entram os Agentes de IA. Pense neles como sistemas autônomos que utilizam um <strong>LLM</strong> (como os modelos GPT da OpenAI) como seu “cérebro” ou motor de raciocínio. Eles podem interagir com <strong>ferramentas</strong>, processar informações e <strong>tomar decisões</strong> para atingir um <strong>objetivo específico</strong>. Em nosso caso, o objetivo será fornecer uma análise de mercado inteligente e automatizada, transformando dados brutos em insights acionáveis de alto nível.</p><h3>Arquitetura da Solução: Uma Equipe de Agentes de IA Generativa</h3><p>Em vez de um único agente monolítico tentando fazer tudo, o trabalho foi dividido em etapas lógicas, cada uma atribuída a um agente com um papel bem definido. Essa abordagem modular não só organiza melhor o processo, mas também facilita a manutenção e a evolução de cada componente:</p><ul><li><strong>Data Fetcher</strong>: Coleta dados brutos de diversas APIs (cotações, on-chain, macro, técnicos).</li><li><strong>Data Analyst</strong>: Interpreta os dados brutos e gera um relatório técnico formatado.</li><li><strong>Market Strategist</strong>: Sintetiza a análise técnica, identifica tendências e gera recomendações táticas.</li><li><strong>Client Manager</strong>: Avalia a estratégia sob a ótica do objetivo do “cliente” (acumulação de longo prazo) e decide se um alerta é necessário.</li></ul><p>Esses agentes utilizam tools (funções Python) para acessar APIs como <a href="https://www.blockchain.com/explorer/api">Blockchain.com</a>, <a href="https://pypi.org/project/yfinance/">Yahoo Finance</a>, <a href="https://www.coingecko.com/en/api/documentation">CoinGecko</a>, <a href="https://fred.stlouisfed.org/">FRED</a>, etc. A orquestração é feita com o <a href="https://github.com/features/actions"><strong>GitHub Actions</strong></a> que aciona a execução de todo o fluxo de trabalho todo dia - a cada 4 horas - executando o projeto que foi todo escrito em <strong>Python</strong>, <strong>LangChain</strong> (para os blocos de construção dos agentes), <strong>LangGraph</strong> (para o fluxo de trabalho), usando <strong>GPT-4o-mini</strong> como motor de raciocínio, <a href="https://telegram.me/BotFather"><strong>Telegram</strong></a> como um canal para envio de alertas e <strong>LangSmith</strong> para monitoramento e depuração de cada passo da execução dos agentes.</p><p>📌 Clique <a href="https://gomesfellipe.github.io/post/2020-03-25-investment-alert/investment-alert/">aqui</a> para ler meu post sobre como criar bots no Telegram.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/711/0*O5P7LGs6OzscOMhu.png" /><figcaption>Fluxo de trabalho completo</figcaption></figure><h3>Construindo o Workflow com LangGraph</h3><p>Para orquestrar a interação entre os agentes de forma robusta, foi utilizado o <strong>LangGraph</strong>, uma biblioteca sobre o LangChain para criar aplicações LLM <em>stateful</em> e com <em>múltiplos atores</em>. Ele permite definir fluxos de trabalho como grafos, controlando explicitamente a sequência e permitindo futuras ramificações ou ciclos.</p><p>📌 Os conceitos básicos são:</p><ul><li><strong>Nós (Nodes)</strong>: As unidades de trabalho (nossos agentes).</li><li><strong>Arestas (Edges)</strong>: As conexões que definem o fluxo de dados e controle entre os nós.</li></ul><p>Montar o grafo envolve definir o estado compartilhado, adicionar os nós e conectar as arestas. LangGraph oferece diferentes maneiras de definir essa estrutura. Abaixo, tem um exemplo conceitual usando tanto a a <strong>GraphAPI</strong>, que é bastante explícita, quanto a <strong>Functional API</strong>, que é mais direta ao ponto:</p><p><strong>Graph API (Conceitual)</strong></p><pre>from langgraph.graph import StateGraph, START, END<br>from typing_extensions import TypedDict<br><br># Definir o Estado do Grafo<br>class State(TypedDict):<br>    topic: str # Input do Data Fetcher<br>    raw_data: str # Saída do Data Fetcher<br>    analysis_report: str # Saída do Data Analyst<br>    strategy_synthesis: str # Saída do Market Strategist<br>    manager_decision: str # Saída do Client Manager<br><br># Definir os Nós (Agentes/Funções)<br># Supondo que as funções já foram definidas<br>def data_fetcher(state: State):<br>    # ... <br>    return {&quot;raw_data&quot;: &quot;dados coletados...&quot;}<br><br>def data_analyst(state: State): ...<br>def market_strategist(state: State): ...<br>def client_manager(state: State): ...<br>def send_telegram_message(message_body): ...<br><br># Construir o Grafo<br>workflow = StateGraph(State)<br><br># Adicionar os nós<br>workflow.add_node(&quot;fetcher&quot;, data_fetcher)<br>workflow.add_node(&quot;analyst&quot;, data_analyst)<br>workflow.add_node(&quot;strategist&quot;, market_strategist)<br>workflow.add_node(&quot;manager&quot;, client_manager)<br><br># Definir Arestas (o fluxo sequencial)<br>workflow.add_edge(START, &quot;fetcher&quot;)<br>workflow.add_edge(&quot;fetcher&quot;, &quot;analyst&quot;)<br>workflow.add_edge(&quot;analyst&quot;, &quot;strategist&quot;)<br>workflow.add_conditional_edges(&quot;strategist&quot;, manager_decision, {<br>  &quot;ALERTAR_CLIENTE&quot;: &quot;send_telegram_message&quot;,<br>  &quot;NAO_ALERTAR&quot;: END<br>  })<br><br># Compilar o grafo em um objeto executável<br>chain = workflow.compile()<br><br># Executar (exemplo)<br>state = chain.invoke({&quot;topic&quot;: &quot;btc&quot;})</pre><p><strong>Functional API (Conceitual)</strong></p><pre>from langgraph.func import entrypoint, task<br><br># Tasks/Agents<br><br>@task<br>def data_fetcher(topic: str) -&gt; dict: ...<br>  <br>@task <br>def data_analyst(state: State): ...<br><br>@task<br>def market_strategist(state: State): ...<br><br>@task<br>def client_manager(state: State): ...<br><br>def plot_btc_analysis(): ...<br>def send_telegram_photo(fig): ...<br>def send_telegram_message(message_body): ...<br><br># Exemplo conceitual com abordagem funcional (usando decoradores)<br>@entrypoint()<br>def chaining_workflow(topic: str):<br>    data_fetched = data_fetcher(topic).result()<br>    analyst_report = data_analyst(data_fetched).result()<br>    strategist_report = market_strategist(analyst_report).result()<br>    <br>    if &#39;ALERTAR&#39; in client_manager(strategist_report).result():<br>        fig = plot_btc_analysis()<br>        asyncio.run(send_telegram_photo(fig))<br>        asyncio.run(send_telegram_message(strategist_report))<br>        return &quot;Entrar em contato&quot;<br>    return &quot;Não entrar em contato&quot;<br><br>def run_chaining_workflow(topic: str, stream_mode: str = &quot;updates&quot;):<br>    return chaining_workflow.stream(topic, stream_mode=stream_mode)<br><br># Invoke<br>logger.info(&quot;Iniciando o workflow...\n&quot;)<br>for step in run_chaining_workflow(&quot;&quot;, stream_mode=&quot;updates&quot;):<br>    for key, value in step.items():<br>        logger.info(f&quot;[ {key} ]\n{&#39;=&#39; * 80}\n{value}\n&quot;)<br>logger.info(&quot;Workflow finalizado.&quot;)</pre><p>Este controle fino do fluxo, seja pela API explícita ou por abordagens mais funcionais, é uma das grandes vantagens do LangGraph para sistemas multi-agentes, que ainda permite uma integração com o LangSmith para acompanhamento detalhado do fluxo de “raciocínio” dos agentes. Para mais detalhes, consulte a <a href="https://langchain-ai.github.io/langgraph/">documentação oficial</a>.</p><h3>Mergulhando nos Agentes: Prompts e Ferramentas</h3><p>Vamos ver rapidamente como cada agente funciona, focando nos prompts e ferramentas:</p><h3>Agente 1: Data Fetcher (O Pesquisador)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/711/0*sEk3byh6BUl-2yXc.png" /><figcaption>Fluxo de trabalho do Data Researcher</figcaption></figure><p><a href="https://gomesfellipe.github.io/"><em>Ver código</em></a></p><ul><li><strong>Objetivo</strong>: Coletar dados brutos e atualizados de diversas fontes sobre o Bitcoin, abrangendo cotações, indicadores on-chain, dados macroeconômicos e técnicos.</li><li><strong>Funcionamento</strong>: Este agente não calcula nem interpreta, ele apenas orquestra a chamada de várias tools (funções Python que interagem com APIs externas). Essa função do LangChain permite que o LLM, ao receber a instrução inicial (“colete os dados sobre o mercado de Bitcoin”), analise as ferramentas disponíveis e decida quais delas chamar e com quais argumentos. Após as ferramentas retornarem seus resultados, usamos llm.with_structured_output(StructuredJsonOutput) para instruir o LLM a consolidar todas as informações coletadas em um único objeto <strong>JSON estruturado</strong>. Isso garante que a saída do Data Fetcher seja consistente e fácil de processar pelo próximo agente.</li></ul><h3>Agente 2: Data Analyst (O Intérprete)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/711/0*Dc1qLxNK6e0MZNPl.png" /><figcaption>Fluxo de trabalho do Data Analyst</figcaption></figure><p><a href="https://gomesfellipe.github.io/"><em>Ver código</em></a></p><ul><li><strong>Objetivo</strong>: Receber o JSON de dados brutos do Data Fetcher e transformá-lo em um relatório analítico coeso, formatado em Markdown, interpretando cada indicador e explicando seu possível impacto.</li><li><strong>Prompt Engineering em Ação</strong>: Este agente é um ótimo exemplo de como guiar um LLM para tarefas complexas de formatação e interpretação.</li><li><strong>Instruções Detalhadas</strong>: O prompt define explicitamente o papel do agente (“analista financeiro experiente”), o formato desejado (Markdown, bullet points, negrito), o tom (“equilibrado e menos técnico”), e regras específicas (mencionar preços em USD e BRL, usar sinal de menos para variações negativas, seguir a estrutura do exemplo).</li><li><strong>Estratégia Few-Shot</strong>: Para garantir que o LLM siga o formato e o estilo de interpretação desejados, utilizamos a técnica Few-Shot (semelhante como fiz em um <a href="https://gomesfellipe.github.io/post/2024-05-26-detec-o-de-linguagem-t-xica-com-o-llm-gemma-e-langchain/">post anterior</a>). Fornecemos um exemplo completo de um input (um JSON de dados similar ao que o Data Fetcher produziria) e o output correspondente (o relatório em Markdown formatado e interpretado). Isso é feito usando FewShotChatMessagePromptTemplate do LangChain, que insere o exemplo diretamente no contexto do prompt final.</li><li><strong>Cadeia LCEL</strong>: O prompt final é construído usando a LangChain Expression Language (LCEL), combinando o prompt do sistema (definindo o papel), o prompt Few-Shot (com o exemplo) e o prompt humano (contendo as instruções e o JSON de dados brutos atual).</li></ul><h3>Agente 3: Market Strategist (O Conselheiro)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/561/0*Ivc-9HFKaK8NTyrz.png" /><figcaption>Fluxo de trabalho do Market Strategist</figcaption></figure><p><a href="https://gomesfellipe.github.io/"><em>Ver código</em></a></p><ul><li><strong>Objetivo</strong>: Ler o relatório técnico detalhado do Data Analyst e interpretar as informações em uma síntese estratégica e executiva. O foco é identificar a tendência geral, destacar sinais chave e fornecer recomendações táticas claras.</li><li><strong>Prompt</strong>: O prompt para este agente é crucial para mudar o nível da análise. Ele instrui o LLM a agir como um “estrategista de mercado sênior”, focando em:</li><li><strong>Resumo</strong>: Extrair os pontos mais críticos.</li><li><strong>Tendência</strong>: Classificar o mercado (alta, baixa, neutro).</li><li><strong>Sinais</strong>: Identificar indicadores de otimismo ou cautela.</li><li><strong>Recomendações</strong>: Gerar orientações práticas e acionáveis (“isso indica que…”, “logo, é prudente…”).</li><li><strong>Raciocínio</strong>: Explicitar o processo de pensamento com <strong>CoT</strong> (<strong>Chain-of-Thought</strong>) que levou às conclusões antes de apresentar a síntese final.</li><li><strong>Tom</strong>: Consultivo, direto e profissional.</li></ul><h3>Agente 4: Client Manager (O Porteiro)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/561/0*a25eAE0aVxnEZp8R.png" /><figcaption>Fluxo de trabalho do Client Manager</figcaption></figure><p><a href="https://gomesfellipe.github.io/"><em>Ver código</em></a></p><ul><li><strong>Objetivo</strong>: Avaliar a síntese estratégica do Market Strategist à luz do objetivo específico do cliente (acumulação de longo prazo) e tomar uma decisão binária: a situação atual justifica um alerta ou não?</li><li><strong>Prompt</strong>: Este prompt é focado na tomada de decisão.</li><li><strong>Contexto do Cliente</strong>: Define claramente o objetivo (“Acumular Bitcoins no longo prazo, investindo mensalmente nas melhores janelas de oportunidade.”).</li><li><strong>Critérios de Alerta</strong>: Especifica o que procurar (mudança relevante de tendência, risco/oportunidade claros, indicadores extremos, recomendações urgentes).</li><li><strong>Raciocínio Obrigatório</strong>: Exige que o agente explique seu processo de pensamento <strong>CoT</strong> (<strong>Chain-of-Thought</strong>) antes da decisão final.</li><li><strong>Output Binário</strong>: A resposta final deve ser <em>apenas</em> a palavra ALERTAR ou NÃO_ALERTAR em maiúsculas, precedida pelo raciocínio.</li></ul><h3>Desafios, Aprendizados e Observabilidade</h3><p>Construir agentes envolve desafios:</p><ul><li><strong>Prompt Engineering</strong>: É uma arte iterativa. Clareza, exemplos (Few-Shot) e estrutura são essenciais.</li><li><strong>Orquestração (LangGraph)</strong>: Gerenciar o estado e o fluxo entre nós exige atenção.</li><li><strong>Integração de Ferramentas</strong>: Descrições claras das tools são vitais para o LLM usá-las corretamente.</li><li><strong>Observabilidade</strong>: Identificar falhas em fluxos complexos pode ser difícil.</li></ul><p>Ferramentas como o <strong>LangSmith</strong> são extremamente úteis na monitoramento dos agentes, permitindo rastrear e depurar cada passo de sua execução, chamadas de LLM e uso de ferramentas. Ele oferece uma visão clara do que está acontecendo “por baixo dos panos”, facilitando a identificação de gargalos ou erros.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*NSFVjOopyj_K9KLV.png" /><figcaption>Print da tela do LangSmith do projeto</figcaption></figure><h3>Conclusão</h3><p>Criamos uma equipe de agentes IA capaz de automatizar a complexa análise do mercado Bitcoin, usando LangChain e LangGraph para orquestração. O sistema coleta dados, interpreta, gera estratégias e decide sobre alertas, transformando dados brutos em insights acionáveis. Veja como é o alerta recebido no Telegram:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*vKxKKcsIva88HvVF.PNG" /><figcaption>Print da tela do bot no Telegram.</figcaption></figure><p>Este projeto demonstra o potencial dos agentes para automatizar tarefas repetitivas que envolvem a tomada de decisões com um certo “raciocínio”. Os próximos passos podem envolver refinar prompts, adicionar mais ferramentas, integrar mais visualizações ou implementar notificações ativas.</p><h3>Referências</h3><ul><li><a href="https://python.langchain.com/">LangChain — Documentação</a></li><li><a href="https://langchain-ai.github.io/langgraph/">LangGraph — Documentação</a></li><li><a href="https://smith.langchain.com/">LangSmith — Documentação</a></li><li><a href="https://openai.com/api/">OpenAI API Plataform</a></li><li><a href="https://github.com/openai/openai-cookbook/blob/main/examples/gpt4-1_prompting_guide.ipynb">OpenAI — Prompt Engineering Guide</a></li><li><a href="https://cdn.openai.com/business-guides-and-resources/a-practical-guide-to-building-agents.pdf">OpenAI — A Practical Guide to Building Agents</a></li><li><a href="https://langchain-ai.github.io/langgraph/tutorials/workflows/">LangGraph Tutorial — Building Agentic Workflows</a></li><li><a href="https://blog.langchain.dev/how-to-think-about-agent-frameworks/">LangChain Blog — How to think about agent frameworks</a></li></ul><h3>Sobre o autor</h3><p>Me chamo Fellipe Gomes, sou formado em estatística e atuo como cientista de dados desde 2018. Compartilho meus estudos e evolução por meio de artigos, tutoriais e projetos de código aberto. Se quiser saber mais sobre meu trabalho, sinta-se à vontade para entrar em contato através das minhas redes sociais <a href="https://www.linkedin.com/in/gomesfellipe/">LinkedIn</a>, <a href="https://github.com/gomesfellipe">GitHub</a> e <a href="https://www.kaggle.com/gomes555">Kaggle</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=06edc6dd66d6" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/construindo-uma-equipe-multiagente-de-ia-para-an%C3%A1lise-do-mercado-bitcoin-06edc6dd66d6">Construindo uma Equipe Multiagente de IA para Análise do Mercado Bitcoin</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criando Audiobooks com Inteligência Artificial: book-to-audiobook]]></title>
            <link>https://medium.com/data-hackers/criando-audiobooks-com-intelig%C3%AAncia-artificial-book-to-audiobook-08d8406045c0?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/08d8406045c0</guid>
            <category><![CDATA[translation]]></category>
            <category><![CDATA[generative-ai-tools]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[audiobooks]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Thu, 13 Feb 2025 00:55:44 GMT</pubDate>
            <atom:updated>2025-02-13T00:55:44.856Z</atom:updated>
            <content:encoded><![CDATA[<p>Transforme qualquer texto em audiobook de forma gratuita e automatizada com IA para conversão, tradução e síntese de voz.</p><figure><img alt="https://gomesfellipe.github.io/" src="https://cdn-images-1.medium.com/max/768/0*yRZ-gs3r--l5uH2z.png" /><figcaption><a href="https://gomesfellipe.github.io/">https://gomesfellipe.github.io/</a></figcaption></figure><h3>Por que Audiobooks?</h3><p>Pela sua forma conveniente de consumir conhecimento e entretenimento, os audiobooks estão se tornando cada vez mais populares. Conforme a última <a href="https://g1.globo.com/pop-arte/noticia/2024/01/08/como-audiolivros-devem-crescer-ainda-mais-em-2024-e-podem-virar-prioridade-nas-editoras.ghtml">pesquisa</a> da Câmara Brasileira do Livro, os livros digitais cresceram 15% de 2021 para 2022. Dentre os 13 mil títulos digitais publicados em 2022, 12% eram audiolivros. Embora o livro físico sempre vá existir, nem sempre temos o tempo necessário para ler todas as obras de nossa lista.</p><p>Adquiri o hábito de ouvir audiobooks há quase 10 anos, especialmente enquanto realizo tarefas que não exigem atenção plena, como dirigir, pedalar, malhar ou até mesmo em tarefas domésticas. Hoje em dia existem muitas opções de plataformas para consumir conteúdo em áudio no mercado, incluindo opções gratuitas disponíveis na internet. No entanto, com o passar do tempo, já me peguei diversas vezes escolhendo um título aleatório, pois não encontrava os livros que realmente queria ouvir. Entendo que para criar um audiobook de qualidade pode ser um processo caro e demorado, mas, felizmente, os avanços da inteligência artificial (IA) trouxeram novas possibilidades e foi então que comecei a pesquisar formas acessíveis e eficientes de converter livros do meu interesse em audiobooks utilizando IA.</p><p>Neste post, compartilharei o método mais eficaz que encontrei após extensas pesquisas sobre como transformar qualquer texto em um áudio com alta qualidade, utilizando ferramentas de IA gratuitas. Abordaremos um mini-projeto desde a preparação do arquivo de texto até a geração do áudio final.</p><h3>O Que São Audiobooks Criados com IA?</h3><p>Audiobooks gerados com IA utilizam ferramentas de <em>text-to-speech</em> (TTS) para converter texto em áudio. Diferentemente das gravações tradicionais, que dependem de narradores humanos, os audiobooks com IA são criados digitalmente por meio de modelos avançados que geram vozes cada vez mais naturais. Essa abordagem apresenta algumas vantagens e desvantagens em relação às gravações convencionais:</p><p><strong>✅ Vantagens:</strong></p><ul><li><strong>Economia de tempo</strong>: O processo é automatizado e muito mais rápido</li><li><strong>Acessibilidade</strong>: Permite adaptar conteúdos para diferentes idiomas e públicos, como pessoas com deficiência visual tenham acesso a mais conteúdo</li><li><strong>Personalização</strong>: Possibilidade de escolher vozes que melhor atendam ao estilo ou objetivo da leitura</li></ul><p><strong>❌ Desvantagens:</strong></p><ul><li><strong>Falta de emoção e naturalidade</strong>: Podem soar robóticas ou sem a entonação expressiva de um narrador humano</li><li><strong>Dificuldade com palavras complexas e entonação</strong>: Pronuncias de nomes próprios, termos técnicos ou palavras estrangeiras de forma inadequada</li><li><strong>Limitações na adaptação do texto</strong>: Narrativas que exigem pausas dramáticas ou interpretações específicas, a IA pode não captar nuances essenciais para a experiência do ouvinte</li></ul><p>Embora os audiobooks gerados por IA sejam uma solução prática e acessível, eles ainda não substituem completamente a qualidade e a emoção transmitidas por um narrador profissional. A escolha entre um audiobook tradicional ou criado por IA dependerá da sua necessidade e da disponibilidade.</p><h3>Como criar seu audiobook com IA</h3><p>O primeiro passo para criar um audiobook é organizar o conteúdo que será convertido em áudio, garantindo que esteja bem formatado. Os formatos de arquivo mais comuns incluem:</p><ul><li><strong>PDF</strong>: Formato mais comum de livros e também o que pode ser o mais trabalhoso por conter elementos como rodapés, numeração de páginas e títulos que precisam ser tratados de maneira diferente para cada livro.</li><li><strong>EPUB</strong>: Formato mais comum para eBooks que contém formatação rica e relativamente padronizada, o que facilita na reciclagem de códigos para importação e tratamento</li><li><strong>HTML</strong>: Pode ser que exista uma versão do livro gratuita na internet então com técnicas de webscrapping podemos capturar o conteúdo do livro e transforma-lo em um audio-book</li></ul><p><strong>📌 Dica importante:</strong> Antes de gerar o áudio, revise o conteúdo extraído para garantir que títulos, subtítulos, parágrafos e listas estejam formatados corretamente, para ter uma experiência de escuta mais fluida.</p><h3>Preparar o arquivo de texto</h3><p>Cada formato de arquivo exige um pré-processamento específico. Para este exemplo, utilizarei o livro <a href="https://fairmlbook.org/"><em>Fairness and Machine Learning: Limitations and Opportunities</em></a>, pois, além de estar disponível gratuitamente na internet sob a licença <a href="https://creativecommons.org/licenses/by-nc-nd/4.0/">Creative Commons BY-NC-ND 4.0</a>, é uma excelente leitura sobre as implicações sociais e éticas das decisões automatizadas — um conhecimento essencial para profissionais de IA e dados. (Inclusive, fiz um <a href="https://www.linkedin.com/feed/update/urn:li:activity:7240017653648572416/">post no LinkedIn</a> sobre esse livro no último ano.)</p><p>Vamos carregar o código que desenvolvi para realizar o scraping do conteúdo:</p><pre>%%capture<br>!wget -O scraper_fairmlbook.py &quot;https://gist.githubusercontent.com/gomesfellipe/91a76531858e51fd69e72fb862499a67/raw/f1ae0374268b3190b41480e937c966cab793aa51/scraper_fairmlbook.py&quot;<br>import scraper_fairmlbook</pre><p>Agora, utilizamos a função para extrair o conteúdo:</p><pre>book = scraper_fairmlbook.extrair_conteudo_livro(&#39;https://fairmlbook.org/&#39;)<br>book</pre><pre>{&#39;introduction&#39;: &#39;Introduction\n\nOur success, happiness, and wellbeing are neve...<br> &#39;legitimacy&#39;: &quot;When is automated decision making legitimate?\n\nThese three sce...<br> &#39;classification&#39;: &#39;Classification\n\nThe goal of classification is to leverage ...<br> &#39;relative&#39;: &quot;Relative notions of fairness\n\nIn Chapter 3, we considered a rang...<br> &#39;causal&#39;: &#39;Causality\n\nOur starting point is the difference between an observa...<br> &#39;legal&#39;: &#39;Understanding United States anti-discrimination law\n\nIn this chapte...<br> &#39;testing&#39;: &#39;Testing discrimination in practice\n\nIn previous chapters, we have...<br> &#39;broader-view&#39;: &#39;A broader view of discrimination\n\nMachine learning systems d...<br> &#39;datasets&#39;: &#39;Datasets\n\nIt’s become commonplace to point out that machine lear...</pre><p>Utilizarei apenas as 5 primeiras linhas do livro como exemplo mas note que nesse ponto qualquer objeto do tipo string já possibilita a execução do restante do mini-projeto.</p><pre># Obter as primeiras 5 linhas do texto de introdução<br>text = &quot;\n&quot;.join(book[&#39;introduction&#39;].split(&#39;\n&#39;)[0:5]) + &quot;\n\n...&quot;<br>print(text)</pre><pre>Introduction</pre><pre>Our success, happiness, and wellbeing are never fully of our own making. Others’ decisions can profoundly affect the course of our lives: whether to admit us to a particular school, offer us a job, or grant us a mortgage. Arbitrary, inconsistent, or faulty decision-making thus raises serious concerns because it risks limiting our ability to achieve the goals that we have set for ourselves and access the opportunities for which we are qualified.</pre><pre>So how do we ensure that these decisions are made the right way and for the right reasons? While there’s much to value in fixed rules, applied consistently, good decisions take available evidence into account. We expect admissions, employment, and lending decisions to rest on factors that are relevant to the outcome of interest.</pre><pre>...</pre><h3>Traduzir conteúdo para PT-BR (opcional)</h3><p>Este livro está em inglês mas caso o texto original esteja em qualquer outro idioma que não dominamos, a tradução para português pode ser uma forma de ampliar seu acesso. Para isso, utilizaremos a ferramenta de tradução baseada em IA <a href="https://github.com/nidhaloff/deep-translator">deep-translator</a> que é uma ferramenta flexível, gratuita e ilimitada para traduzir entre diferentes idiomas usando vários tradutores. Obtive bons resultados com a API do Google Tradutor, bastando dividir o texto em blocos menores para atender ao limite de caracteres da API.</p><pre>from deep_translator import GoogleTranslator<br><br>tradutor = GoogleTranslator(source=&#39;auto&#39;, target=&#39;portuguese&#39;)<br>texto = tradutor.translate(text)<br>print(texto)</pre><pre>Introdução</pre><pre>Nosso sucesso, felicidade e bem-estar nunca são totalmente de nossa responsabilidade. As decisões dos outros podem afetar profundamente o curso de nossas vidas: seja para nos admitir em uma escola específica, nos oferecer um emprego ou nos conceder uma hipoteca. A tomada de decisões arbitrária, inconsistente ou falha, portanto, levanta sérias preocupações porque corre o risco de limitar nossa capacidade de atingir as metas que definimos para nós mesmos e acessar as oportunidades para as quais estamos qualificados.</pre><pre>Então, como garantimos que essas decisões sejam tomadas da maneira certa e pelos motivos certos? Embora haja muito a valorizar em regras fixas, aplicadas consistentemente, boas decisões levam em consideração as evidências disponíveis. Esperamos que as decisões de admissão, emprego e empréstimo se baseiem em fatores que sejam relevantes para o resultado do interesse.</pre><pre>...</pre><h3>Convertendo o Texto em Áudio com IA</h3><p>Com o texto pronto, é hora de usar ferramentas de <strong>text-to-speech</strong> (TTS) para gerar o áudio. Existem diversas opções disponíveis, como:</p><ul><li><a href="https://huggingface.co/models?pipeline_tag=text-to-speech&amp;sort=trending">Hugging Face</a> que é uma plataforma colaborativa que democratiza o acesso à recursos de IA</li><li><a href="https://github.com/pndurette/gTTS">gTTS</a> (Google Text-to-Speech)</li><li><a href="https://ttsopenai.com/">tts-OpenAI</a> que cobra <a href="https://openai.com/api/pricing/">$15 para cada 1 Milhão</a> de tokens (<strong>opnião</strong>: eu esperava mais qualidade pelo preço que eles cobram)</li><li><a href="https://github.com/rany2/edge-tts">edge-tts</a> que permite usar a função de text-to-speech do Microsoft Edge utilizando código Python</li></ul><p>Para este mini-projeto utilizaremos o edge-tts, que é conhecida por sua alta qualidade e vozes naturais. IMHO, dos que eu testei, essa biblioteca foi a que apresentou os melhores resultados. A voz escolhida foi <a href="https://github.com/playht/text-to-speech-api/blob/master/Voices.md">pt-BR-AntonioNeural</a>, que proporciona uma leitura bem fluida e não é tão robótica. Tenho certeza que você já ouviu a <a href="https://media.play.ht/full_-MWbnKJy-MVB1Vcn6Ijh.mp3">voz desse modelo</a> em algum lugar.</p><pre>import edge_tts<br><br>communicate = edge_tts.Communicate(texto, &quot;pt-BR-AntonioNeural&quot;)<br>communicate.save_sync(&quot;audiobook.mp3&quot;)</pre><p>Após executar o modelo o arquivo de áudio audiobook.mp3 estará pronto e disponível no seu diretório de trabalho!</p><p>🔊 <a href="https://gomesfellipe.github.io/post/2025-02-02-book-to-audiobook/audiobook.mp3">https://gomesfellipe.github.io/audiobook.mp3</a></p><h3>FAQ</h3><p>Para garantir uma boa experiência, seguem algumas dicas para melhorar a qualidade final do audiobook:</p><ul><li>Faça a revisão do áudio para identificar possíveis erros das etapas anteriores</li><li>Elimine ruídos</li><li>Ajuste volumes</li><li>Ajuste a velocidade</li><li>Adicione uma música de fundo (Escolha músicas isentas de direitos autorais para enriquecer a narrativa)</li></ul><p>Caso esteja recebendo o erro ConnectionTimeoutError, existem algumas formar de tentar contornar como:</p><ul><li>Reinstalar o pacote para a versão mais recente e aguardar alguns minutos para tentar novamente</li><li>Dividir o texto em trechos com menos caracteres para gerar os segmentos do áudio e combiná-los depois</li><li>Aguardar algumas horas e tentar novamente</li></ul><h3>Questões de Ética e Legalidade</h3><p>Antes de converter qualquer livro em áudio, garante que você tem as devidas permissões para utilizá-lo dessa forma. Muitos livros estão protegidos por direitos autorais e sua reprodução ou adaptação sem autorização pode infringir leis de propriedade intelectual. Para evitar problemas legais:</p><ul><li><strong>Prefira conteúdos de domínio público</strong>: Livros cujos direitos autorais já expiraram podem ser utilizados livremente. Projetos como o <a href="https://www.dominiopublico.gov.br/">Domínio Público</a> e o <a href="https://www.gutenberg.org/">Project Gutenberg</a> oferecem acervos gratuitos.</li><li><strong>Consulte os termos de uso</strong>: Alguns eBooks permitem a conversão para audiobooks apenas para fins pessoais, enquanto outros proíbem essa prática. Verifique sempre as regras do autor ou da editora.</li><li><strong>Obtenha autorização do detentor dos direitos</strong>: Caso um livro esteja protegido por direitos autorais, entre em contato com o autor ou a editora para solicitar permissão antes de convertê-lo.</li></ul><p>Ainda não que a IA pode substituir 100% os narradores humanos profissionais, pois apesar dos avanços, vozes sintéticas ainda carecem de emoção e expressividade. Para determinados gêneros literários, como romances ou poesias, a narração humana pode proporcionar uma experiência mais envolvente.</p><h3>Conclusão</h3><p>Criar audiobooks com inteligência artificial é uma maneira revolucionária de otimizar o tempo e ampliar o acesso ao conhecimento e histórias. A combinação de ferramentas gratuitas, como edge-tts e Google Translate API, permitem que qualquer um transforme livros e artigos em áudio.</p><p>No entanto, precisamos equilibrar os benefícios da inovação com a responsabilidade ética e legal. Respeitar os direitos autorais, considerar o impacto no mercado de narradores profissionais e garantir que o conteúdo gerado tenha qualidade e integridade para o uso consciente da tecnologia.</p><p>Se utilizada de maneira responsável, a IA pode ser uma poderosa aliada na acessibilidade do conhecimento, proporcionando novas formas de aprendizado e entretenimento para um público cada vez maior.</p><h3>Sobre o autor</h3><p>Me chamo Fellipe Gomes, sou formado em estatística e atuo como cientista de dados desde 2018. Compartilho meus estudos e evolução por meio de artigos, tutoriais e projetos de código aberto. Se quiser saber mais sobre meu trabalho, sinta-se à vontade para entrar em contato através das minhas redes sociais <a href="https://www.linkedin.com/in/gomesfellipe/">LinkedIn</a>, <a href="https://github.com/gomesfellipe">GitHub</a> e <a href="https://www.kaggle.com/gomes555">Kaggle</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=08d8406045c0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/criando-audiobooks-com-intelig%C3%AAncia-artificial-book-to-audiobook-08d8406045c0">Criando Audiobooks com Inteligência Artificial: book-to-audiobook</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Extração de informações de imagens com IA Generativa]]></title>
            <link>https://medium.com/data-hackers/extra%C3%A7%C3%A3o-de-informa%C3%A7%C3%B5es-de-imagens-com-ia-generativa-ec67f4f88352?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/ec67f4f88352</guid>
            <category><![CDATA[computer-vision]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[genai]]></category>
            <category><![CDATA[transformers]]></category>
            <category><![CDATA[llava]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Fri, 04 Oct 2024 10:02:18 GMT</pubDate>
            <atom:updated>2024-10-04T10:02:18.136Z</atom:updated>
            <content:encoded><![CDATA[<p>Neste post, exploraremos como utilizar o modelo Llava para gerar rótulos descritivos de imagens, usando dados do conjunto COCO-2017.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*yB07bv7AwwcjlJjK.png" /><figcaption><a href="https://gomesfellipe.github.io/">https://gomesfellipe.github.io/</a></figcaption></figure><h3>Caso de Uso de IA Generativa: Extração de Informações de Imagens com o Modelo Llava</h3><p>GenAI refere-se a modelos de inteligência artificial capazes de gerar conteúdo novo e criativo a partir de dados de entrada. Seu uso está revolucionando a maneira como processamos dados não estruturados, como imagens, áudios, textos, vídeos, etc. Trabalhar com modelos pré-treinados (i.e., que já foram treinados com grandes conjuntos de dados) e adaptá-los para necessidades específicas tem sido um divisor de águas.</p><p>Neste post, vamos explorar a utilização do modelo Llava (Large Language and Vision Assistant) para extrair rótulos descritivos de imagens e também discutir como comparar a qualidade das previsões geradas com métricas específicas para avaliar a performance desse tipo de modelo.</p><h3>Por que o Modelo Llava?</h3><p>O modelo <a href="https://llava-vl.github.io/">Llava</a> é uma alternativa de código aberto ao <a href="https://chat-gpt-5.ai/capabilities-of-gpt-4v/">GPT-4 Vision</a> da OpenAI (que se destaca neste domínio, mas sua aplicação é restrita devido sua natureza proprietária e comercial) que foi treinado em grandes conjuntos de dados multimodais, sendo capaz de compreender e gerar descrições textuais para imagens.</p><p>Essa capacidade de “conversar com imagens” tendo o mesmo “poder” de um LLM, possibilita seu uso em muitas soluções desenvolvidas por cientistas de dados no mundo real, como:</p><ol><li><strong>Classificação de produtos em e-commerce</strong>: geração de descrições detalhadas de roupas, acessórios, eletrônicos, etc.</li><li><strong>Detecção de defeitos em linhas de produção</strong>: identificação de falhas em produtos para automação e controle de qualidade.</li><li><strong>Diagnóstico médico por imagens</strong>: auxiliar na detecção precoce de doenças a partir de descrições detalhadas de imagens médicas.</li><li><strong>Reconhecimento de placas de carros</strong>: transcrição automática de textos de placas e características de veículos.</li><li><strong>Identificação de sinais de trânsito</strong>: aplicação em veículos autônomos para navegação e identificação de sinais.</li><li><strong>Análise de alimentos para calcular nutrição</strong>: extração automática de informações nutricionais de fotos ou rótulos de alimentos.</li><li><strong>Identificação de animais em câmeras de vida selvagem</strong>: gerar descrições detalhadas de animais detectados, ajudando pesquisadores a automatizar o monitoramento da vida selvagem.</li><li><strong>Detecção de aglomerações em eventos</strong>: analisar imagens de câmeras de segurança para identificar a presença de grandes grupos de pessoas em eventos ou lugares públicos, útil em gestão de multidões ou para questões de segurança.</li></ol><h3>Dataset COCO-2017</h3><p>O <a href="https://cocodataset.org/">COCO</a> (Common Objects in Context) é um dataset amplamente utilizado em visão computacional. Ele é um dos maiores conjuntos de imagens do dia a dia com objetos em diferentes contextos, com anotações detalhadas fornecidas por humanos como tags, caixa delimitadora, polígono que segmenta a imagem detectando objetos bem como sua descrição. Isso o torna ideal para testar o desempenho desse tipo de modelo para geração de legendas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/660/0*aEjZDDZuMP0mEheR.png" /><figcaption>Imagem do COCO Dataset com anotação obtida na <a href="https://cocodataset.org/#explore">seção exploratória</a> das imagens</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/0*9isS6H1CslBctp3P.png" /><figcaption>Imagem do COCO Dataset sem anotação obtida na <a href="https://cocodataset.org/#explore">seção exploratória</a> das imagens</figcaption></figure><h3>Preparando o Ambiente</h3><p>Utilizei o ambiente do Kaggle para desenvolvimento deste notebook, que disponibiliza a utilização de GPUs. Através do Hardware Accelerator utilizaremos a <a href="https://www.kaggle.com/docs/efficient-gpu-usage">NVIDIA TESLA P100 GPU</a>.</p><pre>%%capture !pip -qqq install bitsandbytes accelerate rouge-score pycocoevalcap bert_score !pip install -U nltk<br>import os<br>import re<br>import json<br>import pandas as pd<br>import numpy as np<br>from tqdm import tqdm<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>from PIL import Image<br>import requests<br>from io import BytesIO<br>from IPython.display import HTML<br>import base64<br>import torch<br>from transformers import pipeline, AutoProcessor, BitsAndBytesConfig<br>from nltk.translate.bleu_score import sentence_bleu<br>from rouge_score import rouge_scorer<br>from bert_score import score as bert_score<br>from nltk.translate.meteor_score import meteor_score<br>from transformers import logging<br>import warnings<br>logging.set_verbosity_error()<br>warnings.filterwarnings(&quot;ignore&quot;, &quot;use_inf_as_na&quot;)</pre><h3>Carregar dados</h3><p>Por fins de praticidade para este post, selecionei uma amostra de 10 imagens aleatórias do dataset COCO — (Common Objects in Context) no site <a href="https://cocodataset.org/">https://cocodataset.org</a> (onde é possível ter uma descrição detalhada do conjunto de dados, incluindo seu <a href="https://arxiv.org/abs/1405.0312">paper</a> para aprofundamento), para avaliar o desempenho do modelo.</p><p><a href="https://gomesfellipe.github.io/"><em>Clique aqui para ver os códigos</em></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/979/0*GIfhJXmhNoxY3H0l.png" /></figure><p>Caso você precise de mais imagens para testar, também é possível encontrar uma <a href="https://www.kaggle.com/datasets/awsaf49/coco-2017-dataset/data">versão disponibilizada no Kaggle</a> .</p><h3>Carregar modelo</h3><p>Utilizaremos uma versão de 7 bilhões de parâmetros do modelo <a href="https://huggingface.co/llava-hf/llava-1.5-7b-hf">“LLaVA 1.5”</a> (Language and Vision Assistant), disponível no HuggingFace (Uma plataforma onde a comunidade de Machine Learning colabora com modelos, dados e aplicações) treinada para tarefas de geração de texto a partir de imagens.</p><pre>model_id = &quot;llava-hf/llava-1.5-7b-hf&quot;<br># Configuração de quantização do modelo, que permite reduzir o uso de memória sem <br># comprometer muito a precisão. Aqui estamos configurando para usar quantização em 4 bits.<br>quantization_config = BitsAndBytesConfig(<br>    load_in_4bit=True,  <br>    bnb_4bit_use_double_quant=True,  <br>    bnb_4bit_quant_type=&quot;nf4&quot;,  <br>    bnb_4bit_compute_dtype=torch.bfloat16  <br>)<br># Criação de um pipeline de processamento de imagens para geração de texto<br># O pipeline é configurado para a tarefa &quot;image-to-text&quot;<br>pipe = pipeline(<br>    &quot;image-to-text&quot;, <br>    model=model_id, <br>    model_kwargs={<br>        &quot;quantization_config&quot;: quantization_config,<br>        &quot;low_cpu_mem_usage&quot;: True<br>    }<br>)<br># Carregar o processador associado responsável por pré-processar<br># as imagens de entrada e preparar os dados para serem inseridos no modelo<br>processor = AutoProcessor.from_pretrained(model_id)</pre><pre>CPU times: user 28.7 s, sys: 28.1 s, total: 56.8 s<br>Wall time: 6min 26s</pre><p><strong>📌 Nota:</strong> A quantização é uma técnica para reduzir o tamanho do modelo, perdendo um pouco de performance para otimizar o desempenho e rodar em máquinas com memória limitada.</p><h3>Prompt Engineering</h3><p>Uma ampla variedade de <a href="https://www.promptingguide.ai/pt">técnicas</a> poderiam ser aplicadas para desenvolver <a href="https://python.langchain.com/docs/how_to/multimodal_prompts/">prompts</a> mais eficazes (inclusive com <a href="https://python.langchain.com/docs/introduction/">LangChain</a>, como fiz no <a href="https://gomesfellipe.github.io/post/2024-05-26-detec-o-de-linguagem-t-xica-com-o-llm-gemma-e-langchain/">último post</a>) ou especializar o modelo com ajuste fino visando obter resultados otimizados. No entanto, como este não é o foco do post, usarei um prompt simples e direto para estabelecer um baseline para avaliar as capacidades do modelo com o mínimo de esforço.</p><pre># Cada valor em &quot;content&quot; tem que ser uma lista de dicionário com os tipos (&quot;text&quot;, &quot;image&quot;) <br>conversation = [<br>    {<br>      &quot;role&quot;: &quot;user&quot;,<br>      &quot;content&quot;: [<br>          {&quot;type&quot;: &quot;text&quot;, &quot;text&quot;: &quot;Describe this image in a few words:&quot;},<br>          {&quot;type&quot;: &quot;image&quot;},<br>        ]<br>    },<br>]<br><br># Formata a conversa (que pode incluir texto e imagens) no formato correto que o modelo entende.<br>prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)</pre><p>O <a href="https://colab.research.google.com/drive/1qsl6cd2c8gGtEW1xV5io7S8NHh-Cp1TV?usp=sharing#scrollTo=JvvtplWDRvfu">prompt</a> deve ser especificado no seguinte formato:</p><pre>USER: &lt;image&gt;<br>&lt;prompt&gt;<br>ASSISTANT:</pre><h3>Inferência</h3><p>Com o modelo devidamente configurado e o prompt ajustado, estamos prontos para executar o pipeline de inferência. A vantagem de utilizar <a href="https://huggingface.co/docs/transformers/main_classes/pipelines#multimodal">pipelines</a> é que eles abstraem boa parte da codificação complexa, proporcionando uma interface simples e eficiente. Essa API versátil é dedicada a várias tarefas, como NER (Reconhecimento de Entidades), Análise de Sentimentos, Extração de Features e Question Answering.</p><pre>for i in tqdm(range(df_sample.shape[0])):<br>    <br>    # preparar objetos do loop<br>    coco_url = df_sample.iloc[i][&#39;coco_url&#39;]<br>    caption = df_sample.iloc[i][&#39;caption&#39;]<br>    index = df_sample.iloc[i].name<br>    <br>    # Obter imagem<br>    response = requests.get(coco_url)<br>    image = Image.open(BytesIO(response.content))<br>    <br>    # Realizar a inferência usando o pipeline e o prompt gerado<br>    outputs = pipe(image, prompt=prompt, generate_kwargs={&quot;max_new_tokens&quot;: 32})<br>    <br>    # Processar o texto gerado para extrair a parte relevante<br>    result = outputs[0][&#39;generated_text&#39;].split(&#39;ASSISTANT:&#39;, 1)[1].strip()<br>    <br>    # Adicionar o resultado da inferência à nova coluna &#39;llm&#39; do DataFrame<br>    df_sample.loc[index, &#39;llm&#39;] = result</pre><pre>100%|██████████| 10/10 [00:41&lt;00:00,  4.20s/it]</pre><p>Após a execução do modelo, veja como ficaram os resultados:</p><p><a href="https://gomesfellipe.github.io/"><em>Clique aqui para ver os códigos</em></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/992/0*Qv5xOoYZ9f4143c1.png" /></figure><p>Destaquei em vermelho as palavras que diferem entre a legenda original do dataset e a previsão gerada pelo nosso modelo de linguagem.</p><p>💭 Apesar de algumas diferenças sutis entre as duas versões, como ‘looking at his phone’ e ‘looking at his cell phone’, a ideia principal permanece bastante coerente com o que vemos nas imagens. Em alguns casos, como no item 3, a descrição gerada pelo modelo, ‘holding a kite’, parece até mais apropriada do que a fornecida pelo dataset, ‘holding a flag’.</p><p>Agora, o próximo passo será quantificar essas diferenças de maneira numérica.</p><h3>Avaliar modelo</h3><p>Para medir a precisão das legendas geradas, aplicaremos quatro métricas amplamente usadas:</p><ul><li><a href="https://aclanthology.org/P02-1040.pdf"><strong>BLEU</strong></a><strong> (Bilingual Evaluation Understudy Score)</strong>: Amplamente utilizada para medir a qualidade de traduções automáticas, mede a <strong>sobreposição de n-gramas</strong> entre a tradução gerada por um modelo e as traduções de referência, atribuindo uma pontuação que varia de 0 a 1 (aplica também um fator de penalização para evitar que traduções curtas sejam favorecidas);</li><li><a href="https://aclanthology.org/W04-1013.pdf"><strong>ROUGE-L</strong></a><strong> (Recall-Oriented Understudy for Gisting Evaluation)</strong>: Muito utilizado em tarefa de sumarização de textos, considera a sequência mais longa de palavras que aparecem em ambas as referências e previsões, medindo a capacidade de preservar a <strong>ordem das palavras</strong>;</li><li><a href="https://www.cs.cmu.edu/~alavie/METEOR/"><strong>METEOR</strong></a><strong> (Metric for Evaluation of Translation with Explicit ORdering)</strong>: Baseada na média harmônica da precisão e recall de n-gramas, com recall ponderado mais alto do que a precisão. Essa métrica METEOR foi projetada para corrigir alguns dos problemas (como encontrar sinônimos) nas métricas BLEU e ROGUE;</li><li><a href="https://huggingface.co/spaces/evaluate-metric/bertscore"><strong>BERTScore</strong></a>: Usa embeddings (representações semânticas) obtidas a partir do modelo BERT para comparar a similaridade semântica entre as descrições geradas e as de referência.</li></ul><pre>%%capture<br><br># Funções para calcular as métricas<br>def calcular_bleu(referencias, previsao):<br>    return sentence_bleu([referencias.split(&quot; &quot;)], previsao.split(&quot; &quot;),weights = [1])<br><br>def calcular_rouge(referencias, previsao):<br>    scorer = rouge_scorer.RougeScorer([&#39;rougeL&#39;], use_stemmer=True)<br>    return scorer.score(referencias, previsao)[&#39;rougeL&#39;].fmeasure<br><br>def calcular_meteor(referencias, previsao):<br>    return meteor_score([referencias.split(&quot; &quot;)], previsao.split(&quot; &quot;))<br><br>def calcular_bertscore(referencias, previsao):<br>    P, R, F1 = bert_score([previsao], [referencias], lang=&quot;en&quot;, verbose=True)<br>    return F1.mean().item()<br><br># Avaliar as amostras no DataFrame<br>resultados = []<br>for i, row in df_sample.iterrows():<br>    <br>    referencias = row[&#39;caption&#39;].replace(&quot;.&quot;, &quot;&quot;)<br>    previsao = row[&#39;llm&#39;].replace(&quot;.&quot;, &quot;&quot;)<br>    <br>    bleu = calcular_bleu(referencias, previsao)<br>    rouge = calcular_rouge(referencias, previsao)<br>    meteor = calcular_meteor(referencias, previsao)<br>    bert = calcular_bertscore(referencias, previsao)<br>    <br>    resultados.append([referencias, previsao, bleu, rouge, meteor, bert])<br># Converter os resultados para um DataFrame<br>df_resultados = pd.DataFrame(resultados, columns=[&#39;caption&#39;, &#39;llm&#39;, &#39;BLEU&#39;, &#39;ROUGE&#39;, &#39;METEOR&#39;, &#39;BERTScore&#39;])</pre><p>Vejamos os resultados:</p><p><a href="https://gomesfellipe.github.io/"><em>Clique aqui para ver os códigos</em></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/959/0*qVRSf5IIJ0nLhX2n.png" /></figure><p><strong>📌 Insights ao Avaliar as Métricas do Modelo:</strong></p><ul><li>As métricas baseadas em <strong>n-grams e na correspondência de palavras</strong> mostraram desempenho <strong>subestimado</strong>. Embora o modelo tenha apresentado algumas variações na escolha das palavras, as frases geradas mantiveram um sentido geral muito semelhante ao que é retratado nas imagens.</li><li>Por outro lado, a métrica baseada em <strong>embeddings</strong>, que avalia o significado <strong>semântico</strong> das frases, apresentou resultados <strong>significativamente superiores</strong>. Essa abordagem se mostrou mais congruente em avaliar a similaridade das descrições geradas e a descrição informada do conteúdo visual das imagens.</li><li>É importante ressaltar que nosso <strong>prompt</strong> foi mantido na forma <strong>mais simples possível</strong> e que o conjunto de dados abrange um <strong>escopo bastante amplo</strong>. Com isso, acredito que o modelo ainda tem muito potencial para oferecer resultados ainda mais robustos, sem a necessidade de ajustes finos, em tarefas mais específicas.</li></ul><h3>Conclusão</h3><p>O uso da GenAI com o modelo Llava oferece uma solução eficiente para a extração de features de imagens em Python, possibilitando a criação de descrições ricas e detalhadas. Ao comparar a qualidade das saídas com métricas como BLEU, podemos garantir que o modelo esteja oferecendo resultados satisfatórios para as necessidades do projeto.</p><p>Se você deseja automatizar processos de análise de imagens, explorar a criação de modelos customizados ou otimizar a organização de dados visuais, a utilização de GenAI com modelos como o Llava pode ser um divisor de águas em seus projetos.</p><p>Se este conteúdo foi útil, continue acompanhando o blog para mais tutoriais sobre inteligência artificial e Python!</p><h3>SOBRE O AUTOR</h3><p>Me chamo Fellipe Gomes, sou formado em estatística e atuo como cientista de dados desde 2018. Compartilho meus estudos e evolução por meio de artigos, tutoriais e projetos de código aberto. Se quiser saber mais sobre meu trabalho, sinta-se à vontade para entrar em contato através das minhas redes sociais <a href="https://www.linkedin.com/in/gomesfellipe/">LinkedIn</a>, <a href="https://github.com/gomesfellipe">GitHub</a> e <a href="https://www.kaggle.com/gomes555">Kaggle</a>.</p><h3>Referências</h3><ul><li><a href="https://huggingface.co/llava-hf/llava-1.5-7b-hf">https://huggingface.co/llava-hf/llava-1.5-7b-hf</a></li><li><a href="https://github.com/haotian-liu/LLaVA">https://github.com/haotian-liu/LLaVA</a></li><li><a href="https://colab.research.google.com/drive/1qsl6cd2c8gGtEW1xV5io7S8NHh-Cp1TV?usp=sharing#scrollTo=6Bx8iu9jOssW">https://colab.research.google.com/drive/1qsl6cd2c8gGtEW1xV5io7S8NHh-Cp1TV?usp=sharing#scrollTo=6Bx8iu9jOssW</a></li><li><a href="https://cocodataset.org/#explore">https://cocodataset.org/#explore</a></li><li><a href="https://www.kaggle.com/datasets/awsaf49/coco-2017-dataset/">https://www.kaggle.com/datasets/awsaf49/coco-2017-dataset/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ec67f4f88352" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/extra%C3%A7%C3%A3o-de-informa%C3%A7%C3%B5es-de-imagens-com-ia-generativa-ec67f4f88352">Extração de informações de imagens com IA Generativa</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Detecção de linguagem tóxica com LLM Gemma e LangChain]]></title>
            <link>https://medium.com/data-hackers/detec%C3%A7%C3%A3o-de-linguagem-t%C3%B3xica-com-llm-gemma-e-langchain-3956af77aade?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/3956af77aade</guid>
            <category><![CDATA[genai]]></category>
            <category><![CDATA[gpu]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[langchain]]></category>
            <category><![CDATA[gemma]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Wed, 12 Jun 2024 02:55:59 GMT</pubDate>
            <atom:updated>2024-06-12T02:55:59.569Z</atom:updated>
            <content:encoded><![CDATA[<p>Utilizando o modelo Gemma de GenAI do Google com o framework LangChain auxiliando na tarefa de prompt engineering</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*-QQ5kglKfUqQ9j1p.png" /></figure><h3>CASO DE USO DE IA GENERATIVA: DETECÇÃO DE LINGUAGEM TÓXICA EM MÍDIAS SOCIAIS</h3><p>Neste post, realizaremos a tarefa de detecção de linguagem tóxica em mídias sociais usando o modelo <a href="https://ai.google.dev/gemma?hl=pt-br">Gemma</a> de IA generativa do Google com o framework <a href="https://www.langchain.com/">LangChain</a>. Vamos explorar como o texto de entrada afeta a saída do modelo e faremos alguma engenharia de prompts para direcioná-lo à tarefa necessária.</p><h3>SETUP</h3><p>Utilizaremos o ambiente do Kaggle para desenvolvimento deste notebook, que disponibiliza a utilização de GPUs. Através do <em>Hardware Accelerator</em> utilizaremos a <a href="https://www.kaggle.com/docs/efficient-gpu-usage">NVIDIA TESLA P100 GPU</a>.</p><h3>INSTALAR E CARREGAR DEPENDENCIAS</h3><p>Vamos instalar as bibliotecas accelerate e bitsandbytes que possibilitam a quantização de LLMs e algumas bibliotecas do framework LangChain</p><pre>!pip install accelerate<br>!pip install -i https://pypi.org/simple/ bitsandbytes<br>!pip install langchain langchain_huggingface langchain_community langchain_chroma</pre><h3>CARREGAR BIBLIOTECAS</h3><pre>import pandas as pd<br>import torch <br>import re<br>from sklearn.metrics import accuracy_score, confusion_matrix<br>import matplotlib.pyplot as plt<br>import seaborn as sns<br>from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig, pipeline<br>from langchain_huggingface import HuggingFacePipeline<br>from langchain_core.prompts.few_shot import PromptTemplate, FewShotPromptTemplate<br>from langchain_core.example_selectors import SemanticSimilarityExampleSelector<br>from langchain_community.embeddings import HuggingFaceEmbeddings<br>from langchain_chroma import Chroma</pre><h3>CARREGAR FUNÇÕES AUXILIARES</h3><p>Carregar uma função para limpeza simples dos tweets.</p><p><a href="https://gomesfellipe.github.io/"><em>Clique aqui para ver os códigos</em></a></p><h3>CARREGAR DADOS</h3><p>Vamos utilizar o conjunto de dados <a href="https://github.com/JAugusto97/ToLD-Br">TolD-br</a>, um recurso interessante para o estudo da toxicidade em conteúdos online em português brasileiro. Este dataset foi utilizado na competição <a href="https://www.kaggle.com/competitions/ml-olympiad-toxic-language-ptbr-detection">ML Olympiad — Toxic Language (PTBR) Detection</a>, organizada pelo <a href="https://www.youtube.com/@tensorflowugsp">TensorFlow UGSP</a> no Kaggle este ano. A competição convidou entusiastas de dados, cientistas e pesquisadores a desenvolverem modelos de machine learning capazes de classificar tweets em português brasileiro como tóxicos ou não tóxicos.</p><pre>train = pd.read_csv(&quot;/kaggle/input/ml-olympiad-toxic-language-ptbr-detection/train (2).csv&quot;)<br>test = pd.read_csv(&quot;/kaggle/input/ml-olympiad-toxic-language-ptbr-detection/test (4).csv&quot;)<br>sub = pd.read_csv(&quot;/kaggle/input/ml-olympiad-toxic-language-ptbr-detection/sample_submission.csv&quot;)</pre><p>Selecionar uma amostra para auxiliar no desenvolvimento do prompt para utilização em novos dados:</p><pre>valid = train.sample(n=100, random_state=123)</pre><h3>PREPARAR DADOS</h3><p>Aplicar limpeza básica para preparar os tweets.</p><p><a href="https://gomesfellipe.github.io/"><em>Clique aqui para ver os códigos</em></a></p><h3>CARREGAR MODELO</h3><p>Neste notebook, faremos uso de um modelo da família <a href="https://ai.google.dev/gemma?hl=pt-br">Gemma</a>, desenvolvida pelo Google, que consiste em modelos leves e de código aberto construídos com base em pesquisas e tecnologias empregadas no desenvolvimento dos modelos <a href="https://gemini.google.com/">Gemini</a></p><p><strong>📌 Nota:</strong> Para utilizar o modelo é necessário consentir com a <a href="https://www.kaggle.com/models/google/gemma/license/consent?returnUrl=%2Fmodels%2Fgoogle%2Fgemma%2Ftransformers">licença do Gemma</a> com o preenchimento de um formulário disponível na <a href="https://www.kaggle.com/models/google/gemma">página do modelo</a>.</p><p>Utilizaremos a implementação do <a href="https://huggingface.co/google/gemma-7b-it">Gemma-7b-instruct</a>, que é uma variante ajustada por instrução (IT) que pode ser usada para bate-papo e/ou seguir instruções.</p><pre># Caminho para o modelo disponível pelo ambiente do Kaggle<br>model_path = &quot;/kaggle/input/gemma/transformers/1.1-7b-it/1/&quot;<br><br># Definir configuracoes de quantizacao para reduzir <br># o tamanho do modelo perdendo pouca performance<br>quantization_config = BitsAndBytesConfig(<br>    load_in_4bit=True,<br>    bnb_4bit_use_double_quant=True,<br>    bnb_4bit_quant_type=&quot;nf4&quot;,<br>    bnb_4bit_compute_dtype=torch.bfloat16<br>)<br># Instanciar o tokenizador do LLM<br>tokenizer = AutoTokenizer.from_pretrained(model_path)<br># Instanciar o LLM<br>model = AutoModelForCausalLM.from_pretrained(<br>    model_path,<br>    quantization_config=quantization_config,<br>    low_cpu_mem_usage=True, <br>    device_map=&quot;auto&quot;<br>)</pre><p>Vamos carregar também um modelo de embedding que utilizaremos para auxiliar na construção do nosso prompt:</p><pre>embeddings = HuggingFaceEmbeddings(model_name=&quot;all-MiniLM-L6-v2&quot;)</pre><h3>PREPARAR MODELO</h3><p>Os modelos da Hugging Face podem ser facilmente executados localmente utilizando a classe HuggingFacePipeline. O <a href="https://huggingface.co/models">Hugging Face Model Hub</a> é um repositório que abriga mais de 120 mil modelos, 20 mil conjuntos de dados e 50 mil aplicativos de demonstração (Spaces), todos de código aberto e disponíveis publicamente. Esta plataforma online permite que as pessoas colaborem facilmente e construam modelos de machine learning juntas.</p><pre># Instanciar um pipeline transformers<br>pipe = pipeline(<br>    model=model,<br>    tokenizer=tokenizer,<br>    task=&quot;text-generation&quot;,<br>    max_new_tokens=1,<br>)<br><br># Passar o pipeline para a classe do LangChain<br>llm = HuggingFacePipeline(pipeline=pipe)</pre><h3>PROMPT ENGINEERING</h3><p>Para resolver este problema, criaremos um template de prompt que utiliza a estratégia few-shot, que pode ser construído a partir de um conjunto de exemplos. O conjunto de exemplos será dinâmico, sendo construído com base em tweets que possuem a maior similaridade semantica com o tweet de entrada.</p><h3>PREPARAR EXEMPLOS</h3><p>Selecionaremos os exemplos candidatos do conjunto de dados de treino que não estejam no dataset de validação. Cada exemplo de entrada deve ser um dicionário onde:</p><ul><li>key: o nome das variáveis de inputs do prompt;</li><li>values: os valores dos inputs.</li></ul><pre># indices de instancias que nao estao no dataset de validacao (evitar leak)<br>idx_train_examples = train.loc[~train.index.isin(valid.index)].index<br><br># organizar a lista com os exemplos candidatos<br>examples = [{&#39;tweet&#39;: train.text[i], <br>             &#39;label&#39;: str(train.label[i])} for i in idx_train_examples]</pre><h3>CRIAR TEMPLATE PARA OS EXEMPLOS COM PROMPTTEMPLATE</h3><p>Agora precisamos instanciar um PromptTemplate para nosso prompt, que recebe um template das instruções que desejamos passar para o LLM e os inputs que alimentam este template:</p><pre>example_template = &quot;&quot;&quot;<br>Tweet: {tweet}<br>Label: {label}<br>&quot;&quot;&quot;<br><br># Instanciar o exemplo de prompt <br>example_prompt = PromptTemplate(<br>    input_variables=[&quot;tweet&quot;, &quot;label&quot;], <br>    template=example_template<br>)</pre><h3>INSERIR EXEMPLOS COM EXAMPLESELECTOR</h3><p>Agora vamos instanciar SemanticSimilarityExampleSelector para selecionar exemplos com base em sua semelhança com a entrada. Ele usa um modelo de embedding para calcular a similaridade entre a entrada e os exemplos de few-shot, bem como um armazenamento de vetores <a href="https://www.trychroma.com/">Chroma</a> para realizar a pesquisa do vizinho mais próximo de maneira eficiente.</p><pre>example_selector = SemanticSimilarityExampleSelector.from_examples(<br>    examples = examples,<br>    embeddings = embeddings,<br>    vectorstore_cls = Chroma,<br>    k=3,<br>)</pre><p>Aumentar o número de vizinhos mais próximos não garantirá necessariamente resultados melhores. Normalmente k=6 no máximo já é suficiente. Se não conseguir bons resultados assim, já seria mais indicado realizar um ajuste fino mesmo.</p><h3>PREPARAR O FEWSHOTPROMPTTEMPLATE</h3><p>Finalmente, vamos definir a formatação para a apresentação dos exemplos e, em seguida, usar FewShotPromptTemplate para para gerar o template final que será utilizado como prompt com base nos valores de entrada.</p><pre>prefix = &quot;&quot;&quot;The following tweets are written in Brazilian Portuguese. \n\<br>You are a tweet classifier that identifies \<br>toxic language as 1 and non-toxic language as 0. \n\<br>Here are some examples:&quot;&quot;&quot;<br><br>suffix = &quot;&quot;&quot;<br>Tweet: {tweet} <br>Label: &quot;&quot;&quot;<br>prompt = FewShotPromptTemplate(<br>    example_selector=example_selector,<br>    example_prompt=example_prompt,<br>    prefix=prefix,<br>    suffix=suffix,<br>    example_separator=&#39;\n&#39;,<br>    input_variables=[&quot;tweet&quot;],<br>)</pre><p>Vejamos como será a formatação do prompt para a classificação de cada tweet:</p><pre>print(prompt.format(tweet=valid.head(1).text.values[0]))</pre><pre>## The following tweets are written in Brazilian Portuguese. <br>## You are a tweet classifier that identifies toxic language as 1 and non-toxic language as 0. <br>## Here are some examples:<br>## <br>## Tweet: caralho eu tenho q fazer alguma coisa mt importante mas eu esqueci o que é então n deve ser importante<br>## Label: 1<br>## <br>## Tweet: caralho as pessoas fazem me sentir a pessoa mais bosta e odiada possível eu tô bem<br>## Label: 0<br>## <br>## Tweet: tenho quase certeza que isso e um homem escroto fingindo ser mulher kkkkkkkkk por um momento eu tbm pensei nisso<br>## Label: 0<br>## <br>## Tweet: vei se um filho faz isso cmg eu pego o sanduíche e enfio no cu dele<br>## Label:</pre><h3>DEFINIR CUSTOM OUTPUT PARSERS</h3><p>Para concluir a cadeia, vamos definir uma função que funcione como um <a href="https://python.langchain.com/v0.1/docs/modules/model_io/output_parsers/custom/">Custom Output Parser</a>, que será responsável por pegar a saída do LLM e transformá-la no formato mais adequado para nosso caso. Precisamos apenas do último caractere que será retornado pelo LLM.</p><pre>def parse(response):<br>    &quot;&quot;&quot;Retorna apenas o ultimo caracter da saída do LLM&quot;&quot;&quot;<br>    return int(response[-1:])</pre><h3>DEFINIR CADEIRA LANGCHAIN</h3><p><a href="https://python.langchain.com/v0.1/docs/modules/chains/">Chains</a> referem-se à sequências de chamadas — seja para um LLM, uma etapa de pré-processamento de dados, <a href="https://python.langchain.com/v0.1/docs/modules/tools/">tools</a>, ou ainda etapas de pós-processamento do output gerado pelo modelo. As cadeias construídas desta forma são boas porque oferecem suporte nativo a streaming, assíncrono e inferência em batchs para uso.</p><pre>chain = prompt | llm | parse</pre><p>Vamos testar o comportamento da nossa cadeia em 1 tweet:</p><pre>print(f&quot;&quot;&quot;Tweet: {valid.head(1).text.values[0]}<br>Label: {valid.head(1).label.values[0]}<br>Predict: {chain.invoke({&#39;tweet&#39;:  valid.head(1).text.values[0]})}&quot;&quot;&quot;)</pre><pre>## Tweet: vei se um filho faz isso cmg eu pego o sanduíche e enfio no cu dele<br>## Label: 1<br>## Predict: 1</pre><p>Claramente um conteúdo tóxico e que foi classificado corretamente. Mas como queremos realizar a chamada da nossa cadeia para diversos tweets do dataset de test, utilizaremos o método .batch() que executa a cadeia para uma lista de entradas:</p><pre>%%time<br>valid[&#39;predict&#39;] = chain.batch([{&#39;tweet&#39;: x} for x in valid.text])</pre><pre>## CPU times: user 1min 26s, sys: 24.8 s, total: 1min 51s<br>## Wall time: 1min 50s</pre><h3>AVALIAR RESULTADOS</h3><p>Como a métrica de avaliação da competição era a acurácia, vamos dar uma olhada em como ficou a matriz de confusão:</p><p><a href="https://gomesfellipe.github.io/"><em>Clique aqui para ver o código do gráfico</em></a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/472/0*1_-2Qu-1LuCYwows.png" /></figure><h3>CONCLUSÃO</h3><p>Embora nosso objetivo não fosse alcançar a perfeição em termos de acurácia, até que o resultado foi satisfatório, dado o potencial dessa ferramenta para resolver uma ampla gama de problemas com poucas modificações nos códigos. Existem muitos outros caminhos a serem explorados (inclusive recomendo assistir à <a href="https://www.youtube.com/watch?v=bzU_STGxj7o&amp;t=6s">live no YouTube</a> em que os vencedores apresentaram soluções muito mais eficientes), nosso foco aqui foi praticar, aplicar e documentar alguns conceitos interessantes e úteis sobre LLMs e LangChain.</p><h3>SOBRE O AUTOR</h3><p>Me chamo Fellipe Gomes, sou formado em estatística e atuo como cientista de dados desde 2018. Compartilho meus estudos e evolução por meio de artigos, tutoriais e projetos de código aberto. Se quiser saber mais sobre meu trabalho, sinta-se à vontade para entrar em contato através das minhas redes sociais <a href="https://www.linkedin.com/in/gomesfellipe/">LinkedIn</a>, <a href="https://github.com/gomesfellipe">GitHub</a> e <a href="https://www.kaggle.com/gomes555">Kaggle</a>.</p><h3>REFERÊNCIAS</h3><ul><li><a href="https://www.kaggle.com/competitions/ml-olympiad-toxic-language-ptbr-detection">https://www.kaggle.com/competitions/ml-olympiad-toxic-language-ptbr-detection</a></li><li><a href="https://www.kaggle.com/models/google/gemma/transformers">https://www.kaggle.com/models/google/gemma/transformers</a></li><li><a href="https://huggingface.co/google/gemma-1.1-7b-it">https://huggingface.co/google/gemma-1.1-7b-it</a></li><li><a href="https://python.langchain.com/v0.1/docs/modules/model_io/prompts/few_shot_examples/">https://python.langchain.com/v0.1/docs/modules/model_io/prompts/few_shot_examples/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3956af77aade" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/detec%C3%A7%C3%A3o-de-linguagem-t%C3%B3xica-com-llm-gemma-e-langchain-3956af77aade">Detecção de linguagem tóxica com LLM Gemma e LangChain</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Análise de sentimentos com um "ChatGPT" de código aberto]]></title>
            <link>https://medium.com/data-hackers/an%C3%A1lise-de-sentimentos-com-um-chatgpt-de-c%C3%B3digo-aberto-b1ef943bc857?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/b1ef943bc857</guid>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[sentiment-analysis]]></category>
            <category><![CDATA[llama-2]]></category>
            <category><![CDATA[llm]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Fri, 03 May 2024 20:18:12 GMT</pubDate>
            <atom:updated>2024-05-04T01:28:22.832Z</atom:updated>
            <content:encoded><![CDATA[<p>Como executar localmente o LLM pré treinado de código aberto LLAMA2 para realizar uma análise de sentimentos em Python</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*KYpVW_J6uHnHt5wa.png" /></figure><h3>POR QUE ANÁLISE DE SENTIMENTOS?</h3><p>Compreender os sentimentos por trás de grandes volumes de texto tornou-se essencial, pois em um mundo cada vez mais digitalizado, a capacidade de compreender as respostas e emoções em larga escala das pessoas diante de produtos, eventos ou tópicos específicos não é apenas valiosa por fornecer insights, mas também se tornou uma necessidade para alavancar negócios e tornar-se cada vez mais competitivo.</p><blockquote>Análise de sentimento, também chamada de mineração de opinião, é o campo de estudo que analisa as opiniões, sentimentos, avaliações, apreciações, atitudes e emoções das pessoas em relação a entidades como produtos, serviços, organizações, indivíduos, questões, eventos, tópicos e seus atributos. <a href="https://www.cambridge.org/de/universitypress/subjects/computer-science/artificial-intelligence-and-natural-language-processing/sentiment-analysis-mining-opinions-sentiments-and-emotions-2nd-edition?format=HB&amp;isbn=9781108486378">Liu 2020</a></blockquote><h3>POR QUE LARGE LANGUAGE MODELS?</h3><p>A abordagem comum para resolver problemas de NLP envolviam a aplicação de <em>text mining</em>, <em>embeddings</em> como <em>word2vec</em> e <em>GloVe (Global Vectors for Word Representation)</em> e técnicas de Machine Learning, onde modelos como <em>Random Forest</em>, <em>SVM</em>, <em>Naive Bayes</em>, <em>KNN</em>, <em>Ensembles</em> e até mesmo Regressão eram frequentemente utilizados para classificar textos. Além disso, o uso de redes neurais recorrentes (<em>RNNs</em>) sempre foi uma alternativa valiosa, especialmente em situações que demandavam o processamento de dados sequenciais, sendo a <em>LSTM (Long Short-Term Memory)</em> uma variante eficaz para lidar com o desafio conhecido como <a href="https://en.wikipedia.org/wiki/Vanishing_gradient_problem"><em>vanishing gradient</em></a>.</p><p>Já no cenário atual de modelos pré-treinados, o <em>BERT (Bidirectional Encoder Representations from Transformers)</em> também teve bastante destaque nesse domínio antes da ascensão do <em>ChatGPT</em>, demonstrando a viabilidade como um método gerador de texto e mostraram o poder que as redes neurais têm para gerar longas sequências de texto que antes pareciam inatingíveis.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*YnRtHHTWzzU4Qq3L.png" /><figcaption><a href="https://www.techtarget.com/searchenterpriseai/definition/GPT-3">GPT-3 supera seus antecessores em termos de contagem de parâmetros</a></figcaption></figure><p>Embora já existam há algum tempo, os <em>LLMs</em> ganharam a mídia através do <em>ChatGPT</em>, interface de chat da OpenAI para modelos LLM GPT-3 lançado em 2020, com 175 milhões de parâmetros, que já teve uma série de avanços significativos nos últimos anos como seu irmão maior, o GPT-4 lançado em 2023 conta com incríveis 100 <strong>trílhões</strong> de parâmetros.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Kjryn_HmdXOqCtdE.png" /><figcaption><a href="https://www.techtarget.com/searchenterpriseai/definition/GPT-3">The comparison between GPT-3 and GPT-4 based on the number of parameters used in their architecture</a></figcaption></figure><p>Modelos com mais de 100 bilhões de parâmetros já podem ser considerados muito grandes, com conhecimento mundial muito rico. Esses modelos maiores conseguem “aprender” ainda mais informações sobre muitas coisas sobre fisica, filosofia, ciência, programação, etc sendo cada vez mais úteis para ajudar em tarefas que envolvam conhecimento profundo ou raciocinio complexo, sendo um bom “parceiro” para brainstorming.</p><p><strong>⚠️ Atenção!</strong><br>Afirmar que maiores modelos são sempre melhores não é verdade. O tempo de processamento, latência e o custo também irão aumentar, por isso <a href="https://medium.com/@masteringllm/mistral-7b-is-187x-cheaper-compared-to-gpt-4-b8e5ee1c9fc2">abordagens alternativas</a> também devem ser consideradas.</p><h3>COMO FUNCIONAM OS LLMS?</h3><p>Os <em>LLMs</em> são modelos de <em>Machine Learning</em> que usam algoritmos de <em>Deep Learning</em> para processar e compreender a linguagem natural, gerando texto de maneira eficaz. Esses modelos são treinados com grandes volumes de dados da internet, adquirindo a capacidade de identificar padrões na composição de palavras e frases. A idéia básica por trás desses modelos é que são capazes de gerar texto prevendo repetidamente a próxima palavra oferecendo resultados rápidos e diversas aplicações práticas em várias áreas</p><h4>APLICAÇÕES</h4><p>Diferentemente de uma ferramenta de busca como o Google, o ChatGPT não recupera informações, mas cria frases e textos completos em tempo real com base no processamento de um imenso volume de dados, veja alguns exemplos de uso para diferentes tarefas:</p><p>✍️ <strong>ESCRITA:</strong></p><ul><li>Colaboração em brainstorming, sugerindo nomes;</li><li>Elaboração de templates para comunicados e e-mails;</li><li>Tradução automática.</li></ul><p>📖 <strong>LEITURA</strong>:</p><ul><li>Revisão de textos;</li><li>Sumarização de artigos extensos;</li><li>Análise de sentimentos, possibilitando a criação de dashboards para acompnhamento ao longo do tempo.</li></ul><p>💬 <strong>CONVERSA</strong>:</p><ul><li>Diálogos e aconselhamentos;</li><li>Coaching de carreira;</li><li>Planejamento de viagens; Sugestões de receitas;</li><li>Conversação interativa com documentos PDF;</li><li>Atendimento ao cliente;</li><li>Realização de pedidos.</li></ul><h3>O QUE FAREMOS AQUI?</h3><p>Nosso objetivo aqui é realizar uma análise de sentimentos para classificar sentenças como positivas ou negativas utilizando algum LLM pré-treinado. Embora a OpenAI já tenha sido uma organização sem fins lucrativos que lançava seus projetos como código aberto, desde o lançamento do ChatGPT ela se tornou uma empresa que mantém a propriedade de seus códigos fonte. Isso significa que apesar da facilidade de criar aplicações, modelos mais poderosos e relativamente baratos, desenvolvedores de IA não podem modificar o GPT-3 para atender às nossa necessidades específicas ou incorporá-lo em seus próprios projetos de maneira livre e gratuita. Portanto teremos de recorrer à alternativas não tão(*) <em>open source</em> como o <a href="https://huggingface.co/meta-llama"><em>Llama 2</em> da Meta</a> que permite total controle sobre o modelo, rodar em nosso próprio computador/servidor e nós dá o controle sobre a privacidade dos nossos dados.</p><p>(*) “Código aberto” 🤔<br>Não é totalmente código aberto pois por mais que a Meta tenha disponibilizado o modelo treinado para uso livre, ele não compartilha os dados de treinamento do modelo ou o código usado para treiná-lo.</p><h3>MÃOS A OBRA!</h3><h3>INICIAR AMBIENTE DE TRABALHO</h3><p>Primeiramente vamos carregar todas as dependencias necessárias para executar os códigos a seguir:</p><pre>import pandas as pd<br>import numpy as np<br>import seaborn as sns<br>import matplotlib.pyplot as plt<br>from wordcloud import WordCloud<br>from PIL import Image<br>from nltk.corpus import stopwords<br>from collections import Counter<br>from sklearn.model_selection import train_test_split<br>from sklearn.metrics import confusion_matrix, accuracy_score<br>from llama_cpp import Llama<br>from tqdm.notebook import tqdm<br>tqdm.pandas()</pre><h3>CARREGAR DADOS</h3><p>Utilizaremos uma versão <a href="https://www.kaggle.com/datasets/luisfredgs/imdb-ptbr">traduzida do dataset IMdb para o português</a>, um conjunto de dados do Internet Movie Database (IMDB), que é uma das maiores e mais abrangentes bases de dados online sobre filmes e programas de televisão.</p><pre>#Importar todo conjunto de dados<br>df = pd.read_csv(&#39;input/imdb-reviews-pt-br.csv&#39;, index_col=&#39;id&#39;)<br># Obter amostra de tamanho 100<br>_, df = train_test_split(df, test_size=100, random_state=42, shuffle=True)</pre><h3>INFORMAÇÕES GERAIS</h3><p>Esse dataset inclui avaliações e críticas de filmes feitas por usuários do IMDB, bem como informações sobre os próprios filmes, como título, ano de lançamento, gênero, etc.</p><h3>ANÁLISE EXPLORATÓRIA</h3><h4>DISTRIBUIÇÃO DOS SENTIMENTOS NA AMOSTRA</h4><p>Primeiro vamos entender como ficou distribuída a proporção dos sentimentos na amostra coletada:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/590/0*xD0JTpvCoWtVDGN5.png" /></figure><p>📌 <strong>Interpretação:</strong> Coletei uma amostra aleatória simples de tamanho n=100 de todas as reviews que contém aproximadamente metade de cada sentimento para diminuir o tempo computacional de execução no meu computador.</p><h4>PALAVRAS MAIS FREQUENTES PARA CADA SENTIMENTO</h4><p>Núvens de palavras das resenhas dos filmes que foram anotadas como positivos e como negativos nas duas linguas disponíveis no dataset:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/0*lM823RZ2J-1cvLmF.png" /></figure><p>Núvem de palavras mais frequentes das resenhas em <strong>🇺🇲 Inglês</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/690/0*xFF5F5mo4apw6bPv.png" /></figure><p>Núvem de palavras mais frequentes das resenhas em <strong>🇧🇷 Português</strong></p><p><strong>📌 Interpretação:</strong> Como esperado, mesmo com a mudança na língua, a frequência das palavras é exibida de maneira muito similar de acordo com cada sentimento.</p><h3>ANÁLISE DE SENTIMENTOS</h3><h4>FAMÍLIA LLAMA 2 DE LARGE LANGUAGE MODELS (LLMS)</h4><p>Nesta seção, exploraremos o <a href="https://llama.meta.com/"><em>Llama 2</em></a>, um modelo de código aberto, e discutiremos as vantagens e desvantagens em relação aos LLMs de código fechado ou remotos.</p><h4>TAMANHO DO MODELO</h4><p>Para saber qual modelo utilizar, primeiramente precisamos ter em mente algumas noções sobre a quantidade de parâmetros e tamanhos dos LLM. No geral:</p><ul><li><strong>1 Bilhão</strong>: Bons em correspondência de padrões e algum conhecimento básico do mundo (como por exemplo classificar avaliações por sentimento)</li><li><strong>10 Bilhões</strong>: Maior conhecimento mundial, conhecem mais fatos esotéricos sobre o mundo e melhoram em seguir instruções básicas (bom para chatbot para pedidos de comida);</li><li><strong>100+ Bilhões</strong>: Muito grandes, com conhecimento mundial muito rico, saberão coisas sobre física , filosofia, ciência e assim por diante e serão melhores em raciocínios complexos (tarefas que envolvem conhecimento profundo ou raciocínio complexo, parceiro para brainstorming)</li></ul><p>Para uma análise de sentimentos simples, não é necessário um modelo com 100 bilhões de parâmetros. Modelos menores, como os com 7 bilhões de parâmetros, podem ser suficientes e menos computacionalmente exigentes.</p><h4>CÓDIGO ABERTO OU FECHADO</h4><p>Embora próximos, os LLMs de código aberto ainda não conseguem igualar o poder e a precisão dos aplicativos de código fechado disponíveis comercialmente, como <a href="https://openai.com/gpt-4">GPT-4</a> e <a href="https://gemini.google.com/app">Bard (Gemini)</a>. Mesmo sendo menos poderosos, existem alguns prós e contras pelos quais podemos pesar na hora de escolher a melhor opção:</p><p><strong>Open Source</strong></p><ul><li>Total controle sobre o modelo</li><li>Pode rodar em nosso próprio computador/servidor</li><li>Controle sobre a privacidade dos dados</li></ul><p><strong>Closed</strong></p><ul><li>Fácil de criar aplicações</li><li>Maiores e mais poderosos</li><li>Relativamente barato</li><li>Existe um certo risco de depender do fornecedor</li></ul><p>Utilizaremos a abordagem de código aberto por ser mais prática para fins de estudos, pois além de gratuita, não exige internet, registros ou chaves de API.</p><h4>USO REMOTO OU LOCAL</h4><p>Podemos interagir com o modelo de linguagem grande (LLM) do Llama 2 via API da <a href="https://huggingface.co/">Hugging Face</a>, seguindo as instruções do <a href="https://huggingface.co/meta-llama">repositório oficial da Meta</a> ou podemos baixar os arquivos do modelo em formato GGML para o <a href="https://huggingface.co/meta-llama/Llama-2-7b-chat-hf">Llama 2 7B Chat do Meta Llama 2</a>. Os formatos GGML são utilizados para inferência de CPU + GPU usando o principamente o pacote <a href="https://pypi.org/project/llama-cpp-python/">llama-cpp-python</a>.</p><p>Para mais informações sobre como configurar o modelo consulte <a href="https://swharden.com/blog/2023-07-29-ai-chat-locally-with-python/">este link</a></p><pre>def load_llama_model(model_path=&quot;./input/llama-2-7b-chat.ggmlv3.q2_K.bin&quot;, language=&#39;en&#39;, seed=42):<br>    # Determinar o tamanho da janela de contexto com base no idioma<br>    if language == &#39;en&#39;:<br>        context_window = df.text_en.map(len).max()<br>    elif language == &#39;pt&#39;:<br>        context_window = df.text_pt.map(len).max()<br>    else:<br>        raise ValueError(&quot;Language must be &#39;en&#39; or &#39;pt&#39;.&quot;)<br><br>    # Carregar o modelo Llama<br>    return Llama(model_path=model_path,<br>                 verbose=False,<br>                 n_ctx=context_window,<br>                 seed=seed)</pre><p>Para obter os melhores resultados, devemos ser o mais claro e específicos possível nas interações. Porém devemos iniciar com um prompt simples e rápido para ir direcionando o modelo na direção desejada e avaliando os resultados obtidos e ajustando gradualmente o prompt para refinar e aprimorar a resposta desejada</p><pre>def classify_sentiment_llama(text, llama_model):<br>    # Construir a prompt para o modelo Llama<br>    prompt = f&#39;&#39;&#39; \<br>    Q: Answer with just one word, \<br>    does the following text express a \<br>    positive or negative feeling? \<br>    {text} \<br>    A:&#39;&#39;&#39;<br>    # Obter a saída do modelo Llama<br>    output = llama_model(prompt, max_tokens=3)<br>    return output[&quot;choices&quot;][0][&quot;text&quot;]</pre><p>Com nosso prompt definido, já podemos carregar o modelo:</p><pre># Carregar o modelo Llama para o idioma desejado<br>llama_model = load_llama_model(language=&#39;en&#39;)</pre><pre>## llama.cpp: loading model from ./llama-2-7b-chat.ggmlv3.q2_K.bin<br>## llama_model_load_internal: format     = ggjt v3 (latest)<br>## llama_model_load_internal: n_vocab    = 32000<br>## llama_model_load_internal: n_ctx      = 4320<br>## llama_model_load_internal: n_embd     = 4096<br>## llama_model_load_internal: n_mult     = 256<br>## llama_model_load_internal: n_head     = 32<br>## llama_model_load_internal: n_head_kv  = 32<br>## llama_model_load_internal: n_layer    = 32<br>## llama_model_load_internal: n_rot      = 128<br>## llama_model_load_internal: n_gqa      = 1<br>## llama_model_load_internal: rnorm_eps  = 5.0e-06<br>## llama_model_load_internal: n_ff       = 11008<br>## llama_model_load_internal: freq_base  = 10000.0<br>## llama_model_load_internal: freq_scale = 1<br>## llama_model_load_internal: ftype      = 10 (mostly Q2_K)<br>## llama_model_load_internal: model size = 7B<br>## llama_model_load_internal: ggml ctx size =    0.08 MB<br>## llama_model_load_internal: mem required  = 2733.66 MB (+ 2160.00 MB per state)<br>## llama_new_context_with_model: kv self size  = 2160.00 MB<br>## llama_new_context_with_model: compute buffer total size =  295.35 MB</pre><p>Após instanciar o modelo, basta aplicá-lo em nossa base de dados. (apliquei o mesmo modelo tanto para as reviews e português quanto em inglês).</p><pre>df[&#39;sentiment_llm_en&#39;] = df.text_en.progress_apply(lambda x: classify_sentiment_llama(x, llama_model))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*SDbOIEAdWMXd_mio.png" /></figure><p>Como este modelo é o mais básico e não alteramos nenhum parâmetro (como por exemplo temperature, que determina se o output será mais aleatório ou mais previsível) pode ser que a saída não saia padronizada e necessite de algum pós-processamento. Vejamos como foram os outputs do LLM:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1005/0*2O9Btp7UiSWKafKe.png" /></figure><p><strong>📌 Interpretação:</strong> É possível observar que o modelo pré-treinado conseguiu reconhecer de maneira bastante coerente o sentimento dos trechos para as categorias pos e neg, porém, não vieram padronizadas exatamente como solicitamos ao modelo.</p><p>Como a saída não foi padronizada, vamos realizar algum pós-processamento para padronizar as classes como pos ou neg para possibilitar avaliar o desempenho do modelo com base em métricas de classificação.</p><pre>conditions = [<br>    (df.sentiment_llm_en.str.contains(&#39;(?i)(?:pos|fun)&#39;)),<br>    (df.sentiment_llm_en.str.contains(&#39;(?i)(?:neg|horrible|melanchol)&#39;))<br>]<br>pd.crosstab(df.sentiment, np.select(conditions, [&#39;pos&#39;, &#39;neg&#39;], default=&#39;other&#39;))</pre><p>Com os outputs padronizados em duas classes, podemos verificar como foi a acurácia do modelo.</p><h4>DESEMPENHO</h4><p>Como estamos diante de um problema de classificação, avaliaremos o desempenho do modelo com matrizes de confusão para entender a as taxas de acerto e calcular a acurácia pois o dataset é balanceado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*foW7Q2Sif-tRLcrs.png" /></figure><p><strong>📌 Interpretação:</strong> A acurácia geral para a língua Inglesa foi superior quando aplicado o mesmo modelo para a língua portuguesa. Vale lembrar que este modelo foi treinado em Inglês e estamos utilizado a menor das opções.</p><p>O desempenho deste modelo é muito interessante, principalmente por já ser pré treinado, não sendo necessário gastar tanto tempo na sua construção mas para afirmar que este modelo é bom precisamos entender qual seria o resultado para resolver este problemas se utilizassemos a abordagem mais simples possível.</p><h4>VADER</h4><p>O <strong><em>VADER</em></strong><em> (Valence Aware Dictionary and sEntiment Reasoner)</em> é uma abordagem mais simples e rápida em comparação aos LLMs. Não requer o treinamento de um modelo, mas depende de léxicos de palavras relacionadas a sentimentos. Pode ser facilmente utilizado via bibliotecas de código aberto em Python, como <a href="https://pypi.org/project/vaderSentiment/">vaderSentiment</a> para inglês e <a href="https://github.com/rafjaa/LeIA">LeIA (Léxico para Inferência Adaptada)</a> para português.</p><p>A abordagem é direta: no léxico (uma coleção de palavras), cada palavra já possui uma nota atribuída. Ao passar um documento (frase), retorna um dicionário com o escore de polaridade com base no escore das palavras no texto. O dicionário inclui o valor do sentimento geral normalizado (compound), variando de -1 (extremamente negativo) a +1 (extremamente positivo). Esse valor pode ser usado para descrever o sentimento predominante no texto, considerando os seguintes limites:</p><ul><li>Sentimento positivo: compound &gt;= 0.05</li><li>Sentimento negativo: compound &lt;= -0.05</li><li>Sentimento neutro: (compound &gt; -0.05) e (compound &lt; 0.05)</li></ul><p>A execução do código é bem rápida, sendo útil para referência como baseline ou em casos em que temos baixo recurso computacional e um grande volume de dados para classificar.</p><h4>DESEMPENHO</h4><p>Como estamos diante de um problema de classificação, avaliaremos o desempenho do modelo com matrizes de confusão para entender a as taxas de acerto e calcular a acurácia pois o dataset é balanceado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*8kMRJhWclOmja19X.png" /></figure><p><strong>📌 Interpretação:</strong> A acurácia geral do método foi praticamente o mesmo para ambas as linguas. Na lingua inglesa observamos mais casos de falsos positivos (22%), já na lingua portuguesa observamos mais casos de falsos negativos (14%).</p><p>Essa abordagem é boa para ser utilizada como baseline pois quase todas as abordagens tradicionais de Machine Learning para a tarefa de análise de sentimentos necessitam de tempo para desenvolvimento, treino, validação e sustentação de modelos.</p><h3>RESULTADO FINAL</h3><p>Avaliamos o desempenho de ambas as abordagens para determinar se o uso do LLM justificou-se em comparação com a abordagem mais simples para a execução da tarefa de análise de sentimentos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/616/0*C8xEGT4aalTU8o_e.png" /></figure><p><strong>📌 Interpretação:</strong> A acurácia geral foi consideravelmente maior para o modelo Llama2 em ambas as línguas, mesmo sendo treinado principalmente em dados da língua inglesa.</p><h3>CONCLUSÃO E DISCUSSÃO</h3><p>Os avanços tecnológicos na área são verdadeiramente impressionantes e evidenciam a rápida evolução da inteligência artificial. É importante estarmos sempre atentos a essas mudanças, pois a área de LLMs está em constante crescimento e melhorias significativas são desenvolvidas diariamente.</p><p>Em meio a tantos avanços, também é importante reconhecer as limitações desses modelos. Um dos desafios é o corte de conhecimento (knowledge cutoffs), o que significa que o modelo é treinado até uma determinada data, como 2022, portanto não possui conhecimento sobre eventos ou desenvolvimentos que ocorreram após essa data. Além disso, os LLMs estão sujeitos a “hallucinations”, ou seja, podem inventar informações em um tom muito confiante, o que pode levar a resultados imprecisos ou até mesmo prejudiciais.</p><p>Outras limitações incluem restrições no input e output dos modelos, o que pode tornar difícil lidar com grandes volumes de dados ou fornecer resultados completos de uma só vez. Além disso, os LLMs geralmente não funcionam bem com dados estruturados, como tabelas, e podem reproduzir vieses e toxicidade presentes na sociedade, o que levanta preocupações éticas e sociais importantes.</p><p>Portanto, enquanto enquanto exploramos esse vasto campo das redes neurais, é essencial abordar essas limitações e desenvolver soluções que permitam o uso ético e responsável dessas poderosas ferramentas de IA.</p><h3>SOBRE O AUTOR</h3><p>Me chamo Fellipe Gomes, sou formado em estatística e atuo como cientista de dados desde 2018. Compartilho meus estudos e evolução por meio de artigos, tutoriais e projetos de código aberto. Se quiser saber mais sobre meu trabalho, sinta-se à vontade para entrar em contato através das minhas redes sociais <a href="https://www.linkedin.com/in/gomesfellipe/">LinkedIn</a>, <a href="https://github.com/gomesfellipe">GitHub</a> e <a href="https://www.kaggle.com/gomes555">Kaggle</a>.</p><h3>REFERÊNCIAS</h3><ul><li><a href="https://medium.com/mapegy-tech/large-scale-language-models-for-innovation-and-technology-intelligence-sentiment-analysis-on-news-2c1ed1f6f2ad">Large-scale language models for innovation and technology intelligence: sentiment analysis on news articles</a></li><li><a href="https://medium.com/luisfredgs/an%C3%A1lise-de-sentimentos-com-redes-neurais-recorrentes-lstm-a5352b21e6aa">Análise de sentimentos com redes neurais recorrentes LSTM</a></li><li><a href="https://www.coursera.org/programs/applied-intelligence-workera-vshgt/learn/generative-ai-for-everyone?authProvider=accenture-main">Generative AI for Everyone — Andrew Ng — Coursera Course</a></li><li><a href="https://swharden.com/blog/2023-07-29-ai-chat-locally-with-python/">Run Llama 2 Locally with Python</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b1ef943bc857" width="1" height="1" alt=""><hr><p><a href="https://medium.com/data-hackers/an%C3%A1lise-de-sentimentos-com-um-chatgpt-de-c%C3%B3digo-aberto-b1ef943bc857">Análise de sentimentos com um &quot;ChatGPT&quot; de código aberto</a> was originally published in <a href="https://medium.com/data-hackers">Data Hackers</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Vou te provar que da para fazer Grafos bonitos em R]]></title>
            <link>https://medium.com/@gomesfellipe/vou-te-provar-que-da-para-fazer-grafos-bonitos-em-r-bef52c76f28?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/bef52c76f28</guid>
            <category><![CDATA[web-scraping]]></category>
            <category><![CDATA[ner]]></category>
            <category><![CDATA[ggplot2]]></category>
            <category><![CDATA[graph]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Sat, 11 Dec 2021 20:52:17 GMT</pubDate>
            <atom:updated>2021-12-11T20:52:17.197Z</atom:updated>
            <content:encoded><![CDATA[<p>Neste post vamos coletar notícias via web screpping, detectar entidades dos textos e criar um grafo utilizando ggplot</p><p>Post publicado originalmente em: <a href="https://gomesfellipe.github.io/post/2021-12-03-grafos-em-r/">https://gomesfellipe.github.io/post/2021-12-03-grafos-em-r/</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/890/0*nvoPkgOBunI4hdZ9.png" /></figure><h3>INTRODUÇÃO E CONTEXTO</h3><p>Durante os anos de 2020 e 2021 fiz um <a href="https://educacao-executiva.fgv.br/df/brasilia/cursos/mba-pos-graduacao/mba-presencial/mba-executivo-em-business-analytics-e-big-data">MBA Executivo em Business Analytics e Big Data</a> na FGV e uma das disciplinas que gostei bastante abordou a análise de mídias sociais com técnicas de mineração de texto e processamento de linguagem natural.</p><p>No trabalho final fomos desafiados a extrair dados da internet via api ou scraping, aplicar a metodologia apropriada para extrair informações de interesse e contruir um Grafo.</p><p>Como esse gráfico deu mais de trabalho do que eu esperava e fiquei bem satisfeito com o resultado final, resolvi fazer uma nova análise para praticar e publicar aqui no blog, espero que gostem!</p><h3>O QUE SÃO GRAFOS?</h3><p>📎 Segundo o Wikipedia:</p><blockquote>“A teoria dos grafos é um ramo da matemática que estuda as relações entre os objetos de um determinado conjunto”</blockquote><p>São muito úteis para análises de redes sociais, redes de amizades ou qualquer rede com relações de dependências. Existem muitos tipos de grafos como conectados, desconectados, esparsos, densos, direcionados, não direcionados e por ai vai…</p><p>Além disso existe toda uma nomenclatura específica, mas não entrarei em detalhes teóricos neste post pois também estou estudado sobre o tema! Caso queira aprofundar na teoria por trás recomendo <a href="http://faculty.ucr.edu/~hanneman/nettext/index.html">este material</a> gratuito muito bom!</p><h3>COMO CONTRUIR UM?</h3><p>No curso que fiz aprendemos a mexer no <a href="https://gephi.org/">Gephi</a> para a contrução desses Grafos (ferramenta incrível, diga-se de passagem) porém ouvi dizer diversas vezes, tanto dentro quanto fora da FGV, que R e Python eram muito limitados para construção de Grafos bonitos e que esse software sempre a melhor opção.</p><p>Apesar do enorme potencial do Gephi, fiquei um pouco entediado estudando-o pois não sou grande fã de ferramentas <em>point-and-click</em> e quando o professor falou que a escolha da ferramenta para a construção do Grafo era livre, resolvi tentar fazê-lo em R!</p><h3>CARREGAR DEPENDÊNCIAS</h3><p>Pacotes utilizados neste post:</p><pre><strong>library</strong>(rvest)     <em># web scrapping</em><br><strong>library</strong>(dplyr)     <em># manipulate data</em><br><strong>library</strong>(purrr)     <em># functional prog</em><br><strong>library</strong>(stringr)   <em># str toolkit</em><br><strong>library</strong>(spacyr)    <em># ner</em><br><strong>library</strong>(igraph)    <em># base graph</em><br><strong>library</strong>(tidygraph) <em># tidy graph</em><br><strong>library</strong>(ggraph)    <em># plot graph</em></pre><h3>FONTE DOS DADOS</h3><p>Os dados utilizados neste post foram coletados via web scrapping do site do <a href="https://g1.globo.com/">G1 - Globo</a>. Optei por trabalhar com textos jornalísticos neste post pois apresentam a vantagem de serem bem escritos, o que facilita na tarefa de mineração de texto.</p><p>Também fiz um grafo analisando tweets sobre a CPI da pandemia <a href="https://gomesfellipe.github.io/#b%C3%B4nus">que será apresentado como bônus no final deste post</a> e para quem tiver curiosidade de conferir <a href="https://github.com/gomesfellipe/cpi_da_pandemia">os códigos</a> vai notar que foi necessário um tratamento muito mais extensivo para corrigir os nomes de cada um dos senadores, deputados e personagens políticos detectados.</p><p>Confira abaixo todos os códigos necessários para realizar tal extração:</p><pre><em># Funcao para coletar os links de cada noticia</em><br>scrape_post_links &lt;- <strong>function</strong>(site) {<br>  cat(paste0(site, &quot;\n&quot;))<br>  <br>  source_html &lt;- read_html(site)<br>  <br>  links &lt;- source_html %&gt;%<br>    html_nodes(&quot;div.widget--info__text-container&quot;) %&gt;%<br>    html_nodes(&quot;a&quot;) %&gt;%<br>    html_attr(&quot;href&quot;)<br>  <br>  links &lt;- links[!is.na(links)]<br>  <br>  <strong>return</strong>(links)<br>}<br><br><em># Funcao para coletar o texto da materia em cada link</em><br>scrape_post_body &lt;- <strong>function</strong>(site) { <br>  <br>  text &lt;- <strong>tryCatch</strong>({<br>    cat(paste0(site, &quot;\n&quot;))<br>    body &lt;- site %&gt;%<br>      read_html %&gt;%<br>      html_nodes(&quot;article&quot;) %&gt;%<br>      html_nodes(&quot;p.content-text__container&quot;)  %&gt;%<br>      html_text %&gt;% <br>      paste(collapse = &#39;&#39;)<br>    <br>  }, error = <strong>function</strong>(e){<br>    cat(paste(&quot;ERRO 404&quot;, &quot;\n&quot;))<br>    body &lt;- NA<br>  })<br>  <br>  <strong>return</strong>(body)<br>}<br><br><em># criar matriz de adjacencias</em><br>get_adjacent_list &lt;- <strong>function</strong>(edge_list) {<br>  gtools::combinations(length(edge_list), 2, edge_list)  <br>}</pre><p>Extração:</p><pre><em># raiz</em><br>root &lt;- &quot;<a href="https://g1.globo.com/busca/?q=economia+brasil">https://g1.globo.com/busca/?q=economia+brasil</a>&quot;<br><br><em># gerar links das proximas 100 paginas</em><br>all_pages &lt;- c(root, paste0(root, &quot;&amp;page=&quot;, 1:50))<br><br><em># coletar os links dos posts de cada pagina</em><br>all_links &lt;- map(all_pages, scrape_post_links) %&gt;% unlist()<br><br><em># extrair urls</em><br>cleaned_links &lt;- map_chr(all_links, ~{<br>  .x %&gt;% <br>    urltools::param_get() %&gt;% <br>    pull(u) %&gt;% <br>    urltools::url_decode()<br>})<br><br><em># reter apenas links que falam de economia</em><br>cleaned_links &lt;- cleaned_links %&gt;% .[str_detect(.,  &quot;<a href="http://g1.globo.com/economia">g1.globo.com/economia</a>&quot;)]<br><br><em># nao reter links do globoplay</em><br>cleaned_links &lt;- cleaned_links %&gt;% .[!str_detect(.,  &quot;globoplay&quot;)]<br><br><em># coletar conteudo de cada link</em><br>data &lt;- map_chr(cleaned_links, scrape_post_body) %&gt;% unique()</pre><h3>NER — NAMED ENTITY RECOGNITION</h3><p>Utilizaremos um modelo de reconhecimento de entidades pré-treinado fornecido pela <a href="https://spacy.io/">Spacy</a> (que fornece essa e muitas outras soluções interessantes quando se trata de processamento de linguagem natural).</p><p>Primeiramente vamos configurar o spacyr na máquina para utilizar o modelo pré treinado para reconhecimento de entidades em português:</p><pre><em># Executar apenas 1 vez</em><br>spacyr::spacy_install()<br>spacy_download_langmodel(&quot;pt_core_news_sm&quot;)</pre><p>Inicializar modelo pré-treinado em português:</p><pre>spacy_initialize(model=&quot;pt_core_news_sm&quot;)</pre><p>Aplicar modelo carregado para o reconhecimento de entidades:</p><pre>entities &lt;- spacy_extract_entity(data)<br>entities</pre><p>Filtrar apenas entidades cujo tipo são <strong>pessoas</strong> ou <strong>organizações</strong>:</p><pre>filtered_entities &lt;- <br>  entities %&gt;% <br>  filter(ent_type==&#39;ORG&#39;| ent_type==&#39;PER&#39;)</pre><h3>PREPARAR DADOS</h3><p>Precisamos criar uma lista de arestas:</p><pre>edges &lt;- <br>  filtered_entities %&gt;%<br>  group_by(doc_id) %&gt;%<br>  summarise(entities = paste(text, collapse = &quot;,&quot;)) %&gt;% <br>  pull(entities) %&gt;% <br>  str_split(&quot;,&quot;) %&gt;% <br>  map(~unique(unlist(.x))) %&gt;% <br>  .[map_dbl(., length) != 1]</pre><p>Agora criaremos a matriz de adjacências, que envolvem todas as combinações 2 a 2 das entidades detectadas em cada notícia:</p><pre>adjacent_matrix &lt;-<br>  map_dfr(edges, ~ as.data.frame(get_adjacent_list(.x))) %&gt;% <br>  as_tibble() %&gt;% <br>  set_names(c(&#39;item1&#39;, &#39;item2&#39;))</pre><p>Aplicaremos algum tratamento para padronizar as entidades, reter apenas combinações que aconteceram pelo menos 3 vezes e remover algum resíduo que veio no processo de NER:</p><pre><em># Padronizar entidades</em><br>adjacent_matrix &lt;- adjacent_matrix %&gt;% <br>  mutate_all(~.x %&gt;% <br>       str_replace_all(&quot;Fundação Getulio Vargas&quot;, &quot;FGV&quot;) %&gt;% <br>       str_replace_all(&quot;FMI&quot;, &quot;Fundo Monetário Internacional&quot;) %&gt;% <br>       str_replace_all(&quot;Paulo Guedes&quot;, &quot;Guedes&quot;) %&gt;% <br>       str_replace_all(&quot;Estados Unidos( da Am[ée]rica)?&quot;, &quot;EUA&quot;) %&gt;% <br>       str_replace_all(&quot;Donald Trump&quot;, &quot;Trump&quot;) %&gt;% <br>       str_replace_all(&quot;CEF&quot;, &quot;Caixa Econômica Federal&quot;) %&gt;% <br>       str_replace_all(&quot;CMN&quot;, &quot;Conselho Monetário Nacional&quot;) %&gt;% <br>       str_replace_all(&quot;Cl[áa]udio Considera&quot;, &quot;Cláudio&quot;) %&gt;% <br>       str_replace_all(&quot;OCDE&quot;, &quot;Organização para a Cooperação e<br>                               Desenvolvimento Econômico&quot;) %&gt;% <br>       str_replace_all(&quot;(André )?Brandão&quot;, &quot;André Brandão&quot;) %&gt;% <br>       str_replace_all(&quot;(Maur[ií]cio )?Macri&quot;, &quot;Mauricio Macri&quot;) %&gt;% <br>       str_remove_all(&quot;^(?i)(no|de)\\s&quot;)<br>)</pre><pre><em># remover residuos</em><br>{<br>  entities_to_drop &lt;- c(&quot;Assine&quot;, &quot;Google Podcasts&quot;,<br>                        &quot;Spotify&quot;, &quot;Focus do&quot;, &quot;Focus&quot;,<br>                        &quot;Segundo&quot;, &quot;Ninguém&quot;, &quot;Haverá&quot;, <br>                        &quot;G1&quot;, &quot;Começa&quot;, &quot;LEIA&quot;, &quot;R$&quot;,<br>                        &quot;Considera&quot;, &quot;Caixa Aqui&quot;)<br>  <br>  weighted_edgelist &lt;- adjacent_matrix %&gt;%<br>    filter_at(1:2, ~ !.x %<strong>in</strong>% entities_to_drop) %&gt;% <br>    group_by(item1, item2) %&gt;%<br>    summarise(n=n()) %&gt;% <br>    ungroup() %&gt;% <br>    filter(n&gt;3) <br>}</pre><p>Definir alguns objetos para o grafo:</p><pre><em># Instanciar objeto das setas</em><br>a &lt;- grid::arrow(type = &quot;closed&quot;, length = unit(.15, &quot;inches&quot;))</pre><pre><em># Definir pesos conforme numero de ocorrencias</em><br>subt &lt;- weighted_edgelist</pre><pre><em># Instanciar objeto dos vertices</em><br>vert &lt;- subt %&gt;% <br>  tidyr::gather(item, word, item1, item2) %&gt;%<br>  group_by(word) %&gt;% <br>  summarise(n = sum(n))</pre><pre><em># Obter componentes para colorir os clusters do grafo</em><br>tidy_graph_components &lt;- <br>  subt  %&gt;%<br>  select(item1, item2) %&gt;% <br>  as.matrix() %&gt;%<br>  graph.edgelist(directed = FALSE)  %&gt;%<br>  as_tbl_graph() %&gt;% <br>  activate(&quot;edges&quot;) %&gt;% <br>  <em># definir pesos como numero de ocorrencias</em><br>  mutate(weight = subt$n) %&gt;% <br>  activate(&quot;nodes&quot;) %&gt;% <br>  <em># obter clusters:</em><br>  mutate(component = as.factor(tidygraph::group_edge_betweenness()))<br>  <em># outros tipos de agrupamentos:</em><br>  <em># </em><a href="http://tidygraph.data-imaginist.com/reference/group_graph.html"><em>tidygraph.data-imaginist.com/reference/group_graph.html</em></a><em> </em><br>  <br><em># Atualizar vertice para incluir grupos</em><br>vert &lt;- vert %&gt;% <br>  left_join( as.data.frame(activate(tidy_graph_components, &quot;nodes&quot;)) %&gt;% <br>               rename(word = name))</pre><p>Finalmente, vamos criar o grafo utilizando ggplot:</p><pre>set.seed(1)<br>subt %&gt;%<br>  graph_from_data_frame(vertices = vert) %&gt;%<br>  <em># </em><a href="https://www.data-imaginist.com/2017/ggraph-introduction-layouts/"><em>https://www.data-imaginist.com/2017/ggraph-introduction-layouts/</em></a><em> # layouts</em><br>  ggraph(layout = &quot;fr&quot;) +<br>  geom_edge_link(aes(edge_alpha = n, edge_width = n), show.legend = FALSE,<br>                 arrow = a, end_cap = circle(.07, &#39;inches&#39;), color = &quot;#D9D9D9A0&quot;) +<br>  geom_node_point() + <br>  geom_node_text(aes(label = name, size = n, alpha = n, color = component),<em># color = &quot;#EAFF00&quot;,</em><br>                 repel = TRUE, point.padding = unit(0.2, &quot;lines&quot;),<br>                 show.legend = F) +<br>  scale_size(range = c(2,10)) +<br>  scale_alpha(range = c(0.5,1))+ <br>  theme_dark() + <br>  theme(<br>    panel.background = element_rect(fill = &quot;#2D2D2D&quot;),<br>    legend.key = element_rect(fill = &quot;#2D2D2D&quot;)<br>  ) +<br>  theme_graph(background = &quot;black&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*N8HO_H9idccc8hco.png" /></figure><p>📌 Interpretação</p><p>Este grafo resume algumas informações interessantes sobre como o cenário da economia no brasil estava no dia 30 de novembro de 2021. Vejamos alguns pontos relevantes que podem ser envontrados no cenário atual:</p><p>☞ Bolsa familia</p><p>O Auxílio Brasil é referido como o “Novo Bolsa Família” pelos jornais e por isso deve ter sido criada tal relação no Grafo. Já a Caixa Econômica Federal é o agente que executa os pagamentos.</p><p>☞ Guedes</p><p>Paulo Guedes é nosso atual ministro da economia e envolta de seu nome aparecem diversos assuntos que estão em pauta atualmente como a PEC dos precatórios, (a privatização da) Petrobrás, Copom, IPCA, Auxílio Brasil dentre outros.</p><p>☞ Fundo Monetário Internacional</p><p>O FMI <a href="https://pt.wikipedia.org/wiki/Fundo_Monet%C3%A1rio_Internacional">trabalha para melhorar as economias dos países</a> e além da Argentina estar endividada e em acordo com o FMI, é época de eleição, o que explica haver alguns personagens de sua política relacionados.</p><p>Salvar localmente em alta resolução:</p><pre>ggsave(filename = &#39;grafo.png&#39;, width = 8, height = 6, device=&#39;png&#39;, dpi=700)</pre><p>O legal de salvar em alta resolução é poder dar zoom e navegar pelo grafo!</p><h3>BÔNUS</h3><p>Antes de criar este post trabalhei em um <a href="https://github.com/gomesfellipe">outro grafo</a> com banco de dados de aproximadamente 27GB de tweets coletados e fornecidos gentilmente pelo <a href="https://twitter.com/trifenol">Janderson Toth</a> (Para quem não o conheçe, recomendo fortemente <a href="https://br.linkedin.com/in/trifenol">segui-lo no linkedin</a> pois ele tem compartilhado uma série de posts com insights obtidos destes dados!)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*hDMCXZo6LvgBXm9m.png" /></figure><p>Para quem tiver interesse, o código está <a href="https://github.com/gomesfellipe">disponível no github</a>!</p><h3>CONCLUSÃO</h3><p>Convenhamos que, de fato, criar um grafo no R não é uma tarefa super simples. No Gelphi é possível criar grafos até mais bonitos que este, porém, no longo prazo, ganhamos em produtividade e em escalabilidade pois poderíamos reaproveitar muito código e tranquilamente desenvolver uma rotina para criar novos grafos a partir de dados streaming, por exemplo, automatizando todo o processo!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bef52c76f28" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Desenvolva um bot e receba resultados de Machine Learning no seu Smartphone para ajudar nos…]]></title>
            <link>https://medium.com/ensina-ai/desenvolva-um-bot-e-receba-resultados-de-machine-learning-no-seu-smartphone-para-ajudar-nos-98a9d785cf6?source=rss-cbd9306fd4e------2</link>
            <guid isPermaLink="false">https://medium.com/p/98a9d785cf6</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[bolsa-de-valores]]></category>
            <category><![CDATA[bots]]></category>
            <category><![CDATA[iot]]></category>
            <dc:creator><![CDATA[Fellipe Gomes]]></dc:creator>
            <pubDate>Sat, 28 Mar 2020 17:15:01 GMT</pubDate>
            <atom:updated>2020-03-28T21:42:02.903Z</atom:updated>
            <content:encoded><![CDATA[<h3>Desenvolva um bot e receba resultados de Machine Learning no seu Smartphone para ajudar nos investimentos!</h3><p>Entenda a lógica de como montar uma carteira, coletar dados de finanças em tempo real, treinar um modelo de Machine Learning com Prophet (Facebook Open Source) e receber análises automatizadas no smartphone</p><p>Post publicado originalmente em: <a href="https://gomesfellipe.github.io/post/2020-03-25-investment-alert/investment-alert/">https://gomesfellipe.github.io/post/2020-03-25-investment-alert/investment-alert/</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TNzF5OC2795IzLMk6hDHZQ.png" /></figure><h3>POR QUE INVESTIR?</h3><p>Como esta sua situação financeira? Caso tenha alguma reserva pode ser interessante pensar em investimentos pois a poupança já não é mais garantia de lucro no longo prazo, não acredita?</p><p>Estamos no final do primeiro trimestre de 2020 e desde 2019 já liam-se notícias como esta abaixo que levam à reflexão sobre reeducação financeira pois alertam sobre a necessidade da busca por novas oportunidades de investimento.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*m4-8gex1-Se3---I.png" /><figcaption>Fonte: <a href="https://noticias.r7.com/economia/economize/poupanca-em-baixa-exige-busca-por-novos-investimentos-em-2020-25122019">https://noticias.r7.com/economia/economize/poupanca-em-baixa-exige-busca-por-novos-investimentos-em-2020-25122019</a></figcaption></figure><p>Com a finalidade de fomentar um pouco a discussão sobre investimentos, trouxe nesse post algumas sugestões e idéias de como elaborar uma carteira e otimizar as escolhas para equilibrar risco em novos investimentos combinando elementos de estatística, machine learning e programação em R.</p><p>Ao final do post criaremos um <a href="https://core.telegram.org/bots">robô no telegram</a> que coletará os dados das cotações adquiridas, aplicará o modelo <a href="https://facebook.github.io/prophet/docs/quick_start.html">Prophet do Facebook</a> para forecast e analisará a desmontagem da carteira segundo os critérios estabelecidos e enviará mensagens para nós com uma tabela financeira automatizada via Telegram como mostra na animação:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*YsdunTuixp8X5xPa.gif" /></figure><p><strong>AVISO</strong>: Este post <strong>não</strong> tem como finalidade ser um guia de investimentos (Já existem muitas consultorias especializadas nisso por ai). Todos as decisões tomadas como diversificação da carteira, seleção de ações e critérios para desmontagem da carteira são <strong>exemplos</strong> e servem para ilustrar algumas <strong>possibilidades</strong> que um cientista de dados têm na hora de desenvolver ferramentas para auxiliar à tomada de decisão.</p><h3>DIFERENÇA DE POUPAR E INVESTIR</h3><p>De acordo com um <a href="https://www.infomoney.com.br/minhas-financas/brasileiros-nao-sabem-a-diferenca-entre-poupar-e-investir-afirma-especialista-2/">especialista entrevistado pela InfoMoney</a>:</p><blockquote>“Poupar é guardar dinheiro para usar no futuro, comprar alguma coisa com ele. Investimento é juntar dinheiro, não mexer nele, para que este gere rendimentos e aí sim, usar os lucros mais para frente. É o recomendado para quem quer viver de renda no futuro, por exemplo” (…)</blockquote><blockquote>InfoMoney — Ago 2015</blockquote><p>Ou seja, poupar é acumular agora para utilizar depois, e normalmente envolve mudança de hábitos, pois requer uma redução nos gastos pessoais e familiares, já investir é usar esse dinheiro poupado em aplicações que rendam.</p><p>Como todo mundo sabe, não existe investimento sem risco e este risco deve ser controlado e utilizado a nosso favor de forma que gere alguma segurança financeira.</p><h3>MONTAGEM DA CARTEIRA</h3><p>Não colocar todos os ovos na mesma cesta significa que você deve diversificar o seu investimento. Provavelmente você já ouviu essa frase alguma vez na vida e ela certamente faz sentido!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/229/1*PjPH3UV96LNBYRHCFnHrCQ.png" /></figure><p>Diversificar a carteira irá proteger seus investimentos diminuindo o risco pois, imagine só, você investe todo o seu dinheiro em uma empresa e ela passa por alguma crise assim seu dinheiro estará todo comprometido!</p><p>Existem diversos motivos para se diversificar a carteira mas acho que essa metáfora dos ovos já resume bem pois acredito que ninguém queira perder tudo em uma queda.</p><h3>COMO DIVIDIR A CARTEIRA?</h3><p>Dependendo do risco que você deseja se expor existem muitas formas de preparar a carteira mas a idéias principal consiste em atingir um equilíbrio entre dois tipos de investimento:</p><ul><li>Renda fixa: Menor exposição, menor risco (ex.: CDI, Selic e TR)</li><li>Renda variável: Maior exposição, maior risco (ex: Ações, Commodities, Imóveis)</li></ul><p>Para ajudar a dividir a carteira de investimentos neste post utilizaremos a chamada <a href="https://www.btgpactualdigital.com/blog/coluna-gustavo-cerbasi/defina-sua-estrategia-entre-renda-fixa-ou-variavel">Regra (ou Lei) dos 80</a>. A estratégia é a seguinte: subtraia da sua idade o número 80. O resultado dessa conta vai indicar o percentual a ser investido em <a href="https://pt.wikipedia.org/wiki/Renda_vari%C3%A1vel">renda variável</a>. Por exemplo, no meu caso: tenho 26 anos, portanto 80−26=54%80−26=54% deverá ser investido em renda variável. Aos 53 anos esse percentual vai cairá para a metade, 27%27%.</p><p>A idéias principal por trás desta regra que é que a cada ano que passa, 1% do montante da renda variável deva ser direcionado para a <a href="https://pt.wikipedia.org/wiki/Renda_fixa">renda fixa</a>.</p><p>Para testar diferentes valores seguindo esta regra desenvolvi uma função que se chama <a href="https://gist.github.com/gomesfellipe/a74710a63b3c8637166b538ad2f460f5">montagem80() (que já está disponível no github)</a>. Vejamos alguns resultados para diferentes cenários e vamos selecionar um para seguir com a montagem da carteira:</p><pre># <a href="https://gist.github.com/gomesfellipe/a74710a63b3c8637166b538ad2f460f5">https://gist.github.com/gomesfellipe/a74710a63b3c8637166b538ad2f460f5</a><br>devtools::source_gist(&quot;a74710a63b3c8637166b538ad2f460f5&quot;, quiet = T)</pre><ol><li>Entrada de R$20.000,00</li></ol><pre>montagem80(entrada = 20000, idade = 26)</pre><pre>## • Entrada: R$R$20.000,00<br>##   └─ Renda fixa:     R$9.200,00<br>##   └─ Renda variavel: R$10.800,00<br>##        (Acao + Cryptomoeda): <br>##        R$9.720,00 + R$1.080,00</pre><ol><li>R$ 5.000,00 em acoes</li></ol><pre>montagem80(variavel = 10800, idade = 53)</pre><pre>## • Entrada: R$R$40.000,00<br>##   └─ Renda fixa:     R$29.200,00<br>##   └─ Renda variavel: R$10.800,00<br>##        (Acao + Cryptomoeda): <br>##        R$9.720,00 + R$1.080,00</pre><p>Utilizaremos a primeira (1.) configuração que esta assinalada em vermelho como exemplo, onde:</p><ul><li>Entrada: R$20.000,00</li><li>Renda fixa: R$9.200,00</li><li>Renda Variável (Acoes): R$9.720,00</li><li>Renda Variável (Crypt): R$1.080,00</li></ul><p>Note que a entrada deve ser o dobro na segunda (2.) configuração caso deseje investir R$10.800,00 (que é o valor sugerido aos 26 anos para uma entrada de R$20.000,00)</p><p>Após definir a quantidade a ser investida é hora de planejar a próxima etapa: a diversificação.</p><h3>DIVERSIFICAÇÃO DA CARTEIRA</h3><p>A diversificação é uma técnica para gestão do risco que visa distribuir o capital investido em uma variedade de investimentos dentro de da nossa carteira.</p><p>Assim, o risco do portfólio é consideravelmente reduzido pois reduzimos a volatividade e criamos um equilíbrio onde um desempenho positivo de um ativo neutraliza as baixas ocorridas em outras aplicações. Além disso a diversificação pode ser tanto coma renda variável quanto com a renda fixa.</p><p>Mas lembre-se, não existe uma receita mais eficiente!</p><h3>RENDA FIXA</h3><p>Normalmente, também diversificamos nossa renda fixa porém como gostaria de focar nas análises de renda variável utilizaremos o simulador disponível no site <a href="https://verios.com.br/">https://verios.com.br/</a> neste <a href="https://simulador-tesouro-direto.verios.com.br/">link</a> para selecionar apenas um título:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*CshpfeopRIfOY8F0.png" /><figcaption>Fonte: <a href="https://simulador-tesouro-direto.verios.com.br/">https://simulador-tesouro-direto.verios.com.br/</a></figcaption></figure><p>Como exemplo, escolhi o Tesouro Prefixado 2015 (LTN), note que com essa escolha o lucro planejado seria de quase 3 mil reais nos próximos 5 anos.</p><p><strong>AVISO</strong>: Lembrando que esta seleção é apenas um exemplo e existem diversas informações a serem levadas em conta ao se fazer esta escolha além de se poder diversificar também. Convido o leitor a procurar saber mais sobre os tipos, prós e contras do Tesouro Direto.</p><h3>RENDA VARIÁVEL</h3><p>Para elaboração da parte da renda variável da carteira selecionei duas ações que são inversamente correlacionadas (de forma totalmente arbitrária) baseado no excelente post “<a href="https://www.tradingcomdados.com/post/2017/07/09/estudo-de-correla%C3%A7%C3%A3o-entre-a%C3%A7%C3%B5es-da-bolsa-de-valores-de-s%C3%A3o-paulo">Estudo de correlação entre ações da Bolsa de Valores de São Paulo</a>” escrito por Victor Gomes onde o autor faz um estudo de correlações das séries históricas de ações de diferentes setores.</p><p>Além disso, o Bitcoin será selecionado para completar a carteira de renda variável como um ativo de alto risco com bastante volatividade. Mas você deve estar se perguntando, por que assumir este risco?</p><p>Existem muitas histórias de pessoas que ficaram milionárias com o Bitcoin pela sua valorização inesperada ao longo do tempo, como por exemplo o <a href="https://www.infomoney.com.br/mercados/adolescente-fica-milionario-aos-18-anos-usando-bitcoins-apos-fazer-aposta-com-os-pais/">adolescente que ficou milionário aos 18 anos usando bitcoins após fazer aposta com os pais</a>.</p><p>Então <strong>eu</strong> acho que 10% dessa nossa carteira (não esqueça que podemos ter mais de uma carteira) é um risco que pode valer a pena correr e por isso vou incluí-lo.</p><p>Portanto, para este exemplo consideramos:</p><ul><li>TUPY3.SA: <a href="https://www.google.com/search?q=tupy3&amp;oq=tupy3&amp;aqs=chrome..69i57.7273j0j4&amp;sourceid=chrome&amp;ie=UTF-8">Tupy</a></li><li>ELET3.SA: <a href="https://www.google.com/search?ei=-dxuXtuyNIbR5OUPxY2m8AE&amp;q=ELET3.SA&amp;oq=ELET3.SA&amp;gs_l=psy-ab.3..0.40045.41040..41701...0.2..0.123.237.0j2......0....2j1..gws-wiz.......0i71.a2fjObIM6cM&amp;ved=0ahUKEwibk86a8p3oAhWGKLkGHcWGCR4Q4dUDCAs&amp;uact=5">Centrais Eletricas Brasileiras SA</a></li><li>BTC-USD: <a href="https://www.google.com/search?ei=JN1uXsDJLJm55OUPj8-c8As&amp;q=bitcoin&amp;oq=bitcoin&amp;gs_l=psy-ab.3.0.0i131i70i258j0i131i67j0i131j0i67j0j0i67j0i131j0i67j0j0i131.25383.26281..27215...0.0..0.175.1147.1j8......0....1..gws-wiz.xu0EQx1CnXI">Bitcoin</a></li></ul><pre>portifolio = c(&quot;TUPY3.SA&quot;,&quot;ELET3.SA&quot;, &quot;BTC-USD&quot;)</pre><p><strong>AVISO</strong>: Volto a frisar que as escolhas das ações foram feitas de forma arbitrária. Estamos em tempos de incerteza atualmente por conta do corona vírus (espero que todos fiquem bem) o que leva algumas escolhas à serem ainda mais complexas e imprevisíveis.</p><h4>OBTER DADOS</h4><p>A aquisição das série históricas das cotações destes ativos desde 01/01/2016 foram obtidas utilizando o pacote <a href="https://github.com/business-science/tidyquant">tidyquant</a> que nos retorna os dados das cotações das ações informadas em formato “arrumado” (ou seja, familiar com funções do <a href="https://www.tidyverse.org/">tidyverse</a>), veja:</p><pre>library(tidyquant) # aquisicao de dados financeiros<br>stocks &lt;-map_df(portifolio, ~tq_get(.x, get = &quot;stock.prices&quot;, from = &quot; 2016-01-01&quot;))<br>saveRDS(stocks, &quot;stocks.rds&quot;)</pre><p>Existem uma série de vantagens de se trabalhar com os dados neste formato em R, veremos o porque nas próximas seções.</p><h4>ARRUMAR DATASET</h4><p>O formato <a href="https://github.com/tidyverts/tsibble">tsibble</a> é um formato moderno para se trabalhar com séries temporais trazendo a filosofia do tidyverse para os dados de séries temporais facilitando o <a href="https://blog.earo.me/2018/12/20/reintro-tsibble/">fluxo de trabalho</a>.</p><p>Diversos outros pacotes podem ser combinados utilizando os dados no formato do pacote tsibble como os pacotes <a href="https://robjhyndman.com/hyndsight/fable/">fable</a> e o <a href="https://github.com/mitchelloharawild/fable.prophet">prophet</a> (sugiro a leitura para quem nao conhece) para aplicação de modelagem de séries temporais.</p><p>Veja como é o fluxo ao trabalhar com objetos do tipo tsibble</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/0*W75kz5oc6xTfRINH.png" /><figcaption>Fonte: <a href="https://blog.earo.me/2018/12/20/reintro-tsibble/">https://blog.earo.me/2018/12/20/reintro-tsibble/</a></figcaption></figure><pre>library(tsibble) # series temporais arrumadas<br>tbl_stocks &lt;- stocks %&gt;% as_tsibble(key = symbol, index = date)</pre><p>Após importar e arrumar o dataset, seguimos para os próximos passos.</p><h4>TRANSFORMAR</h4><p>Após converter para tsibble, vamos preencher alguns gaps da bolsa como por exemplo os finais de semana (quando a bolsa de valores fica fechada) com o mesmo valor do dia anterior (Para este exemplo vamos fazer esse preenchimento dos gaps do final de semana mas não é sempre é necessário):</p><pre>tbl_stocks &lt;- <br>  tbl_stocks %&gt;% <br>  fill_gaps() %&gt;% <br>  tidyr::fill(c(open, high, low, close, volume, adjusted),.direction = &quot;down&quot;)</pre><p>Com os dados arrumados vamos a algumas visualizações.</p><h4>VISUALIZAR</h4><p>Vejamos qual foi o comportamento das séries históricas que coletamos desde o início de 2016:</p><pre>library(forecast) # series temporais<br>library(fpp3)     # series temporais<br>d2 &lt;- <br>  tbl_stocks %&gt;% <br>  group_by(symbol) %&gt;% <br>  summarise(y = mean(close))</pre><pre>autoplot(tbl_stocks)+<br>  geom_line(aes(group = symbol), color = &quot;black&quot;, show.legend = F) + <br>  facet_wrap(~symbol, scales = &quot;free_y&quot;, ncol = 1)+<br>  geom_ma(n=6*30, color = &quot;red&quot;) + <br>  theme(legend.position = &quot;none&quot;)+<br>  labs(subtitle = &quot;média móvel n = 6 meses&quot;,<br>       caption = &quot;gomesfellipe.github.io&quot;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Jmxnph_A6qOlMxFq.png" /></figure><p>Note que a série do Bitcoin é a mais imprevisível, houve um pico em 2018 mas após isso não houve nenhum grande pico como aquele. Em breve ocorrerá o <a href="https://www.infomoney.com.br/onde-investir/halving-conheca-o-processo-que-pode-levar-o-bitcoin-a-uma-nova-explosao-de-preco/">Halving</a> (a contagem regressiva pode acompanhada <a href="https://www.bitcoinblockhalf.com/">neste link</a>) que é um processo de choque de oferta e ocorre aproximadamente a cada 4 anos e pode ser uma boa oportunidade de retorno.</p><p>As duas séries da bolsa de valores não parecem ter uma correlação muito forte, os picos ocorrem de forma alternada e isto pode ser uma característica boa para a carteira pois caso uma delas entre em crise a outra poderá estar em uma fase boa.</p><p>Nota: Esta queda abrupta que ocorreu na bolsa no início de 2020 é o reflexo da <a href="https://pt.wikipedia.org/wiki/Pandemia_de_COVID-19_no_Brasil">Pandemia CODVID-19</a> que já começou a apresentar alguns casos no Brasil e isso certamente tem gerando muita incerteza na bolsa de valores. Nem eu nem ninguém sabe o que pode acontecer, estou na torcida para que todos fiquem bem e pelo sucesso na contenção desse vírus!</p><h4>CORRELAÇÕES</h4><p>Para estudar melhor as conjecturas formadas ao observar o comportamento das séries histórias (de que os picos e vales se alternam) vamos conferir olhada nos gráficos de dispersão e coeficientes de <a href="https://pt.wikipedia.org/wiki/Coeficiente_de_correla%C3%A7%C3%A3o_de_postos_de_Spearman">correlação de Spearman</a>:</p><pre>points_loess &lt;- function(data, mapping){<br>  ggplot(data = data, mapping = mapping) + <br>    geom_point(alpha = 0.3,size=0.5) + <br>    geom_smooth(method = &quot;loess&quot;)<br>}</pre><pre>tbl_stocks %&gt;%<br>  as_tibble() %&gt;% <br>  select(symbol, date, close) %&gt;% <br>  spread(key = symbol, value = close) %&gt;%<br>  GGally::ggpairs(columns = 2:4,<br>                  upper = list(continuous = GGally::wrap(&quot;cor&quot;, method = &quot;spearman&quot;)),<br>                  lower = list(continuous =  points_loess))</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*EoRWy6nhW96mQKtz.png" /></figure><p>Note que a relação entre TUPY3 e ELET3 não é linear e além disso essa correlação é fraca, o que pode ser benéfico para o portfólio pois uma possível queda em uma não parece não ter tanto impacto na outra.</p><p>Além disso note que a correlação do BTC-USD com TUPY3 e ELET3 é moderada e mesmo apresentando este valores numéricos, o Bitcoin é um ativo negociado em escala global e é de um setor totalmente diferente das outras ações.</p><p><strong>AVISO</strong>: Essa análise meramente numérica não é o suficiente para detectar uma relação de causa, pois correlação não implica causalidade. Isto que dizer que poda haver uma causa em comum para ambas ou que seja uma <a href="https://pt.wikipedia.org/wiki/Regress%C3%A3o_esp%C3%BAria">correlação espúria</a>. Quando se trata da bolsa de valores é necessário também conhecer um pouco sobre a situação e história da empresa na qual se investe.</p><h4>FORECAST COM PROPHET DO FACEBOOK</h4><p>Poderíamos utilizar uma série de modelos estatísticos, econométricos e de machine learning utilizando tanto as funções nativas do R base ou pacote forecast quanto as funções desenvolvidas para trabalhar de maneira “arrumada” com tsibble mas resolvi fazer uma abordagem diferente neste post escolhendo o modelo disponibilizado pelo Facebook.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/482/0*XRhinyaRaRFhLtNq.png" /><figcaption>Fonte: <a href="https://facebook.github.io/prophet/">https://facebook.github.io/prophet/</a></figcaption></figure><p>O <a href="https://facebook.github.io/prophet/">Prophet</a> é um software de código aberto disponibilizado pela equipe de <a href="https://research.fb.com/category/data-science/">Data Science do Facebook</a> que fornece um procedimento para realização de previsões de dados de séries temporais.</p><p>Segundo a <a href="https://facebook.github.io/prophet/">documentação oficial</a>, (em tradução livre):</p><blockquote>O Prophet tem como “base em um modelo aditivo no qual tendências não lineares se ajustam à sazonalidade anual, semanal e diária, além de efeitos de férias. Funciona melhor com séries temporais que têm fortes efeitos sazonais e várias temporadas de dados históricos. O Profeta é robusto para a falta de dados e mudanças na tendência, e geralmente lida bem com outliers”.</blockquote><p>Este modelo me pareceu uma boa opção para exemplificar a etapa da modelagem de séries temporais deste post. Vamos ver o que o modelo do Facebook tem a nos dizer sobre o futuro das nossas ações.</p><p>DIVISÃO ENTRE TREINO E TESTE EM SÉRIES TEMPORAIS</p><p>Assim como em uma tarefa de machine learning que não envolvem dados temporais, no caso de séries temporais, quando desejamos avaliar o ajuste do nosso modelo também dividimos o dataset em treino e teste porém utilizamos a data como índice.</p><p>Veja como serão divididas nossas séries históricas:</p><ul><li>treino: inicio da série até 25/01/20;</li><li>teste: de 25/01/2020 até o final da série histórica (2 meses atrás)</li></ul><pre>h = 30 * 2<br>data_split &lt;- Sys.Date() - h</pre><pre>tbl_stocks_train &lt;-  <br>  tbl_stocks %&gt;% <br>  filter(date &lt;= data_split) %&gt;% <br>  select(symbol, date, close)</pre><pre>tbl_stocks_test &lt;- <br>  tbl_stocks %&gt;%<br>  filter(date &gt; data_split) %&gt;% <br>  select(symbol, date, close)</pre><p>Após dividir os dados em treino e teste já estamos habilitados à utilizar o modelo. Note que, por default, o modelo espera duas colunas nomeadas como ds: data da série e y: variável target da série.</p><p>Além disso faremos uma previsão 6 meses a frente dos dados de teste para entender qual a tendência o modelo estaria adotando.</p><pre>library(prophet)</pre><pre>prophet_results &lt;- <br>  tbl_stocks_train %&gt;% <br>  rename(ds = date, y = close) %&gt;% <br>  nest(data = c(ds, y)) %&gt;% <br>  mutate(pmodel = map(data, ~ prophet(.x, daily.seasonality=TRUE))<br>  )%&gt;% <br>  mutate(pprediction = map(pmodel, ~.x %&gt;%  <br>                             make_future_dataframe(periods = h + 30*6) %&gt;%<br>                             predict(.x,.)))</pre><p>Veja os resultados do ajuste do modelo:</p><pre>library(patchwork)</pre><pre>pmap(list(<br>  x = prophet_results$pprediction,<br>  y = split(tbl_stocks_train, tbl_stocks_train$symbol),<br>  z = split(tbl_stocks_test, tbl_stocks_test$symbol),<br>  w = prophet_results$symbol<br>),function(x, y, z, w){<br>  x %&gt;% <br>    as_tibble() %&gt;%<br>    mutate(ds=as_date(ds)) %&gt;%<br>    select(ds, trend, yhat, yhat_lower, yhat_upper) %&gt;% <br>    ggplot() + <br>    geom_line(aes(x=ds, y=yhat, color=&quot;blue&quot;), show.legend = F) +<br>    geom_line(data=y, aes(x=date, y=close, color=&quot;black&quot;), show.legend = F) +<br>    geom_line(data=z, aes(x=date, y=close, color=&quot;red&quot;), show.legend = T) +<br>    geom_ribbon(aes(x=ds, ymin=yhat_lower, ymax=yhat_upper), alpha=0.2)  +<br>    scale_x_date(#limits = c(as.Date(&quot;2018-06-01&quot;), Sys.Date() + 30*12), <br>      date_breaks = &quot;6 month&quot;, date_labels = &quot;%m/%Y&quot;) +<br>    theme_bw()+<br>    labs(y = w, x = &quot;&quot;, caption = &quot;gomesfellipe.github.io&quot;)+<br>    scale_colour_manual(values=c(&quot;black&quot;,&quot;blue&quot;,&quot;red&quot;), name=&quot;&quot;, labels=c(&quot;treino&quot;,&quot;modelo&quot;,&quot;teste&quot;))+<br>    theme(legend.position = c(1-0.8,1-0.2), <br>          legend.background = element_rect(fill=alpha(&#39;lightgrey&#39;, 0.2)),<br>          legend.direction = &quot;horizontal&quot;)<br>}<br>) %&gt;% {.[[1]] / .[[2]] / .[[3]]}</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*8m51qW--JhK4eTOU.png" /></figure><pre>ggsave(&quot;phophet.png&quot;) # salvar para o bot retornar este resultado!</pre><p>Parece interessante..</p><p>Veja que a linha azul (modelo ajustado) se ajusta bem à linha preta (dados de treino) acompanhando a série histórica e captando algumas tendências não lineares.</p><p>Porém note que a linha azul se perde completamente da linha vermelha (dados de teste) no início de 2020 e acho isso muito razoável pois dificilmente algum modelo iria prever os efeitos de uma Pandemia utilizando apenas a série histórica do ativo.</p><p>Note ainda que a linha azul se estende até o final de 2020 (previsões para os próximos 6 meses) o que sugere que a série possuía esta tendencia positiva ao longo dos anos, segundo o modelo Prophet .</p><p><strong>Aviso</strong>: Existem várias maneiras de estudar e melhorar a qualidade do ajuste deste modelo mas como o objetivo deste post não é este deixo como aviso para o leitor.</p><p>Com a interpretação dos resultados concluída.. vamos às compras!</p><h3>COMPRANDO AÇÕES</h3><p>Após toda essa exemplificação de como podem ser feitas as análises para a elaboração da carteira chegou a hora das compras.</p><p>Suponha que tivéssemos realizado nossas compra no fechamento do dia <strong>2018–12–01</strong>, quando os valores de <strong>fechamento</strong> das cotações eram as seguintes:</p><pre>tbl_stocks %&gt;% <br>  filter(date == &quot;2018-12-01&quot;) %&gt;% <br>  mutate(close = cell_spec(moeda_real(close), &quot;html&quot;, color = &quot;blue&quot;, bold = T)) %&gt;% <br>  mutate_at(c(3:5, 8), ~moeda_real(.x)) %&gt;% <br>  kable2()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/870/1*BaM65Y2ctr25tfH1VOGprQ.png" /></figure><p>Neste dia a cotação para ELET3 era R$24,42 e TUPY3 era R$19,73 e suponha que tenhamos comprado 200 lotes de ELET3 e 150 fracionários de TUPY, totalizando R$7.843,64 (próximo ao que tinhaamos planejado no inicio do estudo)</p><p>Vamos guardar estes valores:</p><pre>cot_inicio = filter(tbl_stocks, date == &quot;2018-12-01&quot;, symbol != &quot;BTC-USD&quot;) %&gt;% pull(close)<br>qtd_inicio = c(elet = 200, tupy = 150)</pre><p>Note que o valor do Bitcoin está em dólares, para obter o valor em reais (R$) daquele dia vamos utilizar a <a href="https://www.mercadobitcoin.net/api/BTC/day-summary/2020/01/09/">API do Mercado Bitcoin</a>. Como não existe nenhum pacote que forneça estes dados diretamente no R, a requisição será feita normalmente via API com o pacote jsonlite:</p><pre>library(jsonlite) # requisicao de api<br>url &lt;- glue::glue(&quot;<a href="https://www.mercadobitcoin.net/api/BTC/day-summary/2019/12/01/">https://www.mercadobitcoin.net/api/BTC/day-summary/2019/12/01/</a>&quot;)<br>safe_fromJSON &lt;- purrr:::safely(fromJSON, as.numeric(NA)) <br>consulta &lt;- safe_fromJSON(url)$result %&gt;% map_dfc(~.x)</pre><pre>consulta %&gt;%<br>  select(-date) %&gt;% <br>  mutate_all(~moeda_real(.x)) %&gt;%<br>  mutate(closing = cell_spec(closing, &quot;html&quot;, color = &quot;blue&quot;)) %&gt;% <br>  kable2()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/825/1*hBfqEFQn7V2MNoFJPQB53g.png" /></figure><p>O preço de fechamento foi de R$31.747,38 e suponhamos que tenha sido este o valor pago no dia. (Parece que neste dia o dólar estava em torno de R$4,03)</p><p>Para completar esta carteira fictícia vamos adquirir 0,0032 do valor de um Bitcoin</p><pre>cot_inicio[3] &lt;- consulta$closing<br>qtd_inicio[3] &lt;- 0.032</pre><p>Portanto, ao valor de R$31.747,38 compramos 0.032 Bitcoin totalizando R$1.015,92 completando nossa carteira.</p><h3>TABELA FINANCEIRA</h3><p>Semelhante a uma planilha financeira, criaremos uma tabela financeira automatizada que receberá como input os valores da montagem e calculará automaticamente os valores do desmontagem no tempo atual utilizando dados de APIs abertas.</p><blockquote>“Aquilo que não se pode medir, não se pode melhorar”.</blockquote><blockquote>Físico irlandês William Thomson</blockquote><p>Primeiro é necessário obter os valores mais recentes das cotações das acoes que compramos na bolsa e para isto será necessário utilizar outro pacote pois o tidyquant só fornece os dados em frequência diária.</p><p>Utilizaremos portanto, o pacote <a href="https://www.business-science.io/code-tools/2017/09/03/alphavantager-0-1-0.html">alphavantager</a> que fornece dados de finanças da API gratuita <a href="https://www.alphavantage.co/">Alpha Vantage</a> no formato arrumados e também foi desenvolvida pela <a href="https://github.com/business-science">Business Science</a> (mesmo criados do pacote tidyquant).</p><p><strong>Aviso</strong>: Na <a href="https://www.alphavantage.co/support/#api-key">documentação da api do Alphavantage</a> recomenda-se a solicitações de API com moderação, suportando até 5 solicitações de API por minuto e 500 solicitações por dia para obter o melhor desempenho no servidor. Caso deseje segmentar um volume maior de chamadas da API, confira a <a href="https://www.alphavantage.co/premium/">associação premium.</a>.</p><p>Já para a coleta da cotação em tempo real do Bitcoin em reais (R$), utilizaremos novamente a <a href="https://www.mercadobitcoin.com.br/api-doc/?">api do mercado bitcoin</a>.</p><pre># Importar dados da bolsa de valores ==================================</pre><pre>library(alphavantager) # api streaming bovespa</pre><pre>AV_API_KEY = Sys.getenv(&quot;AV_API_KEY&quot;)<br>av_api_key(AV_API_KEY)</pre><pre>consulta_acoes &lt;- map_df(portifolio[1:2], ~{<br>  alphavantager::av_get(symbol = .x,<br>         av_fun = &quot;TIME_SERIES_INTRADAY&quot;,<br>         interval = &quot;1min&quot;,  # &quot;1min&quot;, &quot;5min&quot;, &quot;15min&quot;, &quot;30min&quot; ou &quot;60min&quot;<br>         outputsize = &quot;compact&quot;) %&gt;%  # &quot;full&quot;<br>    bind_cols(stock = rep(.x, nrow(.)))<br>})</pre><pre># Impotar dados do bitcoin ============================================</pre><pre>coin &lt;- &quot;BTC&quot;<br>method &lt;- &quot;ticker&quot;<br>url &lt;- glue::glue(&quot;<a href="https://www.mercadobitcoin.net/api/%7Bcoin%7D/%7Bmethod%7D/">https://www.mercadobitcoin.net/api/{coin}/{method}/</a>&quot;)</pre><pre>safe_fromJSON &lt;- safely(fromJSON, as.numeric(NA)) <br>consulta_bitcoin &lt;- <br>  safe_fromJSON(url)$result$ticker %&gt;% <br>  as_tibble() %&gt;% <br>  transmute(timestamp = lubridate::ymd_hms(as.POSIXct(date, origin=&quot;1970-01-01&quot;)),<br>            open, high, low, close = sell, volume = NA, stock = &quot;BTC.BR&quot;) %&gt;% <br>  mutate_at(c(&#39;open&#39;, &#39;high&#39;, &#39;low&#39;, &#39;close&#39;), ~as.numeric(.x))</pre><pre># Combinar resultados das consultas ==================================</pre><pre>consulta_atual &lt;- <br>  bind_rows(<br>    consulta_acoes %&gt;% <br>      group_by(stock) %&gt;% <br>      filter(timestamp == last(timestamp)),<br>    consulta_bitcoin<br>  ) </pre><pre># Salvar consulta ====================================================<br>saveRDS(consulta_atual, &quot;consulta_atual.rds&quot;)</pre><p>Resultados da consulta atual (após combinar a requisição da bolsa de valores e do Mercado Bitcoin):</p><pre>consulta_atual  %&gt;%<br>  mutate_at(2:4, ~moeda_real(.x)) %&gt;% <br>  mutate_if(is.numeric, ~ifelse(is.na(.x), &quot;-&quot;, format(.x, digits = 2))) %&gt;% <br>  mutate(close = cell_spec(moeda_real(close), &quot;html&quot;, color = &quot;blue&quot;)) %&gt;% <br>  kable2()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/803/1*MQArYHHKL-qSUvuvXS9tVA.png" /></figure><p>Com os valores da Montagem organizados e os valores da Desmontagem coletados em tempo real já podemos construir nossa tabela financeira automatizada.</p><p>A tabela contém:</p><ul><li>Valores de cotação e quantidade adquiridas de cada uma no momento da montagem da carteira;</li><li>Valores de cada cotação no momento atual com suas respectivas quantidades disponíveis;</li><li>Resultados de o ganho (ou perda) seguido do resultado bruto caso realize a venda agora;</li><li>Última coluna indica se vale a pena vender ou não aquela cotação considerando que o valor de venda é superior ao valor de compra.</li></ul><p><strong>Aviso</strong>: Essa operação de vender o ativo caso o preço da venda seja maior que o da compra é apenas um exemplo. Poderíamos utilizar diversas estatísticas para determinar o momento da operação porém adotei esta apenas para ilustrar o funcionamento da tabela financeira, o limite de opções é a sua criatividade!</p><p>Veja a tabela final com os resultados atualizados em tempo real:</p><pre>porcentagem &lt;- function(x){paste0(round(x,2), &quot;%&quot;)} # Funcao auxiliar</pre><pre># Tabela resultado<br>financas &lt;- <br>  tibble(<br>    ativo = portifolio,<br>    cot_inicio = cot_inicio,<br>    qtd_inicio = qtd_inicio,<br>    vol_inicio = cot_inicio * qtd_inicio,<br>    cot_atual = consulta_atual$close,<br>    qtd_atual = qtd_inicio,<br>    vol_atual = cot_atual * qtd_atual,<br>    ganho_perda = vol_atual - vol_inicio,<br>    resultado_bruto = ganho_perda / vol_inicio * 100<br>  ) <br></pre><pre>tabela &lt;- <br>  financas %&gt;% <br>  mutate(<br>    cot_inicio = moeda_real(cot_inicio),<br>    cot_atual = moeda_real(cot_atual),<br>    vol_inicio = moeda_real(vol_inicio),<br>    vol_atual = moeda_real(vol_atual),<br>    qtd_inicio = round(qtd_inicio,4),<br>    qtd_atual = round(qtd_atual,4),<br>    ` ` = ifelse(ganho_perda &gt; 0,&quot;\u2713&quot;, &quot;\u2718&quot;) ,<br>    cot_atual = cell_spec(cot_atual, &quot;html&quot;, color = &quot;blue&quot;),<br>    ganho_perda = cell_spec(moeda_real(ganho_perda), &quot;html&quot;,<br>                            color = ifelse(ganho_perda &gt; 0, <br>                                           &quot;green&quot;, &quot;red&quot;)),<br>    resultado_bruto = cell_spec(porcentagem(resultado_bruto), &quot;html&quot;,<br>                                color = ifelse(resultado_bruto &gt; 0, <br>                                               &quot;green&quot;, &quot;red&quot;))) %&gt;% <br>  `colnames&lt;-`(stringr::str_replace_all(colnames(.), &quot;(_|[[:space:]])&quot;, &quot;\n&quot;)) %&gt;% <br>  # Exibicao<br>  kable(format = &quot;html&quot;, escape = F) %&gt;%<br>  kable_styling(c(&quot;striped&quot;, &quot;bordered&quot;, &quot;hover&quot;, &quot;responsive&quot;), full_width = T, font_size = 12) %&gt;%<br>  add_header_above(c(&quot; &quot;, &quot;Montagem&quot; = 3,<br>                     &quot;Desmontagem / Atual&quot; = 3, &quot;Resultado&quot; = 3))</pre><pre>tabela</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*hpSRtiOvuW9Ry76k4Yq8tw.png" /></figure><p>Agora que já possuímos nossa requisição completa e arrumada em tempo real precisamos ter acesso a esta informação de forma dinâmica também e para isso utilizaremos o bot do Telegram.</p><h3>BOT TELEGRAM</h3><p>Depois de muitas decisões tomadas enfim chegamos ao bot! Espero que tenha notado que montar uma carteira não é uma tarefa fácil pois envolve exposição ao risco e também exige certo acompanhamento do mercado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/0*cmoBcW_PYlH_OVa4.png" /></figure><p>Para criar um bot no Telegram basta seguir os passos do <a href="https://github.com/lbraglia/telegram">readme</a> do pacote <a href="https://github.com/lbraglia/telegram">telegram</a> disponibilizado no Github ou seguir os passos desse excelente <a href="https://www.curso-r.com/blog/2017-08-19-r-telegram-bitcoin/">post do curso-r</a> que me inspirou a uns anos atras e hoje me auxiliou novamente para criar este bot. Ao concluir a etapa de configuração teremos um novo contado no Telegram, o nosso bot!</p><p>Com a configuração no aplicativo do Telegram concluída, o primeiro passo para configurar as ações do bot no R é iniciar um objeto TGBot declarando o id do seu bot. No meu caso o bot se chama <em>Stocks</em> e o id é <em>fgstockbot</em>.</p><p>Com o R conectado ao bot do Telegram já somos capazes de criar um conjunto de regras de forma que o bot nos retorne as informações que desejamos.</p><p>Desenvolveremos a função report_stocks() que programa o bot para realizar o seguinte algoritmo:</p><ol><li>Carregar dependências e conectar chaves de acesso</li><li>Conferir se a bolsa de valores esta aberta</li><li>Requisição das cotações da bolsa de valores em <em>real-time</em></li><li>Requisição da cotação do Bitcoin em <em>real-time</em></li><li>Combinar resultados</li><li>Inserir resultados da coleta na tabela financeira</li><li>Se o valor de algum volume atual seja maior que o volume inicial: Calcular valores de desmontagem; Preparar layout da tabela financeira; Salvar resultados; Enviar via Telegram</li><li>Aguardar 20 minutos para a próxima requisição</li><li>Repetir todo o processo</li></ol><p>Parece complicado mas é tranquilo pois todos os códigos de cada uma destas tarefas já foram desenvolvidos nas seções anteriores e serão apenas combinados. A função <a href="https://gist.github.com/gomesfellipe/357af0735d2aedca60146a7655e33929">report_stocks() já esta disponível no github</a>, veja a baixo:</p><p>(A frequência adotata como default pela função tenta fazer a requisição com a maior frequência possível na api do Alphavantage)</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/dbb0626deef93620604c3e47104ddf66/href">https://medium.com/media/dbb0626deef93620604c3e47104ddf66/href</a></iframe><p>Após todas as devidas configurações, basta carregar a função e executar para obter o seguinte resultado:</p><pre># <a href="https://gist.github.com/gomesfellipe/357af0735d2aedca60146a7655e33929">https://gist.github.com/gomesfellipe/357af0735d2aedca60146a7655e33929</a><br>devtools::source_gist(&quot;357af0735d2aedca60146a7655e33929&quot;,quiet = T)</pre><pre># Executar<br>bot_report_stocks(portifolio = portifolio, <br>                  cot_inicio = cot_inicio,<br>                  qtd_inicio = qtd_inicio)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*LFY0C7aTpd1jRH3f.gif" /></figure><p>E assim obtemos um feedback através do nosso Smartphone ou Smartwatch em tempo real sobre o desempenho da nossa carteira!</p><h3>CONCLUSÃO E PRÓXIMOS PASSOS</h3><p>Neste post criamos um bot que coleta os dados e faz análises disponibilizando-as em tempo real no Telegram. Porém vimos também o quão difícil pode ser a montagem de uma carteira e as análises envolvendo séries históricas de ativos.</p><p>Diante dos resultados obtidos aqui existe uma grande gama de opções de inovações para trabalhos futuros como:</p><ul><li>Programar o bot para responder a uma <a href="https://support.apple.com/pt-br/guide/watch/apd92a90f882/watchos">menssagem rápida no smartwatch</a> com o valor de uma previsão;</li><li>Desenvolver um Shiny parametrizando o bot para consultar análises em tempo real;</li><li>Hospedar a rotina em um servidor para operacionalizar o bot (caso tenha dúvidas de como se iniciar um RStudio Server u um Shiny Server <a href="https://gomesfellipe.github.io/post/2018-10-27-server-cloud/server-cloud/">consulte este post do blog</a>);</li><li>Criar uma API com <a href="https://www.rplumber.io/">plumber</a> para fornecer os resultados;</li><li>Treinar modelo utilizando mais dados, mais variáveis explicativas e tuning dos parâmetros;</li><li>Criar pacote com um robô mais geral para responder diferentes consultas.</li></ul><p>Espero que tenha gostado qualquer dúvida deixe nos comentários!</p><h3>REFERÊNCIAS</h3><ul><li><a href="https://www.infomoney.com.br/minhas-financas/brasileiros-nao-sabem-a-diferenca-entre-poupar-e-investir-afirma-especialista-2/">https://www.infomoney.com.br/minhas-financas/brasileiros-nao-sabem-a-diferenca-entre-poupar-e-investir-afirma-especialista-2/</a></li><li><a href="https://www.btgpactualdigital.com/blog/investimentos/diversificacao-de-investimentos">https://www.btgpactualdigital.com/blog/investimentos/diversificacao-de-investimentos</a></li><li><a href="https://www.btgpactualdigital.com/blog/coluna-gustavo-cerbasi/defina-sua-estrategia-entre-renda-fixa-ou-variavel">https://www.btgpactualdigital.com/blog/coluna-gustavo-cerbasi/defina-sua-estrategia-entre-renda-fixa-ou-variavel</a></li><li><a href="https://blog.earo.me/2018/12/20/reintro-tsibble/">https://blog.earo.me/2018/12/20/reintro-tsibble/</a></li><li><a href="https://www.tradingcomdados.com/post/2017/07/09/estudo-de-correla%C3%A7%C3%A3o-entre-a%C3%A7%C3%B5es-da-bolsa-de-valores-de-s%C3%A3o-paulo">https://www.tradingcomdados.com/post/2017/07/09/estudo-de-correla%C3%A7%C3%A3o-entre-a%C3%A7%C3%B5es-da-bolsa-de-valores-de-s%C3%A3o-paulo</a></li><li><a href="https://www.business-science.io/code-tools/2017/10/28/demo_week_h2o.html">https://www.business-science.io/code-tools/2017/10/28/demo_week_h2o.html</a></li><li><a href="https://www.infomoney.com.br/mercados/adolescente-fica-milionario-aos-18-anos-usando-bitcoins-apos-fazer-aposta-com-os-pais/">https://www.infomoney.com.br/mercados/adolescente-fica-milionario-aos-18-anos-usando-bitcoins-apos-fazer-aposta-com-os-pais/</a></li><li><a href="https://www.infomoney.com.br/onde-investir/halving-conheca-o-processo-que-pode-levar-o-bitcoin-a-uma-nova-explosao-de-preco/">https://www.infomoney.com.br/onde-investir/halving-conheca-o-processo-que-pode-levar-o-bitcoin-a-uma-nova-explosao-de-preco/</a></li><li><a href="https://cran.r-project.org/web/packages/telegram/README.html">https://cran.r-project.org/web/packages/telegram/README.html</a></li><li><a href="https://otexts.com/fpp2/">https://otexts.com/fpp2/</a> <a href="https://www.curso-r.com/blog/2017-08-19-r-telegram-bitcoin/">https://www.curso-r.com/blog/2017-08-19-r-telegram-bitcoin/</a></li><li><a href="https://www.curso-r.com/blog/2017-08-19-r-telegram-bitcoin/">https://www.curso-r.com/blog/2017-08-19-r-telegram-bitcoin/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=98a9d785cf6" width="1" height="1" alt=""><hr><p><a href="https://medium.com/ensina-ai/desenvolva-um-bot-e-receba-resultados-de-machine-learning-no-seu-smartphone-para-ajudar-nos-98a9d785cf6">Desenvolva um bot e receba resultados de Machine Learning no seu Smartphone para ajudar nos…</a> was originally published in <a href="https://medium.com/ensina-ai">Ensina.AI</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>