No Itaú, trabalhamos com uma elevada quantidade de textos das mais variadas fontes, para gerar insights, extrair informações de documentos, melhorar processos, mitigar riscos, entre outros objetivos. Para esse trabalho utilizamos uma serie de técnicas de NLP (Natural Language Processing ou Processamento de Linguagem Natural, em português), de expressões regulares (regex), algumas técnicas de embeddings já tradicionais e outras no estado da arte, que utilizam arquiteturas “Deep Learning”.

Para o uso de NLP, o primeiro passo é transformar os textos em uma representação que os modelos de Machine Learning possam interpretar. Uma simples e muitas vezes eficiente abordagem, é chamada Bag-of-Words (ou saco-de-palavras, em português).

Bag-of-Words

O Bag-of-Words utiliza a contagem de ocorrências de palavras num texto com base em uma lista de palavras, chamada de vocabulário, para construção de um vetor para treinamento de modelos. O vocabulário é construído com as palavras mais comuns do corpus, que é o conjunto de textos.

Por exemplo, supondo um vocabulário com as palavras “é”, “um”, “dois” e “três” a representação da frase “é um dois três” nesse vocabulário, daria origem ao vetor [1, 1, 1, 1]. A contagem de vezes que cada palavra do vocabulário aparece no texto é utilizada como entrada para o modelo de Machine Learning. A frase “é um, é dois” daria origem ao vetor [2, 1, 1, 0], já que a palavra “é” aparece duas vezes e “três” não aparece.

Os vetores resultantes contêm alguma informação do texto e podem ser utilizados para o treinamento de modelos. É claro, existem problemas nessa técnica, como se basear apenas na contagem de vezes que cada palavra aparece, sem levar em consideração sua ordem, nem o uso da palavra nos demais textos, ponto endereçado na próxima técnica.

TF-IDF

O TF-IDF (Term Frequency–Inverse Document Frequency ou em português, Frequência do Termo–Inverso da Frequência nos Documentos) é uma técnica que considera a importância relativa da palavra em relação às demais. Ou seja, a palavra “com” pode aparecer muitas vezes no texto, mas isso não a faz importante, todavia, se a palavra “cachorro” aparece muitas vezes no texto, provavelmente o tema do texto é sobre o animal.

A importância de cada palavra, ou seja, os vetores são construídos pela equação [1]:

No qual t representa o termo, d o documento e D o corpus. O primeiro termo é responsável pela importância da palavra no documento analisado, já o segundo penaliza as palavras muito comuns. O uso do log é justificado pela “Lei de Zipf”.

Ambos os métodos citados trazem alguns problemas. Talvez o principal seja o tamanho do vetor, que cresce com o tamanho do vocabulário. Existem tratamentos como lematização e stemização, que visam reduzir o tamanho do vocabulário, por exemplo: “amigo” e “amiga” virariam “amig”. No geral os vetores resultantes são esparsos, ou seja, contêm muitos zeros. Na próxima técnica, o tamanho dos vetores é reduzido e os vetores deixam de ser esparsos.

Word2vec

O Word2vec é uma técnica criada em 2013 por um grupo de pesquisadores do Google [2]. Foi a primeira técnica que permitiu o treinamento de embeddings com grandes dimensões em bilhões de palavras.

Nas técnicas citadas anteriormente, o vetor era criado com o texto como um todo, no Word2vec cada palavra tem o seu vetor ou embedding. Para obter o do texto, basta somar ou fazer a média com o das palavras individuais.

Esta técnica ficou famosa por permitir operações matemáticas entre os embeddings, por exemplo:

rei — homem + mulher ≈ rainha

A explicação da maneira que os embeddings são treinados está fora do escopo deste artigo, mas basicamente podem ser utilizadas duas técnicas: o CBOW (Continuous Bag-of-Words Model) ou o Skip-gram. No primeiro, o embedding de uma palavra deve ser encontrado baseado nas palavras que vem antes e depois na frase, já no segundo, dado uma palavra, é buscado os embeddings do contexto em que ela aparece.

Outras técnicas, utilizando diferentes arquiteturas e métodos de treinamento, mas com resultados parecidos foram apresentadas posteriormente, como por exemplo o GloVe (Global Vectors for Word Representation) [3], desenvolvido pela Universidade de Stanford e o StarSpace, desenvolvido pelo Facebook [4].

Uma fragilidade desta técnica é que uma palavra pode ter diferentes significados a depender do contexto. Um exemplo é a palavra “verão”, que tanto pode ser a estação do ano, quanto “eles irão ver”. No Word2Vec, o embedding, independe do contexto, possui os mesmos valores, para ambos os significados.

ELMo

O ELMo (Embeddings from Language Model) [5] é uma técnica que utiliza Redes Neurais Recorrentes para geração de embeddings, introduzida em 2017 foi desenvolvida por pesquisadores do Allen Institute for Artificial Intelligence.

Os embeddings de cada palavra são gerados considerando toda a frase, não fixados previamente como no Word2vec. Desta forma, os embeddings passam a ser contextuais. Por exemplo, a depender do contexto que a palavra “verão” aparecer, ela terá um embedding diferente e correspondente a este.

Redes neurais recorrentes são modelos que mantêm um estado interno, assim, alimentando-as com uma frase, este estado interno é moldado pela sequência de palavras. No caso do ELMo, a rede é bidirecional, pois é alimentada na direção de leitura normal da frase e a inversa.

Um problema muito comum em redes recorrentes é o gargalo existente devido ao estado da rede recorrente, em que a performance diminui em frases mais longas. Para mitigar esse efeito, são utilizadas redes LSTM (Long Short-Term Memory) [6], que possuem mecanismos que ajudam a diminuir esse efeito e o mecanismo de atenção explicado a seguir.

Mecanismo de Atenção e Tradução

Bahdanau [7] em 2014 introduziu o conceito de Atenção (Attention) no uso de redes recorrentes para tradução de sentenças entre idiomas.

Redes recorrentes podem ser utilizadas para tradução da seguinte forma: o embedding do texto é enviado para uma rede, palavra por palavra. Com o término do texto, indicado por uma sinalização de fim da frase (<EOS>), o estado da rede contém as informações necessárias para a tradução. O estado é decodificado na mesma ou em outra rede recorrente, que passa a resultar na tradução. A Figura apresentada num paper do Google [8] ilustra a tradução de uma hipotética frase “ABC” para “WXYZ”.

Esta abordagem possui o clássico problemas de redes recorrentes, na qual, em frases mais longas, o gargalo existente no estado da rede neural recorrente prejudica a sua tradução. Bahdanau [7] introduziu o conceito de atenção que mitiga esse problema. No lugar de enviar o estado final da rede recorrente, envia-se uma ponderação dos estados individuais de cada palavra do texto, em que uma palavra que tem mais importância para aquela parte do texto, terá mais peso (atenção).

Transformers

Os modelos Transformers são uma evolução da aplicação de Atenção, foram introduzidos pelo Google em 2017 [9], num paper com o ousado título Attention Is All You Need (Atenção é tudo que você precisa). Assim como o ELMo, eles são modelos que geram embeddings contextuais.

Portanto, como não é mais feito o uso de redes recorrentes, o problema do gargalo da informação deixa de existir, além disso, todas as entradas são lidas de uma vez pelo modelo, não mais uma a uma sequencialmente. Isso traz uma vantagem em que passa a ser mais fácil paralelizar a execução, aumentando o desempenho computacional da implantação, e diminuindo o tempo de treinamento dos modelos. Vantagem que foi utilizada para treinar modelos com número de parâmetros muito maior.

Explicar o funcionamento dos modelos Transformers está fora do escopo desse artigo, mas basicamente são definidos dois componentes, um encoder e um decoder, que a depender da aplicação podem ser combinados ou usados individualmente. A seguir será comentado sobre os principais modelos que fazem uso desses componentes.

GPT

O GPT (Generative Pre-Training) [10] é uma série de modelos Transformers desenvolvidas pela OpenAI que utilizam a camada “decoder” introduzida no paper de 2017. A versão inicial tem 117 milhões de parâmetros, o que para os padrões atuais é uma quantidade modesta, já o com maior quantidade de parâmetros na versão 2 possui 1,5 bilhão e na terceira versão, 175 bilhões de parâmetros.

O objetivo do GPT é predizer a próxima palavra dada uma frase. Com essa simples tarefa é possível fazer usos impressionantes do modelo. No texto de anúncio do GPT-2 [11], observam-se alguns exemplos, como escrever uma notícia sobre a descoberta de unicórnios que falam inglês na cordilheira dos Andes (vale a leitura, o texto ficou bem bacana), apenas começando a escrever a notícia e ele completando o restante. No GPT-3 [12] é possível pedir para ele escrever código fonte como JavaScript ou uma query SQL.

Uma característica muito importante dos modelos GPT é que, com apenas o pré-treinamento genérico, eles conseguem generalizar o aprendizado para várias tarefas, fato conhecido como zero-shot learning. Por exemplo, é possível realizar traduções, escrevendo uma frase em inglês e depois pedindo para traduzir para outros idiomas. Resumir um artigo, escrever o artigo e depois pedir para resumir.

Um ponto a se destacar, é que treinar esses modelos está se tornando extremamente custoso, é necessária uma grande quantidade de texto e muito poder computacional. O GPT original levou 1 mês utilizando 8 GPUs [10], enquanto o GPT-3 levaria 288 anos em uma Nvidia V100 [13].

BERT

Em 2018, o Google publicou o modelo BERT (Bidirectional Encoder Representations from Transformers) [14], que faz uso do componente “encoder”, permitindo a geração de embeddings contextuais para representação de texto. O BERT faz a leitura da frase completa, bidirecional, enquanto o GPT, pela característica de geração de texto, permite apenas a leitura das palavras anteriores.

Originalmente o BERT foi treinado apenas em textos em inglês, posteriormente os pesquisadores lançaram uma versão treinada em 104 idiomas [15]. Isso permitiu que apenas um modelo fosse utilizado para tarefas em diversas línguas, inclusive o português.

São feitas duas etapas: uma chamada de pré-treinamento, que é a etapa que demanda muito texto e capacidade computacional e o “fine-tunning”, em que são “colados” no BERT as camadas para o uso do modelo para a tarefa e feito o treinamento. Esse treinamento, ao menos em relação ao pré-treinamento, é menos custoso computacionalmente.

Para o treinamento do BERT são utilizadas duas técnicas: MLM (Masked Language Model) e NSP (Next Sentence Prediction). No MLM, o modelo é levado a descobrir qual palavra foi mascarada no texto, já o NSP, visa que o modelo decida se a próxima frase é a sequência da anterior ou não.

Com o lançamento do BERT outros modelos foram desenvolvidos, como o RoBERTa de 2019, desenvolvido por pesquisadores do Facebook [16]. Neste modelo, a etapa de treinamento NSP foi removida, em cada época de treinamento a palavra mascarada é alterada, a quantidade de texto utilizada no treinamento foi aumentada 10x de 16 GB para 160 GB, dentre outras mudanças, que possibilitaram um aumento nas métricas de qualidade em relação ao BERT.

Um problema dos modelos Transformers citados até agora é que apesar de performarem melhor do que os modelos baseados em redes recorrentes, a complexidade computacional da atenção cresce com o quadrado do tamanho do texto, ficando inviável o uso para textos longos. O BERT por exemplo, tem uma limitação do tamanho da entrada de 512 tokens, que daria um pouco menos do que esse número em palavras, já que uma palavra pode ser constituída de mais de um token.

Para mitigar esse problema, em 2020 o Allen Institute for Artificial Intelligence publicou o Longformer [17] e o Google o Big Bird [18]. Eles fazem alterações na implantação da atenção que permitem que a quantidade de tokens de entrada seja aumentada.

Algumas observações

Neste artigo foram apresentadas diversas técnicas para processamento de linguagem natural, passando por abordagens clássicas como bag-of-words e TF-IDF até técnicas no estado da arte, como o GPT e as evoluções do BERT. Sem dúvidas ainda existirão muitos desenvolvimentos, provavelmente novos conceitos, que ainda não foram explorados, que farão o campo como um todo prosperar.

É importante destacar que uma infinidade de excelentes modelos não foi citada. Os citados foram os relevantes à vida acadêmica e profissional do autor. As publicações para cada um dos modelos estão nas referências. Em caso de interesse em algum específico, a leitura do artigo pode ser muito interessante. A maioria dos artigos estão no arXiv e possuem acesso gratuito.

O uso dos modelos próximos ao estado da arte, como GPT-1 e BERT pode parecer algo muito distante, devido ao custo computacional. No entanto, com bibliotecas fornecidas pela Hugging Face [19] e serviços online como o Google Colab e o Amazon SageMaker Studio Lab, que permitem acesso a GPUs, esses modelos podem ser utilizados a custo zero. O Hugging Face conta com diversos modelos pré-treinados, usando suas bibliotecas é possível realizar o download e posteriormente o fine-tunning para sua aplicação.

Referências

[1] LANE, Hobson; HOWARD, Cole; HAPKE, Hannes Max, Natural language processing in action: understanding, analyzing, and generating text with Python, Shelter Island, NY: Manning Publications Co, 2019.

[2] MIKOLOV, Tomas; CHEN, Kai; CORRADO, Greg; et al. Efficient Estimation of Word Representations in Vector Space. 2013. Disponível em: <http://arxiv.org/abs/1301.3781>. Acesso em: 23 ago. 2022.

[3] GloVe: Global Vectors for Word Representation. Disponível em: <https://nlp.stanford.edu/projects/glove/>. Acesso em: 23 ago. 2022.

[4] WU, Ledell; FISCH, Adam; CHOPRA, Sumit; et al. StarSpace: Embed All The Things! 2017. Disponível em: <http://arxiv.org/abs/1709.03856>. Acesso em: 23 ago. 2022.

[5] PETERS, Matthew E.; NEUMANN, Mark; IYYER, Mohit; et al. Deep contextualized word representations. 2018. Disponível em: <http://arxiv.org/abs/1802.05365>. Acesso em: 23 ago. 2022.

[6] HOCHREITER, Sepp; SCHMIDHUBER, Jürgen. Long Short-Term Memory. Neural Computation, v. 9, n. 8, p. 1735–1780, 1997. Disponível em: <https://direct.mit.edu/neco/article/9/8/1735-1780/6109>. Acesso em: 23 ago. 2022.

[7] BAHDANAU, Dzmitry; CHO, Kyunghyun; BENGIO, Yoshua. Neural Machine Translation by Jointly Learning to Align and Translate. 2016. Disponível em: <http://arxiv.org/abs/1409.0473>. Acesso em: 23 ago. 2022.

[8] SUTSKEVER, Ilya; VINYALS, Oriol; LE, Quoc V. Sequence to Sequence Learning with Neural Networks. 2014. Disponível em: <http://arxiv.org/abs/1409.3215>. Acesso em: 23 ago. 2022.

[9] VASWANI, Ashish; SHAZEER, Noam; PARMAR, Niki; et al. Attention Is All You Need. 2017. Disponível em: <http://arxiv.org/abs/1706.03762>. Acesso em: 23 ago. 2022.

[10] Improving Language Understanding with Unsupervised Learning. OpenAI. Disponível em: <https://openai.com/blog/language-unsupervised/>. Acesso em: 23 ago. 2022.

[11] Better Language Models and Their Implications. OpenAI. Disponível em: <https://openai.com/blog/better-language-models/>. Acesso em: 23 ago. 2022.

[12] BROWN, Tom B.; MANN, Benjamin; RYDER, Nick; et al. Language Models are Few-Shot Learners. 2020. Disponível em: <http://arxiv.org/abs/2005.14165>. Acesso em: 23 ago. 2022.

[13] NARAYANAN, Deepak; SHOEYBI, Mohammad; CASPER, Jared; et al. Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM. 2021. Disponível em: <http://arxiv.org/abs/2104.04473>. Acesso em: 23 ago. 2022.

[14] DEVLIN, Jacob; CHANG, Ming-Wei; LEE, Kenton; et al. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 2019. Disponível em: <http://arxiv.org/abs/1810.04805>. Acesso em: 23 ago. 2022.

[15] BERT Multilingual. Github. Disponível em: <https://github.com/google-research/bert/blob/master/multilingual.md>. Acesso em: 23 ago. 2022.

[16] LIU, Yinhan; OTT, Myle; GOYAL, Naman; et al. RoBERTa: A Robustly Optimized BERT Pretraining Approach. 2019. Disponível em: <http://arxiv.org/abs/1907.11692>. Acesso em: 23 ago. 2022.

[17] BELTAGY, Iz; PETERS, Matthew E.; COHAN, Arman. Longformer: The Long-Document Transformer. 2020. Disponível em: <http://arxiv.org/abs/2004.05150>. Acesso em: 23 ago. 2022.

[18] ZAHEER, Manzil; GURUGANESH, Guru; DUBEY, Avinava; et al. Big Bird: Transformers for Longer Sequences. 2021. Disponível em: <http://arxiv.org/abs/2007.14062>. Acesso em: 23 ago. 2022.

[19] Hugging Face — The AI community building the future. Disponível em: <https://huggingface.co/>. Acesso em: 23 ago. 2022.

Modelos utilizados para processamento de linguagem natural was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Quando um modelo é colocado em produção, sua performance e estabilidade podem ser afetadas com o passar do tempo. Vários fatores podem causar mudanças no comportamento do modelo e vão depender do fenômeno modelado. Podem ocorrer desvios nas distribuições dos dados de entrada (data drift), erros de ETL, ou até mesmo mudanças na relação estatística entre as variáveis de entrada e a variável resposta (concept drift)[1], entre outros.

Assim, monitorar regularmente o modelo em produção e estar preparado para atuar quando essas mudanças ocorrerem, é fundamental para ter confiabilidade e robustez nos resultados. O monitoramento do modelo deve fazer parte do ciclo de vida de um projeto de aprendizado de máquina (Figura 1).

Monitoramento do modelo

O monitoramento de performance de um modelo pode ser feito com métricas comuns, como precisão, recall, F1-score, acurácia, MAE, etc.

Também é importante monitorar a estabilidade das variáveis explicativas e da variável alvo do modelo. Nesse caso, métricas comuns para detectar desvios na distribuição das features, são as geradas pelos testes estatísticos como Kolmogorov-Smirnov (KS)[2] e Qui-quadrado (X²)[3]. Em publicações futuras podemos trazer mais detalhes sobre esses testes.

Outra métrica utilizada para detectar desvios entre a população de modelagem e a população atual, é o Índice de estabilidade populacional (IEP), muito difundido nos processos de modelagem de crédito[4]. Assim como as métricas geradas pelos testes KS e X², o IEP pode ser utilizado para validar a integridade dos dados e identificar possíveis causas nas variações de performance do modelo. Uma grande vantagem do IEP é que ele é simples, de fácil entendimento e interpretação.

O foco desse artigo é estabelecer critérios que permitam o monitoramento de modelos abordando principalmente o IEP. No próximo tópico serão apresentados mais detalhes sobre essa métrica.

Índice de estabilidade populacional — IEP

Como dito anteriormente, o IEP é uma métrica utilizada para medir variações na distribuição de duas amostras/populações. Essa métrica consiste em uma medida simétrica da diferença entre duas distribuições de probabilidade de acordo com a divergência de Kullback-Leibler[5]. Ela é definida como[4]:

onde ri e mi são as porcentagens de observações na categoria i, nas amostras de interesse r e m. Em aprendizado de máquina, geralmente a amostra r se refere ao conjunto utilizado para treinamento do modelo, e a amostra m ao conjunto de teste. Vale observar que o IEP é definido no intervalo [0,+∞], diferentemente do KS e X², que são definidos no intervalo [0,1].

Na literatura, são considerados os seguintes limiares obtidos empiricamente[6]:

IEP < 0.1 : Desvio não significativo.

0.1 <= IEP < 0.25 : Desvio baixo, sinal de alerta.

IEP >=0.25 : Desvio significativo. Deve-se investigar a causa da divergência e recalibrar/retreinar o modelo, caso necessário.

Mais discussões sobre esses valores podem ser encontradas em [7].

Como exemplo, vamos considerar a UF como uma variável explicativa de um modelo de ciência de dados. A porcentagem de observações em cada estado nos conjuntos de treinamento (mi) e teste/validação (ri)) (out-of-time) pode ser vista na figura abaixo (por simplicidade, apenas alguns estados foram considerados).

Como pode ser visto, houve uma mudança significante do percentual de observações de algumas UFs. Isso pode ser constatado com o cálculo do IEP na tabela abaixo.

O IEP nesse caso é de 0,29 (maior que o limiar de 0,25) e indica, portanto, um desvio significativo da variável UF.

Todavia, se a variável for contínua, é necessário dividi-la em bins, contar o número de observações em cada bin e então calcular a sua respectiva porcentagem, como no exemplo abaixo, considerando distribuições geradas aleatoriamente.

Vale destacar que o número de bins resultante da categorização escolhida impacta o valor calculado para o IEP. Quanto menor o número de bins, torna-se necessário perturbações cada vez maiores para que tenhamos uma sinalização de tal perturbação.

Nesse caso, escolheu-se o número de bins igual a 10, por ser um valor comumente utilizado na prática. Podemos também analisar o gráfico da Figura 4 quanto à evolução do IEP para escolher um valor de convergência (vale a ressalva de que esse valor de convergência pode ser alto, e um número grande de bins pode resultar em um critério excessivamente rigoroso).

Uma outra opção é gerar perturbações controladas e de interesse nos dados e avaliar o número de bins necessário para detectá-las.

O IEP nesse caso é de 0,83 (maior que o limiar de 0,25) e indica, portanto, um desvio significativo da variável, evidenciando o deslocamento da média da distribuição da variável aleatória em análise.

Exemplo Comparativo entre IEP, Qui-quadrado e KS

Suponha uma variável aleatória X que será monitorada em termos de sua estabilidade. Para efeito de exemplificação, serão gerados dados aleatórios de uma Distribuição Beta.

A Beta é definida no intervalo de [0, 1] e de acordo com a parametrização especificada (“a” e “b”) sua distribuição pode assumir diferentes formatos.

Agora, suponha que a distribuição de X no dataset de treino seja como a mostrada na Figura 6. Uma vez que o IEP requer dados de natureza categórica, é feito um agrupamento da nossa variável aleatória em intervalos de 0.1.

Vamos comparar essa distribuição de referência com outras distribuições simuladas, como mostrado na figura abaixo.

No primeiro caso, onde os dados foram gerados de distribuições com mesmo parâmetro, os três testes (IEP, KS e X2) apontam para igualdade das distribuições, como era esperado.

No segundo caso, com uma alteração moderada no formato da distribuição, o IEP indica possível alteração, enquanto os demais testes foram mais rigorosos nessa mesma comparação.

Já no terceiro caso, todos os testes foram concordantes com relação a alteração na distribuição dos dados, o que de certa forma era esperado, dado que a parametrização adotada ocasionava em uma maior assimetria dos dados.

O tamanho da amostra também é um fator relevante, tendo em vista que em amostras pequenas as métricas calculadas estão mais sujeitas a variações amostrais. Na figura abaixo pode ser vista a comparação com tamanhos de amostras diferentes.

Obs.: os exemplos com variáveis contínuas foram meramente ilustrativos e podem apresentar resultados diferentes dependendo da seed fixada para a geração dos números aleatórios.

Verifica-se que nesse exemplo, para dados obtidos com a mesma parametrização da distribuição de referência, no caso da amostra de 100 observações, o IEP sinaliza possíveis alterações nos dados, enquanto os testes Qui-quadrado e KS sinalizam divergência entre as distribuições. Todavia, para amostras maiores (n=1000 e n=10000), todos os testes são concordantes de que os novos dados são oriundos da mesma população.

Conclusões

· As métricas discutidas nesse artigo podem ser utilizadas para monitoramento de aplicações de ciência de dados. Elas ajudam a identificar mudanças nas distribuições dos dados preventivamente, sinalizando a necessidade de ajustes no modelo e evitando a utilização de resultados inconsistentes.

· O IEP é mais moderado do que o Qui-quadrado e o KS, o que pode ser útil em problemas sabiamente conhecidos nos quais há uma variação natural dos dados em decorrência de sazonalidades ou outros fatores. No exemplo da Figura 8, as distribuições têm a mesma parametrização, apenas o número de observações foi reduzido. Nesse caso, o IEP foi mais moderado em relação à conclusão, evitando falsos positivos em virtude de variações amostrais.

· As três métricas apresentadas neste artigo têm as suas particularidades, e podem ser utilizadas de forma conjunta na avaliação de fenômenos que possam alterar a distribuição dos dados.

Referências

[1] Burkov, A. (2020). Machine learning engineering (Vol. 1). True Positive Incorporated.

[2] Berger, V. W., & Zhou, Y. (2014). Kolmogorov–smirnov test: Overview. Wiley statsref: Statistics reference online.

[3] Pearson, Karl (1900). On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling. Philosophical Magazine Series 5. 50 (302): 157–175.

[4] SICSU, A. L. (2010). Credit Scoring. Desenvolvimento Implantação Acompanhamento. Blucher.

[5] Kullback, S., & Leibler, R. A. (1951). On Information and Sufficiency. The Annals of Mathematical Statistics, 22 (1), 79–86.

[6] Thomas, L. C., Edelman, D. B., & Crook, J. N. (2002). Credit Scoring and its Applications: SIAM monographs on mathematical modeling and computation. Philadelphia: University City Science Center, SIAM.

[7] Yurdakul, B. (2018). Statistical properties of population stability index. Western Michigan University.

Índice de Estabilidade Populacional e Monitoramento de Modelos was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Proporcionar interações intuitivas e serviços eficientes é um desafio exponencial para muitas empresas. Como a implementação do SAC 4.0 pode contribuir para melhorar o relacionamento com o cliente?

Disclaimer: este artigo tem como objetivo apresentar uma abordagem à análise exploratória de potenciais problemas de negócios e trazer soluções que vão orientar as etapas estatísticas (ou ciência de dados), permitindo, assim, identificar de forma mais assertiva os comportamentos e necessidades dos clientes aplicado às centrais de atendimento.

Introdução
O termo indústria 4.0 foi mencionado pela primeira vez na Feira de Hannover, 2011. Foi cunhado a partir de um projeto estratégico voltado para tecnologia do governo alemão (14). Logo, o conceito de SAC 4.0 nada mais é que a evolução do serviço de atendimento ao consumidor unindo inovações tecnológicas — habilitadores -, principalmente, foco na experiência e sucesso do cliente.

E se quiséssemos estimar a frequência de ligações de clientes em um certo intervalo de tempo? Como obter essa resposta através da estatística probabilística?

Teoria de Filas (Pesquisa Operacional)
Primeiramente, é importante ressaltar que a teoria de filas é um setor da Pesquisa Operacional (6) que utiliza conceitos básicos de processos estocásticos. E, de matemática aplicada para analisar o fenômeno de formação de filas, bem como suas características.

Tipo de filas
Finita
As eleições do sistema brasileiro, por exemplo. À medida que ocorrem as apurações das urnas (cenário brasileiro) há uma redução da população (regiões).

Infinita
Uma fila bancária, como exemplo. Logo, enquanto o período de atendimento estiver disponível, não há limites de vezes para chegada ou saída de clientes (4).

Classificando o nível de paciência do cliente
Impaciente
Não quer esperar. Um exemplo disso é um restaurante, não adianta querer saciar sua fome sem que o prato seja totalmente disponibilizado pela cozinha (1). Existem os processos a serem cumpridos e etapas.

Paciente
Espera por um determinado produto ou serviço. As compras online são um ótimo exemplo, na maioria dos casos o processo de logística para entrega final na casa do cliente é determinado por um ‘SLA’, acordo de nível de serviço (do acrônimo em inglês: Service Level Agreement).

Limite
Aguardando atendimento em uma chamada telefônica. Tempo máximo de espera estipulado e mencionado ao cliente de maneira transparente. Pelo menos deveria!

Estudo de caso 1: determinando a probabilidade (SAC 4.0)

Um sistema de atendimento ao cliente (fraudes), recebe um total de 200 ligações por dia, considerando uma jornada de 6h de trabalho, de maneira aleatória e independente (de ocorrências anteriores). A média é de 33.3 ligações por hora.

Assumindo que a equipe deste Call Center trabalha somente em dias úteis qual é a probabilidade de que nenhuma ligação ocorra em um intervalo de 15 minutos?

Matemágica! Eitha que o trem lascou de vez. Calma!
Vamos entender a definição de alguns conceitos primeiro.

Método
Probabilidade
A distribuição de Poisson (1) nada mais é que uma distribuição estatística; criada por Siméon Denis Poisson e responsável por publicar em 1838 a teoria da probabilidade. É aplicável quando o número de possíveis ocorrências discretas é muito maior do que o número médio de ocorrências em um determinado intervalo de tempo ou espaço amostral.

Fórmula de Poisson

Solução (estudo de caso 1)

A probabilidade de que nenhuma ligação (ou evento) ocorra em um intervalo de quinze minutos (15min) é de 0,024%.

Visualização do gráfico

No gráfico acima, o valor de 0,024% (ponto de intersecção) representa a probabilidade de que nenhuma ligação (evento) ocorra em um intervalo de quinze minutos, dado que a jornada do colaborador corresponde de 0h até às 6h (referência à madrugada).

Bônus: estudo de caso 2 (fila bancária)

Para o nosso propósito prático, vamos considerar que a nossa média de chegada é de 2 clientes em um intervalo de 30 minutos, de maneira aleatória e independente. Além de, assumir que a capacidade de atendimento dos operadores é de no mínimo 5 e no máximo 8 clientes por guichê.

Qual é a probabilidade de 5 novos clientes chegarem na fila em um intervalo de uma hora?

Expressão

Probabilidade

Assim, para um intervalo de uma hora (ou 60min), podemos concluir que existe a probabilidade de 34,97% de 5 novos clientes chegarem na fila.

A ‘geração’ do gráfico (case 2) é por sua conta, ok? :)
Envie nos comentários suas sugestões e/ou novas soluções. Será um prazer para nós visualizar outras formas de resolução destes problemas de negócio.

Ambiente de execução (experimento)
O experimento foi executado em uma estação de trabalho (computador) com as seguintes configurações:

Conclusão
Assim como o Marketing evoluiu junto ao comportamento do consumidor, as empresas de todos os portes estão despertando para a necessidade de modernizar o atendimento ao cliente através dos benefícios do SAC 4.0.
É importante ressaltar ainda que durante a transição tecnológica haja desvios e impactos, positivos ou negativos. Estes efeitos devem ser observados, mensurados e ajustados de acordo com a estratégia e contexto de cada empresa.

Autores: Alexandre (#oale) e Tales Lima Fonseca

Agradecimento: Alceu Costa, Lennon Cruz, Gustavo Bicalho, Diego Wesllen, Rodrigo Mello, Fellows e DED (Itaú Unibanco).

Referências:

1. A. Zibetti. Processos de chegada Distribuição de Poisson. Probabilidade e Estatística para Engenharias utilizando o R (Studio) da Universidade Federal de Santa Catarina (2022)
2. A. Corleta. Taxa de Chegadas — Pesquisa Operacional. Post em vídeo no Youtube (2016)
3. C. C. Cavalcante, V. S. O. Ribeiro. Tópicos em Estatística para Engenharia. E-book no blog Osterne (2022)
4. E. Bastos. Otimização de Estruturas de Filas. Post no github.io. (2018)
5. D.G Kendall. Stochastic Processes Occurring in the Theory of Queues and their Analysis by the Method of the Imbedded Markov Chain. The Annals of Mathematical Statistics (1953)
6. D. Lindley. The theory of queues with a single server. Mathematical Proceedings of the Cambridge Philosophical Society (1952)
7. R. Bruns, S. P. Soncim, M. F. Sinay. Pesquisa Operacional: Uma Aplicação da Teoria das Filas a um Sistema de Atendimento . Artigo na Associação Brasileira de Engenharia de Produção (2001)
8. Anaconda. Anaconda offers the easiest way to perform Python/R data science and machine learning on a single machine. Website Anaconda Distribution (2022)
9. Jupyter. Free software, open standards, and web services for interactive computing across all programming languages. Website Jupyter.org (2022)
10. Pandas. Open source data analysis and manipulation tool, built on top of the Python programming language. Website Pandas.org (2022)
11. Numpy. The fundamental package for scientific computing with Python. Website Numpy.org (2022)
12. Matplotlib. Matplotlib is a comprehensive library for creating static, animated, and interactive visualizations in Python. Matplotlib makes easy things easy and hard things possible. Website Matplotlib.org (2022)
13. R. Pires. Melhore o atendimento ao cliente com o SAC 4.0. Post no blog rockcontent (2022)
14. IEDI. Indústria 4.0: A Quarta Revolução Industrial e os desafios para a Indústria e para o desenvolvimento brasileiro. Instituto de Estudos para o Desenvolvimento Industrial (2017)

SAC 4.0: a evolução do serviço de atendimento ao consumidor was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Nos últimos anos, o uso de sistemas inteligentes em diferentes áreas trouxe ganhos inquestionáveis à sociedade. Do universo acadêmico ao corporativo, o emprego de Machine Learning (ML) possibilitou a resolução de problemas de alta complexidade (como o dobramento de proteínas, solucionado pelo DeepMind AI [1]) e a reinvenção de negócios a partir de dados (a exemplo de plataformas de streaming e de empresas de serviços financeiros).

Por outro lado, o sucesso do emprego de sistemas inteligentes em diversos campos depende da execução de tarefas manuais por especialistas de ML (a exemplo do pré-processamento dados, da seleção de features e do treinamento de modelos e a otimização de seus hiperparâmetros).

O rápido crescimento da demanda por aplicações que permitam a usuários de diferentes especialidades usar pipelines de ML com o acompanhamento pontual de experts motivou, em boa parte, o desenvolvimento de uma área denominada AutoML.

Mas o que é o AutoML?

AutoML se refere à Automatização do Aprendizado de Máquina (Automated Machine Learning) em processos de Ciência de Dados. A ideia consiste em automatizar tarefas de Ciência de Dados de forma que etapas manuais, demoradas e iterativas sejam resolvidas sem que um especialista acompanhe cada fase do desenvolvimento de uma solução.

Com isso, permite-se que analistas de negócios ou pesquisadores de diferentes campos do conhecimento possam executar pipelines de Ciência de Dados para a resolução de problemas bem formulados, ainda que não sejam experts no assunto.

Apesar de existirem robustas soluções no mercado e da publicação de promissores resultados de pesquisa, ainda não há sistemas genéricos capazes de adaptar todo o processo em diferentes técnicas (como problemas de regressão e classificação, inferência causal, grafos, aprendizado não supervisionado, entre outros).

Para quem se destina?

O desenvolvimento de soluções de AutoML pretende democratizar o uso de técnicas de Aprendizado de Máquina para profissionais de diferentes perfis. Nesse sentido, analistas de negócio, pesquisadores, executivos e profissionais de dados podem usar as soluções existentes em seu cotidiano, sem que sejam necessários conhecimentos sobre programação.

O conceito de AutoML encapsula e democratiza ainda conceitos relativos a pipelines de Ciência de Dados na tentativa de oferecer ao usuário soluções end-to-end, como a ingestão, o pré-processamento e exploração de dados, a criação (Engineering) e a seleção de features, o treinamento de modelos e a otimização de seus hiperparâmetros, além da avaliação e interpretação dos resultados obtidos por tais modelos. Há também ferramentas de AutoML focadas na automação, operacionalização e manutenção de sistemas inteligentes em produção.

Além disso, o uso de ferramentas de AutoML propicia inúmeras vantagens do ponto de vista de engenharia de software, uma vez que são criados programas menos suscetíveis a erros simples. Como resultado, são obtidos softwares com maior potencial de replicabilidade e padronização, cujo tempo de desenvolvimento é geralmente inferior ao de sistemas que não usam AutoML.

Esse processo de democratização de pipelines de ML pode ser comparado ao uso de planilhas Excel, que inicialmente era restrito a profissionais de contabilidade e hoje é utilizado para diversas finalidades.

O AutoML tornará profissionais de dados obsoletos?

Não!

Se você trabalha com Machine Learning e já empregou técnicas para otimizar o desempenho de um modelo, a exemplo do Grid Search, saiba que você utilizou uma forma de AutoML! Imagine o custo de ter que explorar manualmente o espaço de hiperparâmetros disponíveis para conseguir a melhor performance do seu modelo.

Conforme profissionais de diferentes perfis passem a usar ferramentas para explorar novos volumes de dados, o papel de experts em ML e Inteligência Artificial será ainda mais crucial. Especialistas em Ciência de Dados terão a função de formular o problema adequadamente para o escopo de ML (ou direcioná-lo para outras técnicas), interpretar os resultados, aplicar o modelo corretamente, elaborar novas soluções por meio de técnicas mais avançadas e educar profissionais de outras áreas para a obtenção de níveis de maturidade em IA cada vez maiores.

Com a automatização de processos simples, como a parametrização de uma Random Forest, as novas gerações de cientistas serão desafiadas a trazer maior valor para o processo de Ciência de Dados, uma vez que porções fundamentais de pipelines de ML estarão prontas. Por outro lado, há aspectos relacionados a Aprendizado de Máquina que deverão ser cada vez mais estudados no escopo de AutoML, a exemplo do (a):

• Análise de vieses: há diversas iniciativas de pesquisa no sentido de estimar a magnitude, o nível de incerteza e a direção de vieses. Esta é ainda uma questão em aberto em Aprendizado Estatístico e que deve receber cuidados especiais em cenários em que se deseje automatizar pipelines de ML. Exemplos nesse sentido podem ser encontrados em [2], e [3];
• Aplicação de AutoML em sistemas que mudam continuamente ou em situações em que se espera a ocorrência de concept drift. De forma geral, há ainda um longo caminho para que consigamos lidar de forma efetiva com sistemas bastante dinâmicos. Exemplos podem ser encontrados em [4], e [5];
• Explicabilidade em frameworks de AutoML e a reconstrução do espaço para Feature Engineering, que pressupõe sólido conhecimento e especificidades do problema estudado;
• Tarefas desafiadoras em que o AutoML ainda tem um longo caminho a percorrer, como o aprendizado não-supervisionado e o aprendizado por reforço;
• Qualidade não consistente de dados rotulados e a dificuldade de se aplicar pipelines de AutoML em dados não-estruturados.

Qual o futuro do AutoML?

Com o rápido desenvolvimento de técnicas científicas e soluções de mercado em AutoML, especialistas acreditam que haverá automatizações para boa parte das análises cotidianas. Assim, profissionais generalistas poderão empregar métodos sofisticados para obter maior valor dos dados disponíveis em suas áreas.

Além disso, a tendência é que surjam sistemas com diferentes especializações (como o uso de dados estruturados para precificação, ou o emprego de dados não estruturados para o processamento de linguagem natural) e embarcados em diferentes produtos de empresas (a exemplo de carros e celulares, para analisar a relação do usuário com o ambiente).

Por outro lado, será cada vez mais comum observar especialistas técnicos trabalhando a partir de scripts para chamar, usar funcionalidades e configurar sistemas de AutoML.

Quer saber mais? Uma breve história das principais técnicas…

Na literatura são encontrados diversos relatos sobre o uso de algoritmos de força bruta para buscas exaustivas em diferentes campos do conhecimento. Entretanto, um dos primeiros registros de automatização de modelos de ML ocorreu em 1995, quando a empresa Unica Technologies desenvolveu o software Pattern Recognition Workbench para realizar buscas exaustivas em conjuntos de parâmetros com o objetivo de otimizar redes neurais. Esse método ficou conhecido como Grid Search e ainda é amplamente utilizado [6].

Posteriormente a comunidade científica propôs novas estratégias para a otimização de hiperparâmetros, como a busca aleatória (Random Search) e o uso de Gradiente Descendente para pesquisar o espaço dos parâmetros de Support Vector Machines (SVM) e Redes Neurais [6].

Por outro lado, a busca direcionada de hiperparâmetros utilizando meta-heurísticas de otimização se tornaram mais frequentes devido à sua capacidade de encontrar soluções boas em um pequeno intervalo de tempo. As meta-heurísticas que mais se destacaram foram: Algoritmo Genético, Colônia de Abelhas Artificiais, Enxame de Partículas e Evolução Diferencial. Destacam-se também alguns excelentes resultados utilizando otimização Bayesiana [7].

Trabalhos mais recentes tendem a apresentar abordagens completas de seleção de modelos. Sob tal aspecto, são destacados:

• O uso de Particle Swarm Optimization para a seleção de uma combinação de pré-processamento, seleção de variáveis e métodos de aprendizado para obter um classificador final com o menor erro possível. Cada modelo passa por uma etapa de busca dos hiperparâmetros ótimos [8];
• O pacote de automatização de modelos com o software WEKA. A escolha do modelo e seus hiperparâmetros pode ser feito através de um problema de otimização hierárquico de hiperparâmetros, onde até mesmo a escolha do modelo é considerada um hiperparâmetro [9];
• Auto-sklearn, que utiliza otimização Bayesiana para encontrar a combinação ideal de pré-processamento dos dados, pré-processamento das características, modelos e seus hiperparâmetros [10];
• A estratégia de automatização da empresa H2O.ai, onde diferentes modelos pré-determinados são treinados e passam por validação cruzada. Alguns dos modelos já possuem hiperparâmetros definidos e outros passam por busca utilizando Random Search. Após estes treinamentos, dois ensembles do tipo stacking são treinados. Um dos ensembles contém todos os modelos e o segundo contém apenas os modelos com melhor desempenho de cada “classe” de algoritmos [11];
• O conceito de otimização de pipeline baseado em árvore TPOT (Tree-based Pipeline Optimization Tool) para automatizar o projeto de pipeline de um problema de ML. O TPOT utiliza uma versão de Programação Genética para projetar e otimizar uma série de transformações de dados e modelos que tentam maximizar a performance para um conjunto de dados de aprendizado supervisionado;
• O Autostacker, que consiste na automatização da criação de ensembles do tipo stacking utilizando Automatic Evolutionary Systems. Em sua abordagem, não são utilizados pré-processamento de dados ou seleção de características como a maioria das técnicas apresentadas [12].
• A partir de 2017, várias empresas como Amazon, Google e Microsoft começaram a lançar soluções comerciais relacionadas a AutoML, dando maior importância para o assunto no mundo, a exemplo do Amazon Sagemaker Autopilot e do Google Cloud AutoML.

E a conclusão?

O uso de Machine Learning e Ciência de Dados em escala provocou uma importante disrupção em como empresas e universidades desenvolvem pesquisas, produtos e tecnologias. O advento de sistemas inteligentes permitiu que diferentes negócios explorassem melhor o poder de seus dados com o objetivo de personalizar a relação com seus clientes e de conceber iniciativas data driven. Entretanto, o uso das ferramentas que permitiram tais avanços dependem da atuação de especialistas em Ciência de Dados em tarefas manuais. Nesse sentido, o desenvolvimento de soluções de AutoML permitirá que profissionais de diversos perfis usem pipelines de ML, em parceria com experts técnicos, para obtenção de valor a partir de novos volumes de dados e de perspectivas ainda não abordadas.

Referências:

1. DEEPMIND. AlphaFold: a solution to a 50-year-old grand challenge in biology
2. CHAKRABORTY, J.; MAJUMDER, S.; MENZIES, T. Bias in machine learning software: why? How? What to do?
3. CALISKAN, A.; BRYSON, J.; NARAYANAN, A. Semantics derived automatically from language corpora contain human-like biases
4. RIOS, R. A. ; PAGLIOSA, P. A.; LOPES, C. S.; DE MELLO, R.F. Concept drift detection on social network data using cross-recurrence quantification analysis. Chaos, v. 28, 2018.
5. COSTA, FAUSTO G. DA; DUARTE, FELIPE S.L.G.; VALLIM, ROSANE M.M. ; MELLO, RODRIGO F. DE. Multidimensional surrogate stability to detect data stream concept drift. EXPERT SYSTEMS WITH APPLICATIONS, v.1, p. 1, 2017.
6. PARVEZ, M.T. A Generic Workbench for Pattern Recognition. International Conference on Intelligent Systems. 2008
7. FONSECA, T. L. Algoritmo Genético com Regressão: Busca Direcionada Através de Aprendizado de Máquina. Universidade Federal de Juiz de For a. 2017
8. BLACKWELL, T.; KENNEDY, J.; POLI, R. Particle swarm optimization. Swarm Intelligence. 2007
9. WEKA
10. AUTOSKLEARN SOFTWARE
11. H2O
12. CHEN, B.; HARVEY, W.; MO, W. Autostacker: a compositional evolutionary learning system. The Genetic and Evolutionary Computation Conference. 2018

AutoML: a próxima disrupção de sistemas inteligentes was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Nossas boas-vindas à seção de Quantum Machine Learning do Medium Itaú Data!

Nos posts desta seção, vamos apresentar conceitos e discutir avanços na pesquisa e desenvolvimento da computação quântica, com especial foco na sub-área conhecida como Quantum Machine Learning (QML).

À primeira vista, o termo QML parece apenas uma combinação de buzzwords das tecnologias emergentes, mas, na verdade, esta é uma área de pesquisa relativamente recente, mas muito aquecida, que está na fronteira da tecnologia e tem como principal objetivo responder às seguintes perguntas:

• O que a computação quântica tem a oferecer aos problemas de aprendizagem de máquina?
• Em que casos podemos esperar vantagens?
• Que tipos de vantagens podemos esperar?

Atualmente estamos em um estágio em que há muito mais perguntas do que respostas — e isso talvez seja o que torna a área tão interessante e promissora!

No Itaú Unibanco, seguimos uma abordagem data-driven para a resolução dos mais diversos problemas. Esta abordagem é apoiada pelo uso de ferramentas de ciência de dados, e muitas vezes incluem técnicas de Machine Learning (ML). Sendo assim, estamos sempre em contato com a fronteira da tecnologia, continuamente buscando técnicas que possam aprimorar os métodos de ML que são utilizados.

E é neste contexto que a pesquisa em QML ganha grande relevância e interesse, pois esta intersecção entre aprendizagem de máquina e computação quântica pode ser justamente um destes novos desenvolvimentos na fronteira tecnológica, com o potencial de transformar profundamente a forma como alguns dos mais complexos problemas são resolvidos!

Mas devemos ir com calma. Como mencionamos acima, a área ainda é bem jovem, então ainda não há respostas definitivas para nenhuma das três perguntas acima. O que temos são evidências circunstanciais e algumas semelhanças estruturais entre a computação quântica e métodos de ML, que indicam que esta intersecção pode ser muito frutífera. Mas, por enquanto, nenhuma certeza — e é justamente por isso que a pesquisa em QML é de enorme importância, pois é só assim que encontraremos as respostas para estas e tantas outras perguntas no contexto desta que tem o potencial de ser uma revolução tecnológica sem precedentes.

Por isso, criamos um time dedicado à pesquisa desta área no banco, e, para compartilhar um pouco sobre as formidáveis possibilidades que esta nova tecnologia proporciona, decidimos criar esta seção de posts no Medium Itaú Data!

Nosso objetivo é divulgar os conceitos de maneira mais acessível possível. Assim, mesmo que você nunca tenha ouvido falar sobre computação quântica, os conceitos poderão ser bem absorvidos. Em alguns posts seremos mais técnicos, mas buscaremos sempre ser autocontidos, ou oferecer referências adicionais, assim, conseguiremos passar detalhes mais profundos aos interessados, sem prejuízos à compreensão geral.

Além disso, queremos que este espaço seja construído com você. Assim, se houver algum assunto em particular que você gostaria de saber, deixe sua sugestão nos comentários, e faremos o possível para que os temas sugeridos sejam abordados em posts futuros.

Aproveite a leitura! Esperamos que você se divirta e se empolgue com esta nova tecnologia e suas possibilidades tanto quanto nós!

Uma breve introdução à Computação Quântica

Em nosso primeiro post, antes de partirmos diretamente para conceitos de Quantum Machine Learning (QML), gostaríamos de discutir um pouco sobre o contexto geral da computação quântica.

Em termos simples, podemos definir a computação quântica como a utilização de propriedades da mecânica quântica para o processamento de informação.

Apesar de simples, a definição acima só faz sentido se soubermos o que é a mecânica quântica, não é mesmo? Então, vamos começar por este ponto.

A mecânica quântica é a teoria física que descreve a natureza na escala molecular, atômica e subatômica. Isto é, com a mecânica quântica conseguimos descrever a evolução (como as coisas mudam no tempo) e os fenômenos que ocorrem com moléculas, átomos, partículas, etc.

E, acredite, o mundo nesta escala é muito diferente do mundo macroscópico com o qual estamos acostumados! Por este motivo, muito do que a mecânica quântica descreve é bastante contraintuitivo — e isso é absolutamente normal, pois nossa intuição foi construída através do contato com o mundo macroscópico, onde os fenômenos quânticos simplesmente não são observados.

Assim, não se preocupe se, ao estudar a mecânica quântica (ou ao ler nossos posts!), surgirem conceitos e fenômenos que causem estranhamento à primeira vista. Todos que seguiram esta empreitada passaram por isso! Mas, acredite, com o tempo (e a inestimável ajuda da matemática), as coisas começam a ficar mais claras!

Infelizmente, talvez seja devido a este seu aspecto contraintuitivo que, com o passar do tempo, a mecânica quântica tenha ganhado uma conotação um tanto quanto esotérica no imaginário popular. É possível que você já tenha ouvido falar sobre algumas apropriações injustificáveis do termo “quântico”, que estão longe de qualquer embasamento científico, e por isso devem ser combatidas. Esperamos que com os textos deste blog, além de compartilharmos as possibilidades da computação quântica, também contribuamos para desmitificar estes usos levianos do termo, e passemos as ideias por trás da real mecânica quântica, como teoria científica!

Afinal, a mecânica quântica é uma das teorias físicas mais bem-sucedidas na descrição da natureza! Apesar de muito contraintuitiva, hoje é consenso na comunidade científica que a descrição da natureza microscópica que é proporcionada por esta teoria é adequada e precisa. Tão adequada que seus métodos e ferramentas vão além de curiosidade científica — é graças à mecânica quântica que temos muitas tecnologias extremamente relevantes da atualidade (como por exemplo: transistores, LED, laser, ressonância magnética nuclear, etc.) e do futuro próximo (como a computação quântica, internet quântica, etc.).

Feita esta pequena introdução sobre a mecânica quântica, podemos entender um pouco melhor a definição que demos acima: a computação quântica surge ao decidirmos mudar a forma como representamos e processamos a informação!

Antes de avançarmos, um comentário quanto à terminologia: nos textos desta seção, sempre que você ler a palavra “clássica”, entenda-a como “não-quântica”. Neste sentido, “clássico” não se refere a algo necessariamente tradicional ou antigo. Em nosso uso do termo, tudo o que não é quântico será caracterizado como “clássico”. Assim, por exemplo, quando utilizarmos o termo “computação clássica”, estamos nos referindo à computação que não é quântica. Mesmo os supercomputadores modernos, por não serem computadores quânticos, serão chamados de computadores clássicos. Fixada esta terminologia, vamos prosseguir!

Todos sabemos que a computação clássica, em seu nível mais fundamental, é baseada em bits, valores lógicos binários que podem assumir dois estados possíveis: 0 ou 1. E nada além disso.

De fato, todo algoritmo clássico pode ser reduzido, no nível mais fundamental, a operações que são feitas com bits, pois eles são as unidades mínimas de informação clássica. E é processando esta informação armazenada nos bits que os computadores clássicos realizam todas suas operações.

A computação quântica nasce ao modificarmos o aspecto mais fundamental do processamento de informação: introduzimos o bit quântico, mais conhecido como qubit (do inglês, quantum bit). Diferente do bit clássico, o qubit é implementado fisicamente em sistemas quânticos que, portanto, apresentam as formidáveis propriedades descritas pela mecânica quântica!

Com isso, enquanto bits clássicos só podem assumir os dois únicos estados discretos 0 ou 1, os qubits podem assumir o que chamamos de estado de superposição entre estes dois estados, que pode ser entendido como um contínuo de estados possíveis de combinações de 0 e 1. Mais adiante discutiremos a superposição em mais detalhes, mas, desde já, perceba que a introdução dos qubits muda fundamentalmente a noção clássica que temos de representação e processamento de informação!

Assim sendo, a informação armazenada em qubits — a chamada informação quântica — é fundamentalmente diferente da informação clássica em diferentes aspectos, inclusive na forma como ela é processada. E é a partir daí que surgem os enormes potenciais da computação quântica!

Ao alterarmos o nível mais fundamental de informação, é possível construirmos todo um novo modelo computacional, baseado em princípios e implementações radicalmente diferentes dos da computação clássica, e com o potencial de gerar enormes vantagens computacionais!

Para finalizar esta introdução, é importante mencionar que não é só de superposição que a computação quântica é feita. Na verdade, há três propriedades quânticas que são extensivamente exploradas para que o enorme poder computacional da computação quântica se concretize: superposição, interferência e emaranhamento. Vamos discutir brevemente cada uma!

Superposição

Um qubit (que é o sistema quântico no qual estamos interessados) é caracterizado como um sistema quântico de dois níveis. Isto quer dizer que, quando medimos o estado do qubit, há apenas dois estados possíveis que ele pode assumir: |0> ou |1>. Ou seja, é com a medida (interação empírica com o sistema físico para determinação de algumas de suas características) que de fato determinamos qual é o estado do qubit. No entanto, anteriormente à medida, o estado do sistema pode ser dado por uma combinação linear entre estes dois estados. Este estado de combinação entre |0> e |1> é o que chamamos de estado de superposição, e representa a indeterminação do estado anteriormente à medida.

Obs.: é comum que a superposição seja interpretada como o sistema quântico estando “em todos os estados possíveis simultaneamente”. Esta noção não é muito adequada: na realidade, enquanto em superposição, é mais adequado dizer que o sistema não está em nenhum dos estados definitivamente — o estado só é definido com a medida empírica do sistema, cujo resultado é fundamentalmente probabilístico!

Na prática, é possível controlar qual é exatamente a combinação entre |0> e |1> que desejamos (isto é, controlamos com que probabilidade esperamos medir |0> ou |1>, ao efetivamente controlar α e β), e este recurso é importantíssimo para que algoritmos quânticos sejam desenvolvidos. Veja: no fim do algoritmo, os qubits serão medidos e eles irão colapsar para o estado definido |0> ou |1>, de maneira probabilística. Mas, no decorrer do algoritmo, sabendo que os qubits estão no estado de superposição, é possível que exploremos este fato para processar a informação quântica de maneira fundamentalmente diferente do processamento de informação clássica, afinal, o estado de superposição é uma propriedade inerentemente quântica!

Interferência

Sistemas quânticos apresentam propriedades de fenômenos ondulatórios. Em particular, uma propriedade muito típica deste tipo de fenômeno é a interferência, que ocorre quando ondas diferentes interagem entre si: se as ondas estiverem em fase, a amplitude resultante é somada (interferência construtiva); se as ondas estiverem fora de fase, a amplitude resultante é subtraída (interferência destrutiva). Acontece que, apesar de intuitivamente pensarmos em sistemas quânticos (átomos, elétrons) como partículas — que, portanto, não deveriam sofrer interferência — , na realidade os sistemas quânticos também sofrem interferência!

Na computação quântica, esta propriedade tem uma aplicação bem importante: como dissemos anteriormente, o resultado da medida de um sistema quântico é probabilístico. Se esta medida for a resposta do problema que desejamos resolver com o algoritmo quântico, é importante que a resposta correta seja a mais provável, não é mesmo? Pois bem, aí entra a interferência: ao manipular os qubits, podemos fazer com que as respostas corretas para um determinado problema sejam construtivamente interferidas, e as soluções erradas, destrutivamente interferidas! Assim, apesar do caráter probabilístico do algoritmo quântico, maximizamos as chances de medir a resposta correta no final!

Emaranhamento

Quando dois ou mais sistemas quânticos interagem de maneiras particulares a formar um sistema composto, os sistemas passam a estar correlacionados de maneira tão forte, que passa ser impossível descrever o sistema composto em termos dos estados dos sistemas individuais. Isso faz com que a manipulação e medida de sistemas individuais afetem também os demais estados que compõem o sistema composto. Quando dois ou mais qubits apresentam este comportamento, dizemos que os qubits estão emaranhados.

Esta propriedade é extensivamente utilizada em computação quântica, para que a interação entre os qubits dê origem a estados informacionais não acessíveis classicamente, tendo também grande importância em protocolos de comunicação quântica.

Estas três propriedades são completamente quânticas, sem um análogo clássico muito claro, e talvez por isso pode ser difícil entendê-las sem uma devida descrição matemática. Mas não se preocupe com isso (e, se houver demanda nos comentários, podemos fazer posts futuros mais detalhados e matemáticos sobre cada uma destas propriedades!). Por enquanto, saiba apenas que estas três propriedades (disponíveis apenas em sistemas físicos muito pequenos, regidos pela mecânica quântica) são os elementos fundamentais para que seja possível conceber a computação quântica, com todo seu enorme potencial de ganhos em processamento computacional.

Naturalmente, todo este potencial só pode ser concretizado se for realmente possível a construção de computadores quânticos — isto é, hardware que (além de diversos outros componentes importantes), conta com uma central de processamento quântica (QPU, do inglês quantum processing unit) composta por qubits que possam ser manipulados para a execução de algoritmos quânticos.

Felizmente, atualmente já temos alguns exemplos no mundo de computadores quânticos ainda pequenos e ruidosos, mas que demonstram como prova de conceito que este é um caminho possível. E, acredite, a construção de um computador quântico é um problema de engenharia extremamente complexo, um desafio enorme! A boa notícia é que, enquanto você lê este artigo, há cientistas brilhantes trabalhando na construção de diferentes propostas de hardwares quânticos para que seja possível implementarmos e termos, um dia, concretizadas as revoluções computacionais que descreveremos neste blog. Em posts futuros, vamos discutir um pouco mais sobre as propostas de hardware existentes, e em que estágio de seu desenvolvimento estamos atualmente, assim, ficará claro o porquê da construção de hardware quântico ser uma tarefa de engenharia tão complexa.

Agora que os conceitos básicos sobre a computação quântica já foram apresentados, estamos prontos para introduzir o contexto geral da área de QML, o que começaremos a fazer no próximo post. Até lá!

Aos interessados em se aprofundar nos detalhes mais matemáticos da mecânica quântica, computação quântica e quantum machine learning, deixo as seguintes excelentes referências:

Diu, B., Laloë, F., Cohen-Tannoudji, C. (2019). Quantum Mechanics, Volume 1: Basic Concepts, Tools, and Applications. Alemanha: Wiley.

Nielsen, M. A., Chuang, I. L. (2010). Quantum Computation and Quantum Information: 10th Anniversary Edition. Reino Unido: Cambridge University Press.

Benenti, G., Casati, G., Strini, G. (2004). Principles of Quantum Computation and Information: Basic concepts. Singapura: World Scientific.

Schuld, M., Petruccione, F. (2021). Machine Learning with Quantum Computers. Suíça: Springer International Publishing.

Computação quântica e quantum machine learning was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

No Itaú, somos centenas de cientistas de dados desenvolvendo ferramentas no estado da arte em Inteligência Artificial. Muitos dos produtos que utilizamos são desenvolvidos por aqui e exigindo multidisciplinaridade com diversas áreas e habilidades, como engenharia, arquitetura e desenvolvimento de software; arquitetura de cloud computing; segurança da informação; governança de dados; entre algumas outras..

Especificamente no time de Engenharia de Machine Learning, nós trabalhamos para construir, sustentar e evoluir produtos de autosserviço para a implantação de modelos de aprendizagem de máquina. Nosso trabalho possui tanto visões estratégicas, com foco no futuro das plataformas do banco, quanto táticas, com o objetivo de manter e aprimorar os sistemas já existentes.

Cientistas de dados utilizam, de ponta a ponta, as plataformas que construímos, passando por todas as fases do ciclo de desenvolvimento, desde o acesso aos dados até o monitoramento do modelo publicado. Criamos um ambiente unificado mas não centralizado, que provisiona soluções como Feature Store, Ambiente de Experimentação de Modelos, Esteiras de CI/CD para Machine Learning, Agendador de execuções de queries, Monitoramento dos modelos em fase de experimentação e publicação, treino e retreino de modelos, ambientes de publicação de modelos… Tudo isso com o intuito de oferecer uma plataforma moderna, completa e dinâmica para que cientistas possam entregar valor para a área de negócios mais rápido, impactando assim, o cliente na ponta.

Além de desenvolver a plataforma, também elaboramos um processo de capacitação para treinar cientistas do banco no uso de todas estas ferramentas. Esta capacitação busca dar cada vez mais autonomia para o time de ciência de dados, para que foquem no problema de negócio que pretendem resolver sem ter que se preocupar com as ferramentas que utilizarão. Esta capacitação, combinada com até 8 horas de estudos semanais que as pessoas da carreira de Ciência de Dados e Engenharia de Machine Learning tem direito, auxiliam na evolução constante destas pessoas e permitem que soluções e estratégias modernas sejam discutidas e implementadas.

Para desenvolver a plataforma de publicação de modelos do banco, montamos um time multidisciplinar que ajuda em todo o processo de experimentação e homologação de frameworks de Machine Learning tanto com soluções de Cloud Computing quanto com soluções Open Source e soluções proprietárias. A relação que mantemos com fornecedores externos de ferramentas colabora para que a plataforma atenda as demandas do banco utilizando produtos estabelecidos no mercado, como também, permite que seja construído o que entendemos que é preciso.

Como interagimos com as diferentes áreas do banco?

Com esse escopo, você já deve imaginar que as áreas dedicadas à negócios e produtos que se alimentam dos nossos produtos não são poucas. É por isso que, aqui no Itaú, os produtos que desenvolvemos precisam ser flexíveis, escaláveis, ágeis e documentados, para que diferentes áreas do banco possam usá-los sem dificuldades, de forma automática e reproduzível.

Para atender a dinâmica dos clientes internos, e a velocidade com a qual as tecnologias se comunicam e evoluem, nossos times também participam de comitês com equipes de arquitetura e cloud, para auxiliá-las na habilitação de novas integrações entre sistemas e ambientes. Estas atividades permitem com que peças de tecnologias sejam criadas e entreguem as funcionalidades necessárias para que outras áreas atendam seus clientes.

Como funciona a carreira de engenharia de Machine Learning no Itaú?

Com o objetivo de consolidar e reconhecer o papel deste perfil específico de atuação dentro do banco, criamos uma carreira dedicada ao desenvolvimento de profissionais de Engenharia de Machine Learning.

Para entendermos quais os conhecimentos técnicos que seriam necessários para cada etapa da carreira, fizemos várias análises de mercado e conduzimos discussões com nosso time de pessoas, desenvolvimento e clientes até chegarmos em um conjunto de habilidades que mais fazem sentido para as nossas necessidades.

Estas habilidades são compartilhadas entre todos os níveis da carreira, o que se diferencia é o nível de profundidade do conhecimento exigido em cada etapa.

Internamente, o processo para ingressar na carreira de Engenharia de Machine Learning contém alguns passos. O primeiro passo é haver a disponibilidade de uma cadeira que atue com as ferramentas e tecnologias que foram definidas para o cargo. Com essa cadeira disponível, é realizada uma prova que avalia quantitativamente as habilidades técnicas que traçamos para o perfil. Após a aprovação neste exame, é então realizada uma sabatina para analisar de forma qualitativa conhecimentos mais profundos sobre o que se espera de cada nível.

Na prova são exigidos conhecimentos de programação em Python e teste de software; banco de dados relacional e não relacional tanto para consulta quanto para modelagem; Conceitos de Big Data e ingestão/consumo de dados; Arquitetura e soluções de CI/CD para Machine Learning; Infraestrutura como código e arquitetura para soluções na AWS; Container, Git e metodologia ágil; além de conhecer de Machine Learning. Já na sabatina o processo é conduzido com discussões aprofundadas em resoluções de problemas, compartilhando uma arquitetura e discutindo possíveis alterações e impactos, de acordo com as soluções que forem surgindo durante a conversa.

Bibliografia básica

Para auxiliar as pessoas interessadas em ingressar na carreira, preparamos uma bibliografia básica para que se preparem para o trabalho, e, se capacitem para realizar o exame + sabatina.

CD4ML: https://martinfowler.com/articles/cd4ml.html

MLOps: Continuos Delivery for ML on AWS: https://d1.awsstatic.com/whitepapers/mlops-continuous-delivery-machine-learning-on-aws.pdf

Machine Learning Lens — AWS Well-Architected Framework: https://docs.aws.amazon.com/wellarchitected/latest/machine-learning-lens/wellarchitected-machine-learning-lens.pdf

MLOps: pipelines de entrega contínua e automação do aprendizado de máquina: https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Hapke, H., & Nelson, C. (2020). Building Machine Learning Pipelines. O’Reilly Media.

Raj, E. (2021). Engineering MLOps. Packt Publishing.

Treveil, M., Omont, Dataiku Team. (2020). Introducing MLOps. O’Reilly Media.

Lakshmanan, V., Robinson, S., & Munn, M. (2020). Machine learning design patterns. O’Reilly Media.

Burkov, A. (2019). The hundred-page machine learning book (Vol. 1, pp. 3–5). Canada: Andriy Burkov.

Como é atuar na Engenharia de Machine Learning do Itaú? was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

A versão em inglês deste artigo está disponível em Multi-armed Bandits: an alternative to A/B testing

O teste A/B é uma prática muito utilizada em diversas empresas para comparar duas ou mais estratégias e/ou versões de um produto (anúncio, design, página de destino, etc.) e obter aquele que tem um melhor desempenho, ou seja, que tem uma taxa de conversão superior às outras. Por exemplo, considere um aplicativo de uma empresa, um possível teste é considerar se a cor de um botão deve ser azul ou laranja. Com o teste A/B dividimos o público na qual uma parte recebe a versão com o botão azul e outra parte com o botão laranja, e analisa-se qual das versões obteve uma taxa de cliques maior.

A figura acima ilustra o funcionamento do teste A/B: as diferentes variantes do produto são divididas aleatoriamente para os usuários com uma distribuição fixa. Assim, uma parte do público recebe apenas a versão A do produto enquanto a outra parte apenas a versão B por um certo período de tempo. Ao fim desse período, testes estatísticos são aplicados com o intuito de observar qual das diferentes versões tem um resultado melhor.

Entretanto há alguns problemas com o teste A/B:

• há um alto custo com as versões “ruins” do produto, pois elas continuarão sendo oferecidas ao usuário até o fim do teste sendo que o retorno delas não são boas;
• existe também o risco de perder usuários, pois aqueles que durante todo o período de teste que receberam a versão “ruim” do produto podem ficar insatisfeitos.

Existe alguma alternativa ao teste A/B para evitar esses problemas? Ou seja, que podemos reduzir esses custos associados às versões inferiores do produto?

Multi-armed Bandits

O Aprendizado por Reforço é uma técnica de aprendizado de máquina na qual o agente aprende interagindo com o ambiente. Primeiramente o agente observa o estado do ambiente e executa uma ação baseada na sua observação. Essa ação irá modificar o ambiente que transiciona para um novo estado e retorna uma recompensa para o agente dependendo se a ação foi boa ou não. O objetivo do agente é aprender uma política, ou seja, como escolher as ações de modo a receber o máximo de recompensa possível a longo prazo. Imagine por exemplo um jogo de xadrez: o ambiente é o tabuleiro em si e o seu estado corresponde ao posicionamento das peças em determinada fase do jogo. As ações do agente são todos os movimentos que ele pode fazer e a recompensa é de acordo com o resultado final do jogo (vitória, derrota ou empate).

O Multi-armed Bandits (MaB) [1] é um caso específico e mais simples do problema de aprendizado por reforço na qual você tem k diferentes opções (ou ações) A₁, A₂, …, Aₖ, cada uma associada a uma distribuição real R= {R₁, R₂, …, Rₖ} correspondente às recompensas, onde μ₁, μ₂,…, μₖ são as médias dessas distribuições, respectivamente. Assim o agente executa iterativamente uma ação Aₜ de acordo com a sua política e recebe uma recompensa numérica rₜ (que é amostrada a partir da distribuição Rₜ) associada à essa ação. O objetivo é maximizar as recompensas recebidas durante as interações, ou seja, encontrar a ação que possui a maior recompensa esperada. Em outras palavras, o agente precisa descobrir as distribuições de recompensa associadas a cada ação para obter aquela que possui o maior retorno esperado. Uma possível métrica para avaliar o aprendizado do agente em T interações é o arrependimento ρ, dada pela diferença esperada entre a soma da recompensa associada à ação ótima com a soma das recompensas coletadas:

Onde μ* é a média da distribuição de recompensa associada à ação ótima e rₜ é a recompensa recebida no instante t.

O algoritmo base para o MaB é bem simples:

1. Obtém uma estimativa inicial de recompensa de cada uma das k ações
2. Para cada episódio t até T:
3.     Seleciona uma ação de acordo com uma política
4.     Obtém a recompensa dessa ação
5.     Atualiza a estimativa da recompensa da ação escolhida

A política é o ponto principal de um algoritmo MaB, a qual está relacionada em como o agente irá escolher a ação de acordo com as estimativas de recompensa que ele possui. Essa escolha da ação depende da estratégia de exploration e exploitation de cada política.

Exploration vs Exploitation

Imagine que você está em uma cidade nova e não conhece nenhum restaurante da cidade. Na primeira vez, você vai em um restaurante A e gosta bastante dele, ou seja, ele tem uma boa recompensa. Na próxima vez fica o dilema: você deve ir no mesmo restaurante (exploitation), visto que você já sabe que ele é bom, ou você deve visitar um novo restaurante (exploration), para tentar descobrir algum outro que possivelmente seja melhor?

O ideal é que no começo seja feito mais exploration para que o agente consiga conhecer um pouco melhor o ambiente com a qual ele está interagindo, e no final, mais exploitation para usufruir da melhor ação considerando que o agente já conseguiu conhecer bem o ambiente, isto é, ter uma boa estimativa das recompensas de cada ação.

É justamente neste balanceamento entre o exploration e o exploitation que os diferentes algoritmos de MaB trabalham. Veremos em um artigo posterior alguns algoritmos de MaB detalhando cada uma delas. Agora, vamos ver como podemos aplicar o MaB em testes A/B e quais as suas vantagens :).

MaB e Teste A/B

Uma aplicação do MaB é justamente em testes A/B, na qual as diferentes versões do produto são mapeadas para as ações, e as taxas de conversão de cada produto para as recompensas. E como não se sabe a priori a verdadeira taxa de conversão de cada produto, o MaB se encaixa bem no problema para encontrar a versão ótima, i.e., que trás a maior recompensa.

Devido à natureza do MaB ser um método iterativo, a sua principal vantagem é que ele consegue dinamicamente mudar a distribuição de usuários que serão impactados com cada versão de produto, priorizando aqueles que obtiveram melhores recompensas, ou seja, atribuindo um volume maior de usuários para aquela versão. Em outras palavras, o método permite que você aprenda durante o teste, e não apenas no fim dele. Com isso é possível reduzir os custos associados às versões “ruins” visto que eles serão despriorizados durante o processo.

Além disso, conseguimos obter o resultado mais rápido do que no teste A/B, visto que a distribuição vai progressivamente favorecendo a variante com maior conversão.

Dito isso, o foco do MaB é maximizar os ganhos durante todo o período do teste, modificando, dinamicamente, as distribuições de cada variante do produto. Com isso temos as vantagens já citadas: diminuição no custo e obtenção do melhor grupo mais rápido. O trade-off que temos com relação ao teste A/B é que não é possível realizar testes estatísticos para demonstrar que duas versões são estatisticamente distintas ou não.

Conclusão

Neste artigo vimos o que são os testes A/B e alguns dos seus principais problemas e introduzimos o MaB e como eles são aplicados como uma alternativa para os testes A/B.

Em um artigo posterior apresentaremos os principais algoritmos do MaB, analisando a estratégia de cada uma para fazer o balanceamento entre o exploration e exploitation.

Referências

1. Slivkins, Aleksandrs. Introduction to Multi-Armed Bandits — https://arxiv.org/pdf/1904.07272.pdf

2. Gupta, Shubhankar. Multi-Armed Bandit (MAB) — A/B Testing Sans Regret — https://vwo.com/blog/multi-armed-bandit-algorithm/

3. Veleaev, Denis. How to generate a lot more leads and reduce costs? A/B Testing vs Reinforcement Learning. — https://towardsdatascience.com/reinforcement-learning-64730aaa46c9

4. Rafferty, Greg. A/B testing — Is there a better way? An exploration of multi-armed bandits — https://towardsdatascience.com/a-b-testing-is-there-a-better-way-an-exploration-of-multi-armed-bandits-98ca927b357d

Multi-armed Bandits: uma alternativa para testes A/B was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

“Deep learning” é um dos assuntos mais populares da atualidade quando se fala em inteligência artificial. É um tópico que tem gerado bastante curiosidade, tanto para os profissionais da tecnologia e pesquisadores, quanto para pessoas externas.

Atualmente, existe uma grande diversidade de aplicações que utilizam deep learning nos mais diversos cenários, inclusive aqui no Itaú. Uma particularidade, geralmente conhecida por quem trabalha na área, é que o deep learning se estende tanto aos dados estruturados quanto os não estruturados.

Tradicionalmente, um modelo deep consiste em uma MultiLayer Perceptron (MLP) com diversas camadas. Mas, não para por aí: existem também as redes neurais recorrentes e as redes neurais convolucionais (Convolutional Neural Networks — CNNs), que são capazes de lidar com dados não-estruturados.

Como cientista do time de Visão Computacional do Itaú, venho contar, brevemente, sobre a evolução de algumas das arquiteturas de CNNs às quais estudei durante a minha pesquisa de doutorado.

Arquiteturas

A primeira CNN, proposta em 1998 por LeCun, é denominada LeNet [1]. Ela foi desenvolvida com o intuito de auxiliar no reconhecimento de caracteres da base MNIST e gerou resultados com alta acurácia. Uma das particularidades mais importantes das CNNs é que os pesos a serem aprendidos nas camadas convolucionais compõem o filtro que realizará a operação de convolução. Dessa maneira, além de manter a relação espacial das imagens, são extraídas características relevantes durante a aprendizagem. Adicionalmente, o uso de camadas convolucionais reduz significativamente a quantidade de parâmetros quando comparada à MLP e facilita a convergência da rede.

A arquitetura e conceitos introduzidos pela LeNet ainda são muito importantes, pois serviram como base para a criação das arquiteturas mais atuais. Em suma, a rede é formada por uma sequência de camadas, sendo que cada uma delas possui uma função específica na propagação do sinal de entrada, ilustradas pela Figura 1. Tradicionalmente, existem três tipos principais de camadas:

1. as convolucionais;
2. as de subamostragem (pooling); e
3. as totalmente conectadas (fully-connected).

As convolucionais são responsáveis por extrair características das camadas anteriores ou da imagem de entrada, caso seja a primeira camada da rede. As de subamostragem, por reduzir a dimensionalidade dos dados, além de ajudar a tornar a representação invariante a pequenas translações na entrada. Por fim, a totalmente conectada é responsável pela propagação do sinal por meio da multiplicação ponto a ponto e o uso de uma função de ativação. A última camada tem como valor de saída a probabilidade de uma imagem de entrada pertencer a uma das classes para qual a rede foi treinada, a depender da função de ativação utilizada.

Em 2012, alguns anos após a introdução da LeNet, devido ao aumento de recursos computacionais e dados disponíveis, surgiu uma das primeiras arquiteturas que revolucionou o uso das CNNs, a AlexNet [2]. Ela foi a vencedora da competição ILSVRC (ImageNet Large Scale Visual Recognition Challenge) 2012 e deu início a uma sequência de novas propostas de arquiteturas de CNNs com diferentes conceitos, melhorias e aplicações.

A seguir, uma breve descrição das particularidades e motivações para a criação das novas arquiteturas é fornecida:

AlexNet [2]: Vencedora do ILSVRC 2012. Possui arquitetura similar à LeNet, com a inclusão de mais camadas, filtros, empilhamento das convoluções e usou pela primeira vez a função de ativação ReLu [11]. A rede possui filtros de resolução 11×11, 5×5 e 3×3, camadas de pooling e totalmente conectadas, totalizando 8 camadas com cerca de 61 milhões de parâmetros.

VGG [3]: Segundo lugar no ILSVRC 2014. Surgiu com a proposta de criar uma arquitetura de rede mais profunda que as anteriores. A rede contém 19 camadas e 138 milhões de parâmetros. Os autores conseguiram aumentar a quantidade de camadas com o empilhamento de filtros 3 × 3, mostrando que o empilhamento de três desses filtros (243 parâmetros) tinha o mesmo campo receptivo do que um filtro de 7 × 7 (3969 parâmetros). Dessa maneira, foi possível criar uma rede mais profunda sem aumentar muito a quantidade de parâmetros, permitindo, assim, o aprendizado de mais não-linearidades. Existem outras versões da rede com variações principalmente na quantidade de camadas, como a VGG-11, 13 e 16.

GoogleNet [4]: Vencedora do ILSVRC 2014. A rede possui 22 camadas e não utiliza camadas totalmente conectadas, portanto, possui apenas 4 milhões de parâmetros. Também com a proposta de inserção de mais camadas, os autores criaram o conceito de Inception Module. Além disso, ao invés de escolher quais tamanhos de filtros são os mais adequados, a arquitetura foi projetada para executar todos em paralelo e empilhar as respostas. Dessa maneira, a rede aprende quais são as melhores configurações de filtros, dando maior dinamicidade. No entanto, ao usar diferentes configurações de filtros, a quantidade de parâmetros da rede aumenta, inviabilizando que seja mais profunda. Para contornar esse problema, foram inseridas as camadas “bottleneck”, que adicionam filtros de tamanho 1 × 1 antes da convolução desejada, viabilizando a execução dos filtros em paralelo, reduzindo a quantidade de parâmetros, e consequentemente, permitindo que seja mais profunda.

ResNet [5]: Vencedora do ILSVRC 2015. Foi a primeira rede a obter erro de classificação menor que o humano para a aplicação. Sua principal inovação foi conseguir criar redes ultra profundas (com 152 camadas) sem sacrificar seu desempenho. Os autores notaram que redes mais profundas enfrentavam o “problema da degradação”, ou seja, a acurácia da rede acaba saturando ou degradando com o aumento na quantidade de camadas, indicando que redes mais rasas estão aprendendo melhor do que mais profundas. Esse problema pode ser causado pelo desaparecimento do gradiente (vanishing gradient), em que o gradiente pode ser tornar infinitamente pequeno na retropropagação para as camadas anteriores e/ou maldição da dimensionalidade. Sabendo que redes mais rasas têm melhor desempenho do que as mais profundas com algumas camadas a mais adicionadas, os autores propuseram pular essas camadas extras para obter pelo menos a mesma acurácia que a rede mais rasa. Para isso, foi criada a “conexão identidade”, que insere uma conexão entre o início e final de um conjunto de camadas, sendo estas camadas conhecidas como o mapeamento residual. Dessa maneira, algumas camadas podem ser puladas durante o treinamento. A função identidade pode ser aprendida simplesmente definindo o residual como zero. Além disso, devido aos saltos nas conexões, a rede pode escolher quais camadas são mais importantes, tornando-a mais dinâmica e o gradiente pode ser propagado para as camadas iniciais, permitindo a criação de redes ultra profundas.

Ao analisar as particularidades de cada arquitetura, é possível notar que foram introduzidos muitos artefatos que são utilizados em arquiteturas mais modernas. Até esse momento, as arquiteturas focavam em conseguir redes mais profundas para melhorar a acurácia. No entanto, o erro obtido pelas redes na aplicação ILSVRC já era tão baixo, que diminuir ainda mais o erro poderia não compensar o custo computacional, além das diferenças entre os resultados poderem não ser representativas estatisticamente. Portanto, a seguir são brevemente descritas arquiteturas que focam também em desempenho e eficiência. A Figura 2 mostra a diminuição do erro obtido pelas redes entre 2010 e 2015 na competição ILSVRC.

MobileNet — V1 [6]: As MobileNets foram criadas para funcionar em tempo hábil e em uma plataforma limitada computacionalmente, como aplicações de robótica, carro autônomo, realidade aumentada, mobile, entre outros. Sua primeira versão, v1, propôs o uso de blocos chamados de convolução depthwise separable ao invés da convolução tradicional. Esses blocos possuem resoluções e tamanhos de entrada e saída correspondentes à convolução tradicional, porém com redução significativa da quantidade de operações e custo computacional, permitindo que sejam utilizados em ambientes com maiores limitações computacionais. A convolução depthwise separable possui duas etapas: a convolução depthwise e a convolução point-wise. A primeira consiste na realização de uma convolução separada para cada canal (channel) de cor da imagem e posterior concatenação das respostas, e a segunda, que possui como entrada a saída da primeira, consiste na realização de convoluções de 1 × 1 × 𝑁𝑐 para cada quantidade de filtros.

MobileNet — V2 [7]: A segunda versão é composta por blocos Mobile inverted bottleneck convolution (MBConv), cujo objetivo é permitir que a rede aprenda funções mais complexas enquanto mantém a quantidade de memória relativamente pequena, além de possuir resoluções e tamanhos de entrada e saída correspondentes à convolução tradicional. Cada bloco é delimitado por uma “conexão identidade”, similar à ResNet [5], sendo as camadas intermediárias denominadas de mapeamento residual. Esse mapeamento contém uma camada de expansão, a convolução depthwise e a convolução point-wise (denominada projeção na v2). A operação de expansão aumenta o tamanho da representação no bloco por um determinado fator, permitindo que a rede aprenda funções mais ricas, a convolução depthwise realiza a convolução por canal e a projeção retorna ao tamanho desejado para haver economia de memória.

Squeeze and excitation [8]: Essa rede propôs o uso de blocos squeeze and excitation para recalibrar de maneira adaptativa as respostas por canal, modelando explicitamente suas interdependências. Sua criação foi motivada devido à operação de convolução tradicional unir as informações espaciais e por canal, ao invés de analisar de maneira separada. Nesse caso, um bloco é composto por duas etapas, a squeeze e a excitation. A camada squeeze consiste na operação de max pooling por canal e a etapa de excitation possui quatro camadas sequenciais. Com isso, o bloco consegue suprir características menos informativas e enfatizar as características mais informativas.

EfficientNets [9]: As EfficientNets correspondem a uma família de modelos de CNNs criadas pelo Google Research Brain Team que atingiram acurácia e eficiência melhores na base do ImageNet do que as CNNs propostas anteriormente. Sua principal motivação foi construir redes com alta acurácia e eficiência. Até o momento, a prática convencional para o dimensionamento do modelo consistia em aumentar arbitrariamente a profundidade ou largura da CNN, ou usar uma imagem de entrada com resolução maior. Embora esses métodos melhorem a acurácia, geralmente exigem ajuste manual e, ainda assim, costumam produzir um desempenho abaixo do ideal. A proposta da EfficientNet é escalar automaticamente a arquitetura das redes para uma aplicação ou dispositivos específicos. Essa família de redes é baseada em uma arquitetura base, a B0, a qual foi criada a partir de uma pesquisa de arquiteturas que otimizam, simultaneamente, a acurácia e as operações de ponto flutuante por segundo (Floating point operations per second — FLOPS). Sua arquitetura é composta principalmente por blocos MBConv [7], com a adição da otimização squeeze and excitation [8]. A partir da arquitetura base são realizadas aplicações de dimensionamento que alteram a profundidade (#layers), largura (#channels) e resolução da rede simultaneamente.

Conclusões

Durante a minha pesquisa de doutorado, eu trabalhei com a EfficientNet. A minha proposta consistiu em criar um modelo para a estimação etária do cérebro a partir da análise de imagens de ressonância magnética, e verificar se existe uma superestimação etária estatisticamente significativa para pacientes com declínio cognitivo causado pela doença de Alzheimer — e sim, existe, conseguimos! (se tiver interesse em mais detalhes, confira aqui a publicação).

É importante mencionar que existem diversas arquiteturas de CNNs disponíveis para serem estudadas e testadas, as quais não foram mencionadas nesse artigo. Uma das motivações para a escolha da EfficientNet foi devido a seus valores de acurácia reportados, e principalmente, a sua eficiência, visando a possível criação de uma aplicação médica embarcada para auxiliar o diagnóstico da doença de Alzheimer. Portanto, esse artigo teve maior enfoque em entender as particularidades das arquiteturas que levaram à criação final da rede.

Referências

[1] LECUN, Y. et al. Gradient-based learning applied to document recognition. Proceedings of the IEEE, v. 86, n. 11, p. 2278–2324, 1998.

[2] KRIZHEVSKY, A.; SUTSKEVER, I.; HINTON, G. E. Imagenet classification with deep convolutional neural networks. In: Advances in neural information processing systems 25. Nevada, United States: Curran Associates, Inc., 2012. p. 1097–1105.

[3] SIMONYAN, K.; ZISSERMAN, A. Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv: 1409.1556, 2014.

[4] SZEGEDY, C. et al. Going deeper with convolutions. In: Proceedings of the IEEE conference on computer vision and pattern recognition — CVPR. Boston, USA: IEEE, 2015. p. 1–9.

[5] HE, K. et al. Deep residual learning for image recognition. In: Proceedings of the IEEE conference on computer vision and pattern recognition. Las Vegas, USA: IEEE, 2016. p. 770–778.

[6] HOWARD, A. G. et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017.

[7] SANDLER, M. et al. Mobilenetv2: Inverted residuals and linear bottlenecks. In: IEEE. Conference on computer vision and pattern recognition (CVPR). Salt Lake City, USA, 2018. p. 4510–4520.

[8] HU, J.; SHEN, L.; SUN, G. Squeeze-and-excitation networks. In: IEEE. Conference on computer vision and pattern recognition (CVPR). Salt Lake City, USA, 2018. p. 7132–7141.

[9] TAN, M.; LE, Q. Efficientnet: Rethinking model scaling for convolutional neuralnetworks. In: PMLR. International Conference on Machine Learning. California, USA, 2019. p. 6105–6114.

[10] BELL, S. et al. Inside-outside net: Detecting objects in context with skip pooling and recurrent neural networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition — CVPR. Las Vegas, USA: IEEE, 2016. p. 2874–2883.

[11] NAIR, V.; HINTON, G. E. Rectified linear units improve restricted boltzmann machines. In: Proceedings of the 27th international conference on machine learning (ICML-10). Haifa, Israel: Omnipress, 2010. p. 807–814.

Redes neurais convolucionais was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

O cálculo de correlação é um tópico de grande importância para estatísticos e cientistas de dados, pois permite descobrir se temos variáveis que têm uma tendência de crescimento parecida. As mais difundidas e utilizadas são a de Pearson e a de Spearman, pela facilidade em sua compreensão e cálculo.

Entretanto, existem fenômenos do mundo real que podem ser analisados a partir de tendências espaciais. Vamos tomar como exemplo a pluviometria no Brasil. Ao analisar o padrão de chuvas em um país de proporções continentais como o Brasil, é possível perceber que para cada estação do ano e para cada região do Brasil existe um padrão de chuvas diferente; como a região Norte, que devido à maior umidade costuma apresentar maiores patamares de precipitação anual.

Assim, se quiséssemos descobrir as melhores temporadas de plantio no território brasileiro, fatalmente precisaríamos levar em conta o fator espacial, não só do ponto de vista das chuvas, mas também de outras variáveis climáticas e demográficas. Gostaríamos de entender se em cada estação do ano existe uma tendência entre clima e espaço que favoreça, por exemplo, o desenvolvimento de alguma cultura específica em cada região do Brasil.

Esse exemplo motiva o tópico deste artigo, que é a autocorrelação espacial. Vou apresentar aqui os conceitos e as formulações que estão por trás desse método.

Então, vamos nessa!

Mas afinal, o que é autocorrelação espacial?

Trata-se de um método de correlação que considera a distribuição de variáveis do problema em um espaço físico considerado. É uma estatística muito útil quando desejamos considerar a distribuição espacial de determinadas variáveis do nosso problema. A ideia é determinar se valores similares se encontram agrupados, dispersos ou distribuídos aleatoriamente no espaço, ou seja, se existe alguma tendência desses valores no espaço.

Um exemplo sobre esse conceito é apresentado a seguir:

Se analisarmos o fenômeno de imigração na Itália em 2009, é possível perceber que existe uma tendência de crescimento das taxas de imigração da região sul da Itália (menores taxas) em direção à região norte (maiores taxas). Entretanto, existe alguma forma de quantificar esse grau de correlação?

Existe! E se chama índice de Moran ou simplesmente o Moran’s I. Vou mostrar a vocês como calculá-lo.

Coeficiente Moran’s I

O Moran’s I é uma estatística que corresponde ao coeficiente de correlação entre uma variável numa região e o valor dessa variável em seus vizinhos. Essa estatística pode tomar valores no intervalo [-1, 1], assim como os coeficientes de correlação de Pearson e Spearman.

Alguns passos devem ser executados para calcular o Moran’s I: definir vizinhança; compilar os valores dos vizinhos para cada região (esses valores são chamados de lag), e; calcular um coeficiente de regressão da nuvem de pontos variável x lag (variável).

Esses passos ficarão mais claros a seguir:

1. Definindo vizinhança

O conceito de vizinhança entre regiões é um aspecto fundamental desse método, sendo o que o diferencia dos métodos de correlação citados inicialmente.

Diferentes abordagens podem ser utilizadas ao definir os vizinhos de uma região:

• Todas as regiões que fazem fronteira com a região considerada;
• Todas as regiões cujo centroide está a uma distância máxima preestabelecida do centroide da região considerada;
• Uma quantidade fixa K de regiões cujos centroides são os mais próximos (K-nearest neighbors) do centroide da região considerada.

Abaixo estão exemplificadas as definições de vizinhança listadas, utilizando como referência o estado de Goiás (GO):

2. Cálculo dos lags

Após definida a vizinhança, os valores da variável nos vizinhos são resumidos em uma única quantidade (por exemplo, a média de todos os valores). Esse valor é conhecido como lagging value (ou somente lag).

Suponhamos que estejamos estudando os índices pluviométricos anuais de cada estado brasileiro. Além disso, suponhamos que adotemos todos os estados limítrofes como vizinhança. Neste caso, tomando o estado de Goiás (GO) como referência, calculamos para o mês de maio de 2021 de acordo com os dados do INPE:

E temos também pluviometria(GO) = 36.4 mm. Assim, construímos o par

Obs.: Na prática, no cálculo do lag é feita uma ponderação pela distância entre os centroides. Não fizemos aqui para simplificar o cálculo do Moran’s I.

3. Calcular o coeficiente de regressão da nuvem de pontos variável x lag(variável)

Fazendo o mesmo com todos os estados brasileiros, é possível plotar o gráfico pluviometria x pluviometria_lag, ou seja, estamos verificando a relação entre a variável na região contra a variável nos vizinhos da região.

Uma vez tendo todos os pares (pluviometria, pluviometria_lag), traçamos a reta que melhor ajusta os pontos, minimizando o erro quadrático (na prática, calculamos uma Regressão Linear). A inclinação da reta mede se existe uma tendência entre pluviometria e pluviometria_lag, e a esse coeficiente damos o nome de Moran’s I. Veja a imagem a seguir:

Foi obtido um valor de 0.453 para o Moran’s I, o que é um valor relativamente alto considerando o intervalo da métrica Moran’s I. De fato, ao observar o mapa do Brasil para maio de 2021, é possível verificar que existe uma tendência sudeste/nordeste (menos chuvas) — norte (mais chuvas) nos valores de pluviometria:

4. Interpretação do Moran’s I

A definição do cálculo do Moran’s I traz a seguinte interpretação:

• Se Moran’s I ≅ 1, então os valores da variável em regiões vizinhas têm uma diferença pequena, o que indica que existe uma correlação entre a grandeza e a distribuição espacial dessa grandeza no espaço.
• Se Moran’s I ≅ 0, então os valores da variável em regiões vizinhas estão distribuídos de forma praticamente aleatória, sugerindo ausência de correlação espacial.
• Se Moran’s I ≅ -1, há uma dissimilaridade entre os valores da grandeza encontrados nas regiões e nos respectivos vizinhos.

Abaixo está uma imagem apresentando essa interpretação. No caso de dissimilaridade completa, notar que os vizinhos adjacentes têm cores opostas à casa de referência.

Tipos de análise

O Moran’s I pode ser calculado em dois tipos diferentes de análise.

1. Análise Univariada

No exemplo da pluviometria, foi feita uma análise univariada, pois comparamos a variável pluviometria com o lag espacial dela mesma (e por isso é chamada de autocorrelação espacial).

Nesta análise, o objetivo é descobrir se uma variável específica tem alguma tendência espacial (se ela tem alguma correlação com sua distribuição espacial).

2. Análise Bivariada

Na análise bivariada, por outro lado, é avaliado o grau de variação espacial de uma variável em relação a outra variável.

Deseja-se, com esse método, identificar se duas variáveis estão correlacionadas no espaço, ou seja, se seguem a mesma tendência espacial.

Poderíamos querer analisar, por exemplo, se existe essa correlação entre chuvas e temperaturas no território brasileiro no mês de maio de 2021. Neste caso, se tomássemos como referência o estado de Goiás, obteríamos a variável pluviometria nesse estado e compararíamos com o lag da variável temperatura nos estados em sua vizinhança.

Local Moran’s I

Até agora, foi calculado o Moran’s I global. Pegamos todos os pontos de dados que foram calculados para obter um índice que dá uma estimativa completa em todo o Brasil.

Também é possível (e recomendado) fazer a decomposição do Moran’s I de forma a construir uma medida localizada de autocorrelação, o que é chamado de Moran’s I Local. A ideia é encontrar hot spots e cold spots, que são regiões em que se encontram respectivamente pontos com maior e menor autocorrelação espacial. Com isso, conseguimos avaliar a variabilidade dos nossos pontos no gráfico variável x lag.

No caso, são definidos como hot spots as regiões em que “variável” e “lag” seguem a mesma tendência, ou seja, ambos são grandes (HH — High-High) ou ambos são pequenos (LL — Low-Low); e como cold spot as regiões que têm uma relação inversa entre “variável” e “lag” (HL — High-Low ou LH — Low-High).

Esta análise, quando vista no mapa, também é chamada de LISA (Local Spatial Autocorrelation).

Conclusão

Vimos que o Moran’s I permite capturar correlações espaciais considerando a relação entre cada região e sua vizinhança. Também vimos como interpretá-lo, e sua relação com a distribuição das variáveis no espaço.

Espero que tenham gostado! ;)

Link para o repositório no GitHub com a análise pluviométrica (notebook: Pluviometria — maio de 2021.ipynb).

Qualquer opinião, resultado, conclusão ou recomendação expressa neste artigo é de responsabilidade do autor e não reflete necessariamente o ponto de vista do Itaú Unibanco S.A.

Autocorrelação espacial was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.

Começando pelo contexto: a Ciência de dados é uma área que evolui bastante rápido. Não é raro que ferramentas e algoritmos que em um momento são consideradas estado da arte fiquem obsoletos com o surgimento de novas técnicas.

Nesse sentido, uma experiência que me marcou bastante se deu no campo da Visão Computacional. Comecei meu mestrado no ICMC da USP de São Carlos em 2010. O meu projeto de pesquisa consistia em desenvolver algoritmos para análise de imagens médicas (acabei focando em tomografias para diagnóstico de doenças pulmonares). Boa parte do meu trabalho envolveu algoritmos para extração de features das imagens que serviriam como input para classificadores.

No entanto, em setembro de 2012, um algoritmo chamado AlexNet ganhou a competição de reconhecimento de objetos ImageNet com um erro de classificação mais de 10 pontos percentuais menor que o segundo colocado. Além da margem de erro, considerada bastante impressionante, também chamou a atenção a técnica utilizada pelos autores da AlexNet: as Redes Neurais Convolucionais (ou CNNs da sigla em inglês Convolutional Neural Networks). O sucesso da AlexNet foi altamente influente. As CNNs, que até então eram pouco difundidas, passaram a dominar o campo da Visão Computacional. Já as soluções mais “artesanais” de desenvolvimento de features, como fiz em meu mestrado, ficaram cada vez menos populares.

Essa minha experiência ilustra como é importante acompanhar a evolução da Ciência de Dados para manter-se atualizado. Considero que ler blogs e artigos científicos é excelente para se ter uma visão abrangente de tudo o que está acontecendo. No entanto, muitas vezes queremos ou precisamos nos aprofundar em algum tópico. Para esse fim, existem várias abordagens:

• Fazer uma pós-graduação;
• Colocar a mão na massa: desenvolver algum projeto utilizando a tecnologia que queremos aprender ou brincar com um determinado dataset para fixar o conhecimento de algum algoritmo;
• Estudar para uma certificação;
• Realizar um curso online;

Ou seja, manter-se atualizado no campo da Ciência de Dados demanda tempo. Por este motivo, todo Cientista de Dados do Itaú tem direito a 8 horas de estudo por semana. Essas horas podem ser distribuídas na semana de acordo a necessidade do Cientista e do time.

O Thiago Lira, por exemplo, faz parte do time de Ciência de Dados do Itaú que trabalha com Processamento de Linguagem Natural (NLP na sigla em inglês). Ele conta que utiliza as horas de estudo para se aprofundar em tópicos de NLP e para o desenvolvimento de projetos pessoais. Um dos projetos desenvolvidos consistiu em fazer um fine-tuning da rede GPT-2 para gerar roteiros de episódios de Pokémon. Com essa rede é possível propor um tema (ex.: “o Pikachu foi preso por sonegar impostos”) e gerar roteiros de episódios automaticamente.

Já o Thiago Rizuti, que também é Cientista de Dados no Itaú, conta que utiliza grande parte das horas de estudo para o desenvolvimento do Mestrado na UFABC. O projeto de pesquisa consiste no desenvolvimento de técnicas para sistemas de recomendação baseadas em co-clustering e algoritmos evolutivos. No começo do mestrado o Thiago utilizou as horas de estudo sobretudo para cursar disciplinas, incluindo Metodologia de Pesquisa Científica, Mineração de Dados, Inteligência Artificial e Fundamentos de Matemática. Agora que está na reta final do mestrado, as horas estudo tem sido empregadas para realização de experimentos e escrita da dissertação.

Nem sempre existe uma ligação direta entre o que o cientista está estudando e o projeto que está desenvolvendo no momento. No entanto, as horas de estudo permitem que os cientistas do Itaú continuem se desenvolvendo tecnicamente e acompanhando as novidades do mercado e da academia. Acredito que isso faz a diferença na qualidade das soluções de Ciência de Dados desenvolvidas no Itaú.

Qualquer opinião, resultado, conclusão ou recomendação expressa neste artigo é de responsabilidade do autor e não reflete necessariamente o ponto de vista do Itaú Unibanco S.A.

Cientista de Dados no Itaú e as Horas de Estudo was originally published in itau-data on Medium, where people are continuing the conversation by highlighting and responding to this story.