Juan Caio·Mar 17, 2023Diferenças entre o Scala Spark e o PySparkO código do Apache Spark pode ser escrito com as APIs Scala, Java, Python ou R. Scala e Python são as APIs mais populares.
Juan Caio·Feb 14, 2023Os problemas de desempenho mais comuns ao usar o Spark — Parte 2.No meu último artigo, eu escrevi um pouco sobre os principais problemas de desempenho ao usar o Spark, bom esse artigo aqui será uma…A response icon1A response icon1
Juan Caio·Jan 29, 2023Os problemas de desempenho mais comuns ao usar o Spark — Parte 1.O Apache Spark é atualmente uma das tecnologias de big data mais popular e mais utilizada no mercado. Uma das principais responsabilidades…A response icon1A response icon1
Juan Caio·Dec 30, 2022Porque utilizar o teste de unidade em seu código PySpark?O teste de unidade em qualquer tipo de código vai conseguir te ajudar a melhorar a qualidade e a consistência do seu código. O teste de…
Juan Caio·Dec 16, 2022Como obter as métricas do Spark com o SparkMeasureMuitas vezes queremos entender melhor o desempenho e a performance do nosso código Spark e nem sempre medir o fator tempo vai ser capaz de…