<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Gustavo Tavares  on Medium]]></title>
        <description><![CDATA[Stories by Gustavo Tavares  on Medium]]></description>
        <link>https://medium.com/@GustavoTavares785?source=rss-62f4d980ea14------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*oVcjVdy9F_MTF_Ec</url>
            <title>Stories by Gustavo Tavares  on Medium</title>
            <link>https://medium.com/@GustavoTavares785?source=rss-62f4d980ea14------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 06:46:32 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@GustavoTavares785/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Operações de leitura/gravação Pyspark com DocumentDB]]></title>
            <link>https://medium.com/a3data/opera%C3%A7%C3%B5es-de-leitura-grava%C3%A7%C3%A3o-pyspark-com-documentdb-fa02d2dd8281?source=rss-62f4d980ea14------2</link>
            <guid isPermaLink="false">https://medium.com/p/fa02d2dd8281</guid>
            <category><![CDATA[aws-documentdb]]></category>
            <category><![CDATA[mongodb]]></category>
            <category><![CDATA[pyspark]]></category>
            <dc:creator><![CDATA[Gustavo Tavares ]]></dc:creator>
            <pubDate>Mon, 06 Mar 2023 13:45:17 GMT</pubDate>
            <atom:updated>2023-03-06T13:45:17.479Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Sev8aoM1cDfoBaYRNzWwFQ.png" /></figure><h4><strong>1. Introdução</strong></h4><p>Neste artigo vou passar um pouco mais pela parte técnica do processo em que vou fazer operações simples como Leitura e Gravação no DocumentDB com Pyspark, configuração do ambiente, drivers e também disponibilizar um código base para facilitar o desenvolvimento dessa interação.</p><h4>2. MongoDB</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/221/1*ZNoaTQXyhZjQISGehOAJ7g.png" /></figure><p>MongoDB é um banco de dados não relacional voltado a documento, diferente dos bancos de dados tradicionais que seguem o modelo relacional, com isso já temos uma primeira diferença entre os dois onde o banco relacional é representado atraves de duas dimensões (bidimensional): linha e coluna, já o banco voltado a documento lida com dados em estruturas de documento como o JSON.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/1*G3HIRw7wSsEIk-R2EUUj-w.png" /></figure><p>Podemos saber mais sobre o que é um banco de dados voltado a documentos no site oficial do <a href="https://www.mongodb.com/document-databases">MongoDB</a>.</p><h4><strong>3. DocumentDB</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/448/1*efg4PH-M5WluIX3p0mem3Q.png" /></figure><p>DocumentDB é um banco de dados NoSQL voltado a documentos e semelhante ao MongoDB, sendo assim, podemos utilizar sua estrutura de leitura e escrita para nos auxiliar.</p><p>O modelo de banco de dados voltado a documentos funciona bem com casos de uso como catálogos, perfis de usuários e sistemas de gerenciamento de conteúdo, onde cada documento é único e evolui com o passar do tempo.</p><p>Podemos saber mais sobre ele com a documentação da <a href="https://aws.amazon.com/pt/nosql/document/">AWS</a>.</p><h4>4. Diferença entre o DocumentDB e o MongoDB</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*VAafYgenoXFKcBnves54Vg.png" /></figure><p>O DocumentDB, desenvolvido pela Amazon em 2019, é um serviço de banco de dados com armazenamento de documentos rápido, confiável, escalável e totalmente gerenciável e compatível com MongoDB. Ele implementa a API do MongoDB 3.6 e o ​​Apache Server 2.0 emulando as respostas. O MongoDB, desenvolvido pela MongoDB Inc em 2009, é um banco de dados de documentos de código aberto que armazena os dados em documentos semelhantes a JSON. Permite o manuseio de grandes volumes de dados e oferece flexibilidade aos usuários em diversas formas, seja esquema, linguagens de programação, sistemas operacionais, etc. Utiliza uma excelente linguagem de consulta para filtrar os dados de acordo com o requisito, por mais aninhados que estejam.</p><p>Embora o DocumentDB ofereça suporte a alguns recursos do MongoDB, é importante observar que ele não é totalmente compatível.</p><ol><li>DocumentDB é um banco de dados comercial enquanto o MongoDB um banco de dados de código aberto.</li><li>O dimensionamento automático de dados é suportado no DocumentDB, pois os usuários podem dimensionar de 10 GB a 64 TB sem nenhum esforço.</li><li>O escalonamento de dados é um tanto difícil para os usuários que usam o banco de dados MongoDB.</li><li>O Amazon DocumentDB fornece tolerância a falhas dividindo os volumes de armazenamento em segmentos de 10 GB que estão espalhados por vários discos. Ele usa a abordagem de dimensionamento para isso.</li><li>O MongoDB também fornece uma melhor capacidade de tolerância a falhas por meio da replicação do MongoDB, que permite que o sistema continue funcionando corretamente. MongoDB suporta Sharding para distribuir a carga.</li></ol><p>Tanto o <a href="https://www.mongodb.com/compare/documentdb-vs-mongodb">MongoDB</a> como a plataforma cloud <a href="https://docs.aws.amazon.com/documentdb/latest/developerguide/functional-differences.html">AWS</a> tem artigos falando sobre a comparação entre os dois.</p><h4><strong>5. Pyspark</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/806/1*hvpHt-Igwe9PBuPcf12Msg.png" /></figure><p>Pyspark é uma interface python para o Apache Spark ele facilita e intermedia a o uso das funcionalidades do spark assim conseguimos usar recursos avançados de uma forma mais fácil, como enviar processos para serem distribuídos, trabalhos com grandes quantidades de dados.</p><h4><strong>6. Pyspark Configuração e Drivers</strong></h4><p>Aqui estou importando as bibliotecas necessárias, SparkSession para iniciar a sessão spark e SparkContext para adicionar os drivers.</p><pre>from pyspark.sql import SparkSession<br>from pyspark import SparkContext</pre><p>Depois de importar as bibliotecas podemos criar a Seção spark, dar um nome para o app e configurar os jars, assim conseguimos iniciar nosso processo.</p><pre>spark = SparkSession.builder.appName(&#39;pr_documentdb&#39;) \<br>.enableHiveSupport() \<br>.master(&#39;local&#39;) \<br>.config(&#39;spark.jars.packages&#39;, &#39;org.mongodb.spark:mongo-spark-connector_2.12:3.0.1&#39;) \<br>.config(&#39;spark.mongodb.input.uri&#39;, &#39;mongodb://127.0.0.1/test.myCollection?readPreference=primaryPreferred&quot;&#39;) \<br>.config(&#39;spark.mongodb.output.uri&#39;, &#39;mongodb://127.0.0.1/test.myCollection&#39;) \<br>.getOrCreate()</pre><p>Para conseguirmos fazer a conexão com o banco vamos precisar adicionar alguns jars que seram nessesarios para que o conector do MongoDB funcione perfeitamente.</p><p>Caso seu ambiente não tenha alguns dos jars essenciais, é possivel fazer o download deles, pra isso podemos usar <a href="https://mvnrepository.com/artifact/org.mongodb/">mvnrepository</a>.</p><pre>spark.sparkContext._conf.getAll()<br>spark.sparkContext.addPyFile(&quot;/opt/spark/jars/mssql-jdbc-10.2.0.jre8.jar&quot;)<br>spark.sparkContext.addPyFile(&quot;/opt/spark/jars/bson-4.3.1.jar&quot;)<br>spark.sparkContext.addPyFile(&quot;/opt/spark/jars/mongodb-driver-core-4.3.1.jar&quot;)<br>spark.sparkContext.addPyFile(&quot;/opt/spark/jars/zeppelin-mongodb-0.9.0.jar&quot;)<br>spark.sparkContext.addPyFile(&quot;/opt/spark/jars/mongo-java-driver-3.12.10.jar&quot;)</pre><p>Agora é só fazer a leitura do documento, vamos passar o endereço do DocumentDB, database e coleção.</p><pre>df = spark.read.format(&quot;mongo&quot;) \<br>.option(&quot;uri&quot;, &quot;mongodb://user:endereco@ip:porta/database.collection&quot;) \<br>.load()<br><br>df.printSchema()</pre><p>Podemos também com a mesma estrutura fazer a inserção de dados, vamos passar o endereço do banco, database e coleção, assim como do código acima</p><pre>df.write.format(&quot;mongo&quot;).mode(&quot;append&quot;).save()</pre><p>Como vemos acima estamos usando a conexão do Mongo para fazer a interação entre o Pyspark e o DocumentDB, pois ele implementa a API do MongoDB, assim podemos fazer a leitura e escrita no banco dessa forma.</p><h4><strong>7. Alguns dos possíveis erros</strong></h4><ul><li>Erro de versão entre mongo, Spark, em algumas versões será necessário usar o formato como “mongo”, “mongodb” ou também “com.mongodb.spark.sql.DefaultSource”</li><li>Erro de algum driver faltante, os mais necessários coloquei acima se caso seu ambiente não tenha, pode ser baixado o jar pela web.</li><li>Permissão de conexão ao banco.</li></ul><p><strong>Para solução de alguns erros podemos verificar na documentação do </strong><a href="https://www.mongodb.com/docs/"><strong>MongoDB</strong></a><strong>.</strong></p><h4>8. Referências</h4><ul><li><a href="https://www.devmedia.com.br/">DevMedia | Método Aprenda a Programar de Verdade</a></li><li><a href="https://www.mongodb.com/">MongoDB: The World&#39;s Leading Modern Data Platform</a></li><li><a href="https://www.alura.com.br/artigos">Artigos de Tecnologia e Negócios | Alura Cursos Online</a></li><li><a href="https://docs.aws.amazon.com/documentdb/latest/developerguide/what-is.html">What Is Amazon DocumentDB (with MongoDB Compatibility)</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fa02d2dd8281" width="1" height="1" alt=""><hr><p><a href="https://medium.com/a3data/opera%C3%A7%C3%B5es-de-leitura-grava%C3%A7%C3%A3o-pyspark-com-documentdb-fa02d2dd8281">Operações de leitura/gravação Pyspark com DocumentDB</a> was originally published in <a href="https://medium.com/a3data">A3data</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>