29 de Julho de 2019 compartilhei aqui pra vocês esse link sobre minha tragetória para alcançar o título de Microsoft Certified: Azure Data Engineer Associate. Isso a 2 anos atrás galera, de lá pra cá muita coisa mudou no universo de engenharia de dados. Para acompanhar essa mudança, a @microsoft decidiu aposentar as certificações DP 200 e DP 201 em 30 de junho de 2021 e substituir pelo exame DP 203 que engloba todas as tecnologias abordadas nos exames anteriores, só que com o foco na nova plataforma de Big Data e Analytics — Azure Synapse Analytics. Objetivo desse post é compartilhar algumas dicas de materiais para estudo por onde me guiei para realizar o exame e passar nessa nova prova.

Já trabalho com engenharia de dados em ambiente Azure a aproximadamente 3 anos e confesso que isso facilitou o processo de entendimento e por onde estudar. Outra coisa em que me ajudou, foi estar ligado em todas as atualizações do produto Azure Synapse Analytics desde quando ele saiu para public preview. Acompanhei as atualizações da MS e fui testando até que fosse liberado para disponibilidade geral dentro do Azure (GA). Inclusive participei de diversos eventos compartilhando conteúdo sobre o Synapse.

Microsoft Certified: Azure Data Engineer Associate

Essa certificação faz parte da nova trilha de provas da Microsoft baseada em carreiras recentemente atualizada. Caso queira saber um pouco mais sobre as mudanças nas certificações da Microsoft em 2021, acesse esse link que tem disponível todas as verticais de certificações.

O exame DP-203 se enquadra na categoria de Data & AI, que é composta por 5 principais papéis:

• Azure Data Scientist
• Azure Data Engineer
• Azure AI Engineer
• Azure Database Administrator
• Azure Data Analyst

Caso você ainda não conheça nada sobre as trilhas de Data & AI, a Microsoft sugere que você tenha como pré-requisito opcional as seguintes certificações fundamentais para se ter uma boa base antes de partir para as carreiras citadas acima de Associate:

• Azure Fundamentals
• Azure Data Fundamentals
• Azure AI Fundamentals

Antes de iniciar os estudos para a DP 203 recomendo finalizar primeiramente as certificações AZ 900 e DP 900 que possuem um maior direcionamento para próxima etapa de engenharia de dados.

No descritivo das certificações fundamentais existem diversos materiais gratuitos para se preparar para esses exames na plataforma de treinamentos Microsoft Learn.

Abaixo segue toda documentação técnica e materiais que abordam o conteúdo cobrado nas habilidades medidas para DP 203:

• Azure Synapse Analytics
• Azure Data Lake Storage Gen2
• Azure Blob Storage
• Azure Databricks
• Azure Stream Analytics
• Azure Event Hubs
• Azure Datafactory
• Azure Monitor
• Azure Log Analytics

Documentação: Azure solution architectures (Gratuito)

Arquitetura de Big Data: Components, Lambda & Kappa architecture (Gratuito)

Microsoft Learn:

• Azure for the Data Engineer
• Store data in Azure
• Large-Scale Data Processing with Azure Data Lake Storage Gen2
• Realize Integrated Analytical Solutions with Azure Synapse Analytics
• Build data analytics solutions using Azure Synapse serverless SQL pools
• Work with Data Warehouses using Azure Synapse Analytics
• Data integration at scale with Azure Data Factory or Azure Synapse Pipeline
• Perform data engineering with Azure Synapse Apache Spark Pools
• Work with Hybrid Transactional and Analytical Processing Solutions using Azure Synapse Analytics
• Data engineering with Azure Databricks
• Implement a Data Streaming Solution with Azure Streaming Analytics
• Integrate Azure Synapse Analytics with Azure Data and AI services

Livros:

• Beginning Azure Synapse Analytics
• Beginning Apache Spark Using Azure DataBricks
• The Definitive Guide to Azure Data Engineering
• The Modern Data Warehouse in Azure
• Data Lake Analytics on Microsoft Azure
• Cloud Analytics with Azure — Second Edition
• The Power BI Professionals Guide to Azure Synapse Analytics

Material extra:

• Learn Path Databricks

No meu canal do Youtube tem vários vídeos bem completos abordando a ferramenta fim a fim e além disso estou lançando uma série sobre cada componente do Synapse Analytics (A meta é soltar um vídeo por semana, se inscrevam e ative as notificações para receber as novidades):

Azure Synapse Analytics #13 Configurando e Utilizando o Synapse Link para CosmosDB

Azure Synapse Analytics #12 Configurando e Utilizando o Synapse Spark (3.1)

Azure Synapse Analytics #11 Integração de dados com Synapse Pipelines

Azure Synapse Analytics #10 Integração com o Azure Key Vault

Azure Synapse Analytics #9 Dedicated SQL Pool: Segurança

Azure Synapse Analytics #8 Dedicated SQL Pool: Considerações de Performance — (Indexação)

Azure Synapse Analytics #7 Dedicated SQL Pool: Melhores práticas para carga de dados

Azure Synapse Analytics #6 Dedicated SQL Pool: Desenho das tabelas.

Azure Synapse Analytics #5 Dedicated SQL Pool: Arquitetura, deployment e considerações iniciais.

Azure Synapse Analytics #4 Serverless SQL Pool

Azure Synapse Analytics #3 Exame DP 203: Certificação Azure Data Engineer Associate

Azure Synapse Analytics #2 Conhecendo o Azure Synapse Studio

Azure Synapse Analytics #1 Criando e acessando o Synapse Analytics no portal do Azure

Minha intenção nesse post não foi detalhar as questões ou cenários abordados nessas provas, e sim compartilhar um material muito rico que aborda todos os tópicos cobertos na prova. Acho que vale muito a pena a experiência teórica e pratica de cada data engineer na preparação para essas certificações.

Espero sinceramente ter auxiliado e motivado outros profissionais que estejam em busca de conteúdo para se direcionar nessa carreira tão promissora.

Bons Estudos, boa sorte e qualquer dúvida estou totalmente a disposição em minhas redes sociais.

Até breve.

#microsoft #azure #dataengineer #dp203 #azuresynapseanalytics #azuredatabricks #sidneycirqueira

Mais um evento feito pela comunidade técnica e organizado por uma empresa e seus gestores que estão fazendo a diferença no mercado de tecnologia no Brasil: Dataside, Caio Amante e Letícia Carvalho / Sara Vieira. Parabéns por toda estrutura e organização, com certeza milhares de pessoas estão sendo impactadas com essas iniciativas.

Segue abaixo link com material da minha palestra de Hoje sobre Azure Synapse Analytics — Serverless SQL Pool.

Slides: https://lnkd.in/eiV64dB

Scripts: https://lnkd.in/eSrZ4km

Lista para Treinamento Synapse: https://lnkd.in/esqqsJd

Youtube: https://lnkd.in/eZ2upxn (se inscrevam para ficar por dentro das novidades do Synapse e solta o like rs)

Obrigado pela participação de todos que estiveram presentes e ajudaram outras pessoas com as doações proporcionadas pela Dataside e apoiadores.

Até breve pessoALL!

#azuresynapseanalytics #microsoftazure #azuredataengineer #dataside #community #microsoft

Todos os anos no Microsoft Ignite normalmente a Microsoft costuma anunciar vários novos produtos e novas funcionalidades. Já venho acompanhando à algum tempo o serviço Azure Synapse Analytics e abaixo segue uma listagem das maiores features anunciadas no evento:

• Synapse Link for Cosmos DB (GA): Azure Synapse Link com serverless SQL Pool está em disponibilidade geral pronto para utilização em ambientes de produção. Feature que provê facilidade para analistas de dados executarem análises em near real time sobre databases utilizando Azure CosmosDB API para MongoDB ou Core nativo (SQL) API com Synapse Link. Também foram anunciados, isolamento de rede entre o Cosmos DB e Azure Synapse, bem como endpoint privado para camada de armazenamento analítico entre o Cosmos DB e Azure Synapse por meio de rede virtual gerenciada. Maiores informações: https://docs.microsoft.com/en-us/azure/synapse-analytics/synapse-link/concept-synapse-link-cosmos-db-support

• T-SQL Streaming in Azure Synapse (Gated Preview): Processamento de Streaming em Real Time por meio de linguagem T-SQL, utilizando Windowing Functions, além do suporte a criação de objetos DDL em stream. Por fim, processamento de dados em memória permitindo baixa latência e alta taxa de transferência. O serviço ainda está em Gated Preview e é necessário preenchimento de um forms para testes na sua assinatura do Azure. Maiores informações: https://aka.ms/SynapseStreamingPreview

• Azure Synapse Pathway (Public Preview): Possibilita para novos clientes Microsoft a modernização e migração dos sistemas de Data Warehouse traduzindo declarações de Data Definition Language (DDL) e Data Manipulation Language (DML), reescrevendo o código existente em sistemas atuais como Amazon Readshift, teradata, netezza, snowflake, SQL e Google Big Query em linguagem T-SQL compatível com o Azure Synapse Analytics. Maiores informações: https://techcommunity.microsoft.com/t5/azure-synapse-analytics/announcing-azure-synapse-pathway-turbocharge-your-data-warehouse/ba-p/2176630

Veja todos os detalhes do Azure Synapse Analytics e novos anúncios na pagina do Ignite:

• Assista em: “Azure Synapse Analytics: Building end-to-end analytics solutions” (Ignite session # OD333)

Book of News: https://news.microsoft.com/ignite-march-2021-book-of-news/

Muito em breve estarei compartilhando uma playlist sobre os recursos do Azure Synapse Analytics no meu canal do YouTube em: Sidney Cirqueira.

Se inscreva e ative as notificações para não ficar de fora das novidades sobre o Azure Synapse.

Obrigado pela leitura, qualquer dúvida estarei disponível em minhas redes sociais para perguntas e bate papo sobre a carreira de Data & AI no Azure.

Bio

Microsoft Learn Student Ambassador | Microsoft Certified in Data & AI | Big Data & Machine Learning Student | Data Engineer at CI&T, currently focused on data engineering and artificial intelligence solutions in the Microsoft Azure environment. Speaker and Active participant of the Microsoft Learn Student Ambassadors Latam Communities, SQL Server DF, Brasilia Data Group, BSB IA, Data Science, BigData & Analytics and speaker at Data Platform and Artificial Intelligence events.

Speaking Engagements

This is a list of all the speaking engagements on Microsoft Technical Community and others.

I also have a SpeakerDeck profile.

2021– 3 Events, 4 presentations

April 23, 2021 — Festival de Tecnologia Microsoft

• Building analytics solutions using serverless SQL Pool

Link: Festival Microsoft (festivaldatecnologiams.com.br)

April 15, 2021 — TECHWEEK DIGITALMARK

• Data & AI Modern Architecture on Azure

Link: private event

January 27, 2021 — SQL Week 2021

• Building a Modern Data Warehouse with Azure Synapse Analytics

Link: https://www.sympla.com.br/sql-week-recife-conference---dia-3-big-data__1107216

Video: https://www.youtube.com/watch?v=LL3bwxlmE7k&feature=youtu.be

January 28, 2021 — SQL Week 2021

• How to deploy machine learning models with Azure Machine Learning

Link: https://www.sympla.com.br/sql-week-recife-conference---dia-4-data-science--artificial-intelligence__1107217

Video: https://www.youtube.com/watch?v=PKWpTykZ6kw

2020 – 20 Events, 20 presentations

December 12, 2020 — MVP Conf 2020

• Construindo um Data Warehouse Moderno com Azure Synapse Analytics

Link: https://mvpconf.com.br/2020

November 27, 2020 — Meetup Microsoft Learn Student Ambassadors

• Azure Machine Learning from Zero To Hero

Link: https://www.meetup.com/pt-BR/Microsoft-Student-Partners-Latam/events/274580117/

Material: https://www.youtube.com/watch?v=amJ0usZOWGk&t=33s&ab_channel=MicrosoftLearnStudentAmbassadorsLatam

October 29, 2020 — Microsoft Reactor

• Como implantar modelos de machine learning com Azure Machine Learning

Link: https://www.meetup.com/Microsoft-Reactor-Sao-Paulo/events/272991404

Material: https://www.youtube.com/watch?v=rfitBHIb5jw&ab_channel=MicrosoftReactor

October 24, 2020 — SQL Saturday #972 — Belo Horizonte

• Melhores práticas para carga de dados para o Azure Synapse Analytics — SQL Pool

Link: https://www.sqlsaturday.com/972/Sessions/Details/sid/108206

Material : https://www.sqlsaturday.com/972/Sessions/Details/sid/108206

October 17, 2020 — SQL Saturday #935 — Salvador

• Como implantar modelos de machine learning com Azure Machine Learning

Link: https://www.sqlsaturday.com/935/Sessions/Details/sid/108302

Material: https://speakerdeck.com/sidneyocirqueira/como-implantar-modelos-de-machine-learning-com-azure-machine-learning

October 13, 2020 — Happy Hour Com Dados

• Azure x GCP x AWS

Link: https://www.sympla.com.br/happy-hour-com-dados-17---azure-vs-aws-vs-gcp__1003504

Material: https://www.youtube.com/watch?v=ph42VV-o_qA

October 06, 2020 — Meetup SQL Server DF

• Arquitetura moderna de Dados & AI

Link: https://www.meetup.com/pt-BR/Brasilia-DataGroup/events/273317213/

Material: https://www.youtube.com/watch?v=Gv2HXPcteSk

September 24, 2020 — Azure Floripa

• Modern Data Warehouse com Azure Synapse Analytics

Link: https://www.youtube.com/watch?v=b4e6DoOct4g&ab_channel=AzureFloripa

September 11, 2020 — Microsoft Learn Student Ambassadors Talks — Data&AI

• Azure Synapse Analytics (Evolução do Azure SQL Data Warehouse)

Link: https://www.meetup.com/pt-BR/Microsoft-Student-Partners-Latam/events/272732118/

Material: https://www.youtube.com/watch?v=H7NoLDxOP3o

August 27, 2020 — The Developers Conference— Trilha Big Data

• Azure Synapse Analytics

Link: https://thedevconf.com/tdc/2020/sampaonline/trilha-arquitetura-de-dados

Material: https://github.com/sidneyocirqueira/azure-synapse-analytics

August 14, 2020 — Talk Online

• Azure Data Certification

Link: https://www.youtube.com/watch?v=lP4YFX6jDm8

Material: https://consultabd.wordpress.com/2020/08/14/resumo-live-talk-azure-data-certifications/

July 23, 2020 — SQL Maniacs

• Hands-On: Azure Synapse Analytics (Azure SQL DW Evoluído)

Link: https://www.youtube.com/watch?v=cBsc09a9VNk

July 22, 2020 — Capítulo PASS

• SQL Server DF

Link: https://www.youtube.com/watch?v=KoWO1c1ZIG8

July 16, 2020 — PassMarathon Portuguese Edition

• Introdução ao Azure Synapse Analytics

Link: https://www.pass.org/marathon/2020/portuguese/Sessions/Details/sid/105737

July 11, 2020 — Serviços do Azure para Analytics

• Hands-On: Azure Synapse Analytics

Link: https://consultabd.wordpress.com/2020/07/02/hands-on-2-servicos-do-azure-para-analytics-azure-synapse-analytics/

Material: https://www.youtube.com/watch?v=XDG1eGIhPVQ&t=488s

June 20, 2020 — SQL Saturday #968 — Caxias do Sul

• Tudo que você deveria saber sobre o Azure Synapse Analytics

Link: https://www.sqlsaturday.com/968/Sessions/Details.aspx?sid=105380

Material: https://www.youtube.com/watch?v=XDG1eGIhPVQ&t=488s

June 13, 2020 — Comunidade Solidária Microsoft

• Introdução ao Azure Synapse Analytics

Link: https://www.youtube.com/watch?v=lKXab_vGH6s

Material: https://speakerdeck.com/sidneyocirqueira/introducao-ao-azure-synapse-analytics-comunidade-solidaria-microsoft-2020

May 19, 2020 — Blog Post

• Material de estudo para o exame de certificação DP-100: Designing and Implementing a Data Science Solution on Azure

Link: https://medium.com/data-hackers/material-de-estudo-para-o-exame-de-certifica%C3%A7%C3%A3o-dp-100-designing-and-implementing-a-data-science-8b9049fb9979

May 14, 2020 — DBA Brasil Online

• Cloud em tempos de crise

Link: https://www.youtube.com/watch?v=zK5L79WpHkk&t=1441s

April 09, 2020 — Happy Hour com Dados

• PowerBI — Roda de Conversa

Link: https://www.youtube.com/watch?v=snxgEIAy6us

January 24, 2020 —Canal CNight

• Mesa Redonda Big Data

Link: https://www.youtube.com/watch?v=WuqZGK9Aadg

2019– 12 Events, 12 Presentations

No MLSA Talk Nights #11 falamos sobre os conceitos iniciais para primeira implementação do Azure SQL Database e também como operacionalizar pipelines de machine learning por meio do Azure Machine Learning. O conteúdo das talks foi introdutório/intermediário, feito para quem está começando a aprender.

Fala PessoALL blz?!!!!

Dia 25/11 realizamos mais um Meetup do Microsoft Learn Student Ambassadors onde tive o privilégio de ser organizador/host do evento e apresentar uma sessão sobre o Azure Machine Learning. Além de ter o previlégio de poder convidar meu amigo Bruno Silva (Grande fera na área de Data & Analytics) que deu uma aula sobre Azure SQL Database.

Para quem não pode participar, segue o link com o vídeo da apresentação no Youtube.

Espero que gostem e não esqueçam de deixar seus comentários, curtir e compartilhar esse vídeo para que mais pessoas possam ter acesso a um ótimo conteúdo técnico gratuito.

Para mais informações sobre o programa Microsoft Learn Student Ambassador acesse: https://studentambassadors.microsoft.com/

Nos vemos nos próximos eventos!

#msftlearnstudentambassadors #azure #microsoft #dataengineer #azuresqldatabase #azuremachinelearning

Se você deseja entender um pouco mais como funciona diversos componentes que compõem uma arquitetura moderna de Dados e IA no Microsoft Azure não deixe deixe se assistir essa apresentação.

Fala PessoALL blz?!!!!

Dia 06/10 realizamos a 2º live do grupo local SQL Server DF que é organizado pela comunidade de Brasilia (Rayane Flores, Jucinei dos Santos, Raul Oliveira, Arthur Luz e Sidney Cirqueira).

Nessa live tive o privilégio de apresentar juntamente com Bruno Silva alguns cases de soluções de Data & AI que temos trabalhado juntos em uma consultoria parceira Microsoft com clientes no ramo governamental e privado.

Nessa sessão iremos apresentamos uma arquitetura de dados e inteligencia artificial para solucionar os desafios modernos do dia a dia utilizado soluções de Big Data e Machine.

Espero que gostem e não esqueçam de deixar seus comentários, curtir e compartilhar esse video para que mais pessoas possam ter acesso a um ótimo conteúdo técnico gratuito.

Desde já agradeço a equipe do SQL Server DF por ter disponibilizado o espaço para que possamos conduzir essa live!!!

Nos vemos nos próximos eventos!

#sqlserverdf #azure #microsoft #dataengineer #dataarchitecture

Fala galera blz?!!!! No dia 02/05/2020 passei no exame de certificação DP-100 e alcancei o título de Microsoft Certified: Azure Data Scientist Associate. Esse post tem o objetivo compartilhar algumas considerações, dicas sobre a prova e o material de estudo que utilizei para me preparar para o exame que compõe essa certificação.

Em tempos de coronavirus (COVID-19) a Microsoft tem realizado diversas mudanças nos treinamentos e certificações, com isso, o crecimento das solicitações de agendamento para execução de exames feitos em casa aumentou nos ultimos tempos. Então resolvi marcar meu exame e realizar em casa, já havia feito outras vezes sem nenhum problema. Se quiser entender melhor como funciona esse processo, nosso amigo de comunidade Dirceu Resende compartilhou um blog post com varias dicas de como fazer a prova em casa sem dor de cabeça.

Primeiramente, para a realização desse exame, imagino que você já tenha conhecimento em alguns pré-requisitos básicos que são necessários. Mas não se preocupe que esses requisitos não são cobrados profundamente em detalhes. Conceitos, bibliotecas e Frameworks como: Python, Pandas, Numpy, Matplotlib, Scikit-Learn, PyTorch, Tensorflow, algoritimos supervisionados (Ex: Regressão e Classificação), não-supervisionados (Ex: Clustering, Deteccão de anomalias, recomendação), além do entendimento básico do processo fim a fim de engenharia de features, seleção de modelos e tuning de hyper-parâmetros. Faz-se necessário o entendimento de básico a intermediário para que possa se sair bem nessa prova.

Microsoft Certified: Azure Data Scientist Associate

Essa certificação faz parte da nova trilha de provas da Microsoft baseada em carreiras. Que novamente está passando por algumas mudanças em substituição a carreira MCSE: Data Management and Analytics, para maiores informações caso queira saber um pouco mais sobre as mudanças nas certificações de Data & AI acesse esse link.

Ela se enquadra na categoria de Data & AI, que agora será composta por 5 grandes áreas:

• Azure Data Scientist
• Azure Data Engineer
• Azure AI Engineer
• Azure Database Administrator Associate
• Data Analyst Associate

Recentemente escrevi um post muito bacana detalhando diversos materiais de estudo para obter essa certificação de Azure Data Engineer Associate. Para acessar o conteúdo clique aqui. Meu amigo Arthur Luz que também passou nesse exame escreveu outro post completão, listando os beneficios de um Data Engineer se certificando em mais de um Cloud Provider.

O “bot” do Dirceu Resende novamente compartilhou 2 posts sobre suas considerações, dicas e materiais de estudo para os dois exames que ainda estão em fase beta: Azure Database Administrator Associate (Beta) & Data Analyst Associate (Beta). No site dele você ainda pode encontrar diversos materias sobre certificações Microsoft, SQL Server, PowerBI, Analysis Services e muito mais.

Exam DP-100: Designing and Implementing a Data Science Solution on Azure

O objetivo desse exame é certificar que o profissional tenha conhecimento em ciência de dados e aprendizado de maquina. Também seja capaz de desenhar, implementar e rodar uma solução de machine learning na cloud do Microsoft Azure utilizando Azure Machine Learning Service. Bem como a criação de ambientes de data science para workloads, experimentos, treinamento de modelos preditivos, gerenciamento, otimização de modelos e deployment de modelos em ambiente de produção.

A prova é bem focada no ciclo de vida completo, workflow de um modelo de machine learning, arquitetura e conceitos sobre o funcionamento do Azure Machine Learning.

Segue abaixo imagem com algumas dicas que também podem ajudar você a entender e escolher melhor os algoritmos de machine learning para uma solução de análise preditiva no Azure Machine Learning.

Antes de falar sobre o material que utilizei para estudar, gostaria de enfatizar alguns detalhes que me lembro de ter caido na prova, são 50 questões aleatórias, então pode ser que as mesmas questões não se repitam em provas diferentes:

• Entenda muito bem como funciona o deployment de modelos através da interface grafica do Azure Machine Learning;
• Bem como deployment de modelos utilizando SDK em Python;
• É necessário que você tenha conhecimento em Application Insights;
• Cai bastante questões sobre Tuning de Hyper-Paramêtros;
• Interpretação de modelos;
• Automated Machine Learning através da interface gráfica;
• Automated Machine Learning com Python;
• Monitoramento de Experimentos;
• Rastrear métricas de modelos com MLflow; (Caiu na prova mas não está no documento oficial de habilidades medidas, que será listado logo mais abaixo).
• É bastante cobrado no exame o entendimento sobre ambiente de deployment dos modelos de Machine Learning;

Muito além do material citado acima, existem diversos conteúdos pagos e gratuitos para se preparar para esse exame: Curso oficial, documentações, livros, github e a famosa plataforma de treinamentos Microsoft Learn.

Segue listagem dos recursos que utilizei para estudo:

Documentação: Azure Machine Learning (Gratuito);

Microsoft Learn (Gratuito):

• Azure Fundamentals;
• Get Started AI Fundamentals;
• Build AI solutions with Azure Machine Learning;
• Machine Learning crash course;
• Create no-code predictive models with Azure Machine Learning;
• Data Science Fundamentals;
• Cloud Skills Challenge;
• Introduction to machine learning with Python and Azure Notebooks;
• Get started with Machine Learning an Azure Data Science Virtual Machine;
• Perform Data Science with Azure Databricks;

Curso Oficial: dp-100t01;

Acesse o link e verifique quais centros de treinamento estão disponíveis no Brasil;(Pago)

Infelizmente ainda não existem livros oficiais e simulados referentes a essa prova no Brasil.

Existem também notebooks disponibilizados no github que ajudam bastante na prática e conhecimento do ambiente no Azure, além do fato de eu já ter trabalhado em projetos internos do trabalho utilizando o Azure Machine Learning como ferramenta, me auxiliaram no entendimento do conteúdo técnico.

Labs Github (Gratuito):

• Microsoft Learn — Azure Machine Learning Labs;
• Machine Learning crash course;
• How To Use Azure Machine Learning;
• MLOps;

Esqueci de mencionar no inicio deste post que a prova só está disponível nas seguintes linguagens: English, Japanese, Chinese (Simplified), Korean. Das 4 disponíveis eu só conheço o inglês, então caso você ainda não tenha familiaridade, recomendo fortemente que busque se atualizar nessa skill muito importante para todos na área de tecnologia.

Sempre organizo meus estudos de acordo com o documento de habilidades medidas que direciona para o conteúdo e porcentagem que será cobrada em cada tópico, conforme irei descrever abaixo:

Set up an Azure Machine Learning workspace (30–35%)

Create an Azure Machine Learning workspace

• create an Azure Machine Learning workspace
• configure workspace settings
• manage a workspace by using Azure Machine Learning Studio

Manage data objects in an Azure Machine Learning workspace

• register and maintain data stores
• create and manage datasets

Manage experiment compute contexts

• create a compute instance
• determine appropriate compute specifications for a training workload
• create compute targets for experiments and training

Run experiments and train models (25–30%)

Create models by using Azure Machine Learning Designer

• create a training pipeline by using Designer
• ingest data in a Designer pipeline
• use Designer modules to define a pipeline data flow
• use custom code modules in Designer

Run training scripts in an Azure Machine Learning workspace

• create and run an experiment by using the Azure Machine Learning SDK
• consume data from a data store in an experiment by using the Azure Machine Learning SDK
• choose an estimator Generate metrics from an experiment run
• log metrics from an experiment run
• retrieve and view experiment outputs
• use logs to troubleshoot experiment run errors

Automate the model training process

• create a pipeline by using the SDK
• pass data between steps in a pipeline
• run a pipeline
• monitor pipeline runs

Optimize and manage models (20–25%)

Use Automated ML to create optimal models

• use the Automated ML interface in Studio
• use Automated ML from the Azure ML SDK
• select scaling functions and pre-processing options
• determine algorithms to be searched
• define a primary metric
• get data for an Automated ML run
• retrieve the best model

Use Hyperdrive to rune hyperparameters

• select a sampling method
• define the search space
• define the primary metric
• define early termination options
• find the model that has optimal hyperparameter values

Use model explainers to interpret models

• select a model interpreter
• generate feature importance data

Manage models

• register a trained model
• monitor model history
• monitor data drift

Deploy and consume models (20–25%)

Create production compute targets

• consider security for deployed services
• evaluate compute options for deployment

Deploy a model as a service

• configure deployment settings
• consume a deployed service
• troubleshoot deployment container issues

Create a pipeline for batch inferencing

• publish a batch inferencing pipeline
• run a batch inferencing pipeline and obtain outputs

Publish a Designer pipeline as a web service

• create a target compute resource
• configure an Inference pipeline
• consume a deployed endpoint

Escrevi uma documentação do GitHub listando diversos scripts e mais materiais que podem auxiliar nessa prova.

• Material de estudo dp-100;

Por fim, segue alguns livros excelentes que também usei como material de apoio:

• Practical Automated Machine Learning;
• Data Science do Zero;
• Aprendizado de Maquina Para Leigos;

Algumas pessoas acham que a jornada para uma certificação não vale a pena, é fácil, “sorte” ou até mesmo “dump” (certificação desonesta). Pela quantidade de conteúdo para estudo, deu pra perceber o caminho é difícil e o conhecimento adquirido com os estudos é impressionante, a curva de aprendizado em cada objetivo pessoal e profissional é surpreendente.

Acima detalhei uma série de materiais ricos em detalhes, que com certeza aborda todo material referente a prova. Agora basta você definir seus objetivos, agendar seu exame, aprender bastante com matérial disponível e passar na certificação. Não esqueça de compartilhar o que você aprendeu com outras pessoas, isso ajuda a absorver melhor o conhecimento. Quem ensina aprende duas vezes!!!

Espero sinceramente ter auxiliado e motivado outros profissionais que estejam em busca de conteúdo para se direcionar nessa carreira que é a “hype” do momento. Obrigado pela leitura, estarei disponível em minhas redes sociais para perguntas e bate papo sobre a carreira de Data & AI no Azure.

Nos vemos nos eventos de dados e inteligência artificial pelo Brasil a fora.

#microsoft #azure #dataengineer #datascientist #gotospace

Material de estudo para o exame de certificação DP-100: Designing and Implementing a Data Science… was originally published in Data Hackers on Medium, where people are continuing the conversation by highlighting and responding to this story.

Janeiro:
16/01 — MeetUp — Brasilia Data Group
22/01 — Prova: 765 Provisioning SQL Databases
22/01 — Certificação MCSA: SQL 2016 Database Administration

Fevereiro:
02/02 — Palestra: Carregando dados para o Azure SQL Data Warehouse com Datafactory e Polybase. Evento: Azure Conference — Cuiabá
21/02 — MeetUp: Brasilia Data Group — Casos do dia a dia entre DBAs e DEVs

Março:
30/03 — Palestra: DevOps for Azure SQL Databases
Evento: SQL Saturday Brasilia 2019

Abril:
12 e 13/04 — Evento: MVPConf — SP
17/04 — Palestra: Como o Azure e Azure DevOps podem levar a integração do seu time
Evento: Visual Studio 2019 launch — Brasilia
27/04 — Palestra: DevOps for Azure SQL Databases
Evento: Global Azure BootCamp — Uberlândia

Maio:
01 a 18/05 — Treinamento interno Ministrado na Wiz Soluções : Banco de Dados SQL Server, Azure SQL Database e Azure SQL Data Warehouse
25/05 — Palestra 1: Fundamentos em Nuvem (Microsoft Azure)
Palestra 2: Fundamentos de SQL Database e SQL Data Warehouse.
Evento: Wiz Tech Day
27 a 31/05 — Treinamento: Data Science no Azure Databricks

Junho:
04/06 — Certificação: AZ-900 Microsoft Azure Fundamentals
08/06 — Palestra: Carregando dados para o Azure SQL Data Warehouse com Datafactory e Polybase.
Evento: Brasilia Tech Conf 2019
18/06 — Evento: Cloud OnBoard — Big Data & Machine Learning — Google Cloud

Julho:
01/07 — Prova: DP-200 Implementing an Azure Data Solution
11/07 — Prova: DP-201 Designing an Azure Data Solution
11/07 — Certificação: Azure Data Engineer Associate
13/07 — Palestra: DevOps para banco de dados, utilizando Azure DevOps e Azure SQL Database.
Evento: SQL Saturday Cuiabá 2019
29/07 — Post: Como se tornar um Microsoft Certified: Azure Data Engineer Associate
03/08 — Palestra: DevOps para Bancos de Dados no Azure
Evento: DevOpsDays — Goiania-GO

Agosto:
24/08 — Palestra: DevOps para Bancos de Dados no Azure Evento: SQL Saturday Vitoria — ES

Setembro:
11/11 — Meetup: Comunidade SQL Server DF
30/11 — Pós Graduação: Big Data e Machine Learning — FASAM

Outubro:
17/10 — Post: Protegendo as credenciais de conexão do Azure Data Factory com Salesforce através do Azure KeyVault
22/10 — Workshop: Fundamentos e Banco de Dados no Microsoft Azure — UniProjeção Centro Universitário

Novembro:
18 a 22/11 — Treinamento: Data Engineering no Azure Databricks
29/11 — Certificação: AWS Certified Cloud Practitioner

Dezembro:
12/12 — Evento: Microsoft Ignite the Tour — SP
13/12 — Evento: Microsoft Ignite the Tour — SP
14/12 — Evento: AI Fest — SP

Resumo Geral

Posts: 2
Certificações: 5
Treinamentos como participante: 3
Treinamentos como ministrante: 2
Eventos: 11
Palestras: 9
Podcasts: 5

1 . Delete Sem Where

2. Pizza de Dados

3. Hipsters Ponto Tech

4. Cabeça de Lab

5. Data Hackers

Livros:

1. Hit Refresh

2. Spark: The Definitive Guide

3. Cloud Analytics with Azure

Particularmente esse foi um ano muito produtivo para mim, espero que ano que vem seja ainda melhor.

Esse post foi apenas para deixar registrado a quantidade de opções que temos para nos atualizar, nos manter firmes e engajados nas comunidades de tecnologia, nos estudos, nas certificações, compartilhando conhecimento e o mais importante de tudo: Fazendo Networking.

Obrigado a todos que estiveram comigo nessa caminhada e nos vemos em 2020!!

Estamos vivendo em tempos de LGPD e pensando em cenários que um engenheiro de dados precisa receber informações de diversas fontes de dados sem esquecer da segurança das credenciais de acesso, criei esse post de um case onde necessitamos ingerir dados de um CRM que está na infraestrutura da Salesforce através do Azure Data Factory, utilizando credenciais protegidas via Azure Key Vault.

O intuito é simplesmente demonstrar o passo a passo das configurações iniciais para proteger as credenciais de conexão com auxilio do Key Vault.

Breve descrição dos recursos utilizados:

• Data Factory: Serviço de orquestração gerenciado na cloud da Microsoft, construído para realizar extração, transformação e carga (ETL) e/ou extração, carga e transformação (ELT) de projetos complexos de integração de dados.
• Salesforce: Plataforma de relacionamento projetada para auxiliar a vender, prestar serviços de manutenção, comercializar, analisar e conectar com seus clientes de negócio.
• Key Vault: Cofre de senhas centralizado para aplicativos no Azure que permite controlar a distribuição das credenciais, seu maior benefício é reduzir as chances de vazamento acidental das chaves das aplicações.
• Linked Service: Link entre o armazenamento de dados de origem/destino e o Data Factory.
• Managed Identity Application Id: É uma aplicação registrada para o Azure Active Directory que representa o serviço do data factory. Tem como benefício o armazenamento de credenciais no key vault e diversos conectores para outros serviços do Azure. Este recurso será criado automaticamente quando o data factory for provisionado via portal ou powershell.

Pré-requisitos

Você irá precisar de uma conta no Microsoft Azure, um serviço do Data Factory e do Azure Key Vault provisionado e as credenciais de acesso ao Salesforce para configuração do ambiente.

Sumário

1. Adicionar credenciais de acesso no Key Vault
2. Configurar Azure Key Vault Linked Service
3. Configurar Salesforce Linked Service
4. Configurar permissonamento Managed Identity Application Id
5. Ajustar configuração Salesforce Linked Service
6. Criar dataset e conectar a infraestrutura do Salesforce

Step 1 — Adicionando credenciais de acesso ao Key Vault

Para copiar dados de origem ou destino do salesforce através do data factory é preciso utilizar um conector especifico com as seguintes propriedades para configuração no linked service:

• environmentUrl
• username
• password
• securityToken.

Nesse exemplo iremos adicionar ao key vault apenas o password e o securityToken.

Na blade do key vault clique nas configurações de Secrets para gerar 2 novas chaves, uma para password e outra para securityToken.

Informe um nome de sua preferência e no campo value insira o seu password de acesso ao salesforce, no step 3 você precisará desse nome para criação do linked service, em seguida clique em Create.

Faça o mesmo do exemplo anterior para criar o securityToken e clique em Create.

Credenciais devidamente configuradas conforme imagem abaixo.

Step 2 — Configurando Azure Key Vault Linked Service

Para utilizar a credenciais armazenadas no key vault dentro do data factory, primeiramente você precisará criar um linked service referenciando o seu key vault criado para armazenamento das chaves.

Na tela do data factory clique em connections para adicionar um novo linked service, em data store informe o nome [key vault], selecione o item e clique em continue.

Na próxima aba, informe o nome desejado para esse linked service, selecione a subscription, informe o nome do seu serviço do key vault já criado, clique em test connection para validar a conexão e depois em Create.

Após a criação do linked service é preciso publicar as alterações para o data factory, observe que no item 2 da imagem abaixo é possível configurar um repositório no Git ou um repo no Azure DevOps para versionamento de código, em breve irei escrever um post sobre essa integração do data factory com o Azure DevOps para construção de pipelines (CI/CD) e compartilhar por aqui.
Em seguida clique em Publish e aguarde a confirmação.

Agora que já temos a conexão com o key vault criada já podemos configurar o linked service com o salesforce.

Step 3 — Configurando Salesforce Linked Service

Na aba Linked Services, clique em +New, digite o nome [salesforce], selecione e clique em continuar.

Crie um nome para o novo linked service, informe o nome de usuário para acesso ao salesforce, modifique a autenticação para Azure Key Vault, selecione o linked service do key vault que foi criado no step 2, informe o nome criado para referenciar o password e a secretkey no key vault conforme configuramos no step 1. Por ultimo teste e conexão e aguarde uma mensagem de erro como resposta.

Observe abaixo a mensagem de falha na conexão após efetuar o teste de conectividade. Esse erro ocorre devido a falta de permissão do data factory managed application id para recuperar as credenciais do Key Vault.

Step 4 — Conceder permissionamento do Data Factory Managed Identity Application ID ao Azure Key Vault

Para localizar essa informação, acesse o serviço do data factory, clique em Properties e copie o código do managed identity aplication id para liberar o permissionamento de acesso.

Localize o serviço do key vault que estão armazenadas suas credenciais, clique em Access policies e depois clique em +Add Access Policy.

Selecione o template para Key & Secret Management, informe o tipo de permissionamento “Get”, tanto para key permissions, quanto para secret permissions, possibilitando o serviço do data factory retornar as chaves e segredos armazenados no key vault, depois clique em Select principal e cole o código do managed identity aplication id obtido anteriormente nas propriedades do data factory, clique em Select e Add para adicionar o item listado.

Na próxima aba salve as configurações para continuar com o processo de criação do salesforce linked service.

Step 5— Retornar a configuração do Salesforce Linked Service

Após a inclusão do permissionamento, retorne a tela do data factory e basta clicar em test connection, aguardar a validação e depois clique em Create para criar o salesforce linked service.
Obs: Caso ocorra um erro de conexão diferente do listado no step 3, cancele a criação do linked service e faça novamente as configurações de criação do linked service informando os mesmos dados.

Publique as alterações realizadas clicando em Publish e conforme podemos visualizar na tela abaixo já temos 2 linked services necessários para acesso ao ambiente do salesforce.

Steps 6 — Criar dataset para validar acesso ao Salesforce

Após as configurações realizadas no step anterior, basicamente você precisa criar seu conjunto de dados e realizar a ingestão das informações diretamente do ambiente salesforce.
Em Factory Resources do data factory, na aba Datasets clique em “…” (actions) e depois em New dataset.

Na próxima aba informe o nome [salesforce] para o tipo de armazenamento de dados, selecione o item e clique em continuar, conforme imagem abaixo:

Na aba de conexões selecione o linked service criado para o salesforce, clique em test connection para validar a conexão, depois informe o tipo de objeto que deseja para retornar os dados do ambiente salesforce.
Não esqueça de Publicar as modificações da criação do novo dataset.

Clique em preview para retornar os dados diretamente do Salesforce e aguarde as listagem conforme imagem abaixo.

Com os acesso direto ao salesforce para ingestão das informações na origem, você já pode dar continuarde ao seu pipeline completo de dados no Azure Data Factory.

Espero que tenha auxiliado no entendimento de como proteger as credenciais de acesso utilizando o Azure Key Vault.

No próximo post falarei sobre a utilização do Azure DevOps para versionamento de código, integração e entrega continua do Azure Data Factory.

Nos vemos nos próximos posts!!!

Para saber mais sobre o universo de engenharia de dados no Microsoft Azure, acesse o post abaixo onde compartilho algumas dicas de como estudar e se certificar nessa área.
https://medium.com/@sidneyocirqueira/como-se-tornar-um-microsoft-certified-azure-data-engineer-associate-eacc2d9969f5?source=friends_link&sk=19067e9cb28213b8076c04dbebe926ae

#microsoft #azure #dataengineer #datafactory #salesforce #keyvalt

Referências:

Documentação Datafactory: https://docs.microsoft.com/en-us/azure/data-factory/

Documentação Key Vault: https://docs.microsoft.com/en-us/azure/key-vault/

Armazenando credencial no Key Vault: https://docs.microsoft.com/en-us/azure/data-factory/store-credentials-in-key-vault

PessoALL, recentemente alcancei o título de Microsoft Certified: Azure Data Engineer Associate, algumas pessoas têm me perguntado como funciona e como me preparei para os dois exames que compõe essa certificação. Então resolvi criar esse post para compartilhar algumas dicas de materiais para estudo e como foi minha jornada em busca desse objetivo pessoal e profissional.

Há 5 anos trabalho como DBA SQL Server e nos últimos 2 anos percebi minha carreira naturalmente “pivoteando” para Engenharia de Dados, tradução do termo em inglês Data Engineer, que iremos utilizar ao longo desse post.

Tenho o privilégio de trabalhar a 1 ano focado na plataforma de dados do Azure em uma grande companhia do ramo de seguros no Brasil, que hoje possui o core de sua infraestrutura tecnológica 100% em ambiente cloud, o que facilitou bastante nessa mudança de direcionamento e também me motivou a buscar uma forma de validar meus conhecimentos e ser reconhecido oficialmente pela Microsoft através da certificação.

Mas o que um Data Engineer faz?

Geralmente profissionais que trabalham com SQL Server estão acostumados a lidar com sistemas de bancos de dados relacionais.

Data Engineers trabalham com dados estruturados e não estruturados e com uma variedade de formatos de arquivos (JSON, CSV, Txt, Parquet, ORC e Avro) e origens, como por exemplo: dados em streaming.

Suas principais responsabilidades também englobam o provisionamento inicial do ambiente, gerenciamento, monitoramento e segurança do fluxo das informações, desde a ingestão dos dados, armazenamento, carga, transformação, analise, até a camada de visualização para consumo final e tomada de decisão por parte do negócio.

Na plataforma de dados do Microsoft Azure estão disponíveis uma infinidade de serviços e ferramentas (Azure Databricks, CosmosDB, Azure Event Hubs, Azure Stream Analytics, Azure SQL Data Warehouse, Azure DataFactory, Azure Data Lake Storage, e etc) que aceleram a entrega de soluções mais robustas e escaláveis, suas funcionalidades deverão ser muito bem conhecidas e aplicadas corretamente por um data engineer em cada step de um pipeline completo de big data.

Além disso, esses serviços podem ser facilmente integrados de forma transparente com outras tecnologias como Azure DevOps, Cognitive Services, Azure Search e Bots.

Microsoft Certified: Azure Data Engineer Associate

Essa certificação faz parte da nova trilha de provas da Microsoft baseada em carreiras. Caso queira saber um pouco mais sobre as mudanças nas certificações da Microsoft em 2019, acesse esse link que tem um post recente bem bacana detalhando tudo.

Ela se enquadra na categoria de Data & AI, que é composta por 3 grandes áreas:

• Azure Data Scientist
• Azure Data Engineer
• Azure AI Engineer

Em todas as trilhas de App & Infra | Data & AI a Microsoft sugere que você tenha como pré-requisito opcional a certificação Microsoft Certified: Azure Fundamentals, conforme podemos observar na imagem abaixo.

E foi por aí que minha jornada começou…

Resolvi primeiramente me preparar para essa prova, onde o objetivo era solidificar meus conhecimentos básicos em Azure e rever alguns conceitos que seriam importantes para a trilha de dados que eu gostaria de seguir.

Para obter a certificação Azure Fundamentals é necessário ser aprovado no exame AZ-900, desenhado para candidatos que desejam demonstrar o conhecimento básico em conceitos de cloud, principais serviços, segurança, privacidade, compliance, preço e suporte no Azure.

Existem diversos materiais pagos e gratuitos para se preparar para esse exame: Curso oficial, simulado, livro e a plataforma de treinamentos Microsoft Learn.

“O que na minha humilde opinião, a Microsoft acertou nesse modelo de treinamentos online totalmente gratuitos, conteúdo teórico e com exercícios práticos em ambiente simulado”.

Segue listagem abaixo dos recursos disponíveis para estudo:

Microsoft Learn: Azure Fundamentals Learning Path (Gratuito);

Curso Oficial: Disponibilizado por dois centros de treinamento no Brasil, Green Tecnologia | Ka Solution (Pago);

Livro Oficial: Exam Ref AZ-900 Microsoft Azure Fundamentals (Pago);

Teste Pratico Oficial: Microsoft Azure Fundamentals Microsoft Official Practice Test (Pago);

Documentação: https://docs.microsoft.com/en-us/azure/ (Gratuito);

Do material citado acima, consegui passar nesse exame estudando apenas pelo Microsoft Learn, recomendo fortemente o conteúdo do Azure Fundamentals Learn Path, está bem claro e retrata todos os requisitos abordados na AZ-900.

Após concluir essa primeira etapa, já iniciei a busca por materiais de estudo para os dois exames necessários para obter o título de Azure Data Engineer.

1. Exam DP-200: Implementing an Azure Data Solution

Candidatos que desejam ser aprovados nesse exame devem ser capazes de implementar soluções de dados que incluam provisionamento de serviços de armazenamento, ingestão de dados em streaming e batch, transformação, implementação de politicas de retenção e segurança, também identificar e otimizar problemas de performance e acessos externos utilizando os serviços disponíveis no Azure.

Infelizmente ainda não existem cursos oficiais no Brasil, exames práticos e/ou livros disponíveis. Então concentrei todo esforço nos seguintes materiais:

Microsoft Learn: Data Engineer Learning Path (Gratuito)

OpenEdx: DP-200.1Implementing an Azure Data Solution (Gratuito)

Esse treinamento do openedx não está disponível no momento, ele é aberto em apenas datas específicas, dei sorte de ter pego a data certa. Entrei em contato com a Microsoft no fórum e obtive a resposta de que eles ainda não tem previsão de abertura do próximo curso, sugeriram verificar frequentemente no link do treinamento por alguma atualização.

Labs Github: DP-200-Implementing-an-Azure-Data-Solution (Gratuito)

Curso Azure Databricks: Data Science no Azure Databricks (Pago)

Treinamento do nosso amigo Luan.Moreno que aborda 2 trilhas, de Data Science e Data Engineer utilizando Databricks, conteúdo técnico de alta qualidade que me ajudou a entender melhor os conceitos internos da ferramenta. Maiores informações sobre o próximo treinamento deverão ser consultadas com o próprio Luan Moreno.

Microsoft Academy: Microsoft Professional Program for Big Data (Pago pelo certificado de cada módulo, porém toda trilha pode ser feita sem nenhum custo.)

Documentação técnica dos requisitos abordados na prova:

Provisionamento e implementação de armazenamento de dados

• Azure SQL Database
• Azure SQL Data Warehouse
• Azure CosmosDB
• Azure Data Lake Storage Gen2
• Azure Blob Storage

Ingestão de dados em Streaming e Batch

• Azure Databricks
• Azure Stream Analytics
• Azure Event Hubs
• Azure Datafactory

Monitoramento e otimização

• Todos os serviços citados acima
• Azure Monitor
• Azure Log Analytics

Pouco antes de fazer a prova foquei no Microsoft Learn na trilha de data engineer. Abordou perfeitamente todas as habilidades medidas na prova. Só achei pouco o conteúdo sobre datafactory, então estudei o curso do openedx e a documentação técnica. O material de Azure Databricks que é um produto bem recente lançado como serviço no Azure está excelente, vale muito a pena o estudo, a parte ruim é que não existe ambiente simulado para hands-on no learn. O que pode ser contornado utilizando contas gratuitas para estudantes e desenvolvedores no Azure ou a plataforma Databricks Community.

A bastante tempo venho me preparando para esse exame, cheguei a estudar todo material informado acima. O que me ajudou muito a obter êxito e passar nessa prova.

Se a Microsoft está falando isso quem sou eu pra discordar. (rs)

Próximo e ultimo step…

2. Exam DP-201: Designing an Azure Data Solution

Este exame mede as habilidades técnicas de um data engineer em desenhar soluções de armazenamento, processamento de dados em batch e streaming, além do desenho de soluções de segurança e compliance.

Essa prova é bem voltada pra arquitetura de dados, além de ter estudado todo o conteúdo para DP-200, revisei bastantes algumas documentações para entender melhor a proposta da microsoft sobre o desenho das soluções no Azure.

Microsoft Learn: Data Engineer Learning Path (Gratuito)

Documentação: Azure solution architectures (Gratuito)

Arquitetura de Big Data: Components, Lambda & Kappa architecture (Gratuito)

Marquei minha prova 2 semanas após ter passado na DP-200, tirei uma semana pra descansar um pouco a cabeça, porque ninguém é de ferro, na semana seguinte revisei alguns conceitos sobre arquitetura nos materiais citados acima e felizmente obtive exito nesse 2º exame, recebendo o título de Microsoft Certified: Azure Data Engineer Associate.

Foi uma jornada muito árdua porém gratificante, o conhecimento adquirido com os estudos e casos do dia a dia foi impressionante, a curva de aprendizado em busca desse objetivo pessoal e profissional foi incrível.

Minha intenção nesse post não foi detalhar as questões ou cenários abordados nessas provas, e sim compartilhar um material muito rico que aborda todos os tópicos cobertos nas provas. Acho que vale muito a pena a experiência teórica e pratica de cada data engineer na preparação para essas certificações.

Espero sinceramente ter auxiliado e motivado outros profissionais que estejam em busca de conteúdo para se direcionar nessa carreira tão promissora.

Tenho percebido o mercado de trabalho bem aquecido em busca de mão de obra qualificada em cloud computing. A certificação é uma das varias maneiras de validar o conhecimento e experiência em tecnologias específicas de diversas áreas da computação.

Obrigado a todos que me ajudaram ao longo dessa jornada, estarei disponível em minhas redes sociais para perguntas e bate papo sobre engenharia de dados no Azure.

Nos vemos nos eventos de plataforma de dados pelo Brasil a fora.

#microsoft #azure #dataengineer #dba #sqlserver #sqlfamily #gotospace

Como se tornar um Microsoft Certified: Azure Data Engineer Associate was originally published in Data Hackers on Medium, where people are continuing the conversation by highlighting and responding to this story.