<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Marcos Daniel Santos on Medium]]></title>
        <description><![CDATA[Stories by Marcos Daniel Santos on Medium]]></description>
        <link>https://medium.com/@marcosdanielsantos?source=rss-14e8ad885adc------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*T74qhomDzf9LMPxpEN-eXg.jpeg</url>
            <title>Stories by Marcos Daniel Santos on Medium</title>
            <link>https://medium.com/@marcosdanielsantos?source=rss-14e8ad885adc------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 10:45:09 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@marcosdanielsantos/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Building a Web App for Audio/Video Transcription and Translation with Django and AWS…]]></title>
            <link>https://medium.com/@marcosdanielsantos/building-a-web-app-for-audio-video-transcription-and-translation-with-django-and-aws-6040f2d0c9bb?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/6040f2d0c9bb</guid>
            <category><![CDATA[django]]></category>
            <category><![CDATA[s3]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[aws-transcribe]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Thu, 12 Jun 2025 04:04:54 GMT</pubDate>
            <atom:updated>2025-06-12T04:04:54.007Z</atom:updated>
            <content:encoded><![CDATA[<h3>Building a Web App for Audio/Video Transcription and Translation with Django and AWS Transcribe/Translate</h3><p>Hi Everyone!</p><p>In this tutorial, we will build a simple web application using the Django framework in Python, which interacts with AWS artificial intelligence services: <strong>Amazon Transcribe</strong> to convert speech to text and <strong>Amazon Translate</strong> to translate the transcribed text.</p><p>We will create a user-friendly interface where users can provide an S3 URI for an audio or video file, choose the media format, the original language, and an optional target language for translation. The results (transcription and translation) will be saved back to S3 bucket.</p><p>“I’m not particularly a professional with Python; I’m studying to improve my knowledge in this field”.</p><p>“In this case, I used Gemini to build the app with Django and to integrate scripts for translation and transcription.”</p><h4>Prerequisites:</h4><pre>Python 3.8+: Check your version with python --version.<br>pip: Python package installer.<br>Django: Python web framework.<br>boto3: AWS SDK for Python.<br>Active AWS Account: With access to S3, Transcribe, and Translate services.<br>Configured AWS Credentials: The boto3 SDK will look for your credentials in standard locations (environment variables, ~/.aws/credentials file, etc.). It&#39;s crucial that the IAM User associated with these credentials has the following permissions:<br>AmazonS3FullAccess (or more restrictive permissions for specific buckets: s3:GetObject, s3:PutObject, s3:ListBucket).<br>AmazonTranscribeFullAccess (or transcribe:StartTranscriptionJob, transcribe:GetTranscriptionJob).<br>TranslateFullAccess (or translate:TranslateText).<br><br>#Your bucket must exist!!!</pre><h4><strong>Step-by-Step Guide:</strong></h4><p>Create a new directory for your project and set up a virtual environment(In my case I don’t made this).</p><pre>mkdir audio_processor_project<br>cd audio_processor_project<br>apt install python3.yourversion-venv -y<br>python -m venv venv<br>source venv/bin/activate  # On Linux/macOS<br># venv\Scripts\activate   # On Windows</pre><p>Install Boto3 and Django</p><pre>pip install django boto3</pre><p>Create the Django project and the transcribe_app application:</p><pre>django-admin startproject audio_processor_project .<br>python manage.py startapp transcribe_app</pre><p>Add transcribe_app to INSTALLED_APPS in audio_processor_project/settings.py:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/358/1*x9H68Bva4izHYe9MhI8DUA.png" /></figure><p>Now we’ll create a Django model to record transcription jobs and their statuses.</p><p>Create or update the transcribe_app/models.py file:</p><pre># transcribe_app/models.py<br><br>from django.db import models<br><br>class TranscriptionJob(models.Model):<br>    job_name = models.CharField(max_length=255, unique=True)<br>    media_uri = models.URLField(max_length=2000)<br>    original_language = models.CharField(max_length=10)<br>    target_language = models.CharField(max_length=10, blank=True, null=True)<br>    status = models.CharField(max_length=50, default=&#39;PENDING&#39;)<br>    output_bucket = models.CharField(max_length=255, default=&#39;conversation-records&#39;) # Stores the output bucket<br>    transcription_output_uri = models.URLField(max_length=2000, blank=True, null=True)<br>    translation_output_uri = models.URLField(max_length=2000, blank=True, null=True)<br>    created_at = models.DateTimeField(auto_now_add=True)<br>    updated_at = models.DateTimeField(auto_now=True)<br><br>    def __str__(self):<br>        return self.job_name<br><br>    class Meta:<br>        ordering = [&#39;-created_at&#39;]</pre><p>After creating the model, run migrations to create the table in the database:</p><pre>python manage.py makemigrations transcribe_app<br>python manage.py migrate</pre><h4>Creating the Form</h4><p>We need a form for the user to input the transcription job details.</p><p>Create or update the transcribe_app/forms.py file:</p><pre># transcribe_app/forms.py<br><br>from django import forms<br><br>class TranscriptionForm(forms.Form):<br>    media_uri = forms.CharField(<br>        label=&quot;Audio File URL (S3)&quot;,<br>        help_text=&quot;Ex: s3://your-bucket/your-audio.mp3&quot;<br>    )<br><br>    media_format_choices = [<br>        (&#39;mp3&#39;, &#39;MP3&#39;),<br>        (&#39;mp4&#39;, &#39;MP4&#39;),<br>        (&#39;wav&#39;, &#39;WAV&#39;),<br>        (&#39;flac&#39;, &#39;FLAC&#39;),<br>        (&#39;ogg&#39;, &#39;OGG&#39;),<br>        (&#39;amr&#39;, &#39;AMR&#39;),<br>        (&#39;webm&#39;, &#39;WEBM&#39;),<br>        # Add other formats supported by Transcribe if necessary<br>    ]<br>    media_format = forms.ChoiceField(<br>        label=&quot;Media Format&quot;,<br>        choices=media_format_choices,<br>        help_text=&quot;Select the format of the audio/video file.&quot;<br>    )<br><br>    original_language_choices = [<br>        (&#39;en-US&#39;, &#39;English (US)&#39;),<br>        (&#39;pt-BR&#39;, &#39;Português (Brasil)&#39;),<br>        # Add other languages supported by Transcribe as needed<br>    ]<br>    original_language = forms.ChoiceField(<br>        label=&quot;Original Audio Language&quot;,<br>        choices=original_language_choices<br>    )<br><br>    target_language_choices = [<br>        (&#39;&#39;, &#39;Do Not Translate&#39;), # Option to not translate<br>        (&#39;pt&#39;, &#39;Portuguese&#39;),<br>        (&#39;en&#39;, &#39;English&#39;),<br>        (&#39;es&#39;, &#39;Spanish&#39;),<br>        (&#39;fr&#39;, &#39;French&#39;),<br>        # Add other languages supported by Translate (use ISO 639-1 codes)<br>    ]<br>    target_language = forms.ChoiceField(<br>        label=&quot;Translate To (Optional)&quot;,<br>        choices=target_language_choices,<br>        required=False<br>    )<br><br>    output_bucket_name = forms.CharField(<br>        label=&quot;S3 Output Bucket Name&quot;,<br>        help_text=&quot;The bucket where the results will be saved. Ex: &#39;my-transcriptions-bucket&#39;&quot;,<br>        initial=&quot;conversation-records&quot; # Suggest a default value<br>    )<br><br>    output_key_prefix_input = forms.CharField(<br>        label=&quot;S3 Output Path/Prefix&quot;,<br>        required=False,<br>        help_text=&quot;Ex: &#39;my_transcriptions/&#39; or &#39;processed_audios/&#39;. Leave empty for default.&quot;,<br>        initial=&quot;transcriptions_output/&quot; # Suggest a default value<br>    )</pre><h4>AWS Interaction Logic (AWS Service)</h4><p>This part is the core of the AWS integration. It contains functions to start transcription, check status, and process results.</p><p>Create or update the transcribe_app/aws_service.py file:</p><pre># transcribe_app/aws_service.py<br><br>import boto3<br>import json<br>import time<br>import uuid<br><br># Configure your AWS region<br>AWS_REGION = &#39;us-east-1&#39; # Ensure this region supports Transcribe/Translate<br><br>transcribe_client = boto3.client(&#39;transcribe&#39;, region_name=AWS_REGION)<br>translate_client = boto3.client(&#39;translate&#39;, region_name=AWS_REGION)<br>s3_client = boto3.client(&#39;s3&#39;, region_name=AWS_REGION)<br><br>def start_transcription_and_translation_process(media_uri, media_format, original_language, target_language, output_bucket_name, output_key_prefix_input):<br>    &quot;&quot;&quot;<br>    Starts a transcription job in AWS Transcribe and configures S3 for the results.<br>    &quot;&quot;&quot;<br>    job_name = f&quot;django-transcription-job-{uuid.uuid4()}&quot;<br><br>    # Ensure the prefix ends with &#39;/&#39; if not empty<br>    if output_key_prefix_input and not output_key_prefix_input.endswith(&#39;/&#39;):<br>        output_key_prefix_input += &#39;/&#39;<br>        <br>    output_key_base = f&quot;{output_key_prefix_input}{job_name}&quot;<br><br>    try:<br>        transcribe_client.start_transcription_job(<br>            TranscriptionJobName=job_name,<br>            Media={&quot;MediaFileUri&quot;: media_uri},<br>            MediaFormat=media_format,<br>            LanguageCode=original_language,<br>            OutputBucketName=output_bucket_name, # Bucket provided by the user<br>            OutputKey=output_key_base, # Output key with prefix and job name<br>            Subtitles={<br>                &quot;Formats&quot;: [&#39;srt&#39;, &#39;vtt&#39;],<br>                &quot;OutputStartIndex&quot;: 0<br>            }<br>        )<br>        print(f&quot;Transcription job &#39;{job_name}&#39; started in bucket &#39;{output_bucket_name}&#39; with key prefix &#39;{output_key_base}&#39;.&quot;)<br><br>        return {<br>            &#39;job_name&#39;: job_name,<br>            &#39;status&#39;: &#39;IN_PROGRESS&#39;,<br>            &#39;output_json_key&#39;: f&quot;{output_key_base}.json&quot;, # Transcribe adds .json<br>            &#39;output_bucket_name&#39;: output_bucket_name # Return the bucket to save in the model<br>        }<br><br>    except Exception as e:<br>        print(f&quot;Error starting transcription job: {e}&quot;)<br>        raise # Re-raise the exception to be handled by the view<br><br>def get_transcription_job_status(job_name):<br>    &quot;&quot;&quot;<br>    Gets the status of a transcription job from AWS Transcribe.<br>    &quot;&quot;&quot;<br>    try:<br>        response = transcribe_client.get_transcription_job(TranscriptionJobName=job_name)<br>        return response[&quot;TranscriptionJob&quot;][&quot;TranscriptionJobStatus&quot;]<br>    except transcribe_client.exceptions.NotFoundException:<br>        return &quot;NOT_FOUND&quot;<br>    except Exception as e:<br>        print(f&quot;Error getting transcription job status for {job_name}: {e}&quot;)<br>        return &quot;ERROR&quot;<br><br>def get_transcription_result_and_translate(job_name, original_language, target_language, output_bucket_name_from_model):<br>    &quot;&quot;&quot;<br>    Downloads the transcription result, performs translation (if necessary), and uploads<br>    the translated text back to S3.<br>    &quot;&quot;&quot;<br>    try:<br>        response = transcribe_client.get_transcription_job(TranscriptionJobName=job_name)<br>        transcript_uri = response[&quot;TranscriptionJob&quot;][&quot;Transcript&quot;][&quot;TranscriptFileUri&quot;]<br><br>        # Transcribe returns a complete URI (e.g., https://s3.region.amazonaws.com/bucket/key.json)<br>        # We need to parse this to get the result bucket and key<br>        parsed_uri = transcript_uri.replace(f&quot;https://s3.{AWS_REGION}.amazonaws.com/&quot;, &quot;&quot;)<br>        result_bucket = parsed_uri.split(&#39;/&#39;)[0]<br>        result_key = &#39;/&#39;.join(parsed_uri.split(&#39;/&#39;)[1:])<br><br>        # Download the transcription JSON content<br>        transcription_json_content = s3_client.get_object(Bucket=result_bucket, Key=result_key)[&#39;Body&#39;].read().decode(&#39;utf-8&#39;)<br>        transcription_data = json.loads(transcription_json_content)<br>        full_transcript = transcription_data[&#39;results&#39;][&#39;transcripts&#39;][0][&#39;transcript&#39;]<br><br>        translated_text = None<br>        translated_output_key = None<br><br>        if target_language:<br>            # Translate accepts language codes like &#39;en&#39;, &#39;pt&#39;, not &#39;en-US&#39;<br>            translate_source_lang = original_language.split(&#39;-&#39;)[0]<br><br>            translated_response = translate_client.translate_text(<br>                Text=full_transcript,<br>                SourceLanguageCode=translate_source_lang,<br>                TargetLanguageCode=target_language<br>            )<br>            translated_text = translated_response[&#39;TranslatedText&#39;]<br><br>            # Create a new key for the translated text file<br>            base_key_for_translated = result_key.rsplit(&#39;.&#39;, 1)[0] # Remove the final extension (.json)<br>            translated_output_key = f&quot;{base_key_for_translated}_translated_{target_language}.txt&quot;<br>            <br>            # Upload the translated text to the same bucket<br>            s3_client.put_object(Bucket=result_bucket, Key=translated_output_key, Body=translated_text.encode(&#39;utf-8&#39;))<br>            print(f&quot;Translated text uploaded to s3://{result_bucket}/{translated_output_key}&quot;)<br><br>        return {<br>            &#39;transcript_uri&#39;: transcript_uri,<br>            &#39;full_transcript&#39;: full_transcript,<br>            &#39;translated_text&#39;: translated_text,<br>            &#39;translated_output_uri&#39;: f&quot;s3://{result_bucket}/{translated_output_key}&quot; if translated_output_key else None<br>        }<br><br>    except Exception as e:<br>        print(f&quot;Error processing transcription/translation for {job_name}: {e}&quot;)<br>        raise # Re-raise the exception for view handling</pre><h4>Application Logic (Views)</h4><p>Views process requests, interact with the form, model, and AWS service.</p><p>Create or update the transcribe_app/views.py file:</p><pre># transcribe_app/views.py<br><br>from django.shortcuts import render, redirect, get_object_or_404<br>from django.views.decorators.http import require_POST<br>from django.http import JsonResponse<br>from .forms import TranscriptionForm<br>from .models import TranscriptionJob<br>from .aws_service import start_transcription_and_translation_process, get_transcription_job_status, get_transcription_result_and_translate<br><br>import json<br>import time<br><br>def submit_transcription(request):<br>    &quot;&quot;&quot;<br>    View to display the submission form and process the creation of a new job.<br>    &quot;&quot;&quot;<br>    if request.method == &#39;POST&#39;:<br>        form = TranscriptionForm(request.POST)<br>        if form.is_valid():<br>            media_uri = form.cleaned_data[&#39;media_uri&#39;]<br>            media_format = form.cleaned_data[&#39;media_format&#39;]<br>            original_language = form.cleaned_data[&#39;original_language&#39;]<br>            target_language = form.cleaned_data[&#39;target_language&#39;] if form.cleaned_data[&#39;target_language&#39;] else None<br>            output_bucket_name = form.cleaned_data[&#39;output_bucket_name&#39;]<br>            output_key_prefix_input = form.cleaned_data[&#39;output_key_prefix_input&#39;]<br><br>            try:<br>                # Start the transcription job in AWS Transcribe through your AWS service<br>                job_details = start_transcription_and_translation_process(<br>                    media_uri,<br>                    media_format,<br>                    original_language,<br>                    target_language,<br>                    output_bucket_name,<br>                    output_key_prefix_input<br>                )<br><br>                # Save job details to your Django model<br>                transcription_output_base_uri = f&quot;s3://{job_details[&#39;output_bucket_name&#39;]}/{job_details[&#39;output_json_key&#39;]}&quot;<br><br>                transcription_job = TranscriptionJob.objects.create(<br>                    job_name=job_details[&#39;job_name&#39;],<br>                    media_uri=media_uri,<br>                    original_language=original_language,<br>                    target_language=target_language,<br>                    output_bucket=output_bucket_name, # Saving the chosen bucket in the model<br>                    status=job_details[&#39;status&#39;],<br>                    transcription_output_uri=transcription_output_base_uri<br>                )<br><br>                # Redirect to the status page of the newly created job<br>                return redirect(&#39;transcription_status&#39;, job_id=transcription_job.id)<br>            except Exception as e:<br>                # Add an error to the form to display on the page if something goes wrong<br>                form.add_error(None, f&quot;Error starting transcription job: {e}. Check AWS permissions, media URI, and format.&quot;)<br>    else:<br>        # If it&#39;s a GET request, display an empty form<br>        form = TranscriptionForm()<br><br>    # Retrieve recent jobs to display on the home page<br>    jobs = TranscriptionJob.objects.all()<br>    return render(request, &#39;transcribe_app/submit_transcription.html&#39;, {&#39;form&#39;: form, &#39;jobs&#39;: jobs})<br><br>def transcription_status(request, job_id):<br>    &quot;&quot;&quot;<br>    View to display the status of a transcription and translation job.<br>    Also checks status with AWS Transcribe and processes results if completed.<br>    &quot;&quot;&quot;<br>    job = get_object_or_404(TranscriptionJob, id=job_id)<br>    context = {&#39;job&#39;: job}<br><br>    # Only check AWS status if the job is not yet in a final state<br>    if job.status not in [&#39;COMPLETED&#39;, &#39;TRANSLATED&#39;, &#39;FAILED&#39;, &#39;ERROR&#39;]:<br>        aws_status = get_transcription_job_status(job.job_name)<br><br>        if aws_status == &#39;COMPLETED&#39;:<br>            try:<br>                # If Transcribe completed, process results (download, translate, upload)<br>                results = get_transcription_result_and_translate(<br>                    job.job_name, job.original_language, job.target_language, job.output_bucket<br>                )<br>                job.transcription_output_uri = results[&#39;transcript_uri&#39;]<br>                job.translation_output_uri = results[&#39;translated_output_uri&#39;]<br>                # Update status in the Django model based on whether translation occurred<br>                job.status = &#39;TRANSLATED&#39; if job.target_language else &#39;COMPLETED&#39;<br>                job.save()<br>            except Exception as e:<br>                job.status = &#39;ERROR&#39;<br>                job.save()<br>                context[&#39;error_message&#39;] = f&quot;Error processing transcription/translation results: {e}. Check S3 logs and permissions.&quot;<br>        elif aws_status == &#39;FAILED&#39;:<br>            job.status = &#39;FAILED&#39;<br>            job.save()<br>        else: # IN_PROGRESS, QUEUED, etc.<br>            job.status = aws_status<br>            job.save()<br>    <br>    return render(request, &#39;transcribe_app/transcription_status.html&#39;, context)<br><br>def check_job_status_ajax(request, job_id):<br>    &quot;&quot;&quot;<br>    AJAX endpoint to allow the frontend to poll and update status without page reload.<br>    &quot;&quot;&quot;<br>    job = get_object_or_404(TranscriptionJob, id=job_id)<br>    <br>    # Re-check AWS status if the job is not yet in a final state<br>    if job.status not in [&#39;COMPLETED&#39;, &#39;TRANSLATED&#39;, &#39;FAILED&#39;, &#39;ERROR&#39;]:<br>        aws_status = get_transcription_job_status(job.job_name)<br>        if aws_status == &#39;COMPLETED&#39;:<br>            try:<br>                results = get_transcription_result_and_translate(<br>                    job.job_name, job.original_language, job.target_language, job.output_bucket<br>                )<br>                job.transcription_output_uri = results[&#39;transcript_uri&#39;]<br>                job.translation_output_uri = results[&#39;translated_output_uri&#39;]<br>                job.status = &#39;TRANSLATED&#39; if job.target_language else &#39;COMPLETED&#39;<br>                job.save()<br>            except Exception as e:<br>                job.status = &#39;ERROR&#39;<br>                job.save()<br>        elif aws_status == &#39;FAILED&#39;:<br>            job.status = &#39;FAILED&#39;<br>            job.save()<br>        else:<br>            job.status = aws_status<br>            job.save()<br>            <br>    # Return job data as JSON<br>    return JsonResponse({<br>        &#39;status&#39;: job.status,<br>        &#39;transcription_output_uri&#39;: job.transcription_output_uri,<br>        &#39;translation_output_uri&#39;: job.translation_output_uri,<br>        &#39;original_language&#39;: job.original_language,<br>        &#39;target_language&#39;: job.target_language,<br>        &#39;media_uri&#39;: job.media_uri,<br>        &#39;updated_at&#39;: job.updated_at.strftime(&quot;%Y-%m-%d %H:%M:%S&quot;) # Format date for JS<br>    })</pre><h4>URL Configuration</h4><p>We need to map URLs to the views we created.</p><p>Create the transcribe_app/urls.py file:</p><pre># transcribe_app/urls.py<br><br>from django.urls import path<br>from . import views<br><br>urlpatterns = [<br>    path(&#39;&#39;, views.submit_transcription, name=&#39;submit_transcription&#39;),<br>    path(&#39;status/&lt;int:job_id&gt;/&#39;, views.transcription_status, name=&#39;transcription_status&#39;),<br>    path(&#39;status_ajax/&lt;int:job_id&gt;/&#39;, views.check_job_status_ajax, name=&#39;check_job_status_ajax&#39;),<br>]</pre><p>And include the transcribe_app URLs in the main project file, audio_processor_project/urls.py:</p><pre># audio_processor_project/urls.py<br><br>from django.contrib import admin<br>from django.urls import path, include<br><br>urlpatterns = [<br>    path(&#39;admin/&#39;, admin.site.urls),<br>    path(&#39;transcribe/&#39;, include(&#39;transcribe_app.urls&#39;)), # This line<br>]</pre><h4>Creating HTML Templates</h4><p>Create the templates/transcribe-app directories inside transcribe_app/ .</p><p>transcribe_app/templates/transcribe_app/submit_transcription.html:</p><pre>mkdir -p transcribe_app/templates/transcribe_app<br>nano transcribe_app/templates/transcribe_app/submit_transcription.html</pre><pre>&lt;!DOCTYPE html&gt;<br>&lt;html lang=&quot;en&quot;&gt;<br>&lt;head&gt;<br>    &lt;meta charset=&quot;UTF-8&quot;&gt;<br>    &lt;meta name=&quot;viewport&quot; content=&quot;width=device-width, initial-scale=1.0&quot;&gt;<br>    &lt;title&gt;AWS Transcribe &amp; Translate&lt;/title&gt;<br>    &lt;style&gt;<br>        body { font-family: Arial, sans-serif; margin: 20px; background-color: #f4f7f6; color: #333; }<br>        .container { max-width: 800px; margin: auto; padding: 30px; border: 1px solid #e0e0e0; border-radius: 10px; background-color: #ffffff; box-shadow: 0 4px 8px rgba(0,0,0,0.05); }<br>        h1, h3 { color: #2c3e50; border-bottom: 2px solid #007bff; padding-bottom: 10px; margin-bottom: 20px; }<br>        .form-group { margin-bottom: 20px; }<br>        label { display: block; margin-bottom: 8px; font-weight: bold; color: #333; }<br>        input[type=&quot;url&quot;], input[type=&quot;text&quot;], select { width: calc(100% - 20px); padding: 10px; border: 1px solid #ddd; border-radius: 5px; box-sizing: border-box; font-size: 1em; }<br>        button { padding: 12px 25px; background-color: #007bff; color: white; border: none; border-radius: 5px; cursor: pointer; font-size: 1.1em; transition: background-color 0.3s ease; }<br>        button:hover { background-color: #0056b3; }<br>        .help-text { font-size: 0.85em; color: #777; margin-top: 5px; }<br>        .errorlist { color: #e74c3c; list-style-type: none; padding: 0; margin: 0 0 15px 0; font-size: 0.9em; }<br>        .job-list { margin-top: 40px; }<br>        .job-item { border: 1px solid #e9ecef; padding: 15px; margin-bottom: 15px; border-radius: 8px; background-color: #fdfdfd; display: flex; flex-direction: column; }<br>        .job-item strong { color: #555; margin-right: 5px; }<br>        .job-item div { margin-bottom: 5px; }<br>        .job-item a { text-decoration: none; color: #007bff; font-weight: bold; transition: color 0.3s ease; }<br>        .job-item a:hover { text-decoration: underline; color: #0056b3; }<br>        .status-badge {<br>            display: inline-block;<br>            padding: 4px 8px;<br>            border-radius: 4px;<br>            font-size: 0.8em;<br>            font-weight: bold;<br>            color: white;<br>            background-color: #6c757d; /* Default gray */<br>        }<br>        .status-badge.IN_PROGRESS { background-color: #ffc107; color: #333; } /* Yellow */<br>        .status-badge.COMPLETED { background-color: #28a745; } /* Green */<br>        .status-badge.TRANSLATED { background-color: #007bff; } /* Blue */<br>        .status-badge.FAILED, .status-badge.ERROR { background-color: #dc3545; } /* Red */<br>        .status-badge.PENDING { background-color: #6c757d; } /* Gray */<br>    &lt;/style&gt;<br>&lt;/head&gt;<br>&lt;body&gt;<br>    &lt;div class=&quot;container&quot;&gt;<br>        &lt;h1&gt;Start Transcription and Translation&lt;/h1&gt;<br>        &lt;form method=&quot;post&quot;&gt;<br>            {% csrf_token %}<br>            {% if form.errors %}<br>                &lt;ul class=&quot;errorlist&quot;&gt;<br>                    {% for field in form %}<br>                        {% for error in field.errors %}<br>                            &lt;li&gt;{{ field.label }}: {{ error }}&lt;/li&gt;<br>                        {% endfor %}<br>                    {% endfor %}<br>                    {% for error in form.non_field_errors %}<br>                        &lt;li&gt;{{ error }}&lt;/li&gt;<br>                    {% endfor %}<br>                &lt;/ul&gt;<br>            {% endif %}<br><br>            &lt;div class=&quot;form-group&quot;&gt;<br>                {{ form.media_uri.label_tag }}<br>                {{ form.media_uri }}<br>                &lt;div class=&quot;help-text&quot;&gt;{{ form.media_uri.help_text }}&lt;/div&gt;<br>                {% if form.media_uri.errors %}&lt;ul class=&quot;errorlist&quot;&gt;{% for error in form.media_uri.errors %}&lt;li&gt;{{ error }}&lt;/li&gt;{% endfor %}&lt;/ul&gt;{% endif %}<br>            &lt;/div&gt;<br><br>            &lt;div class=&quot;form-group&quot;&gt;<br>                {{ form.media_format.label_tag }}<br>                {{ form.media_format }}<br>                &lt;div class=&quot;help-text&quot;&gt;{{ form.media_format.help_text }}&lt;/div&gt;<br>                {% if form.media_format.errors %}&lt;ul class=&quot;errorlist&quot;&gt;{% for error in form.media_format.errors %}&lt;li&gt;{{ error }}&lt;/li&gt;{% endfor %}&lt;/ul&gt;{% endif %}<br>            &lt;/div&gt;<br><br>            &lt;div class=&quot;form-group&quot;&gt;<br>                {{ form.original_language.label_tag }}<br>                {{ form.original_language }}<br>                {% if form.original_language.errors %}&lt;ul class=&quot;errorlist&quot;&gt;{% for error in form.original_language.errors %}&lt;li&gt;{{ error }}&lt;/li&gt;{% endfor %}&lt;/ul&gt;{% endif %}<br>            &lt;/div&gt;<br><br>            &lt;div class=&quot;form-group&quot;&gt;<br>                {{ form.target_language.label_tag }}<br>                {{ form.target_language }}<br>                {% if form.target_language.errors %}&lt;ul class=&quot;errorlist&quot;&gt;{% for error in form.target_language.errors %}&lt;li&gt;{{ error }}&lt;/li&gt;{% endfor %}&lt;/ul&gt;{% endif %}<br>            &lt;/div&gt;<br><br>            &lt;div class=&quot;form-group&quot;&gt;<br>                {{ form.output_bucket_name.label_tag }}<br>                {{ form.output_bucket_name }}<br>                &lt;div class=&quot;help-text&quot;&gt;{{ form.output_bucket_name.help_text }}&lt;/div&gt;<br>                {% if form.output_bucket_name.errors %}&lt;ul class=&quot;errorlist&quot;&gt;{% for error in form.output_bucket_name.errors %}&lt;li&gt;{{ error }}&lt;/li&gt;{% endfor %}&lt;/ul&gt;{% endif %}<br>            &lt;/div&gt;<br><br>            &lt;div class=&quot;form-group&quot;&gt;<br>                {{ form.output_key_prefix_input.label_tag }}<br>                {{ form.output_key_prefix_input }}<br>                &lt;div class=&quot;help-text&quot;&gt;{{ form.output_key_prefix_input.help_text }}&lt;/div&gt;<br>                {% if form.output_key_prefix_input.errors %}&lt;ul class=&quot;errorlist&quot;&gt;{% for error in form.output_key_prefix_input.errors %}&lt;li&gt;{{ error }}&lt;/li&gt;{% endfor %}&lt;/ul&gt;{% endif %}<br>            &lt;/div&gt;<br><br>            &lt;button type=&quot;submit&quot;&gt;Start Process&lt;/button&gt;<br>        &lt;/form&gt;<br><br>        &lt;div class=&quot;job-list&quot;&gt;<br>            &lt;h3&gt;Recent Jobs&lt;/h3&gt;<br>            {% if jobs %}<br>                {% for job in jobs %}<br>                    &lt;div class=&quot;job-item&quot;&gt;<br>                        &lt;div&gt;&lt;strong&gt;Job Name:&lt;/strong&gt; {{ job.job_name }}&lt;/div&gt;<br>                        &lt;div&gt;&lt;strong&gt;Status:&lt;/strong&gt; &lt;span class=&quot;status-badge {{ job.status }}&quot;&gt;{{ job.status }}&lt;/span&gt;&lt;/div&gt;<br>                        &lt;div&gt;&lt;strong&gt;Media URI:&lt;/strong&gt; &lt;a href=&quot;{{ job.media_uri }}&quot; target=&quot;_blank&quot;&gt;{{ job.media_uri }}&lt;/a&gt;&lt;/div&gt;<br>                        &lt;div&gt;&lt;strong&gt;Original Language:&lt;/strong&gt; {{ job.get_original_language_display }}&lt;/div&gt;<br>                        &lt;div&gt;&lt;strong&gt;Target Language:&lt;/strong&gt; {{ job.get_target_language_display|default:&quot;N/A&quot; }}&lt;/div&gt;<br>                        &lt;div&gt;&lt;strong&gt;Output Bucket:&lt;/strong&gt; {{ job.output_bucket }}&lt;/div&gt;<br>                        &lt;div&gt;&lt;strong&gt;Created At:&lt;/strong&gt; {{ job.created_at|date:&quot;d/m/Y H:i&quot; }}&lt;/div&gt;<br>                        &lt;div&gt;&lt;a href=&quot;{% url &#39;transcription_status&#39; job.id %}&quot;&gt;View Details&lt;/a&gt;&lt;/div&gt;<br>                    &lt;/div&gt;<br>                {% endfor %}<br>            {% else %}<br>                &lt;p&gt;No jobs found.&lt;/p&gt;<br>            {% endif %}<br>        &lt;/div&gt;<br>    &lt;/div&gt;<br>&lt;/body&gt;<br>&lt;/html&gt;</pre><p>Now transcribe_app/templates/transcribe_app/transcription_status.html:</p><pre>&lt;!DOCTYPE html&gt;<br>&lt;html lang=&quot;en&quot;&gt;<br>&lt;head&gt;<br>    &lt;meta charset=&quot;UTF-8&quot;&gt;<br>    &lt;meta name=&quot;viewport&quot; content=&quot;width=device-width, initial-scale=1.0&quot;&gt;<br>    &lt;title&gt;Job Status - {{ job.job_name }}&lt;/title&gt;<br>    &lt;style&gt;<br>        body { font-family: Arial, sans-serif; margin: 20px; background-color: #f4f7f6; color: #333; }<br>        .container { max-width: 800px; margin: auto; padding: 30px; border: 1px solid #e0e0e0; border-radius: 10px; background-color: #ffffff; box-shadow: 0 4px 8px rgba(0,0,0,0.05); }<br>        h1, h3 { color: #2c3e50; border-bottom: 2px solid #007bff; padding-bottom: 10px; margin-bottom: 20px; }<br>        .status-info p { margin-bottom: 10px; line-height: 1.6; }<br>        .status-info strong { display: inline-block; width: 180px; font-weight: bold; color: #555; }<br>        .status-info a { word-break: break-all; color: #007bff; text-decoration: none; transition: color 0.3s ease; }<br>        .status-info a:hover { text-decoration: underline; color: #0056b3; }<br>        .loading-spinner {<br>            display: inline-block;<br>            width: 20px;<br>            height: 20px;<br>            border: 3px solid rgba(0, 0, 0, .3);<br>            border-radius: 50%;<br>            border-top-color: #007bff;<br>            animation: spin 1s ease-in-out infinite;<br>            -webkit-animation: spin 1s ease-in-out infinite;<br>            vertical-align: middle;<br>            margin-left: 10px;<br>        }<br>        @keyframes spin {<br>            to { transform: rotate(360deg); }<br>        }<br>        @-webkit-keyframes spin {<br>            to { -webkit-transform: rotate(360deg); }<br>        }<br>        .status-badge {<br>            display: inline-block;<br>            padding: 5px 10px;<br>            border-radius: 5px;<br>            font-size: 0.9em;<br>            font-weight: bold;<br>            color: white;<br>            background-color: #6c757d; /* Default gray */<br>        }<br>        .status-badge.IN_PROGRESS { background-color: #ffc107; color: #333; } /* Yellow */<br>        .status-badge.COMPLETED { background-color: #28a745; } /* Green */<br>        .status-badge.TRANSLATED { background-color: #007bff; } /* Blue */<br>        .status-badge.FAILED, .status-badge.ERROR { background-color: #dc3545; } /* Red */<br>        .status-badge.PENDING { background-color: #6c757d; } /* Gray */<br><br>        .error-message { color: #dc3545; font-weight: bold; margin-top: 20px; }<br>        .back-link { margin-top: 30px; display: block; }<br>    &lt;/style&gt;<br>&lt;/head&gt;<br>&lt;body&gt;<br>    &lt;div class=&quot;container&quot;&gt;<br>        &lt;h1&gt;Job Status: {{ job.job_name }}&lt;/h1&gt;<br><br>        {% if error_message %}<br>            &lt;p class=&quot;error-message&quot;&gt;{{ error_message }}&lt;/p&gt;<br>        {% endif %}<br><br>        &lt;div class=&quot;status-info&quot;&gt;<br>            &lt;p&gt;&lt;strong&gt;Current Status:&lt;/strong&gt; &lt;span id=&quot;job-status&quot; class=&quot;status-badge {{ job.status }}&quot;&gt;{{ job.status }}&lt;/span&gt;<br>                {% if job.status not in &#39;COMPLETED TRANSLATED FAILED ERROR&#39; %}<br>                    &lt;span class=&quot;loading-spinner&quot;&gt;&lt;/span&gt; Awaiting completion...<br>                {% endif %}<br>            &lt;/p&gt;<br>            &lt;p&gt;&lt;strong&gt;Media URI:&lt;/strong&gt; &lt;a href=&quot;{{ job.media_uri }}&quot; target=&quot;_blank&quot;&gt;{{ job.media_uri }}&lt;/a&gt;&lt;/p&gt;<br>            &lt;p&gt;&lt;strong&gt;Original Language:&lt;/strong&gt; {{ job.get_original_language_display }}&lt;/p&gt;<br>            &lt;p&gt;&lt;strong&gt;Target Language:&lt;/strong&gt; {{ job.get_target_language_display|default:&quot;N/A&quot; }}&lt;/p&gt;<br>            &lt;p&gt;&lt;strong&gt;Output Bucket:&lt;/strong&gt; {{ job.output_bucket }}&lt;/p&gt;<br>            &lt;p&gt;&lt;strong&gt;Created At:&lt;/strong&gt; {{ job.created_at|date:&quot;d/m/Y H:i&quot; }}&lt;/p&gt;<br>            &lt;p&gt;&lt;strong&gt;Last Updated:&lt;/strong&gt; &lt;span id=&quot;last-updated&quot;&gt;{{ job.updated_at|date:&quot;d/m/Y H:i&quot; }}&lt;/span&gt;&lt;/p&gt;<br><br>            &lt;div id=&quot;results-section&quot; {% if job.status not in &#39;COMPLETED TRANSLATED&#39; %}style=&quot;display:none;&quot;{% endif %}&gt;<br>                &lt;h3&gt;Results:&lt;/h3&gt;<br>                {% if job.transcription_output_uri %}<br>                    &lt;p&gt;&lt;strong&gt;Transcription JSON:&lt;/strong&gt; &lt;a href=&quot;{{ job.transcription_output_uri }}&quot; target=&quot;_blank&quot;&gt;{{ job.transcription_output_uri }}&lt;/a&gt;&lt;/p&gt;<br>                    &lt;p&gt;&lt;strong&gt;SRT Subtitles:&lt;/strong&gt; &lt;a href=&quot;{{ job.transcription_output_uri|cut:&quot;.json&quot; }}.srt&quot; target=&quot;_blank&quot;&gt;{{ job.transcription_output_uri|cut:&quot;.json&quot; }}.srt&lt;/a&gt;&lt;/p&gt;<br>                    &lt;p&gt;&lt;strong&gt;VTT Subtitles:&lt;/strong&gt; &lt;a href=&quot;{{ job.transcription_output_uri|cut:&quot;.json&quot; }}.vtt&quot; target=&quot;_blank&quot;&gt;{{ job.transcription_output_uri|cut:&quot;.json&quot; }}.vtt&lt;/a&gt;&lt;/p&gt;<br>                {% endif %}<br>                {% if job.translation_output_uri %}<br>                    &lt;p&gt;&lt;strong&gt;Translated Text:&lt;/strong&gt; &lt;a href=&quot;{{ job.translation_output_uri }}&quot; target=&quot;_blank&quot;&gt;{{ job.translation_output_uri }}&lt;/a&gt;&lt;/p&gt;<br>                {% endif %}<br>            &lt;/div&gt;<br><br>            {% if job.status == &#39;FAILED&#39; %}<br>                &lt;p class=&quot;error-message&quot;&gt;The transcription job failed in AWS Transcribe. Check the Transcribe console for more details.&lt;/p&gt;<br>            {% elif job.status == &#39;ERROR&#39; %}<br>                &lt;p class=&quot;error-message&quot;&gt;An internal error occurred while processing transcription results.&lt;/p&gt;<br>            {% endif %}<br><br>            &lt;p class=&quot;back-link&quot;&gt;&lt;a href=&quot;{% url &#39;submit_transcription&#39; %}&quot;&gt;← Back to Submission Page&lt;/a&gt;&lt;/p&gt;<br>        &lt;/div&gt;<br>    &lt;/div&gt;<br><br>    &lt;script&gt;<br>        function checkJobStatus() {<br>            var jobStatusElement = document.getElementById(&#39;job-status&#39;);<br>            var resultsSection = document.getElementById(&#39;results-section&#39;);<br>            var lastUpdatedElement = document.getElementById(&#39;last-updated&#39;);<br><br>            if (jobStatusElement.innerText !== &#39;COMPLETED&#39; &amp;&amp; jobStatusElement.innerText !== &#39;TRANSLATED&#39; &amp;&amp; jobStatusElement.innerText !== &#39;FAILED&#39; &amp;&amp; jobStatusElement.innerText !== &#39;ERROR&#39;) {<br>                fetch(&quot;{% url &#39;check_job_status_ajax&#39; job.id %}&quot;)<br>                    .then(response =&gt; response.json())<br>                    .then(data =&gt; {<br>                        jobStatusElement.innerText = data.status;<br>                        jobStatusElement.className = &#39;status-badge &#39; + data.status;<br>                        lastUpdatedElement.innerText = data.updated_at;<br><br>                        if (data.status === &#39;COMPLETED&#39; || data.status === &#39;TRANSLATED&#39;) {<br>                            resultsSection.style.display = &#39;block&#39;;<br>                            location.reload(); // Reload the page to display complete links<br>                        } else if (data.status === &#39;FAILED&#39; || data.status === &#39;ERROR&#39;) {<br>                            location.reload(); // Reload to show error message<br>                        }<br>                    })<br>                    .catch(error =&gt; {<br>                        console.error(&#39;Error checking status:&#39;, error);<br>                        jobStatusElement.innerText = &#39;ERROR (Console)&#39;;<br>                        jobStatusElement.className = &#39;status-badge ERROR&#39;;<br>                    });<br>            }<br>        }<br><br>        var currentStatus = document.getElementById(&#39;job-status&#39;).innerText;<br>        if (currentStatus !== &#39;COMPLETED&#39; &amp;&amp; currentStatus !== &#39;TRANSLATED&#39; &amp;&amp; currentStatus !== &#39;FAILED&#39; &amp;&amp; currentStatus !== &#39;ERROR&#39;) {<br>            setInterval(checkJobStatus, 10000); // Check every 10 seconds<br>        }<br>    &lt;/script&gt;<br>&lt;/body&gt;<br>&lt;/html&gt;</pre><h4>Running the Application</h4><p>To start the Django development server:</p><pre>python manage.py runserver</pre><p>Now it’s possible access the app by address 127.0.0.1:8000/transcribe</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/672/1*etdZUtOidqiX42G9ULaV4Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/869/1*Iz0zQtVVWGr6AtvfQibx1A.png" /><figcaption>App page</figcaption></figure><h4>Understanding the Input Parameters on the Web Page</h4><p>Each field provides crucial information for AWS services to process your media correctly. Here’s a detailed explanation of what each parameter means and how to fill it in:</p><p><strong>Audio/Video File URL (S3)</strong></p><ul><li><strong>What it is:</strong> This field requires the Amazon S3 URI (Uniform Resource Identifier) of the audio or video file you want to process. This is the exact location where your media file is stored in an S3 bucket.</li><li><strong>Why it’s needed:</strong> AWS Transcribe needs this specific path to locate and access your media file for transcription.</li><li><strong>Example:</strong> s3://your-input-bucket/your-audio-file.mp3</li><li><strong>Important:</strong> Ensure your S3 bucket is located in the <strong>same AWS region</strong> as your Transcribe and Translate services. Also, verify that the file is either publicly accessible or that your AWS credentials have the necessary read permissions (s3:GetObject) for this S3 location.</li></ul><p><strong>Media Format</strong></p><ul><li><strong>What it is:</strong> This dropdown allows you to select the format of your audio or video file (e.g., MP3, WAV, MP4, FLAC).</li><li><strong>Why it’s needed:</strong> Specifying the correct media format helps AWS Transcribe accurately interpret and process the audio data from your file.</li><li><strong>Options include:</strong> MP3, MP4, WAV, FLAC, OGG, AMR, WEBM. Choose the one that matches your source file.</li></ul><p><strong>Original Audio Language</strong></p><ul><li><strong>What it is:</strong> This dropdown is where you select the primary language spoken in your audio or video file.</li><li><strong>Why it’s needed:</strong> Providing the correct original language is critical for AWS Transcribe to achieve high accuracy in its speech-to-text conversion.</li><li><strong>Examples:</strong> ‘English (US)’, ‘Português (Brasil)’, ‘Spanish (US)’, etc.</li></ul><p><strong>Translate To (Optional)</strong></p><ul><li><strong>What it is:</strong> This is an optional dropdown where you can select a target language if you want the transcribed text to also be translated.</li><li><strong>Why it’s needed:</strong> If selected, after the transcription is complete, AWS Translate will automatically translate the full transcript into the chosen language.</li><li><strong>Options include:</strong> ‘Do Not Translate’ (default), ‘English’, ‘Portuguese’, ‘Spanish’, ‘French’, etc.</li><li><strong>Note:</strong> If ‘Do Not Translate’ is chosen, only the transcription results will be generated. The language codes for translation are typically two-letter ISO codes (e.g., ‘en’, ‘pt’), which the application handles automatically based on your selection.</li></ul><p><strong>S3 Output Bucket Name</strong></p><ul><li><strong>What it is:</strong> This field requires the name of the Amazon S3 bucket where all the output files (transcription JSON, SRT subtitles, VTT subtitles, and the optional translated text file) will be saved.</li><li><strong>Why it’s needed:</strong> This designated bucket acts as the storage location for all the processed results from AWS Transcribe and Translate.</li><li><strong>Example:</strong> my-transcription-results</li><li><strong>Important:</strong> This S3 bucket <strong>must already exist</strong> in your AWS account and your AWS credentials must have the necessary write permissions (s3:PutObject, s3:ListBucket) to store files within it.</li></ul><p><strong>S3 Output Path/Prefix (Optional)</strong></p><ul><li><strong>What it is:</strong> An optional field to specify a folder path or prefix <em>within</em> your chosen S3 output bucket.</li><li><strong>Why it’s needed:</strong> This allows you to organize your output files neatly within your S3 bucket. For instance, you could use this to categorize outputs by date, project, or type.</li><li><strong>Example:</strong> transcriptions/processed/ or audio_outputs/</li><li><strong>Behavior:</strong> If you leave this field empty, the results will be saved directly in the root directory of your specified output bucket. If you provide a value, the application will ensure it acts as a folder by appending a / if not already present.</li></ul><h4>Documentation references:</h4><ul><li><a href="https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/transcribe/client/start_transcription_job.html">start_transcription_job - Boto3 1.38.34 documentation</a></li><li><a href="https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/translate.html">Translate - Boto3 1.38.35 documentation</a></li><li><a href="https://docs.aws.amazon.com/transcribe/latest/dg/what-is.html">What is Amazon Transcribe?</a></li><li><a href="https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html">S3 - Boto3 1.38.33 documentation</a></li><li><a href="https://docs.djangoproject.com/en/5.2/">Django documentation | Django documentation</a></li></ul><p>My YouTube Channel: <a href="https://www.youtube.com/@TechWithMarcoss">https://www.youtube.com/@TechWithMarcoss</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6040f2d0c9bb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Acessando serviços de forma segura através do AWS PrivateLink]]></title>
            <link>https://medium.com/@marcosdanielsantos/acessando-servi%C3%A7os-de-forma-segura-atrav%C3%A9s-do-aws-privatelink-307ac4396375?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/307ac4396375</guid>
            <category><![CDATA[networking]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[aws-privatelink]]></category>
            <category><![CDATA[endpoint-security]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Mon, 24 Mar 2025 13:07:31 GMT</pubDate>
            <atom:updated>2025-03-24T13:07:31.016Z</atom:updated>
            <content:encoded><![CDATA[<p>Já pensou em uma necessidade de disponibilizar um serviço/aplicação para um ou mais clientes, sendo que existe uma regra de negócio em que você não possa acessar os recursos da conta do cliente.</p><p>Talvez o vpc peering seja uma opção, mas convenhamos, imagina ter que disponibilizar um serviço na sua VPC e ter que ficar gerenciando rotas e conexões de peering, além é claro da parte de regras de segurança.</p><p>Além desses pontos, tem a possibilidade dos CIDRs das VPCs dos clientes serem o mesmo, assim dificultando as coisas quando se trata de peering e roteamento.</p><p>Hoje vou trazer para vocês como vocês podem usar o PrivateLink para disponibilizar um serviço ou aplicação de forma privada com outras contas AWS.</p><p>Aqui o contexto é que você é o provedor do serviço e os clientes vão utilizar esse serviço, assim como mostra a imagem abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/0*oU7Z07cUkWoqp5eD.jpeg" /><figcaption>Imagem de exemplo</figcaption></figure><p>Para o meu caso eu vou usar 2 VPCs de consumer e uma como Service Provider.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/982/1*34dT9gEM36Mo4lahD9ENaA.png" /><figcaption>us-east-1 region</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1017/1*RsW13Ud9iPDV1NydQxEzoA.png" /><figcaption>us-east-2 region</figcaption></figure><blockquote><strong>VPC Service Provider</strong></blockquote><p>Para começar vou criar os recursos:</p><p>Nat Gateway, uma instância e Network Load Balancer.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/804/1*LVjPrtjNiwYgDuK6EQVmFQ.png" /><figcaption>Nat Gateway</figcaption></figure><p>Após criar o Nat Gateway eu ajustei as tabelas de rotas privadas, criando o apontamento como destino default o novo NGW criado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/842/1*z2RUqJxeJ7wq8suRmcSCDw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/837/1*D3Bw22q4zsiX7X5aY8MhaA.png" /><figcaption>Instância Linux</figcaption></figure><p>Aqui eu criei um securitygroup separado para ela contendo a regra de entrada porta 80 para o range da vpc de service provider.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BsD3GW3vrfR3RYDLy9k6sQ.png" /></figure><h4><strong>Network Load Balancer</strong></h4><p>Aqui vamos criar primeiro o targetgroup.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/230/1*xaTQwYAh6qLfVV_hG5o0oQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/906/1*r-ZnhVLmK4BZhse7h0fuEg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/895/1*nb7wk-t3xL2XKQ8oQcD56Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/888/1*vBi4AlBRYYGoXC-L2Fvkvg.png" /><figcaption>Adicionem a instância e criem o TG</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*r07t4_KFF5f3rc6gFsZpgw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/948/1*aGfb-RRnuXZihLaEauM9tA.png" /><figcaption>Internal NLB</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*H1uyNjxPRoaFqIwLJsFlzQ.png" /><figcaption>Selecione as subnets privadas</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pDyNvmNsIkw4_2uRFmz_wA.png" /><figcaption>Selecione o TargetGroup criado anteriormente</figcaption></figure><p>No SecurityGroup do NLB adicionem o CIDR da VPC Provider e também dos clientes.(Se não a conexão vai falhar)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MFhoj6pibim9x26yxv-atA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*P0ozOenJ-hLdNvnuWv6isg.png" /><figcaption>E cliquem em create</figcaption></figure><p>OBS: Como estamos usando o Network Load Balancer ele não opera na camada 7 do modelo OSI e sim na camada 4 de transporte. Por isso o listener aqui é o protocolo tcp e não http.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YkbZiFQivFI0PDR7Aj0qRg.png" /><figcaption>NLB disponível</figcaption></figure><blockquote><strong>Configurando a instância</strong></blockquote><p>Agora vou acessar a minha instância pelo sesssion manager. Não vou mostrar como devem configurar isso mas creio que os seguintes links possam ajudar!</p><p><a href="https://docs.aws.amazon.com/systems-manager/latest/userguide/session-manager-getting-started.html">Setting up Session Manager</a></p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FlI85h7tpSIU%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DlI85h7tpSIU&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FlI85h7tpSIU%2Fhqdefault.jpg&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/fc37b0a6f93f93d5a2feb25ee22bca81/href">https://medium.com/media/fc37b0a6f93f93d5a2feb25ee22bca81/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*025D55y-dnDNY8o5zadMsg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XCERxaAzvCiwLpkurC_E8w.png" /></figure><p>Agora com acesso na instância eu instalei o apache. habilitei o serviço e deixei executando.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*Ph5dnLIDj6vnEvWbTUZ8Xw.png" /></figure><pre>comandos executados<br><br>yum install httpd -y<br>systemctl status httpd<br>systemctl enable httpd<br>systemctl start httpd<br>cd /var/www/html/<br>mkdir templates<br>cd templates/<br>touch index.html<br>touch edit.html<br>cd /var/www/<br>touch app.py<br>sudo yum update -y<br>sudo amazon-linux-extras install<br>sudo yum install python3-pip<br>sudo pip3 install virtualenv<br>nano /etc/httpd/conf/httpd.conf</pre><pre>Conteúdo arquivo app.py<br>from flask import Flask, render_template, request, redirect, url_for<br>import sqlite3<br>import os<br><br>app = Flask(__name__, template_folder=&#39;/var/www/html/templates&#39;)<br><br>def get_db_connection():<br>    conn = sqlite3.connect(&#39;/var/www/dados.db&#39;) # Caminho ajustado<br>    conn.row_factory = sqlite3.Row<br>    return conn<br><br>def init_db():<br>    conn = get_db_connection()<br>    conn.execute(&#39;CREATE TABLE IF NOT EXISTS itens (id INTEGER PRIMARY KEY AUTOINCREMENT, nome TEXT, descricao TEXT)&#39;)<br>    conn.close()<br><br>@app.route(&#39;/&#39;, methods=[&#39;GET&#39;, &#39;POST&#39;])<br>def index():<br>    conn = get_db_connection()<br>    if request.method == &#39;POST&#39;:<br>        nome = request.form[&#39;nome&#39;]<br>        descricao = request.form[&#39;descricao&#39;]<br>        conn.execute(&#39;INSERT INTO itens (nome, descricao) VALUES (?, ?)&#39;, (nome, descricao))<br>        conn.commit()<br>        return redirect(url_for(&#39;index&#39;))<br><br>    itens = conn.execute(&#39;SELECT * FROM itens&#39;).fetchall()<br>    conn.close()<br>    return render_template(&#39;index.html&#39;, itens=itens)<br><br>@app.route(&#39;/&lt;int:id&gt;/edit&#39;, methods=[&#39;GET&#39;, &#39;POST&#39;])<br>def edit(id):<br>    conn = get_db_connection()<br>    item = conn.execute(&#39;SELECT * FROM itens WHERE id = ?&#39;, (id,)).fetchone()<br><br>    if request.method == &#39;POST&#39;:<br>        nome = request.form[&#39;nome&#39;]<br>        descricao = request.form[&#39;descricao&#39;]<br>        conn.execute(&#39;UPDATE itens SET nome = ?, descricao = ? WHERE id = ?&#39;, (nome, descricao, id))<br>        conn.commit()<br>        return redirect(url_for(&#39;index&#39;))<br><br>    conn.close()<br>    return render_template(&#39;edit.html&#39;, item=item)<br><br>@app.route(&#39;/&lt;int:id&gt;/delete&#39;, methods=[&#39;POST&#39;])<br>def delete(id):<br>    conn = get_db_connection()<br>    conn.execute(&#39;DELETE FROM itens WHERE id = ?&#39;, (id,))<br>    conn.commit()<br>    conn.close()<br>    return redirect(url_for(&#39;index&#39;))<br><br>if __name__ == &#39;__main__&#39;:<br>    init_db()<br>    app.run(debug=True)</pre><pre>Arquivo index.html e edit.html<br><br>&lt;!DOCTYPE html&gt;<br>&lt;html&gt;<br>&lt;head&gt;<br>    &lt;title&gt;CRUD Web&lt;/title&gt;<br>&lt;/head&gt;<br>&lt;body&gt;<br>    &lt;h1&gt;Itens&lt;/h1&gt;<br>    &lt;form method=&quot;POST&quot;&gt;<br>        &lt;input type=&quot;text&quot; name=&quot;nome&quot; placeholder=&quot;Nome&quot; required&gt;<br>        &lt;input type=&quot;text&quot; name=&quot;descricao&quot; placeholder=&quot;Descrição&quot; required&gt;<br>        &lt;button type=&quot;submit&quot;&gt;Adicionar&lt;/button&gt;<br>    &lt;/form&gt;<br>    &lt;ul&gt;<br>        {% for item in itens %}<br>        &lt;li&gt;<br>            {{ item[&#39;nome&#39;] }}: {{ item[&#39;descricao&#39;] }}<br>            &lt;a href=&quot;{{ url_for(&#39;edit&#39;, id=item[&#39;id&#39;]) }}&quot;&gt;Editar&lt;/a&gt;<br>            &lt;form action=&quot;{{ url_for(&#39;delete&#39;, id=item[&#39;id&#39;]) }}&quot; method=&quot;POST&quot;&gt;<br>                &lt;button type=&quot;submit&quot;&gt;Excluir&lt;/button&gt;<br>            &lt;/form&gt;<br>        &lt;/li&gt;<br>        {% endfor %}<br>    &lt;/ul&gt;<br>&lt;/body&gt;<br>&lt;/html&gt;<br><br>&lt;!DOCTYPE html&gt;<br>&lt;html&gt;<br>&lt;head&gt;<br>    &lt;title&gt;Editar Item&lt;/title&gt;<br>&lt;/head&gt;<br>&lt;body&gt;<br>    &lt;h1&gt;Editar Item&lt;/h1&gt;<br>    &lt;form method=&quot;POST&quot;&gt;<br>        &lt;input type=&quot;text&quot; name=&quot;nome&quot; value=&quot;{{ item[&#39;nome&#39;] }}&quot; required&gt;<br>        &lt;input type=&quot;text&quot; name=&quot;descricao&quot; value=&quot;{{ item[&#39;descricao&#39;] }}&quot; required&gt;<br>        &lt;button type=&quot;submit&quot;&gt;Salvar&lt;/button&gt;<br>    &lt;/form&gt;<br>    &lt;a href=&quot;{{ url_for(&#39;index&#39;) }}&quot;&gt;Cancelar&lt;/a&gt;<br>&lt;/body&gt;<br>&lt;/html&gt;</pre><p>Aqui eu modifiquei o arquivo de configuração do httpd.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/394/1*W5Jtmpda-Gy4boUyEN7gGQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/255/1*nF3tG5AmAQelCeDTuteUzw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/544/1*iRpvB0AMJoMBpcJ7e0ByPw.png" /><figcaption>Adicione o virtual host</figcaption></figure><pre>&lt;VirtualHost *:80&gt;<br>        ServerName mydomain.com<br>        ProxyPreserveHost On<br>        ProxyPass / http://127.0.0.1:5000/<br>        ProxyPassReverse / http://127.0.0.1:5000/<br> &lt;/VirtualHost&gt;</pre><p>Salvei e reiniciei o serviço.</p><p>Próximos comandos na pasta onde meu arquivo app.py se encontra:</p><pre>python3 -m venv venv<br>source venv/bin/activate<br>pip install Flask<br>python app.py</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/685/1*fZYK7rI2KNbVhJrD6rQ70g.png" /></figure><p>Ok agora esse simples CRUD está em execução(apenas para exemplificar alguma aplicação que seja interna como um SaaS e os clientes devem acessá-la.</p><blockquote><strong>Criando o endpoint service</strong></blockquote><p>Em VPC procurem por endpoint service</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/229/1*ImYkiyWsgk1HAci0njZz7g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PtjXg33g9RcoTNPjdK5iWA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zpkgZUMBBvxbeNbMrjhXpA.png" /><figcaption>Além da região de us-east-1 podemos habilitar outras regiões a acessar nosso service</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VhLVXjVaFOtLz1cDePhZ_w.png" /><figcaption>Deixem as opções conforme essa imagem e criem o service</figcaption></figure><p><a href="https://docs.aws.amazon.com/pt_br/vpc/latest/privatelink/create-endpoint-service.html">Crie um serviço desenvolvido por AWS PrivateLink</a></p><p>Por enquanto terminamos os passos na VPC de ServiceProvider.</p><p>Vamos criar as instâncias e Nat Gateways nas vpcs clientes e também criar os Endpoints para acessar esse Endpoint do NLB.</p><blockquote><strong>Criando os recursos nas VPCs dos clientes</strong></blockquote><p>Como as instâncias estão em subnets privadas, é necessário criar um NAT Gateway em cada VPC e ajustar a tabela de rotas das subnets privadas, apontando 0.0.0.0/0 para o NAT. Isso permitirá o acesso pelo SSM Session Manager.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*SK102JW93d6cvCVUPExETg.png" /><figcaption>us-east-1</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/796/1*T7JpU0kIWIqWBCiE4QYspQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/916/1*cbbtyapfXLDTLEllzTdc7w.png" /></figure><p>Agora em ohio.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*OCSOfZ98BmMIc7__IFYTmQ.png" /><figcaption>us-east-2</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/790/1*SzXi-wcH0NGyB-tdp3Llug.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/889/1*K6_0Kbcfs2aXidr2Q6Oipw.png" /></figure><p>Testando o acesso nas instâncias:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*crIrjRDvcHXSnIaqSR9WJQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mxOgrSkyc8BxQPyPg3HA9Q.png" /></figure><p>Agora vamos criar o endpoint em cada VPC cliente.</p><p>Procurem por endpoint no serviço VPC</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bVonRaHMwhNd_QhwHpYSYQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Lf6tiwh3hARQuKl1kZuH2g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-VtDuHPFndjsU0SCoPbWWA.png" /><figcaption>Devemos pegar o ServiceName do endpoint que criamos anteriormente</figcaption></figure><p>Voltemos ao Endpoint Services</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vj9khwRUeTjkghXmu5twhA.png" /><figcaption>Peguem esse service name</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Rmu-XtPY3pRSsOS4r0A07w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sz8DKZ-5GkmLJ2LRMd7VMA.png" /><figcaption>Subnets privadas selecionado</figcaption></figure><p>Eu não havia criado um SecurityGroup para o endpoint, então criei nesse momento, liberandoa porta 80 para o range da VPC.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FlUaEA3XPGudT771vb8V4g.png" /></figure><p>Atualizando a lista de SG ele vai aparecer e poderá ser selecionado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*r8PhcsKaWR1rsNeyVUK1Vg.png" /></figure><p>Cliquem em create.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ce0EQwndnJ1xQOu_OHt2fw.png" /></figure><p>Agora voltem no Endpoint Services e aceitem a requisição!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AXXaIm8nkLpAPGQsQn35MQ.png" /><figcaption>Em actions</figcaption></figure><p>Vou repetir a mesma etapa na outra região.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QmJMUDB9xf04tfPaVYEXWQ.png" /></figure><p>lembrando que estou em outra região então preciso de marcar essa opção e selecionar a região onde o endpoint service se encontra.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gh1h7PaaGHafPphuRcYQfQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-qMkX3rJCm5JaBZyTtUpXw.png" /></figure><p>OBS: As vpcs usadas pertencem a minha conta, caso usem entre contas é necessário adicionar a conta no allow principals.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/893/1*dx6n7VsXrTCc8Wo6P3pxkA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/669/1*Hb0CtLiMrcZYr5axAnvX9g.png" /></figure><p>Ok, vamos testar a conexão!</p><blockquote><strong>Testando conexão no serviço</strong></blockquote><p>Vamos testar em us-east-1 primeiro. Indo no endpoint criado, peguem o primeiro DNS Name e insiram no Browser.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TBSl_EjC4D3l4pWbR2cC5A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8l-Q5EMsx7AA-zHcocZ2lw.png" /></figure><p>Perfeito, acessamos o que poderia ser um banco de dados ou uma aplicação, agora vamos adicionar um item.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*ZsfQgZfRuLn-4oa2kKVqyw.png" /></figure><p>Agora vou acessar na instância da outra região.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ApqH77pmb6hffx5Mc2Foiw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/914/1*hqmQqQsNXYoINVvrqGk4Gw.png" /><figcaption>Como podem ver o item está aqui</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/610/1*WSvHmYMeVBIHCCy2goKzOw.png" /><figcaption>Adicionei outro item.</figcaption></figure><p>Também tem a possibilidade de excluir ou editar um item.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/540/1*H_V1h4r2SZOngEsRQIUlUw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/452/1*CBih_f_3Rl6c45oIbqb8EA.png" /></figure><p>Perfeito, pude demonstrar como vocês podem disponibilizar uma aplicação a múltiplos clientes usando o Private Link e os endpoints, particularmente eu tive um caso similar no entanto era disponibilizar um banco de dados no RDS dessa forma.</p><p>Para esse caso é necessário provisionar o RDS Proxy para gerenciamento das conexões do banco.</p><p>Espero que esse lab tenha sido interessante e possa ajudá-los com uma demanda parecida no futuro. Não esqueçam de excluir os recursos!</p><p>Até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=307ac4396375" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Acessando Bancos de Dados Privados na AWS Usando o SSM e Bastion Host]]></title>
            <link>https://medium.com/@marcosdanielsantos/acessando-bancos-de-dados-privados-na-aws-usando-o-ssm-e-bastion-host-30edf6ff0b32?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/30edf6ff0b32</guid>
            <category><![CDATA[iac]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[secure-connection]]></category>
            <category><![CDATA[terraform]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Thu, 29 Aug 2024 13:49:17 GMT</pubDate>
            <atom:updated>2024-08-29T13:49:17.162Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0IsOi4UXU60MNZbNfSeYPg.png" /></figure><blockquote><strong>Introdução</strong><br>Em ambientes na nuvem, como a AWS, é comum isolar bancos de dados em sub-redes privadas para melhorar a segurança. No entanto, isso pode dificultar o acesso para administração e manutenção desses bancos de dados. Para solucionar esse problema, uma prática recomendada é o uso de um bastion host em conjunto com o AWS Systems Manager (SSM). Neste artigo, vou mostrar como configurar e acessar um banco de dados privado na AWS usando o SSM Command via bastion host.</blockquote><p><strong>O que é um Bastion Host?</strong><br>Um bastion host é uma instância EC2 configurada para permitir acesso seguro a recursos em uma rede privada. Ele atua como um gateway, permitindo que administradores e desenvolvedores acessem recursos que, de outra forma, estariam inacessíveis diretamente pela internet.</p><p><strong>Configurando o Ambiente com Terraform</strong></p><p>Vamos utilizar o Terraform, uma ferramenta de IaC (Infraestrutura como Código), para provisionar os recursos necessários na AWS, incluindo o bastion host, o banco de dados RDS, e a configuração do AWS Systems Manager para gerenciar o acesso de forma segura.</p><h4>1. Definindo os Recursos no Terraform</h4><p>Primeiro, criaremos os recursos principais usando o Terraform:</p><ul><li><strong>Instância EC2 para o Bastion Host</strong>: Esta instância permitirá que você acesse os recursos em sub-redes privadas.</li><li><strong>Banco de Dados RDS MySQL</strong>: Será criado em uma sub-rede privada e o Terraform pode ser configurado para gerenciar automaticamente a senha do usuário mestre através do AWS Secrets Manager.</li><li><strong>AWS Systems Manager</strong>: Permitirá acessar a instância bastion sem precisar de um SSH direto, garantindo uma camada adicional de segurança.</li></ul><p>Segue os templates que você pode utilizar:</p><pre>#variables.tf<br><br>variable &quot;region&quot; {<br>  description = &quot;Região da AWS&quot;<br>  type        = string<br>}<br><br>variable &quot;vpc_id&quot; {<br>  description = &quot;ID da VPC existente&quot;<br>  type        = string<br>}<br><br>variable &quot;public_subnet_id&quot; {<br>  description = &quot;ID da subnet pública&quot;<br>  type        = string<br>}<br><br>variable &quot;private_subnet_id&quot; {<br>  description = &quot;ID da primeira subnet privada&quot;<br>  type        = string<br>}<br><br>variable &quot;private_subnet_id1&quot; {<br>  description = &quot;ID da segunda subnet privada&quot;<br>  type        = string<br>}<br><br>variable &quot;private_subnet_id2&quot; {<br>  description = &quot;ID da terceira subnet privada&quot;<br>  type        = string<br>}<br><br>variable &quot;instance_type&quot; {<br>  description = &quot;Tipo de instância para o bastion host&quot;<br>  type        = string<br>}<br><br>variable &quot;ami_id&quot; {<br>  description = &quot;ID da AMI para o bastion host&quot;<br>  type        = string<br>}<br><br>variable &quot;key_name&quot; {<br>  description = &quot;Nome da chave SSH existente&quot;<br>  type        = string<br>}<br><br>variable &quot;rds_allocated_storage&quot; {<br>  description = &quot;Storage alocado para o banco, o disco do RDS&quot;<br>  type        = number<br>}<br><br>variable &quot;rds_instance_class&quot; {<br>  description = &quot;Classe da instância para o RDS MySQL&quot;<br>  type        = string<br>}<br><br>variable &quot;rds_engine_version&quot; {<br>  description = &quot;Versão do engine para o RDS MySQL&quot;<br>  type        = string<br>}<br><br>variable &quot;rds_db_name&quot; {<br>  description = &quot;Nome do banco de dados para o RDS MySQL&quot;<br>  type        = string<br>}<br><br>variable &quot;rds_username&quot; {<br>  description = &quot;Nome de usuário para o RDS MySQL&quot;<br>  type        = string<br>}</pre><pre>#main.tf<br><br>provider &quot;aws&quot; {<br>  region = var.region<br>}<br><br># Security Group for Bastion Host<br>resource &quot;aws_security_group&quot; &quot;bastion_sg&quot; {<br>  vpc_id = var.vpc_id<br><br>  ingress {<br>    from_port   = 22<br>    to_port     = 22<br>    protocol    = &quot;tcp&quot;<br>    cidr_blocks = [&quot;0.0.0.0/0&quot;]<br>  }<br><br>  ingress {<br>    from_port   = 443<br>    to_port     = 443<br>    protocol    = &quot;tcp&quot;<br>    cidr_blocks = [&quot;0.0.0.0/0&quot;]<br>  }<br><br>  egress {<br>    from_port   = 0<br>    to_port     = 0<br>    protocol    = &quot;-1&quot;<br>    cidr_blocks = [&quot;0.0.0.0/0&quot;]<br>  }<br>}<br><br># Security Group for RDS<br>resource &quot;aws_security_group&quot; &quot;rds_sg&quot; {<br>  vpc_id = var.vpc_id<br><br>  ingress {<br>    from_port       = 3306<br>    to_port         = 3306<br>    protocol        = &quot;tcp&quot;<br>    security_groups = [aws_security_group.bastion_sg.id]<br>  }<br><br>  egress {<br>    from_port   = 0<br>    to_port     = 0<br>    protocol    = &quot;-1&quot;<br>    cidr_blocks = [&quot;0.0.0.0/0&quot;]<br>  }<br>}<br><br># Create an IAM Role for EC2 with SSM Access<br>resource &quot;aws_iam_role&quot; &quot;ec2_ssm_role&quot; {<br>  name = &quot;ec2_ssm_role&quot;<br><br>  assume_role_policy = jsonencode({<br>    Version = &quot;2012-10-17&quot;<br>    Statement = [<br>      {<br>        Effect = &quot;Allow&quot;<br>        Principal = {<br>          Service = &quot;ec2.amazonaws.com&quot;<br>        }<br>        Action = &quot;sts:AssumeRole&quot;<br>      }<br>    ]<br>  })<br>}<br><br># Attach Policy to the Role<br>resource &quot;aws_iam_policy_attachment&quot; &quot;ec2_ssm_attach&quot; {<br>  name       = &quot;ssm-attach&quot;<br>  roles      = [aws_iam_role.ec2_ssm_role.name]<br>  policy_arn = &quot;arn:aws:iam::aws:policy/AmazonSSMManagedInstanceCore&quot;<br>}<br><br># Create an Instance Profile for the Role<br>resource &quot;aws_iam_instance_profile&quot; &quot;ssm_instance_profile&quot; {<br>  name = &quot;ec2_ssm_instance_profile&quot;<br>  role = aws_iam_role.ec2_ssm_role.name<br>}<br><br># Launch the Bastion Host EC2 Instance<br>resource &quot;aws_instance&quot; &quot;bastion&quot; {<br>  ami                    = var.ami_id<br>  instance_type          = var.instance_type<br>  subnet_id              = var.public_subnet_id<br>  vpc_security_group_ids = [aws_security_group.bastion_sg.id]<br>  iam_instance_profile   = aws_iam_instance_profile.ssm_instance_profile.name<br>  key_name               = var.key_name<br><br>  root_block_device {<br>    volume_type = &quot;gp3&quot;<br>    volume_size = 20<br>  }<br><br>  tags = {<br>    Name = &quot;SSM-BastionHost&quot;<br>  }<br>}<br><br># Create an RDS MySQL Instance<br>resource &quot;aws_db_instance&quot; &quot;mysql&quot; {<br>  allocated_storage      = var.rds_allocated_storage<br>  engine                 = &quot;mysql&quot;<br>  engine_version         = var.rds_engine_version<br>  instance_class         = var.rds_instance_class<br>  identifier             = &quot;mysql-priv&quot;<br>  db_name                = &quot;mydatabase&quot;<br>  multi_az               = false<br>  username               = var.rds_username<br>  password               = random_password.rds_password.result<br>  parameter_group_name   = &quot;default.mysql8.0&quot;<br>  publicly_accessible    = false<br>  vpc_security_group_ids = [aws_security_group.rds_sg.id]<br>  db_subnet_group_name   = aws_db_subnet_group.rds.name<br>  storage_type           = &quot;gp3&quot;<br>  depends_on             = [aws_secretsmanager_secret_version.rds_secret_version]<br><br>  skip_final_snapshot = true<br>}<br><br># DB Subnet Group<br>resource &quot;aws_db_subnet_group&quot; &quot;rds&quot; {<br>  name       = &quot;rds-subnetprivate&quot;<br>  subnet_ids = [var.private_subnet_id, var.private_subnet_id1, var.private_subnet_id2]<br><br>  tags = {<br>    Name = &quot;My DB subnet group&quot;<br>  }<br>}<br><br># Gerando a senha do banco RDS<br>resource &quot;random_password&quot; &quot;rds_password&quot; {<br>  length            = 16<br>  special           = true<br>  override_special  = &quot;!#$%&amp;()*+,-.:;&lt;=&gt;?[]^_{|}~&quot;  <br>  #Necessário o override pois o secrets não estava aceitando certos caracteres<br>}<br><br># Create the Secrets Manager secret<br>resource &quot;aws_secretsmanager_secret&quot; &quot;rds_secret&quot; {<br>  name = &quot;rds-credential&quot;<br>}<br><br># Store RDS Credentials in the Secrets Manager secret version<br>resource &quot;aws_secretsmanager_secret_version&quot; &quot;rds_secret_version&quot; {<br>  secret_id     = aws_secretsmanager_secret.rds_secret.id<br>  secret_string = jsonencode({<br>    username = var.rds_username<br>    password = random_password.rds_password.result<br>  })<br>  depends_on = [aws_secretsmanager_secret.rds_secret]<br>}<br><br># Output the Bastion Host Public IP<br>output &quot;bastion_public_ip&quot; {<br>  value = aws_instance.bastion.public_ip<br>}<br><br># Output the RDS Endpoint<br>output &quot;rds_endpoint&quot; {<br>  value = aws_db_instance.mysql.endpoint<br>}</pre><p>Enquanto olhava alguns parâmetros do RDS e o Secret olhei um data source que nunca havia visto.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/630/1*aGYGM_cJdt-S7BQMM-fyiA.png" /></figure><p>Parece interessante para ver o valor dos recursos que estão sendo criados. Para fazer o Output dele tive que usar o ChatGPT para ver o que dava para ser feito, não achei muito sobre esse recurso infelizmente.</p><p>Podemos usar o terraform console para testar comandos/expressões.</p><pre>#dataprice.tf<br><br>data &quot;aws_pricing_product&quot; &quot;bastion&quot; {<br>  service_code = &quot;AmazonEC2&quot;<br><br>  filters {<br>    field = &quot;instanceType&quot;<br>    value = &quot;t3a.micro&quot;<br>  }<br><br>  filters {<br>    field = &quot;operatingSystem&quot;<br>    value = &quot;Linux&quot;<br>  }<br><br>  filters {<br>    field = &quot;location&quot;<br>    value = &quot;US East (N. Virginia)&quot;<br>  }<br>  <br>  filters {<br>    field = &quot;preInstalledSw&quot;<br>    value = &quot;NA&quot;<br>  }<br><br>  filters {<br>    field = &quot;licenseModel&quot;<br>    value = &quot;No License required&quot;<br>  }<br><br>  filters {<br>    field = &quot;tenancy&quot;<br>    value = &quot;Shared&quot;<br>  }<br><br>  filters {<br>    field = &quot;capacitystatus&quot;<br>    value = &quot;Used&quot;<br>  }<br>}<br><br>data &quot;aws_pricing_product&quot; &quot;RDS_MySQL&quot; {<br>  service_code = &quot;AmazonRDS&quot;<br><br>  filters {<br>    field = &quot;instanceType&quot;<br>    value = &quot;db.t4g.small&quot;<br>  }<br><br>  filters {<br>    field = &quot;location&quot;<br>    value = &quot;US East (N. Virginia)&quot;<br>  }<br><br>  filters {<br>    field = &quot;databaseEngine&quot;<br>    value = &quot;MySQL&quot;<br>  }<br><br>  filters {<br>    field = &quot;deploymentOption&quot;<br>    value = &quot;Single-AZ&quot;<br>  }<br><br><br>}<br><br><br><br>#Comando usado no terraform console gerando um output em json <br>#jsondecode(data.aws_pricing_product.your_data_source_name.result)<br>#Passando o json para o GPT ele ajustou o output para mim da maneira correta para obter o preço dos recursos.<br>#Os valores abaixo vazios entre &quot;&quot; o GPT inseriu a partir do json, parece que são informações dinâmica.<br>#Por precaução as removi desse arquivo.<br><br><br>output &quot;rds_mysql_price_per_hour&quot; {<br>  value = jsondecode(data.aws_pricing_product.RDS_MySQL.result).terms.OnDemand[&quot;&quot;].priceDimensions[&quot;&quot;].pricePerUnit.USD<br>}<br><br><br>output &quot;ec2_t3a_micro_price_per_hour&quot; {<br>  value = jsondecode(data.aws_pricing_product.bastion.result).terms.OnDemand[&quot;&quot;].priceDimensions[&quot;&quot;].pricePerUnit.USD<br>}<br><br></pre><p>Após a criação dos arquivos .tf vamos criar a nossa Infraestrutura.</p><pre><br>terraform init: Inicializa o diretório de trabalho, baixando provedores e configurando o backend.<br>terraform fmt: Formata automaticamente os arquivos de configuração do Terraform.<br>terraform plan: Gera e exibe um plano detalhado das mudanças a serem aplicadas na infraestrutura.<br>terraform apply: Aplica as mudanças na infraestrutura conforme o plano gerado.</pre><p>Com os recursos provisionados vamos para a etapa de conexão</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/550/1*HpgPHDdsPkThHROZnMipBg.png" /><figcaption>Preço por hora dos recursos</figcaption></figure><h4>Configurar o port forwarding</h4><p>Para configurar o port forwarding no Windows/Linux e acessar o banco de dados RDS privado por meio de um bastion host, siga os passos abaixo:</p><p>Abra o PowerShell ou o Prompt de Comando.</p><p>Configure o Port Forwarding:</p><pre>aws ssm start-session --region us-east-1 --target i-005a6b76047ca6f5b --document-name AWS-StartPortForwardingSessionToRemoteHost --parameters host=&quot;mysql-priv.ccgfzhv4retv.us-east-1.rds.amazonaws.com&quot;,portNumber=&quot;3306&quot;,localPortNumber=&quot;3306&quot;<br><br>Starting session with SessionId: marcossantos-zqrai646u33omsmreswfvr4bae<br>Port 3306 opened for sessionId marcossantos-zqrai646u33omsmreswfvr4bae.<br>Waiting for connections...<br><br>Connection accepted for session [marcossantos-zqrai646u33omsmreswfvr4bae]</pre><h4>Acessando o Banco de Dados RDS</h4><p>Agora você pode usar a ferramenta que achar mais conveniente para testar o acesso ao banco RDS.</p><p>Utilizei o Mysql Workbench e depois o DBeaver.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/331/1*LhdGmgSsWsZ1fn7pCcXo8Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/860/1*VtWCBE5RMy6lB0xxY-dGfg.png" /><figcaption>Em password use a senha do banco RDS</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/548/1*wYRwHsidjKrpk7FXZVJ9-A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/345/1*I8M7qaEcSScU7SQ-hok7_Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/929/1*7dbyybjIdRtgHwkIkiPI0Q.png" /><figcaption>Visualização DBeaver</figcaption></figure><p>Após criarem os recursos basta que façam o terraform destroy para remoção dos recursos provisionados.</p><h4>Conclusão</h4><p>Neste guia, abordamos o uso do AWS Systems Manager para configurar sessões de port forwarding, permitindo o acesso seguro a recursos privados, como uma instância RDS, através de um bastion host. Utilizando o comando aws ssm start-session, conseguimos estabelecer túneis seguros, eliminando a necessidade de expor portas diretamente à internet e simplificando a administração de acessos.</p><p>Benefícios do Port Forwarding com AWS Systems Manager<br>Segurança Aprimorada: Ao usar o AWS Systems Manager, você minimiza o risco de exposição direta das suas instâncias e bancos de dados à internet, mantendo um controle rígido sobre quem e como os recursos são acessados.</p><p>Simplicidade: O uso de documentos predefinidos do Systems Manager, como o AWS-StartPortForwardingSession, facilita a configuração de sessões seguras, sem necessidade de comandos complexos de SSH.</p><p>Espero que tenham gostado, tenham bons estudos com a AWS!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=30edf6ff0b32" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Criar Pipeline CI /CD na AWS]]></title>
            <link>https://medium.com/@marcosdanielsantos/criar-pipeline-ci-cd-na-aws-eb04a6b9c619?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/eb04a6b9c619</guid>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[gitops]]></category>
            <category><![CDATA[ci-cd-pipeline]]></category>
            <category><![CDATA[elastic-container-service]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Thu, 23 May 2024 20:30:14 GMT</pubDate>
            <atom:updated>2024-05-23T20:30:14.929Z</atom:updated>
            <content:encoded><![CDATA[<p>Olá a todos, atualmente estou estudando para a prova Developer Associate, essa é uma prova que aborda serviços AWS na qual não tenho nenhum ou quase nenhum contato no meu dia a dia, como DynamoDB, APIGateway, Lambda e também a parte voltada para CI/CD na AWS.</p><p>CI/CD é algo que eu tenho interesse, ai resolvi bater cabeça e criar uma Pipeline que faz o build de uma imagem e cria novos containers no ECS quando alteramos nosso código.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UJfyTi1D-b95IymeSWt6xg.png" /></figure><p>Apanhei um bom tempo no CodeBuild e li bastante coisa na Documentação dele sobre a referência do Buildspec, deu para aprender bastante com esse lab.</p><h4><strong>Criar repositórios de imagens no ECR</strong></h4><p>No meu caso já possuo os repositórios criados mas você pode criar pelo console ou pelo cli.</p><pre>aws ecr create-repository --repository-name meu-repo-name --region us-east-1 --image-scanning-configuration scanOnPush=true</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/819/1*qClulSutRyeh0Qsqo2GMHg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/809/1*-t_JV7MuTqD5wik_TPH5HQ.png" /><figcaption>Caso queira pode habilitar a criptografia em repouso com o KMS</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JEgwN39IkL0Udtb_L7GYnw.png" /><figcaption>Os repositórios vão ser usados para armazenar as imagens que vamos construir com o CodeBuild</figcaption></figure><h4>Criar os parâmetros no Systems Manager Parameter Store</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/718/1*5eEB9VPTBxfWLMMD96k59w.png" /></figure><p>Devemos criar os parâmetros para que possamos referenciar a eles como váriaveis. Claro também podem passar as informações como clear text, mas não é recomendado, ainda mais se for passar informação como senhas.</p><p>No meu caso criei como SecureString</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/545/1*eSNUHz5PmOqoFtctwy3fxQ.png" /></figure><h4>Criar repositórios de código no CodeCommit</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0VaVsZrjVU-Az6GYXS0pgA.png" /></figure><p>Nos meus testes estava usando o repositório do buildspec-lab que continha os arquivos buildspec.yml que é o script que o CodeBuild usa.</p><p>Só que dentro dele continha um para o de vídeo e outro para o de imagens. Ai quando eu fizesse a alteração em qualquer um deles, iria acionar o CodeCommit para atualizar a aplicação, mas a pipeline iria atualizar somente o de pesquisa de imagens.</p><p>Então o correto seria separar o buildpec.yaml de cada aplicação em um repositório diferente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/834/1*-mLmg31Eg_FByJ1SfQ83Qg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/842/1*NRakx0tJ9A8LbU_6LiTYOA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZEHh1VwTx8wyeZcFGD7DfA.png" /><figcaption>Criei meus repositórios no CodeCommit para os arquivos Buildspec.yaml</figcaption></figure><p>Além desses 2 repositórios, precisamos de mais dois para armazenar o código da página web, uma de images e outra de vídeo, podem repetir o processo e criar esses 2 repositórios com o nome que forem convenientes.</p><h4>Criar Load Balancer de Aplicação, TargetGroups e NAT Gateway</h4><p>Quando criamos o serviço do ECS podemos criar um Load Balancer naquele momento, mas prefiro criar o LoadBalancer apartado. E o NAT é necessário para o Codebuild poder ter acesso a internet.</p><p>Abaixo tem um exemplo de código que pode ser usado para criar os TargetGroups e Load Balancer pelo AWS Cli.</p><pre>aws elbv2 create-target-group \<br>    --name tg-search-video \<br>    --protocol HTTP \<br>    --port 80 \<br>    --target-type ip \<br>    --vpc-id &lt;your-vpc-id&gt; \<br>    --health-check-protocol HTTP \<br>    --health-check-port 80 \<br>    --health-check-path /<br><br>aws elbv2 create-target-group \<br>    --name tg-search-images \<br>    --protocol HTTP \<br>    --port 80 \<br>    --target-type ip \<br>    --vpc-id &lt;your-vpc-id&gt; \<br>    --health-check-protocol HTTP \<br>    --health-check-port 80 \<br>    --health-check-path /<br><br>aws elbv2 create-load-balancer \<br>    --name my-load-balancer \<br>    --subnets &lt;your-subnet-1&gt; &lt;your-subnet-2&gt; \<br>    --security-groups &lt;your-security-group&gt; \<br>    --scheme internet-facing \<br>    --type application \<br>    --ip-address-type ipv4<br><br>aws elbv2 create-listener \<br>    --load-balancer-arn &lt;LoadBalancerArn&gt; \<br>    --protocol HTTP \<br>    --port 80 \<br>    --default-actions Type=forward,TargetGroupArn=&lt;TargetGroupArn&gt;</pre><p>No meu cenário vou usar o LoadBalancer com um certificado do ACM para receber conexões seguras na porta 443 https.</p><p>Caso você não consiga usar dessa maneira, poderá usar os listeners em portas diferentes, acessando pelo DNS do load balancer.</p><p>Exemplo:</p><p>tg-search-images na porta 80</p><p>tg-search-videos na porta 8080</p><blockquote>Criando pelo console</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/830/1*h_BDMcNYHVCmdEZV2slHYA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/718/1*pceQdPKwHAjZ0GTUixuNuQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/907/1*8IfJiN88mSxvFKyYF4dpgg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/904/1*TmCGjL1OvYlCWE0O34pT1Q.png" /></figure><p>Como não temos nenhum alvo, que no caso seria o ip do container, apenas ignore e crie o recurso.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DcNMUw0szCg5ldAGgQsYRw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/980/1*yBghBd4P7bYE-RcSsJfQXw.png" /></figure><p>Recomendo criarem um Security Group único para o Load Balancer e outro para os containers. Não esqueçam de liberar as portas no SG para comunicação</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/969/1*2VJGsHMn3t3CmM501eWPHg.png" /></figure><p>Podem prosseguir e criar o Load Balancer.</p><h4>Fazer o push dos arquivos para os repositórios no CodeCommit</h4><p>Para isso é importante que possuam o Git instalado e caso não estejam usando o Cloud9 da AWS, criem uma credencial do CodeCommit para que possam autenticar.</p><p>No serviço IAM, selecionando seu usuário &gt; Security Credentials</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/631/1*C0zNWasJKaSOmOhjYPwaAA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*CsJlAyv45FfOArzsYX3JWQ.png" /></figure><p>Basta criar sua credencial e supimpa já está apto para trabalhar com os repositórios do CodeCommit 😎.</p><p>Vamos clonar nossos repositórios criados, para isso podemos ir no console e simplesmente clicar onde está HTTPS na parte de Clone URL.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/909/1*NnYOT8YjovXuTaEhwTUpJg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/868/1*EbWj3YbEgqh7DNI5xZcxRA.png" /></figure><p>Podem obter essa url realizando os comandos:</p><pre>aws codecommit list-repositories | grep r<br>epositoryName<br>#Com o nome desse repositório, basta fazer o comando do get repository <br>#passando o nome como parâmetro<br>aws codecommit get-repository --repository-name your-repo-name</pre><p>Nesse ponto, copie o arquivo buildpec para a pasta correta e suba para o repositório. Exemplo abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/940/1*x4dIIO5pDosEM3C2687fvA.png" /></figure><p>Acho que podemos ir para o CodeBuild e posteriormente o CodeDeploy</p><h4>Criar o Build Project</h4><p>Daqui em diante farei somente pelo console, mas depois pretendo ter um script para fazer com o AWS Cli. já tenho que testar ainda rs.</p><p><a href="https://awscli.amazonaws.com/v2/documentation/api/latest/reference/codebuild/create-project.html">create-project - AWS CLI 2.15.56 Command Reference</a></p><p>Já possuo um projeto de build criado, mas vou criar um novo para o build-vídeo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-Faegk1MOJLeDM0uDBxjmQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/732/1*AB5oOS2CVEqIFOoF8Z3S5g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/743/1*H0BjSPyJWxyC_VX1U7q5jg.png" /><figcaption>Escolha a origem como o seu repositório que contêm o buildspec do app de search vídeos</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/737/1*5JKJjM5H40LqXHgWPEYSLQ.png" /><figcaption>Olhem as opções adicionais de configuração</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/723/1*LZt9BDvZcRaJPjJDWTqbGA.png" /><figcaption>Habilitem essa opção</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*ZwESGqpKidRR0R-p0mnzkQ.png" /><figcaption>Configuração de VPC e subnets, no meu caso estou usando as subnets privadas.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/739/1*pMOl31pj16XP6KGQr60TXQ.png" /><figcaption>Como esse exemplo, você deve especificar o caminho completo para o arquivo de build, além de informar o nome do arquivo.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/738/1*TIpFOH7XMEkLTeCVSjgd7w.png" /><figcaption>Criar uma nova role do serviço</figcaption></figure><p>Basicamente esses são os passos para o CodeBuild.</p><p>Crie outro build project, usando dessa vez o repositório de imagens como origem.</p><ul><li><a href="https://docs.aws.amazon.com/codebuild/latest/userguide/build-spec-ref.html">Build specification reference for CodeBuild</a></li><li><a href="https://docs.aws.amazon.com/codebuild/latest/userguide/build-spec-ref.html">Build specification reference for CodeBuild</a></li></ul><p>OBS: houve bastantes momentos em que recebi uns erros de permissão durante o build, e só depois que marquei essa opção de Privileged que a build deu certo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*UWu-ezu4Cn7xbGyE3XStig.png" /></figure><p>Vamos criar uma Pipeline e fazer um teste.</p><h4>Criando as Pipelines de Images e Videos</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/739/1*EQUPEl5LP3op_RDLKNpu-w.png" /><figcaption>Criem a nova servicerole para o CodePipeline, estou usando uma já existente.</figcaption></figure><p>Deixem o resto default e sigam para a próxima tela.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/745/1*Qu9jSaxk8Ruxvzz5wcaxYA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/803/1*KsxZnrGrmoEUVtSdXU7d1A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/835/1*RUVE0xIZv-wf-7tVKeQW1g.png" /><figcaption>Skip Deploy stage e create</figcaption></figure><p>Acompanhe a execução das Pipelines</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ez8fxp6smRih-CUoIWJ_VQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lciClQpNp5oPV-KQcJzbyA.png" /><figcaption>haha falhou, o de video foi sem problemas</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/717/1*yP5Ifm1nKWT72WMHd24TeQ.png" /><figcaption>Problema de permissão</figcaption></figure><p>Você pode resolver isso de forma mais fácil adicionando uma policy chamada CloudWatchLogsFullAccess na role. Mas o ideal é ajustar as permissões ou criar uma policy específica para essas ações e recurso em questão.</p><p>Podem usar uma policy similar a essa:</p><pre>{<br>    &quot;Version&quot;: &quot;2012-10-17&quot;,<br>    &quot;Statement&quot;: [<br>        {<br>            &quot;Effect&quot;: &quot;Allow&quot;,<br>            &quot;Resource&quot;: [<br>                &quot;arn:aws:logs:us-east-1:account-id:log-group:/aws/codebuild/log-group-name&quot;,<br>                &quot;arn:aws:logs:us-east-1:account-id:log-group:/aws/codebuild/log-group-name:*&quot;<br>            ],<br>            &quot;Action&quot;: [<br>                &quot;logs:CreateLogGroup&quot;,<br>                &quot;logs:CreateLogStream&quot;,<br>                &quot;logs:PutLogEvents&quot;<br>            ]<br>        },<br>        {<br>            &quot;Effect&quot;: &quot;Allow&quot;,<br>            &quot;Resource&quot;: [<br>                &quot;arn:aws:s3:::codepipeline-us-east-1-*&quot;<br>            ],<br>            &quot;Action&quot;: [<br>                &quot;s3:PutObject&quot;,<br>                &quot;s3:GetObject&quot;,<br>                &quot;s3:GetObjectVersion&quot;,<br>                &quot;s3:GetBucketAcl&quot;,<br>                &quot;s3:GetBucketLocation&quot;<br>            ]<br>        },<br>        {<br>            &quot;Effect&quot;: &quot;Allow&quot;,<br>            &quot;Resource&quot;: [<br>                &quot;arn:aws:codecommit:us-east-1:account-id:your-repository-name&quot;<br>            ],<br>            &quot;Action&quot;: [<br>                &quot;codecommit:GitPull&quot;<br>            ]<br>        },<br>        {<br>            &quot;Effect&quot;: &quot;Allow&quot;,<br>            &quot;Action&quot;: [<br>                &quot;codebuild:CreateReportGroup&quot;,<br>                &quot;codebuild:CreateReport&quot;,<br>                &quot;codebuild:UpdateReport&quot;,<br>                &quot;codebuild:BatchPutTestCases&quot;,<br>                &quot;codebuild:BatchPutCodeCoverages&quot;<br>            ],<br>            &quot;Resource&quot;: [<br>                &quot;arn:aws:codebuild:us-east-1:account-id:report-group/your-build-project-*&quot;<br>            ]<br>        }<br>    ]<br>}</pre><p>Podemos executar a Pipeline novamente indo em release change ou alterando algo no nosso arquivo buildpec-images.yml e fazendo o push para o repositório.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jV1YX5pj1RsUjuthJLlB3g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WpAR3e20ZZh_9GMvoU5GJQ.png" /><figcaption>Deu bom!</figcaption></figure><h4>Checando imagens no ECR da task definition</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*ePkO8_2ZRRUNYH1fHM1GJQ.png" /><figcaption>Imagem enviada ao ECR com sucesso após o build</figcaption></figure><p>Vamos ao ECS para criar nosso cluster e nossos serviços.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/749/1*FjYIK3QOd3WS59cyfWtkkA.png" /></figure><p>Para que possamos criar o service, devemos criar a task definition que é o arquivo json onde é definido o mapeamento de portas, url da imagem a ser usada, dentre outras coisas.</p><p><strong>Task Definition</strong></p><pre>{<br>  &quot;family&quot;: &quot;search-images&quot;,<br>  &quot;networkMode&quot;: &quot;awsvpc&quot;,<br>  &quot;containerDefinitions&quot;: [<br>    {<br>      &quot;name&quot;: &quot;search-images-cont&quot;,<br>      &quot;image&quot;: &quot;&lt;aws_account_id&gt;.dkr.ecr.&lt;region&gt;.amazonaws.com/search-images:&lt;tag&gt;&quot;,<br>      &quot;cpu&quot;: 256,<br>      &quot;memory&quot;: 512,<br>      &quot;essential&quot;: true,<br>      &quot;portMappings&quot;: [<br>        {<br>          &quot;containerPort&quot;: 80,<br>          &quot;hostPort&quot;: 80,<br>          &quot;protocol&quot;: &quot;tcp&quot;<br>        }<br>      ],<br>      &quot;logConfiguration&quot;: {<br>        &quot;logDriver&quot;: &quot;awslogs&quot;,<br>        &quot;options&quot;: {<br>          &quot;awslogs-create-group&quot;: &quot;true&quot;,<br>          #adicionado para que a task possa criar o loggroup e enviar os logs<br>          &quot;awslogs-group&quot;: &quot;/ecs/search-images&quot;,<br>          &quot;awslogs-region&quot;: &quot;us-east-1&quot;,<br>          &quot;awslogs-stream-prefix&quot;: &quot;ecs&quot;<br>        }<br>      }<br>    }<br>  ],<br>  &quot;requiresCompatibilities&quot;: [<br>    &quot;FARGATE&quot;<br>  ],<br>  &quot;cpu&quot;: &quot;256&quot;,<br>  &quot;memory&quot;: &quot;512&quot;,<br>  &quot;executionRoleArn&quot;: &quot;arn:aws:iam::&lt;aws_account_id&gt;:role/ecsTaskExecutionRole&quot;,<br>  &quot;taskRoleArn&quot;: &quot;arn:aws:iam::&lt;aws_account_id&gt;:role/ecsTaskExecutionRole&quot;<br>}</pre><p>Pedi ao ChatGPT para gerar esse json de exemplo.</p><p>Basicamente basta que mudem os campos necessários.</p><p>Podem criar a task-definition com o comando abaixo, passando o arquivo json:</p><pre>aws ecs register-task-definition --cli-input-json file://task-definition.json</pre><p>Ou no próprio console, colando o json.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/929/1*_HV5sqm7geURmEAk4KL2dQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/897/1*uYHZgUnuxdUMntuBDAeYow.png" /></figure><h4>Criar Services no ECS</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*n3slrLWwgj6QKf_iK4tmRw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/978/1*PIKBNUVLPNVhCf3su3EV8Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/1*UlJuRGSSTKuRbef9ZhdVSg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/975/1*A3WQcGkQxF3pzkMDVmriBA.png" /><figcaption>Selecione sua VPC, a as subnets privadas. Desabilite Public IP.</figcaption></figure><p>Escolha um SecurityGroup que tenha regras de entrada na porta 80, por exemplo!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/969/1*asBVerwPccjEnk93nHiuOQ.png" /></figure><p>Nesse ponto, eu fui no ALB criei um listener na porta 8080 e adicionei o TargetGroup SearchVideo para que ele receba o tráfego.</p><p>Se tentar selecionar o listener da 80 e colocar o outro TargetGroup, vai receber um erro falando que ele não está sendo usado. E depois se tentar criar novamente vai receber um erro, então garante que o LoadBalancer tenha 1 listener para cada TG.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/988/1*k2Ras_yIoe0A3Oh5tAVPag.png" /><figcaption>Siga e de o create</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/994/1*dNwe4jS_O2pE6JE9dSoxZw.png" /><figcaption>Um listener para cada TG</figcaption></figure><p>Aguarde até que o service esteja UP!</p><p>Estava tomando um probleminha, pois a task definition que eu criei não tinha a ação para criar o log group no CW Logs.</p><p><a href="https://dev.to/fanmixco/how-to-fix-the-cloudwatch-log-stream-resourcenotfoundexception-the-specified-log-group-does-not-exist-in-ecs-1h70">https://dev.to/fanmixco/how-to-fix-the-cloudwatch-log-stream-resourcenotfoundexception-the-specified-log-group-does-not-exist-in-ecs-1h70</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KPmvQ3xr41LXanuP1Q6tpg.png" /></figure><p>Nesse ponto, se você acessar o DNS do Load Balancer, verá que já a app está funcional.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hFKzGpvotPFCcIhuDbulTQ.png" /><figcaption>Esse está sendo acesso pela porta 8080</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*che2nV7ho3-HenwnFOTZSg.png" /></figure><h4>Criação do stage de Deploy no ECS</h4><p>Vamos editar as Pipelines e adicionar o stage de Deploy, no ECS.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QJCIzO_NyjJ9tJQCZMIMfQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1016/1*NKPVvBFPcfk1axyXhuVaxg.png" /></figure><p>Em image definitions file, devemos passar o nome do artifact gerado durante a fase de Build, ele contêm a ulr da imagem no ECR.</p><p>No buildspecfile:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/575/1*UhOQPxB9lvq-BAfC_xzyVA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*02173VZDDX5PCYgZPhJ2eA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/388/1*ORchPdcUvZFfTzUtt3xOeQ.png" /><figcaption>Nossa pipeline está completa</figcaption></figure><p>Agora vou fazer o release.</p><p>E tomei erro nas pipelines. O que acontece é que na task definition, eu coloquei o nome dos containers, com um nome diferente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*1BZ2rlLENpY6D0c7RMxDgA.png" /></figure><p>O link abaixo fala sobre esse arquivo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/773/1*9v0jIOcBf4HpQbvCDPboRQ.png" /></figure><p><a href="https://docs.aws.amazon.com/codepipeline/latest/userguide/file-reference.html#pipelines-create-image-definitions">Image definitions file reference</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PnJhJvJ2yQbuWuZkzItgiQ.png" /></figure><p>Nesse caso, terei que editar a task definition, corrigindo o nome do container. Após isso ele vai funcionar, ou então eu mudo isso durante o build, pois eu gero o arquivo durante a post build.</p><pre>- echo Writing image definitions file...<br>#- printf &#39;[{&quot;name&quot;:&quot;&#39;&quot;$REPO_VIDEO&quot;&#39;&quot;,&quot;imageUri&quot;:&quot;&#39;&quot;$AWS_ACCOUNT_ID.dkr.ecr.$AWS_DEFAULT_REGION.amazonaws.com/$REPO_VIDEO:$TAG&quot;&#39;&quot;}]&#39; &gt; videodefinitions.json<br>#Agora alterado na linha abaixo, vai gerar o nome do repositório + -cont<br>#buildspec de video<br>- printf &#39;[{&quot;name&quot;:&quot;&#39;&quot;$REPO_VIDEO-cont&quot;&#39;&quot;,&quot;imageUri&quot;:&quot;&#39;&quot;$AWS_ACCOUNT_ID.dkr.ecr.$AWS_DEFAULT_REGION.amazonaws.com/$REPO_VIDEO:$TAG&quot;&#39;&quot;}]&#39; &gt; videodefinitions.json<br>#buildpec de images<br>- printf &#39;[{&quot;name&quot;:&quot;&#39;&quot;$REPO_IMAGE-cont&quot;&#39;&quot;,&quot;imageUri&quot;:&quot;&#39;&quot;$AWS_ACCOUNT_ID.dkr.ecr.$AWS_DEFAULT_REGION.amazonaws.com/$REPO_IMAGE:$TAG&quot;&#39;&quot;}]&#39; &gt; imagedefinitions.json</pre><p>Altere isso nos arquivos buildspec e façam o upload para o repositório.</p><p>Agora basta acompanhar as Pipelines</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GtID1_FoXbr1I0mXvk2WQg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/927/1*JErlfloRMta2sU6DXnXvGw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-ZuA9ZzyZPhMEIsfZkKzAQ.png" /></figure><p>Agora vou fazer uma etapa adicional, caso possuam algum domínio, podem usa-lo para uma conexão https.</p><h4>Ajuste de listerners no Load Balancer e certificado ssl</h4><p>Procurem o serviço do ACM e criem um novo certificado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mMZ37me3Gez5IAt8EX77Yw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/790/1*bQsxqRrBssZ_nudZZddq7g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/772/1*XdvcEE4fF59_5Fd36vYQHQ.png" /></figure><p>Depois que requisitarem os certificados, criem os records no Route53.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/933/1*M-rVEEhU3u50eY-l2qyEdQ.png" /></figure><p>Pouco tempo depois seu certificado estará disponível.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/949/1*OTNR2N69ANf7BZlnxvsLGg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/1*z07Ds3dUwwF_xGgm_SSfVw.png" /><figcaption>Listeners ALB</figcaption></figure><p>Você deve criar o listener na 443 e dentro dele criar 2 regras. (Não esqueçam de liberar a porta 443 no SecurityGroup do ALB)</p><p>No meu exemplo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/923/1*2g2gsWNQrE9OVAPbkpGALw.png" /></figure><p>Quando eu pesquisar por images.hatakemarcos.com.br ele vai encaminhar para o TargetGroup que tem o container de Imagens e o videos.hatakemarcos.com.br encaminha para o outro targetGroup.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*NINgaQaESq0yId9LApelRw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/497/1*JqmYmTegbAnwYwydXWsnsQ.png" /></figure><p>Quando você criar o certificado no ACM você pode atribuir mais de um nome de domínio para ele.</p><p>E devem criar também os records no Route53 apontando para o Load Balancer. Após isso seu acesso https com o domínio personalizo nas aplicações estarão funcionais.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/990/1*3fiD-E0PyquihBLGEXKQEQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*udCRk52EYHWzUnTrJsL6ZA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/999/1*79vrQyUQzNYWTx0EAj-lzA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D4oi_ur6QHXkq0o7qPpvqA.png" /></figure><p>Espero que tenham gostado, por hoje foi isso, se quiserem podem me chamar para bater um papo no meu linkedin.</p><p>Links de referências :</p><ul><li><a href="https://docs.aws.amazon.com/elasticloadbalancing/latest/application/load-balancer-listeners.html#rule-action-types">Listeners for your Application Load Balancers</a></li><li><a href="https://docs.aws.amazon.com/elasticloadbalancing/latest/application/load-balancer-target-groups.html">Target groups for your Application Load Balancers</a></li><li><a href="https://docs.aws.amazon.com/pt_br/AmazonECR/latest/userguide/docker-push-ecr-image.html">Enviando uma imagem do Docker para um repositório privado do Amazon ECR</a></li><li><a href="https://docs.aws.amazon.com/codepipeline/latest/userguide/ecs-cd-pipeline.html">Tutorial: Amazon ECS Standard Deployment with CodePipeline</a></li><li><a href="https://docs.aws.amazon.com/codecommit/latest/userguide/how-to-connect.html">Connect to an AWS CodeCommit repository</a></li><li><a href="https://docs.aws.amazon.com/pt_br/codecommit/latest/userguide/troubleshooting-ae.html">Solução de problemas com erros de acesso e o AWS CodeCommit</a></li><li><a href="https://docs.aws.amazon.com/codebuild/latest/userguide/build-spec-ref.html">Build specification reference for CodeBuild</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=eb04a6b9c619" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Dicas para o exame - AWS Certified Advanced Networking — Specialty]]></title>
            <link>https://medium.com/@marcosdanielsantos/dicas-para-o-exame-aws-certified-advanced-networking-specialty-781b22bb2653?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/781b22bb2653</guid>
            <category><![CDATA[redes]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[aws-certification]]></category>
            <category><![CDATA[networking]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Thu, 25 Jan 2024 23:08:07 GMT</pubDate>
            <atom:updated>2024-01-25T23:08:07.176Z</atom:updated>
            <content:encoded><![CDATA[<h3>Dicas para o exame - AWS Certified Advanced Networking — Specialty</h3><p>Olá caro leitor(a), espero que estejam bem! Hoje vou compartilhar dicas sobre o exame de Redes Avançadas da AWS e contar como foi meu planejamento, método de estudos, etc.</p><p>No dia 16/01/2024, prestei o exame do AWS Certified Advanced Networking — Specialty e tive a felicidade de passar no exame.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oGgU2iZh_ND89ofKlBDvBQ.png" /><figcaption>Recebi a notificação da Credly no mesmo dia em que fiz o exame</figcaption></figure><p>Já possuo algum tempo de carreira em nuvem, e ouço algumas pessoas dizendo que essa é a prova mais difícil. Achei difícil, mas não tanto quanto diziam. A área de Redes é uma que eu gosto bastante, junto com DevOps.</p><p>Creio que a dificuldade seja relativa de pessoa para pessoa e à experiência/conhecimento que ela já tenha sobre determinado tema.</p><p>Sem mais delongas, vamos às dicas de estudos.</p><h3><strong>Cursos e Simulados</strong></h3><p>Curso preparatórios:</p><p><a href="https://www.udemy.com/share/105bQu3@8qi_KXJUbPgEzGv_jCBSTMgtbF-hVou88K4cypf59ebHrDoJ-s3jz4QX0SwnSGhD/">https://www.udemy.com/share/105bQu3@8qi_KXJUbPgEzGv_jCBSTMgtbF-hVou88K4cypf59ebHrDoJ-s3jz4QX0SwnSGhD/</a></p><p>Simulados:</p><ul><li><a href="https://www.whizlabs.com/">Online Certification Training Courses for Professionals</a></li><li><a href="https://www.examtopics.com/exams/amazon/aws-certified-advanced-networking-specialty-ans-c01/view/">AWS Certified Advanced Networking - Specialty ANS-C01 Exam - Free Exam Q&amp;As, Page 1 | ExamTopics</a></li><li><a href="https://portal.tutorialsdojo.com/courses/aws-certified-advanced-networking-specialty-practice-exams/">AWS Certified Advanced Networking Specialty Practice Exams ANS-C01 2024</a></li></ul><h4>Agora, quero falar sobre o curso preparatório.</h4><p>Exceto a Practitioner, as demais certificações AWS que eu tenho, eu fiz o curso do Stephane Maarek. Todos são de excelente qualidade, conteúdo que vai aos detalhes dos serviços. Basicamente, é como se fosse a documentação AWS, ali resumida e ilustrada com arquiteturas e resumos.</p><p>Sei que existem outros cursos, mas pelo custo/benefício esse é o melhor!</p><h4>Sobre os simulados:</h4><p><strong>Examtopics</strong></p><p>Muitos dizem que ele é quase um ‘dump’ da prova, mas não posso afirmar isso porque não adquiri o conteúdo que eles oferecem; apenas utilizei as perguntas gratuitas que fornecem. Eles possuem perguntas bem formuladas, algumas fáceis, enquanto outras são bem complicadas, deixando você indeciso entre duas respostas e sem saber qual é a certa, rs. O que acho bacana sobre ele é a discussão do pessoal sobre as respostas.</p><p><strong>WhizLabs</strong></p><p>Essa é uma plataforma de cursos que se assemelha muito à Alura, pois você paga pelo plano e tem acesso aos cursos e simulados oferecidos, além, é claro, dos sandboxes para realizar algum tipo de laboratório. Dentre todas as opções, esse é o mais caro.</p><p>O WhizLabs, para a prova de Redes, achei muito bom, pois na maioria das perguntas eram sobre cenários específicos, com links para blogs da AWS. Realmente, considero os simulados dele os mais difíceis para esse exame.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BtD05EYp_M3Dttm3_TKPZw.png" /><figcaption>Preço assinatura WhizLabs</figcaption></figure><p><strong>Tutorialsdojo</strong></p><p>Aqui está o texto corrigido:</p><p>Provavelmente muitos já conhecem este curso. Eu o utilizei quando estava me preparando para a certificação AWS Certified Solutions Architect — Professional. De modo geral, ele também se assemelha ao WhizLabs no que diz respeito aos simulados, pelo menos era assim nos simulados da Solutions Architect Professional.</p><p>Não recomendo os simulados deste curso para quem planeja a certificação de redes avançadas da AWS. As perguntas eram pequenas e os casos bem mais simples. Ele fornece três simulados, mas todos eles não continham os cenários complexos dos dois anteriores.</p><p>Em resumo, usei o curso do Maarek para revisar assuntos que já conhecia e também aprender sobre novos serviços. Os simulados do WhizLabs, aliados com os do ExamTopics, foram essenciais para ver diversos cenários e arquiteturas diferentes.</p><h3><strong>Tempo de Preparação e Método de Estudo</strong></h3><p><strong>Tempo de Estudo</strong></p><p>Verifiquei no meu caderno e comecei as anotações no final de setembro, praticamente iniciando outubro. Desde então, já se passaram cerca de 3 meses. Claro que, durante esse período, houve momentos em que fiquei mais parado e outros em que estava mais focado nos estudos.</p><p><strong>Método de estudo</strong></p><p>Meu método de estudo para todas as certificações que faço é anotar a parte teórica no caderno e, de tempos em tempos, revisá-lo ou rever vídeos do curso.</p><p>E, é claro, também praticar. Acho isso muito importante para fixar alguns conceitos. Realizei alguns laboratórios práticos e tenho alguns postados aqui, que ajudam na compreensão dos serviços, seja dos componentes ou do sistema como um todo.</p><p>Não dá para ficar bom em algo só vendo vídeos; é necessário colocar a mão na massa mesmo, e não há motivo para economizar nisso.</p><p>Nos meu dois últimos posts fiz cenários relacionados ao conteúdo do exame.</p><ul><li><a href="https://medium.com/@marcosdanielsantos/configura%C3%A7%C3%A3o-de-resolu%C3%A7%C3%A3o-de-nomes-entre-ambiente-local-e-aws-d30b109e9a56">Configuração de resolução de nomes entre ambiente local e AWS</a></li><li><a href="https://medium.com/@marcosdanielsantos/configura%C3%A7%C3%A3o-de-vpc-endpoint-service-e-nat-gateway-em-vpc-centralizada-c1252fdcd9a2">Configuração de VPC Endpoint Service e NAT Gateway em VPC Centralizada</a></li></ul><p>Além de tudo isso que destaquei aqui, a documentação oficial da AWS não pode ser deixada de lado. Recomendo a leitura dos serviços que você percebe ter mais dificuldade quando pratica os simulados.</p><p>Na minha experiência, tive problemas com perguntas sobre Direct Connect, pois é um serviço com o qual não tenho prática e não consigo simular um cenário, tornando tudo baseado na teoria. Devido a isso, tive que ler e reler alguns pontos sobre ele.</p><p>Para finalizar, sempre leiam o guia do exame para ficarem antenados em quais serviços vão cair na prova.</p><p>Segue o link do guia do exame:</p><p><a href="https://d1.awsstatic.com/training-and-certification/docs-advnetworking-spec/AWS-Certified-Advanced-Networking-Specialty_Exam-Guide.pdf">https://d1.awsstatic.com/training-and-certification/docs-advnetworking-spec/AWS-Certified-Advanced-Networking-Specialty_Exam-Guide.pdf</a></p><p>Com base na experiência dos simulados e a prova em si, destaco os serviços que você vai ter que ficar antenado(a), pois são o assunto da maioria das questões.</p><pre>Direct Connect<br>• AWS Direct Connect<br>• Elastic Load Balancing(NLB,ALB,GLB)<br>• AWS Global Accelerator<br>• AWS PrivateLink<br>• Amazon Route 53<br>• AWS Site-to-Site VPN<br>• AWS Transit Gateway<br>• Amazon VPC<br>• AWS Network Firewall<br>• AWS WAF<br>• AWS Organizations<br>• Amazon EC2<br>• AWS Resource Access Manager (AWS RAM)</pre><p>Conteúdo que não está no escopo, mas caíram perguntas sobre:</p><p>Cloud WAN e AWS Cloud Development Kit(CDK).</p><p>Achei sacanagem cairem perguntas que não estão no escopo do Exame.</p><p>Essa prova não teve as 15 perguntas adicionais que não valem ponto, então todas pergunta eram pontuadas. Na verdade fiquei mais bolado pelo de CDK kkkkkk Cloud WAN ainda poderia acertar no chute, agora CDK só Deus na causa 😂.</p><p>Estou pretendendo escrever mais sobre dicas para esse exame, mas dicas voltadas às caraterísticas dos serviços, detalhes que em uma pergunta podemos não saber ou não lembrar, e aqui é cobrado esses detalhes.</p><p>Espero que tenham gostado. Até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=781b22bb2653" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Configuração de VPC Endpoint Service e NAT Gateway em VPC Centralizada]]></title>
            <link>https://medium.com/@marcosdanielsantos/configura%C3%A7%C3%A3o-de-vpc-endpoint-service-e-nat-gateway-em-vpc-centralizada-c1252fdcd9a2?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/c1252fdcd9a2</guid>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[aws-networking-specialty]]></category>
            <category><![CDATA[private-service]]></category>
            <category><![CDATA[network-design]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Fri, 29 Dec 2023 12:52:41 GMT</pubDate>
            <atom:updated>2023-12-29T12:52:41.597Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9mWJh4DWSuDHxY9EDsQIHg.png" /><figcaption><strong>Arquitetura proposta</strong></figcaption></figure><p>Caros leitores, espero que estejam bem!</p><p>Atualmente, estou estudando para prova AWS Advanced Networking Specialty.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*3NwKAlwxpwlzrpwXNR0-Tg.png" /></figure><p><a href="https://aws.amazon.com/certification/certified-advanced-networking-specialty/">AWS Certified Advanced Networking - Specialty Certification | AWS Certification | AWS</a></p><p>Até o momento, as minhas maiores dificuldades para essa prova estão nos cenários que envolvem o Direct Connect e o EKS, pois são serviços com os quais eu não tenho contato. Espero em breve poder compartilhar algumas informações sobre essa prova com vocês.</p><p>Indo ao que interessa de fato, na preparação para a prova, uma pergunta em questão me deixou com a pulga atrás da orelha rs.</p><blockquote><strong>Pergunta:</strong></blockquote><p>A company has a hybrid cloud environment. The company’s data center is connected to the AWS Cloud by an AWS Direct Connect connection. The AWS environment includes VPCs that are connected together in a hub-and-spoke model by a transit gateway. The AWS environment has a transit VIF with a Direct Connect gateway for on-premises connectivity.</p><p>The company has a hybrid DNS model. The company has configured Amazon Route 53 Resolver endpoints in the hub VPC to allow bidirectional DNS traffic flow. The company is running a backend application in one of the VPCs.</p><p>The company uses a message-oriented architecture and employs Amazon Simple Queue Service (Amazon SQS) to receive messages from other applications over a private network. A network engineer wants to use an interface VPC endpoint for Amazon SQS for this architecture. Client services must be able to access the endpoint service from on premises and from multiple VPCs within the company’s AWS infrastructure.</p><p>Which combination of steps should the network engineer take to ensure that the client applications can resolve DNS for the interface endpoint? (Choose three.)</p><p>A. Create the interface endpoint for Amazon SQS with the option for private DNS names turned on.<br>B. Create the interface endpoint for Amazon SQS with the option for private DNS names turned off.<br>C. Manually create a private hosted zone for sqs.us-east-1.amazonaws.com. Add necessary records that point to the interface endpoint. Associate the private hosted zones with other VPCs.<br>D. Use the automatically created private hosted zone for sqs.us-east-1.amazonaws.com with previously created necessary records that point to the interface endpoint. Associate the private hosted zones with other VPCs.<br>E. Access the SQS endpoint by using the public DNS name sqs.us-east-1 amazonaws.com in VPCs and on premises.<br>F. Access the SQS endpoint by using the private DNS name of the interface endpoint .sqs.us-east-1.vpce.amazonaws.com in VPCs and on premises.</p><p>— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —</p><p>Eu escolhi as opções B,C e F.</p><p>Teve pessoas que comentaram B,C e E.</p><p>Pelo que observei, escolhi as opções corretas, de acordo com os links abaixo:</p><ul><li><a href="https://docs.aws.amazon.com/whitepapers/latest/building-scalable-secure-multi-vpc-network-infrastructure/centralized-access-to-vpc-private-endpoints.html">Centralized access to VPC private endpoints</a></li><li><a href="https://aws.amazon.com/blogs/networking-and-content-delivery/centralize-access-using-vpc-interface-endpoints/">Centralize access using VPC interface endpoints to access AWS services across multiple VPCs | Amazon Web Services</a></li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1022/1*xvhjlDNee5frrDbYWGb9Zg.png" /></figure><p>De acordo com a imagem acima, fui correto nas opções, quando habilita o dns privado ele funciona mas somente na VPC em questão.</p><p>Achei a pergunta muito interessante e fiquei com vontade de criar um cenário semelhante para testar esse funcionamento dos endpoints de forma centralizada. Além é claro, do NAT Centralizado.</p><blockquote><strong>Sobre a arquitetura</strong></blockquote><p>Eu contruí todo o ambiente usando o Terraform, não usei os módulos da AWS, pois estava com alguns problemas para referenciar recursos da forma que eu queria. Criei usando apenas os resources de modo livre.</p><p>Vocês podem baixar o código do repositório aqui:</p><p><a href="https://github.com/marcossantosscott/VPCServicesCentralizado">https://github.com/marcossantosscott/VPCServicesCentralizado</a></p><p>A principal ideia desse laboratório é ver como os recursos em outras VPCs, se comportam com os endpoints em uma vpc diferente, a prova de Networking cobra esse tipo de conceito, por exemplo:</p><p>Se eu criar um gateway endpoint para o S3, seria possível acessá-lo por outra VPC ou uma rede on-premises? No caso do gateway endpoint, não é possível, ou exemplos de VPCs transitivas, como seria um cenário desses?</p><p><a href="https://docs.aws.amazon.com/whitepapers/latest/building-scalable-secure-multi-vpc-network-infrastructure/transit-vpc-solution.html">Transit VPC solution</a></p><p>Está sendo configurada 3 subnets públicas e 3 privadas para cada VPC. Nossas instâncias EC2 estão sendo provisionadas apenas nas subnets privadas, possibilitando assim os testes de acesso aos endpoints na VPC de serviço e também os testes de conectividade com a internet através do NAT centralizado.</p><p>Cada VPC possui um CIDR diferente:</p><p>Services (10.0.0.0/20), Consumer1 (172.18.0.0/16) e Consumer2 (192.168.0.0/16).</p><p>Após a criação dos recursos com o Terraform, podemos verificar como ficou no console.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3tHN4dDiHHmpyXiZB5mk0A.png" /><figcaption><strong>EC2 Instances</strong></figcaption></figure><p>Uma quantidade excessiva de subnets, 6 para cada VPC. Aquelas que têm o nome ‘consumer1’ seguido de um número pertencem à VPC Consumer1, enquanto as com o nome ‘consumer2’ seguido de um número pertencem à VPC Consumer2</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*3Jkuq3lFy_UEFndgzuKTbQ.png" /><figcaption><strong>EC2 Instances</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*p_lzr6mTAq2F_g6BIY0Kfg.png" /><figcaption><strong>Subnets</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*3Jkuq3lFy_UEFndgzuKTbQ.png" /><figcaption><strong>Route Tables</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2YsFFfX_PY3Cf8ZHP2Zieg.png" /><figcaption><strong>NAT Centralizado</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VwBjcsycpKLTUn33BJT5lQ.png" /><figcaption><strong>TGW RouteTables Customizada(Non Default)</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/969/1*aRHqJEYsbhxLExjJatU6wg.png" /><figcaption><strong>RT Public Services</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/983/1*_sR8ricQte6GhjxB5Fky2A.png" /><figcaption><strong>RT Private Services</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/964/1*r1knMuJ0g0-b7CDC944Hfw.png" /><figcaption><strong>RT Private Consumer1</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/963/1*YZFyk8wveTkSGSwCNtZX7Q.png" /><figcaption><strong>RT Private Consumer2</strong></figcaption></figure><blockquote><strong>Explicando o roteamento configurado entre as VPCs e o Transit Gateway</strong></blockquote><p>Começando pela tabela de rotas da VPC Services, a tabela de rotas pública encaminha a rota padrão (0.0.0.0/0) para o Internet Gateway da VPC. Possui uma rota local para a VPC e rotas para as VPCs de Consumers.</p><p>A tabela de rotas privada da VPC Services também tem o roteamento local, como qualquer VPC, e a rota padrão (0.0.0.0/0) está configurada para o NAT Gateway. Isso permite que recursos em subnets privadas tenham acesso à internet.</p><p>Quanto às tabelas de rotas privadas das VPCs Consumer1 e 2, ambas incluem as rotas locais e rotas para as outras VPCs. Elas também possuem uma rota padrão (0.0.0.0/0) para o Transit Gateway. Isso permite que recursos em subnets privadas se comuniquem com os recursos nas subnets privadas das outras VPCs, possibilitando a comunicação entre as instâncias.</p><p><strong>Tabela de rotas do Transit Gateway</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*VwBjcsycpKLTUn33BJT5lQ.png" /></figure><p>Esse possui as rotas propagadas das VPCs que estão anexadas ao Transit Gateway e uma rota estática padrão para a VPC Services. Em resumo, qualquer tentativa das VPCs de Consumers de alcançar uma rede diferente das VPCs ou a internet será encaminhada para o Transit Gateway. Este, por sua vez, encaminhará o tráfego para a VPC de Services. Lá, o tráfego usará o NAT para sair pela internet e retornará pelo mesmo NAT. Este, por sua vez, encaminhará o tráfego de volta para o Transit Gateway, e o Transit Gateway encaminhará de volta para a VPC de origem.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/913/1*jbrxNqQVwB72zSmOnUHZAA.png" /><figcaption><strong>TGW Attachments</strong></figcaption></figure><p>Abaixo, segue os endpoint criados:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/847/1*6GbGpAmBvVnRwPbPm-9sIQ.png" /></figure><p>E o Route53 PrivateHostedZone:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/553/1*9ZJGXtBsYwh9TBAfJ43IvQ.png" /></figure><p>E o registro que o mesmo criou</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/431/1*PK8BEZbAXG0kprrHIcz1ZA.png" /></figure><blockquote><strong>Realizando testes de conectividade entre instâncias e também com a internet</strong></blockquote><p>Acessei todas pelo session manager</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/856/1*5ILThjlQJwoOXxdCWnWJ3Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1010/1*5xoWT0NuiHgpqmDpP7DPPA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*L5-RVJWgvY1F1cVpsTmp4Q.png" /><figcaption><strong>EC2 Services</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yHcM8WplU540BqJVUz8mNA.png" /><figcaption><strong>EC2 Consumer2</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/878/1*iE7owxLbZFNh9AFnseoB7Q.png" /><figcaption><strong>EC2 Consumer1</strong></figcaption></figure><p>Podemos observar que todas as instâncias se comunicam com a internet, no entanto, as instâncias de Consumers se comunicam apenas entre si, sem conexão com as instâncias de Services. Por outro lado, as instâncias de Services se comunicam sem problemas com as instâncias de Consumers. Agora, vamos revisitar a tabela de rotas privadas da VPC Services para entender melhor.”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ehcoXc6AM8ZmDZ6Kf4Cvxw.png" /></figure><p>“Aqui temos apenas a rota local e a 0.0.0.0/0 para o NAT Gateway, não tendo uma rota de retorno para as EC2 das VPCs de Consumers. Segue uma imagem abaixo para um exemplo lógico do tráfego.”</p><p>Espero que isso faça sentido na compreensão de vocês 😅</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WHapY2j7KV4dN-jqVwTUZA.png" /><figcaption><strong>Example Logical of Routes</strong></figcaption></figure><p>Criei as novas rotas na tabela de rotas privada do VPC Service, com os CIDRs das VPCs de Consumers.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*U9yLn3pSxBwqYkNXNKtENA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/814/1*0F29n1dwwWxbcjtr3u3tug.png" /><figcaption>Agora a comunicação entre todas as instâncias se encontra funcional!</figcaption></figure><blockquote><strong>Testando o envio de mensagens para o SQS</strong></blockquote><p>Beleza, comunicação totalmente funcional. Agora, vamos testar o uso do endpoint para o serviço do SQS.</p><p>Todas as nossas EC2 usam um perfil de instância que tem permissão no serviço do SQS. Devemos instalar o unzip e o AWS CLI em nossas EC2.&quot;</p><p><a href="https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html">Installing or updating to the latest version of the AWS CLI</a></p><pre>apt install unzip -y <br>curl &quot;https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip&quot; -o &quot;awscliv2.zip&quot;<br>unzip awscliv2.zip<br>sudo ./aws/install<br><br>#Listar as queues<br>aws sqs list-queues<br># Enviar mensagem para a fila<br>aws sqs send-message --queue-url &lt;URL_DA_FILA&gt; --message-body &quot;Sua mensagem aqui&quot;</pre><p>Link para comandos do SQS:</p><p><a href="https://docs.aws.amazon.com/cli/latest/reference/sqs/#cli-aws-sqs">https://docs.aws.amazon.com/cli/latest/reference/sqs/send-message.html</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/599/1*Kywe5TI_qhMutfFkoME7gA.png" /></figure><p>Agora vou testar o envio de mensagens para a fila do SQS</p><p>Enviado as mensagens a partir de cada EC2 Instance.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/872/1*WPSbnPQeWizAQ0D91bg3xg.png" /><figcaption><strong>EC2 Services</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/593/1*civrngyUNeHfFVebxwZHGA.png" /><figcaption><strong>Consumer2</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Oq0L7wT2gSNkAR8GCydCHQ.png" /><figcaption><strong>Consumer3</strong></figcaption></figure><p>Ao fazer o Polling de mensagens apareceu as 3 mensagens no SQS</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tF9pYwr_0T81RdQRbA2mjQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/867/1*bP0uI8HAVT4VgYpMGKakuA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/549/1*JzgyLeLD6c4JeqMC7-1KwQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/551/1*MdfNearkB7cBMw7i5Ymb1g.png" /></figure><p>Ok, tudo certo. Verificamos que são as mesmas mensagens que foram enviadas. Mas como garantir que realmente está usando o endpoint e não a internet a partir do Nat Gateway?</p><p>De acordo com o link abaixo:</p><p><a href="https://aws.amazon.com/blogs/networking-and-content-delivery/centralize-access-using-vpc-interface-endpoints/">Centralize access using VPC interface endpoints to access AWS services across multiple VPCs | Amazon Web Services</a></p><pre>[ec2-user@ip-10-10-1-69 ~]$ aws sqs send-message --queue-url https://sqs.us-east-1.amazonaws.com/xxxxxxxxxxxx/demo-queue --message-body &quot;Test1&quot; --region us-east-1 --endpoint-url https://vpce-07f0fxxxxxxxxxxxx-xxxxxxxx.sqs.us-east-1.vpce.amazonaws.com<br><br>Output:<br>{<br>    &quot;MD5OfMessageBody&quot;: &quot;e1b849f9631ffc1829b2e31402373e3c&quot;,<br>    &quot;MessageId&quot;: &quot;498e2df4-012d-42ed-9516-e49f9f612519&quot;<br>}</pre><p>Teríamos que passar a região do endpoint junto com o endpoint URL, mas como estamos usando o endpoint, passando apenas a URL da fila já basta.</p><p>Eu também criei endpoints dos serviços do SSM e EC2 para acessar as instâncias por meio do Session Manager, usando os endpoints, não dependendo do acesso à internet.</p><p>Nesse ponto, vou remover a rota para o NAT Gateway, o que vai me impossibilitar de usar a internet, mas antes disso, vou criar as Private Hosted Zones para os outros endpoints.</p><blockquote><strong>Criando PHZ para os outros endpoints</strong></blockquote><p>Vamos editar o arquivo do Terraform, responsável pela criação da hosted zone e associação com as VPCs. Segue como está o mesmo abaixo:</p><pre>resource &quot;aws_route53_zone&quot; &quot;sqs-zone&quot; {<br>  name = &quot;sqs.us-east-1.amazonaws.com&quot;<br>  vpc {<br>    vpc_id = aws_vpc.vpc_services.id<br>  }<br><br>  lifecycle {<br>    ignore_changes = [vpc]<br>  }<br>}<br><br>resource &quot;aws_route53_zone_association&quot; &quot;associate-consumer1-vpc&quot; {<br>  zone_id = aws_route53_zone.sqs-zone.id<br>  vpc_id  = aws_vpc.vpc_consumer1.id<br>}<br><br>resource &quot;aws_route53_zone_association&quot; &quot;associate-consumer2-vpc&quot; {<br>  zone_id = aws_route53_zone.sqs-zone.id<br>  vpc_id  = aws_vpc.vpc_consumer2.id<br>}<br><br>resource &quot;aws_route53_record&quot; &quot;sqs&quot; {<br>  zone_id = aws_route53_zone.sqs-zone.id<br>  name    = &quot;sqs.us-east-1.amazonaws.com&quot;<br>  type    = &quot;A&quot;<br>  #ttl     = 300<br>  alias {<br>    name                   = aws_vpc_endpoint.endpoint_sqs.dns_entry[0][&quot;dns_name&quot;]<br>    zone_id                = aws_vpc_endpoint.endpoint_sqs.dns_entry[0][&quot;hosted_zone_id&quot;]<br>    evaluate_target_health = true<br>  }<br>}</pre><p>Basicamente, vou copiá-lo e editar apenas os nomes dos recursos. Infelizmente, as instâncias serão criadas novamente, perdendo assim o CLI que instalamos anteriormente. Poderíamos usar um lifecycle para ignorar a exclusão dessas instâncias, mas esse não é o propósito no momento. Após atualizar o código no Terraform, criei mais três hosted zones, uma para cada endpoint. Creio que somente essas três sejam necessárias para o funcionamento do acesso ao serviço do Session Manager sem a necessidade da internet.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/829/1*rSUy_O1Ijk2hgm7x9rCO6g.png" /></figure><p>Eu não criei esse endpoint:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/742/1*By4wee9bLyZYbTgf3pfT1g.png" /></figure><p>Caso o acesso às instâncias não funcione, estarei criando-o. Removendo a rota para o NAT Gateway na Route Table da VPC Services.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/841/1*P4ZEoB5EOPrPqVX1Ub4W0w.png" /></figure><p>Testando o acesso pelo Session Manager.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*AZusE4i_f-SMxCxcQby2Cw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/677/1*mnAE1zgYV2E9QzJIQcEyKw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/658/1*gSODH7Zq9L2_U4_Hi1FEIA.png" /></figure><p>Como podem ver nas imagens acima, não possuo comunicação com a internet. Entretanto, devido a ter o endpoint do SSM, consigo acessar o serviço diretamente pelo navegador, usando o session manager. Agora, validado que não possuímos acesso à internet, vamos enviar uma mensagem para o SQS novamente.</p><h4><strong>OBS: Esqueci de baixar o cli e o unzip antes, rsrs 😲</strong></h4><p>Terei que reativar a rota para o NAT apenas para baixar os recursos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/733/1*zCXEQU9c6ZXVHs1O0qNglg.png" /><figcaption><strong>Instalado o aws cli e unzip novamente</strong></figcaption></figure><p>Vou remover novamente a rota na tabela de rotas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iYe6U7xrN6BkGTNANaCGVw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_UNQpgX3nFBM5DZyMsa_qA.png" /><figcaption><strong>Envio de mensagem para a fila, sem acesso a internet consumer1</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/851/1*1l1THZvmHhhWGyYotv6yOg.png" /><figcaption><strong>Envio de mensagem para a fila, sem acesso a internet consumer2</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*cOuz-bysLF8FOIsttJSSSg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/880/1*-J9LU7gaWfXkjz-QO4In-w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1WLHbKORaYI_6cBuleEUSA.png" /></figure><p>“Bom pessoal, é isso, o laboratório foi realizado com sucesso! Esses ajustes, como foi realizado na tabela de rotas da VPC Services para comunicação entre todas as EC2, e essa adição dos novos endpoints e Private Hosted Zones, também estarão no repositório.</p><p>Acabei incrementando ao longo do LAB. Apenas para não deixar de lado, vou excluir o PHZ do SQS e também o endpoint do SQS, e criar outro com a opção do Private DNS Names habilitado.”</p><blockquote><strong>Criando endpoint para o SQS com a opção do Private DNS names habilitada</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/891/1*L5haP-3yE_lr8mTcMWkP_g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/782/1*5DjudPcfUEKYdceSMWcLuw.png" /><figcaption><strong>Exclusão PHZ SQS</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/929/1*_kXgybfYBgc4ZLAxoha-Wg.png" /><figcaption><strong>Exclusão SQS Endpoint</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xySxXOD5REbGwHBHvDK_Lw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/894/1*qjn7jflMQvvR5ev88PI9Jw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XUqukqPWD-4FEhFMZX4dyA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M7bUPxj0MN3PRsgiE5kzvw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PsnCXHgHSvUhMwqNbpvD3Q.png" /></figure><p>Pelo que a documentação diz, o uso do endpoint vai funcionar somente para as instâncias presentes na VPC em que o endpoint foi criado (usando o DNS interno). Vamos ver como vai se comportar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bjz3ve3dxT30o-3iABnx7w.png" /><figcaption><strong>EC2 Consumer1</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5gL8v-_UT1dkFCw3CSFVfg.png" /><figcaption><strong>EC2 Services</strong></figcaption></figure><p>Conforme as imagens acima, o DNS interno funciona somente para as instâncias que estiverem na mesma VPC em que o endpoint foi criado. Antes, como estávamos usando a Private Hosted Zone e a associávamos às VPCs, era possível fazer essa resolução de nomes sem problemas.</p><p>Com isso, finalizamos nosso laboratório.</p><p>Agora, o mais importante: não se esqueça de apagar os recursos com o Terraform destroy 😲.</p><p>Espero que tenham gostado desse laboratório. Achei bem interessante. Sigamos com os estudos, pois a prova não é moleza.</p><p>Até mais!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c1252fdcd9a2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Configuração de resolução de nomes entre ambiente local e AWS]]></title>
            <link>https://medium.com/@marcosdanielsantos/configura%C3%A7%C3%A3o-de-resolu%C3%A7%C3%A3o-de-nomes-entre-ambiente-local-e-aws-d30b109e9a56?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/d30b109e9a56</guid>
            <category><![CDATA[bind]]></category>
            <category><![CDATA[dns-resolver]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Wed, 15 Nov 2023 00:14:19 GMT</pubDate>
            <atom:updated>2023-11-15T00:14:19.650Z</atom:updated>
            <content:encoded><![CDATA[<p>Hoje, vou mostrar um exemplo prático de um caso de uso entre ambientes mistos.</p><p>Suponhamos que possuímos um datacenter e você deseja resolver nomes de aplicações hospedadas na nuvem, seja por questões de simplicidade ou integração entre aplicações. E da mesma forma, resolver nomes dos hosts locais na AWS.</p><p>Aí vem a pergunta: como fazer isso? O diagrama abaixo, retirado do próprio site da AWS, nos mostra como funciona.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*1eIxNNkhTW1OV-78.png" /><figcaption>link: <a href="https://docs.aws.amazon.com/pt_br/Route53/latest/DeveloperGuide/resolver.html">https://docs.aws.amazon.com/pt_br/Route53/latest/DeveloperGuide/resolver.html</a></figcaption></figure><p><strong>Em resumo:</strong></p><p>1. Conceito Geral:<br>A comunicação entre um ambiente local e a AWS geralmente ocorre por meio de conexões de rede seguras, como VPN (Virtual Private Network) ou Direct Connect. Essas conexões estabelecem um canal seguro e privado entre os recursos locais e os serviços na AWS.</p><p>2. Inbound e Outbound:<br>Inbound (Entrada):</p><ul><li>Refere-se ao tráfego que entra no ambiente AWS vindo do ambiente on-premises.</li><li>Exemplo: Requisições feitas a serviços AWS a partir de recursos locais.</li></ul><p>Outbound (Saída):</p><ul><li>Refere-se ao tráfego que sai do ambiente AWS e vai para o ambiente on-premises.</li><li>Exemplo: Respostas de serviços AWS para solicitações feitas a partir do ambiente local</li></ul><p>3. DNS:<br>DNS (Domain Name System):</p><p>O DNS é crucial para a comunicação entre ambientes on-premises e a AWS. Ele traduz nomes de domínio em endereços IP, permitindo a localização dos recursos na nuvem.</p><p>Segue um exemplo de arquitetura para o cenário a ser desenvolvido:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6T4cN8tKEqZ1v4wT7OGl4Q.png" /></figure><blockquote><strong>Informações importantes</strong></blockquote><p>Rede Local:</p><p>CIDR: 172.16.1.0/24</p><p>Servidor Ubuntu com o serviço do BIND, sendo ele nosso servidor DNS.</p><p>Windows 10 e Debian: que seriam nossos clientes fazendo a consulta que é encaminhada para a AWS.</p><p>Minha VPN Site-to-Site está configurada a partir do pfSense, por isso a rede 172.16.1.0/24. O vídeo abaixo explica como configurar o VPN a partir do pfSense. No meu caso, estou usando uma VM. No vídeo em questão, ele configura em uma EC2.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2Fajblvp5Rr6M%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3Dajblvp5Rr6M&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2Fajblvp5Rr6M%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/3087f22fc92c743ebc5a6d4e1659ca05/href">https://medium.com/media/3087f22fc92c743ebc5a6d4e1659ca05/href</a></iframe><p>Rede AWS:</p><p>CIDR: 10.0.0.0/16</p><p>Basicamente, vou criar duas instâncias, uma em cada subnet, apenas para fazer testes de ICMP, nslookup, e host para os hosts na rede local, simulando a consulta DNS para meu On-Premises. Como as máquinas estão privadas, vou estar usando o NAT Gateway para acessá-las diretamente pelo console via Session Manager.</p><p>Na AWS, vou criar uma hosted zone privada, que será associada à VPC. Essa hosted zone se chama cloud.corp, representando nosso domínio interno. Vamos começar o cenário.</p><h4>Criação de recursos na AWS</h4><blockquote>Criar nossa VPC</blockquote><p>Segue o passo a passo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*n1B6z76o4lvZJ7xhxtfjjQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kh4UBXEVFAoo-kcJ_s3QzQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/528/1*P5pXGp0JRTyP5h1nXuOsQQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/520/1*_N7s-HMCTjvYGkVk22ukBw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/522/1*_F6DMNoGVAjylc8VlM-dqA.png" /></figure><p>Dessa forma, você vai criar uma VPC com 3 subnets públicas e 3 privadas. A mesma terá 4 tabelas de rotas, uma pública e 3 privadas.</p><p>Nesse ponto, vou criar o NAT Gateway e ajustar as tabelas de rotas privadas para usá-lo como rota padrão, o famoso 0.0.0.0/0.<br>Procure por NAT Gateway na lateral e crie o NAT Gateway.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yp86KbIDxNAS28KARNNVUQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/878/1*QF2c3RzRIGw-1peUzHGxDg.png" /></figure><p>Name: Opcional</p><p>Subnet: Tem que criar na subnet pública</p><p>Connectivity type: Public</p><p>Allocate Elastic IP</p><p>Enquanto o mesmo está sendo criado, já vou ajustar as rotas das subnets.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9EZRFb9U6M7s79Blw4-V_A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*m-SwWVhqGMmhhX3T7pTqzw.png" /></figure><p>Devem realizar o mesmo processo para todas as tabelas de rotas privadas.</p><blockquote>Criar instâncias EC2</blockquote><p>Segue um exemplo:</p><p>Search EC2 &gt; Instances &gt; launch instance</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/875/1*toJVDWnDa6qsB1yQFcpALw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*dbXnjDHqsUdyL5nDbuybsQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/854/1*7pXkLebG6PqP6-WQFtgkAg.png" /><figcaption>Importante: as instâncias devem ser criadas em subnets privadas</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/839/1*nntYxE0s1n3gvDCRulJw8Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/897/1*SgIX0pSnYhhZISWLIeS2xg.png" /></figure><p>Para acessar a instância via Session Manager, é necessário que ela tenha um perfil de instância associado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/856/1*_rPCmu6OB5yauGYisfm4PA.png" /></figure><p>Nesse vídeo, o rapaz mostra esse processo de criação da role.</p><p><a href="https://www.youtube.com/watch?v=g3UUPUayw5I">https://www.youtube.com/watch?v=g3UUPUayw5I</a></p><p>Podem seguir até o final e criar a instância. Basicamente, vou criar outra máquina usando o Security Group criado em outra subnet.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9p3VIUriPNfhDGefkYAIpA.png" /></figure><blockquote><strong>Criar VPN site-to-site</strong></blockquote><p>Nesse ponto, vou mostrar apenas o lado da AWS. Procurem por VPC. E na barra lateral, teremos os campos:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/233/1*dF_tjq_lTrmXGO2saAiI3g.png" /></figure><p>Costumer gateway: Seu IP Público</p><p>VPG: Gateway a ser associado com a VPC</p><p>Site-to-Site: A conexão em si, os tunneis da VPN</p><p>Costumer gateway:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dNVcqTS8Ft3aBytK2wgn_Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/850/1*9u1DLAc82RS0XGGhlWCpEA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*6YaEz63RS2umraij0FmNnA.png" /></figure><p><a href="https://whatismyip.com.br/">What is my IP .com.br</a></p><p>VPG:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vxTILknUmFo7b0yoavREUg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/938/1*bVLE8jjgOxBl-kAZm2teIg.png" /></figure><p>Site-to-Site VPN:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/772/1*_F_n435HI-k_cvXOxvf4qA.png" /></figure><p>Em “Static IP Prefixes”, é o CIDR da sua rede local. O resto pode ser mantido como padrão, e então, crie a conexão VPN. Baixem o arquivo de configuração e sigam o template para estabelecer a conexão de acordo com o seu fornecedor (vendor).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bjnXKmdlwAbPtl1Yb1b6eg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*J9knBgH__jdTMO-7uaHjUw.png" /></figure><p>Após configurada a VPN Site-to-Site, vamos testar nossa conectividade com nossas instâncias.</p><p>ts.cloud.corp 10.0.128.185</p><p>app.cloud.corp 10.0.175.181</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/609/1*F9-8oDGSw943Bi6fvmm5tQ.png" /></figure><p>Por que se não tive resposta?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ePvhCOsFVogsszrpl-jdyg.png" /></figure><p>Vejam que a VPN está up; no entanto, eu não anexei o VGW na VPC. Selecione o Virtual Private Gateway criado e associe-o à VPC criada</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*caO5KfTZiR1-zQwefXSPMw.png" /></figure><p>Além disso, é necessário configurar as rotas para a rede On-Premises nas tabelas de rotas privadas. Para facilitar isso, vá até a tabela de rotas e habilite a propagação de rotas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gsWj9Bm1Ki-4OYwNOtQUBQ.png" /></figure><p>Após seguir esses passos, o ICMP já obteve resposta.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*HPls_4srIj_ZozA8jpubYg.png" /></figure><p>Perfeito, agora vamos configurar o bind no Ubuntu 20.04.</p><blockquote><strong>Configuração servidor DNS</strong></blockquote><pre>#Instalação do Bind no Ubuntu<br>sudo apt-get install bind9 bind9utils net-tools -y<br>#Criar pasta onde vai ser armazenado os arquivos de zona<br>mkdir /etc/bind/zones<br>#criar arquivo de zona normal e reverso caso queira<br>nano /etc/bind/zones/xyz.zone # coloque o nome do domínio que você vai criar<br>nano /etc/bind/zones/1.16.172.in-addr-arpa.zone #zona reversa</pre><pre>#My marcossantos.corp zone example<br>;<br>; BIND data file for local loopback interface<br>;<br>$TTL 604800<br>@ IN SOA ns1.marcossantos.corp. root.marcossantos.corp. (<br>    20231113 ; Serial<br>    3600  ; Refresh<br>    1500  ; Retry<br>    2419200 ; Expire<br>    604800 ) ; Negative Cache TTL<br>;<br><br><br> IN NS     ns1.marcossantos.corp.<br><br>@ IN A 172.16.1.19<br>ns1  IN A 172.16.1.19<br>win10   IN A 172.16.1.15<br>deb     IN A 172.16.1.18</pre><pre>$TTL 604800<br>@  IN SOA ns1.marcossantos.corp. admin.marcossantos.corp. (<br>             20231113    ; Serial<br>             3600       ; Refresh<br>             1500       ; Retry<br>             24192000   ; Expire<br>             604800 )   ; Minimum TTL<br><br>; Mapeamento de endereços IP para FQDN<br><br>@  IN   NS ns1.marcossantos.corp.<br><br>19 IN PTR ns1.marcossantos.corp.<br>18 IN PTR deb.marcossantos.corp.<br>15 IN PTR win10.marcossantos.corp.</pre><pre>#Conf realizada no /etc/bind/named.conf.local<br>#Aqui estou configurando ao minhas zonas, a última abaixo é a zona de forwarder <br>#Para que as consultas para o cloud.corp sejam encaminhados para os inbound endpoints<br>zone &quot;marcossantos.corp&quot; {<br>   type master;<br>#   forwarders {172.16.1.0/24; 10.0.0.0/16}; <br>   file &quot;/etc/bind/zones/marcossantos.zone&quot;;<br>};<br><br>zone &quot;1.16.172.in-addr-arpa&quot; {<br>   type master;<br>   file &quot;/etc/bind/zones/1.16.172.in-addr-arpa.zone&quot;;<br>};<br><br>zone &quot;cloud.corp&quot; {<br>   type forward;<br>   forwarders {10.0.141.202; 10.0.146.217;}; #esses ips eram os ips dos endpoints de entrada criados<br>   forward only;<br>};</pre><pre>#/etc/bind/named.conf.options<br><br>acl &quot;trusted&quot; {<br>        172.16.1.0/24;<br>};<br><br>options {<br>        directory &quot;/var/cache/bind&quot;;<br>        listen-on port 53 {<br>                127.0.0.1; 172.16.1.19;<br>                };<br>        // If there is a firewall between you and nameservers you want<br>        // to talk to, you may need to fix the firewall to allow multiple<br>        // ports to talk.  See http://www.kb.cert.org/vuls/id/800113<br><br>        // If your ISP provided one or more IP addresses for stable<br>        // nameservers, you probably want to use them as forwarders.<br>        // Uncomment the following block, and insert the addresses replacing<br>        // the all-0&#39;s placeholder.<br><br>        // forwarders {<br>        // 0.0.0.0;<br>        // };<br><br>        allow-query { any; };<br>        recursion yes;                 # enables resursive queries<br>        allow-recursion { trusted; };  # allows recursive queries from &quot;trusted&quot; clients<br>        listen-on { 172.16.1.19; };   # ns1 private IP address - listen on private network only<br>        allow-transfer { none; };      # disable zone transfers by default<br>        forward first;<br>        forwarders {<br>                10.0.141.202; #substituir pelo ip do inbound endpoint que vamos criar<br>                10.0.146.217; #substituir pelo ip do inbound endpoint que vamos criar<br>       };<br><br>        dnssec-validation yes;<br><br><br><br>        //========================================================================<br>        // If BIND logs error messages about the root key being expired,<br>        // you will need to update your keys.  See https://www.isc.org/bind-keys<br>        //========================================================================<br>        #dnssec-validation auto;<br><br>        listen-on-v6 { any; };<br>};<br><br>#Quando eu estava configurando o forwarder não estava funcionando, minhas vms do debian<br>e do Windows não conseguiam verificar o domínio cloud.corp # Me retornando MX domain<br># Só quando coloquei essas linhas abaixo que funcionou em totalidade.<br>#dnssec-enable yes;<br>#dnssec-validation yes;<br></pre><p>Vamos dar um rndc reload e rndc reconfig e também um systemctl status bind9.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*J-EQEjiattPHdo9NEHsdXg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lymUNgQVbW38P-XPxPI7GA.png" /></figure><p>Havia criado o arquivo de zona com o nome errado, mas ajustei com o comando “mv”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zE8jwEu2y30KpKMpTcK-Xg.png" /></figure><p>E removi a primeira linha do arquivo de zona reversa. Após isso, o serviço do BIND estava OK.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/675/1*ujW0EXRFbLYIJjBBqaiXkA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/991/1*9jgaq3G2XPtd_x7Pw3AZyg.png" /></figure><p>Perfeito, agora devemos ajustar o DNS das máquinas para usarem o servidor Ubuntu com resolvedor de DNS.</p><p>Windows</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/421/1*5aIM7EP0nvNrtas_RSNu3w.png" /></figure><p>Linux</p><pre>#Desabilitar o systemdresolved<br> sudo systemctl disable systemd-resolved.service<br> sudo systemctl stop systemd-resolved<br><br>#O alterar o /etc/resolv.conf<br>search home.arpa marcossantos.corp # o seu domínio privado<br>nameserver 172.16.1.19 # O ip do seu server dns</pre><p>De momento, vamos testar o nslookup e ping nos endereços configurados para marcossantos.corp.</p><p>ns1 IN A 172.16.1.19<br>win10 IN A 172.16.1.15<br>deb IN A 172.16.1.18</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/567/1*0W7zh8NYkGHdXIpjm8PCJg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/724/1*t0aMIau-LLlgG0toJdaXmw.png" /></figure><p>Por fim, vamos a última etapa.</p><blockquote><strong>Criar HostedZone e resolver endpoints</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/955/1*0-oyiQ6-s5KGe9Jl7MheKw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/646/1*BczAA8y0A2MTFXR77jnhAw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/771/1*0yFLobADfGraX40yMIo0gQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/787/1*fx0eZrv2MSthdm99uiCJBA.png" /></figure><p>E create HostedZone.</p><p>Na hostedzone, vamos criar os records.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K17jL1ZfZhxCJSKiHqwW2w.png" /></figure><p>No meu caso vai ser app.cloud.corp type A 10.0.175.181 e ts.cloud.corp type A 10.0.128.185.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/925/1*ogrt-DrTcikKZAtJJ9nGdA.png" /></figure><p>Ainda no Route 53, vamos criar nossos endpoints de entrada e saída.</p><p>EC2 &gt; SecurityGroup</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8XgCoWGPWAFGc647_OjevQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MXqNhg3VWp5ZUTHxL8FpRg.png" /></figure><blockquote><strong>Inbound Endpoint</strong></blockquote><p>Antes de criar o endpoint, vamos criar um SecuriyGroup para o mesmo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/232/1*Hvw-PoiL1CuGjofyp8xGHw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/745/1*t6-JSJjnXrnfAHxQpFzwfA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/681/1*LCB-9zELX9KQK7PqN4_NjA.png" /></figure><p>Para poder ter alta disponibilidade você deve criar no mínimo 2 endpoints, no meu caso vou criar 3 uma em cada AZ.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/663/1*cb5uo90sC7LCrRCs157a0A.png" /><figcaption><strong>Lembre-se de colocar as subnets privadas</strong></figcaption></figure><blockquote><strong>Outbound Endpoint</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/933/1*JfbT_VVOxPaVSOKBERaEQw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/644/1*YSvX-xyW-7rItbe_rN8aAA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/652/1*3-Z9YiLQUfVl1saEqQaDaQ.png" /></figure><p>Create Outbound Endpoint</p><p>Ao entrar nele, iremos criar a regra que permite encaminhar a consulta DNS partindo da AWS para a rede local.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/895/1*TeGT9iKlwwjxOz_FyU7XhQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*9wz-HPu6aB8DqgqANKibhw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/716/1*L8bD4pG1tU8P1nv9SaEnig.png" /></figure><p>Em “Target IP”, utilize o IP do seu servidor DNS que tem o BIND instalado.</p><p>Perfeito, com os recursos criados, é hora dos testes.</p><blockquote><strong>Testes de resolução de nome e conectividade</strong></blockquote><p>Estou com as sessões abertas no Session Manager.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/753/1*4IOfNtFbsmR6HlUclGX90Q.png" /></figure><p>Vou testar primeiro o DNS criado na hosted zone privada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/540/1*QzstvZymjnNfOus6FnyfsQ.png" /><figcaption>ts.cloud.corp</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/392/1*RAMsPS52MgPiHa-LRLFJsA.png" /><figcaption>app.cloud.corp</figcaption></figure><p>Na instância do aplicativo, não sei o porquê, mas ela não está encontrando o nome app.cloud.corp. Depois de um tempo, resolveu o nome.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/543/1*jxA8a4tFIn5vM2ehhfwRSQ.png" /></figure><p>Agora vamos testar com os registros configurados na zona do marcossantos.corp.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/703/1*gHubuU41sgp-nxNtY9Ylpg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/721/1*KhmhAFIJAWlIRm8FJceT9g.png" /></figure><p>Ok, como podem ver, a resolução de nomes na Cloud está funcionando corretamente. Agora é hora de verificar se o contrário também vai funcionar. Devemos fazer alguns ajustes no nosso servidor BIND.</p><pre>#Primeiro vamos ajustar o /etc/bind/named.conf.local e /etc/bind/named.conf.options<br><br>#named.conf.local<br>zone &quot;cloud.corp&quot; {<br>   type forward;<br>   forwarders {10.0.137.197; 10.0.160.49; 10.0.149.214; }; #Colocar os ips do inbound endpoint que foram criados<br>   forward only;<br>};<br><br>#named.conf.options<br>forwarders {<br>                10.0.137.197; 10.0.160.49; 10.0.149.214; <br>       };<br><br>systemctl restart bind9<br>systemctl status bind9<br><br>#Desabilitar o systemdresolved<br> sudo systemctl disable systemd-resolved.service<br> sudo systemctl stop systemd-resolved<br><br>#O alterar o /etc/resolv.conf<br>search home.arpa marcossantos.corp cloud.corp # o seu domínio privado<br>nameserver 172.16.1.19 8.8.8.8# O ip do seu server dns</pre><p>My resolv.conf</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/537/1*LJgEbq6W1c7M9Fh40VKJVQ.png" /></figure><blockquote>Testes a partir do UbuntuServer</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/775/1*31sQwGqY8L1L8vPMdvKhdw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/725/1*BqPGJVIk50qwe2tx2cPHUA.png" /></figure><blockquote>Testes a partir do Windows e Debian</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/912/1*I6TCQFMhvOJBwqllZ7WNRA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*jk-FDd37bwrm2PWQsDrl0A.png" /></figure><p>Para finalizar, vou instalar o HTTPD na app.cloud.corp e acessar o site pela máquina Windows</p><pre>yum install httpd -y<br>touch script<br>chmod 755 script<br># Conteudo do script<br>---------------------------------------------------------<br>!/bin/bash<br><br># Obtém o token de acesso ao IMDSv2<br>token=$(curl -X PUT -H &quot;X-aws-ec2-metadata-token-ttl-seconds: 300&quot; http://169.254.169.254/latest/api/token)<br><br># Obtém o ID da instância usando o token<br>instance_id=$(curl -H &quot;X-aws-ec2-metadata-token: $token&quot; http://169.254.169.254/latest/meta-data/instance-id)<br><br># Obtém o Private IP usando o token<br>private_ip=$(curl -H &quot;X-aws-ec2-metadata-token: $token&quot; http://169.254.169.254/latest/meta-data/local-ipv4)<br><br># Obtém a zona de disponibilidade (AZ) usando o token<br>az=$(curl -H &quot;X-aws-ec2-metadata-token: $token&quot; http://169.254.169.254/latest/meta-data/placement/availability-zone)<br><br># Constrói o nome do host<br>hostname=&quot;Webserver - $instance_id - $private_ip - $az&quot;<br><br># Gera a página HTML<br>echo &quot;&lt;!DOCTYPE html&gt;&quot;<br>echo &quot;&lt;html lang=&#39;en&#39;&gt;&quot;<br>echo &quot;&lt;head&gt;&quot;<br>echo &quot;    &lt;meta charset=&#39;UTF-8&#39;&gt;&quot;<br>echo &quot;    &lt;meta name=&#39;viewport&#39; content=&#39;width=device-width, initial-scale=1.0&#39;&gt;&quot;<br>echo &quot;    &lt;title&gt;Informações da Instância AWS&lt;/title&gt;&quot;<br>echo &quot;&lt;/head&gt;&quot;<br>echo &quot;&lt;body&gt;&quot;<br>echo &quot;    &lt;header&gt;&quot;<br>echo &quot;        &lt;h1&gt;Informações da Instância AWS&lt;/h1&gt;&quot;<br>echo &quot;    &lt;/header&gt;&quot;<br>echo &quot;    &lt;section&gt;&quot;<br>echo &quot;        &lt;p id=&#39;info&#39;&gt;$hostname&lt;/p&gt;&quot;<br>echo &quot;    &lt;/section&gt;&quot;<br>echo &quot;&lt;/body&gt;&quot;<br>echo &quot;&lt;/html&gt;&quot;<br>------------------------------------------------------<br><br>./script &gt; /var/www/html/index.html<br>systemctl restart httpd</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/988/1*28f5PihmY43jWj-rEIvlZA.png" /></figure><p>Com isso, agora devemos excluir os recursos criados: EC2, NAT Gateway, Site-to-Site VPN e os endpoints. Sobre o endpoint Outbound, é necessário desassociar a VPC da regra antes de poder fazer a exclusão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jFBAFAcxodISbIrYp_w7Pg.png" /></figure><p>Após isso, não deverá haver nenhum problema com a exclusão dos recursos. Bom, por hoje é isso! 😎🤯. Espero que tenham gostado do conteúdo e que eu tenha conseguido ser claro na transmissão das informações.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d30b109e9a56" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Uso do AWS Datasync para migrar seus arquivos do On-premises para Cloud]]></title>
            <link>https://medium.com/@marcosdanielsantos/uso-do-aws-datasync-para-migrar-seus-arquivos-do-on-premises-para-cloud-1910d04e93e3?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/1910d04e93e3</guid>
            <category><![CDATA[s3]]></category>
            <category><![CDATA[migration]]></category>
            <category><![CDATA[file-server]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Sun, 10 Sep 2023 22:43:37 GMT</pubDate>
            <atom:updated>2023-09-10T22:43:37.430Z</atom:updated>
            <content:encoded><![CDATA[<p>Fala pessoal, tudo joia com vocês?</p><p>Hoje vou mostrar como vocês podem usar o Datasync para migrar seus arquivos no fileserver local para a AWS.</p><h4>O que é o AWS Datasync?</h4><p>AWS DataSyncé um serviço on-line de movimentação e descoberta de dados que simplifica a migração de dados e ajuda você a transferir com rapidez, facilidade e segurança seus dados de arquivos ou objetos de, para e entre serviços de AWS armazenamento.</p><h4>Casos de uso</h4><ul><li><strong>Descubra dados</strong> — obtenha visibilidade do desempenho e da utilização do seu armazenamento local. AWS DataSync Discoverytambém pode fornecer recomendações para migrar seus dados para serviços AWS de armazenamento.</li><li><strong>Migre dados</strong> — mova rapidamente conjuntos de dados ativos pela rede para serviços AWS de armazenamento. DataSyncinclui criptografia automática e validação de integridade de dados para ajudar a garantir que seus dados cheguem seguros, intactos e prontos para uso.</li><li><strong>Arquive dados frios</strong> — mova dados frios armazenados no armazenamento local diretamente para classes de armazenamento duradouras e seguras de longo prazo, como o S3 Glacier Flexible Retrieval ou o S3 Glacier Deep Archive. Isso pode liberar a capacidade de armazenamento local e desligar os sistemas legados.</li><li><strong>Replique dados</strong> — copie dados em qualquer classe de armazenamento do Amazon S3, escolhendo a classe de armazenamento mais econômica para suas necessidades. Você também pode enviar dados para o Amazon EFS, FSx for Windows File Server, FSx for Lustre ou FSx para OpenZFS para um sistema de arquivos em espera.</li><li><strong>Mova dados para processamento oportuno na nuvem</strong> — Mova dados para dentro ou AWS para fora para processamento. Essa abordagem pode acelerar fluxos de trabalho críticos de nuvem híbrida em diversos setores. Isso inclui aprendizado de máquina no setor de ciências biológicas, produção de vídeo em mídia e entretenimento, análise de big data em serviços financeiros e pesquisa sísmica no setor de petróleo e gás.</li></ul><p>Nesse estudo, vou mostrar a vocês o passo a passo de como configurar o Datasync para fazer a migração dos seus arquivos para a AWS.</p><p>Vou migrar os dados do NFS no Linux e SMB no Windows. No Windows, vou estar migrando os dados para um bucket S3, com proposta de arquivamento ou backup, e no Linux, para um EFS que pode ser usado como file server para instâncias Linux na AWS. Segue a arquitetura para esse laboratório:</p><p>Segue a arquitetura para esse laboratório:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1QJQPPllyQRhCx4aMYdgXQ.png" /></figure><p>Observação: Nesse lab, não vou mostrar como instalar/configurar o NFS no Linux ou o serviço de FileServer no Windows.</p><p>Na minha VM Windows, tenho um disco separado que está servindo como meu file server.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/564/1*6U4RzIxOp6taGpfSr4tuxA.png" /></figure><p>Estou compartilhando as pastas do Administrativo, Financeiro e Diretoria.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/664/1*VMflhvAC6wAtns8sBRZXRw.png" /><figcaption>Cada pasta tem 3 imagens e 3 arquvos de texto</figcaption></figure><p>Aqui temos nossos shares.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/693/1*UGl0oOSgRpBTCLSn1wPe7A.png" /></figure><p>Para podermos usar o Datasync, ele vai precisar de um usuário para poder fazer a cópia dos arquivos.</p><p><a href="https://docs.aws.amazon.com/pt_br/datasync/latest/userguide/create-smb-location.html">Configurando AWS DataSync transferências de um servidor de arquivos SMB</a></p><p>De acordo com a documentação, o usuário deveria estar no grupo Backup Operators ou Administrator. Acabei não liberando o acesso administrador, mas creio que a inserção nos grupos abaixo já deve servir para a movimentação dos arquivos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/415/1*_DxmxMgvnhRFxTxCJh8Rww.png" /></figure><p>Estou usando uma VM com Ubuntu 20.04, na qual o NFS server já está instalado. Você pode seguir o link abaixo para configurar o NFS Server nele.</p><p><a href="https://www.digitalocean.com/community/tutorials/how-to-set-up-an-nfs-mount-on-ubuntu-20-04-pt">Como configurar uma montagem NFS no Ubuntu 20.04 | DigitalOcean</a></p><p>Vamos acessar o serviço do Datasync.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/882/1*87f1QiKMF30OC7YzHkafhg.png" /><figcaption>Vamos criar o nosso agente</figcaption></figure><p>No meu caso, vou usar a opção do VMware.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/932/1*UaufQqZ8tHbfm1LLDYCDSA.png" /></figure><p>Você faz o download da imagem e a abre em seu virtualizador. É importante se atentar, pois o agente tem certos requisitos.</p><p><a href="https://docs.aws.amazon.com/pt_br/datasync/latest/userguide/agent-requirements.html">AWS DataSyncrequisitos do agente</a></p><p>Vamos criar nosso endpoint para o datasync, e criar também nossa conexão VPN.</p><h4><strong>Criação Site-to-Site VPN</strong></h4><p>Procurem por VPC &gt; Site-to-Site VPN connections.</p><p>Aqui estão três etapas: criação do Customer Gateway (nosso IP público), VPN Gateway e a conexão da VPN em si</p><p>Criação do costumer gateway:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/858/1*Rfawid7WoA2BQWhgZPWA4g.png" /></figure><p>Criação VPG:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*d9ovMT2LFgBPdfdmf1LsYg.png" /><figcaption>Após a criação devemos anexar a VPC</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/1*gpIbh9Fsq8Ib_piNR4sGCA.png" /></figure><p>Criação VPN Connection:</p><p>No meu caso, estou usando uma VM com pfsense para fechar a conexão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/695/1*WKasnKXIaIWpXU68UPHsZA.png" /></figure><p>Nesse ponto, você pode baixar um modelo para configurar a VPN Site-to-Site. Você deve seguir as instruções com base no modelo do seu roteador/gateway.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/469/1*DjY0cA6KCz8wpmiDL7O4BA.png" /></figure><blockquote><strong>Criação de Endpoints para Datasync</strong></blockquote><p>Procurem por VPC &gt; Endpoints &gt; Create Endpoint</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q_MM2BG5pYOTD3KBm9gVKQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OcfUSqTO3z3RCG20yQcE0A.png" /></figure><p>Criei um securitygroup somente para o endpoint do datasync.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*G1BEqw3wGmVvNtMgTPeRfA.png" /></figure><p>O bloco 172.16.1.0/24 é a faixa de endereços da minha rede local que se conectará à VPC através da VPN Site-to-Site.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*I7vzfWBcTUx54W_bezO7oQ.png" /></figure><p>Pronto, agora os endpoints estão sendo criados para a ativação do Datasync. Vamos voltar para a tela de criação do agente do Datasync.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/908/1*wxTH0mW-IwltmwEv2FSIJw.png" /><figcaption>já temos o endpoint e o securitygroup do mesmo</figcaption></figure><p>Vou colocar para obter a chave de ativação manualmente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/872/1*IPL-3CcStcosElo2RNMUnA.png" /></figure><p>Nesse ponto, presumo que a VPN já esteja configurada e permitindo o acesso aos recursos nas subnets privadas da VPC.</p><p>Para testar a conectividade, vocês podem iniciar instâncias que serão usadas neste laboratório e realizar testes de ping nelas.</p><p>Voltando a questão da ativação do agente, o processo é bem simples.</p><p>Ao acessarem a VM com o usuário e senha padrões, basta digitarem ‘0’.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*TgDMMsueQtqezxxGRA1ZfQ.png" /></figure><p>Após isso inserir a region, opção 3, e o ip de um dos endpoints criados.</p><p>Chave de ativação obtida.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/653/1*cHQmAhBzHpL2vZnoYVvN9g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0S4dpmncMHCt4ZqId8gEDQ.png" /></figure><p>Finalizamos a configuração do agente, e, basicamente, a AWS gerencia esse agente para nós. Claro que, caso ocorra algum problema, precisaremos interagir com ele.</p><p><a href="https://docs.aws.amazon.com/pt_br/datasync/latest/userguide/managing-agent.html">https://docs.aws.amazon.com/pt_br/datasync/latest/userguide/managing-agent.html</a></p><blockquote><strong>Criação de bucket S3 e EFS</strong></blockquote><p>Vamos criar nosso bucket S3 que receberá os arquivos, juntamente com o nosso EFS que usaremos para receber os arquivos da VM Linux.</p><p>O bucket S3 receberá os arquivos do file server do Windows Server.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_BCHZSxDdMzdKBw3rU42uA.png" /></figure><p><strong>OBSERVAÇÂO IMPORTANTE:</strong> Não consegui fazer o Datasync migrar os dados do fileserver no Linux para o EFS, então caso venham a seguir esse post para uma tarefa similar, já estão avisados. 😅</p><p>Vamos criar um security group, exclusivo para nosso EFS.</p><p>Segue meu security group:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lsCWVwXPeL7bDjwZWdUXRw.png" /></figure><p>Procurem por EFS e create file system</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/741/1*mX4bLFwfIUln_7Ncs9AQeA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/475/1*GUKOqJRZgq8wZqTadBmyoQ.png" /><figcaption>Customize</figcaption></figure><p>Como é somente um Lab, não precisam de habilitar os backups automáticos, mas na vida real isso é uma boa prática.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/827/1*7Q6RzYDSXo0YpLdrrJpvhA.png" /></figure><p>Também podemos fazer a transição de objetos para classes mais baratas com o uso das lifecycles.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/748/1*rj8cEV_wKLQj60nQTCCxYw.png" /></figure><p>No meu caso estou deixando a criptografia habilitada.</p><p>Podem prosseguir apara a próxima página.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/933/1*2tKuPobSmRFV591cmfwXsQ.png" /></figure><p>Selecionem as subnets privadas e o novo Security Group criado.</p><p>Nesta etapa, conseguimos limitar o acesso ao nosso Elastic File System.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/928/1*jdY7n0YMS-VfVDd26L1Y2w.png" /></figure><p>Mas vamos deixar da forma que está.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qfwx2hn9PEdE7ZBn-2-puQ.png" /><figcaption>EFS criado</figcaption></figure><p>Vamos criar agora nossos locations e nossas tasks</p><blockquote><strong>Criação de locations e tasks</strong></blockquote><p>Nesse ponto, é onde definimos nossa origem e destino para a migração dos dados.</p><p>Observação: Nesse ponto, quando fui criar os locations, visualizei que meu agent estava offline, de acordo com o console AWS mostrava.</p><p>Dentro da VM do Datasync, foi possível realizar alguns testes de conectividade, e todos eles foram bem-sucedidos. Portanto, não sei por que ele estava sendo apresentado como offline.</p><p><a href="https://docs.aws.amazon.com/pt_br/datasync/latest/userguide/local-console-vm.html#enable-support-access">Trabalhando com o console local do seuAWS DataSync agente</a></p><p>Removi o agente e criei um novo, só precisei repetir a etapa de ativação do mesmo. Além disso, atualizei o security group do Datasync para permitir todo o tráfego a partir da minha rede local. Não tenho certeza se faltava alguma porta, então liberei todo o tráfego para minha rede local.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/989/1*0zggbJNfgkF2TxuzGGzTOw.png" /></figure><p>Agora sim, vamos criar os locations e as tasks.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/936/1*wIxnNkeZsJcB3-vzNe8g7A.png" /></figure><p>Fiz um teste de acesso pela minha própria máquina, usando o usuário do Datasync na VM do Windows que possui o Fileserver.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/871/1*MA0tRO1AQNav_lVxyzmOHA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/678/1*4gGEwr566o-5kZ6KZs5Tpw.png" /><figcaption>Location para meu fileserver do Windows</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/666/1*rHk0UuFPW2ux4gdjad_xKA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/1*lv2bL90cu31xhRZ0Uit51A.png" /><figcaption>Location de destino</figcaption></figure><p>Agora temos algumas opções interessantes na configuração da task do Datasync.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/672/1*BDCko66Bnw4_m-1aHSpcUw.png" /></figure><p>Podemos limitar a banda disponível pelo agente, e também opções de verificação de dados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/672/1*bRH94iJkLXTmsP6laNleMg.png" /></figure><p>Aqui, podemos optar por transferir apenas dados que foram alterados, o que é uma excelente opção quando se trata de uma migração com uma grande quantidade de dados e que requer muito tempo.</p><p>Keep deleted files: Isso manterá arquivos no destino, mesmo que tenham sido excluídos na origem.</p><p>Overwrite files: Modifica os dados no destino caso sofram alterações na origem.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/657/1*vNjzKjS4GFCZL_oW3t_SBA.png" /></figure><p>Schedule: Basicamente é sobre agendar horários para execução da task.</p><p>Podemos fazer uma expressão cron para melhor atender aos seus requisitos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/646/1*05P-xbBlEodHRKqJCGXwOQ.png" /></figure><p>E por fim a parte report da task e logging.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/643/1*fsjZWJ6kM26JkgVUNQg8tw.png" /></figure><p>Aqui temos as informações sobre essas opções.</p><ul><li><a href="https://docs.aws.amazon.com/pt_br/datasync/latest/userguide/working-with-tasks.html">Trabalhando com tarefas AWS DataSync de transferência</a></li><li><a href="https://docs.aws.amazon.com/pt_br/datasync/latest/userguide/configure-logging.html">Registrando suas atividades de AWS DataSync tarefas</a></li></ul><p>Task criada, vamos inicia-lá.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*geX8IUCktvG71oIXaqoktA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/953/1*Cb0XkK_PlUI68txF8H52RQ.png" /></figure><p>Observação: A execução demorou 2 minutos pois, eu não tinha atribuído a permissão de modificação na pasta do Administrativo para o usuário do Datasync. Após atualizar, a task rodou sem problemas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/914/1*SeC9bC26LEI_PPtZ-hi4jA.png" /><figcaption>Dados sobre a transferência na task</figcaption></figure><p>Task executada com sucesso, vamos olhar os arquivos no S3.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/887/1*fp6IqiQbSg8mUjlkUxcQyA.png" /></figure><p>Como podemos ver os arquivos foram migrados com sucesso. Vamos ver agora os mesmos no fileserver.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Nv7pTWoA0RnqNQ8yJqQo8Q.png" /></figure><p>Todos os arquivos de texto estão vazios. Vou adicionar algum conteúdo nos textos 01 e 02 e, em seguida, rodar a task novamente para ver o que acontecerá.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/811/1*cXPiIVO-atMDFuSisanw8A.png" /><figcaption>Modificação nos arquivos txt</figcaption></figure><p>Ele disse que transferiu um arquivo apenas</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/929/1*yfuYYOafw_A6rhMYBDNvGQ.png" /></figure><p>Pelo bucket S3, nos mostra que não houve nenhuma alteração nos objetos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/879/1*UshIp1K5dtBb2-Og-DkWxQ.png" /></figure><p>Editei a configuração da task, habilitei o ‘Overwrite files’ para ver se vai mudar algo na execução da task e também alterei o log para termos informações mais detalhadas sobre o que está sendo transferido.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/947/1*frYjLshGVBdpV4r27As9DA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/678/1*i_yEcZ-rzv3xYAOKXJ0Blw.png" /></figure><p>Execução da task finalziada, vejamos os resultados.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/937/1*slK1rl2NYXmbGbfhPGcSmQ.png" /></figure><p>Informa que 3 arquivos foram transferidos.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*q92704mOJ5mQvF1qhDgWqg.png" /></figure><p>Enquanto ele estava rodando, eu cheguei a alterar o arquivo texto01 adicionando outra linha nele.</p><p>Creio que é por isso que contou como 3 arquivos transferidos.</p><pre>LOGS Cloudwatch<br><br>Copy<br>[INFO] Started logging in destination hostId: host-042d772e1b987bdbf for Execution exec-000690618e6b31d95<br>[INFO] Started logging in destination hostId: host-042d772e1b987bdbf for Execution exec-000690618e6b31d95<br><br>2023-09-09T20:13:29.313-03:00<br><br>Copy<br>[INFO] Started logging in destination hostId: host-0a5e407387bca4c01 for Execution exec-000690618e6b31d95<br>[INFO] Started logging in destination hostId: host-0a5e407387bca4c01 for Execution exec-000690618e6b31d95<br><br>2023-09-09T20:13:30.396-03:00<br><br>Copy<br>[INFO] Started logging in destination hostId: host-0aac819bbf8aa61ef for Execution exec-000690618e6b31d95<br>[INFO] Started logging in destination hostId: host-0aac819bbf8aa61ef for Execution exec-000690618e6b31d95<br><br>2023-09-09T20:13:40.170-03:00<br><br>Copy<br>[INFO] Execution exec-000690618e6b31d95 started.<br>[INFO] Execution exec-000690618e6b31d95 started.<br><br>2023-09-09T20:14:02.425-03:00<br><br>Copy<br>[NOTICE] Transferred file /texto02.txt, 9 bytes<br>[NOTICE] Transferred file /texto02.txt, 9 bytes<br><br>2023-09-09T20:14:02.426-03:00<br><br>Copy<br>[WARN] Source /texto01.txt was changed in the middle of the transfer; initial size was 9 but 34 bytes were read<br>[WARN] Source /texto01.txt was changed in the middle of the transfer; initial size was 9 but 34 bytes were read<br><br>2023-09-09T20:14:02.426-03:00<br><br>Copy<br>[NOTICE] Transferred file /texto01.txt, 9 bytes<br>[NOTICE] Transferred file /texto01.txt, 9 bytes<br><br>2023-09-09T20:14:03.703-03:00<br><br>Copy<br>[NOTICE] Transferred directory metadata /<br>[NOTICE] Transferred directory metadata /<br><br>2023-09-09T20:14:07.454-03:00<br><br>Copy<br>[NOTICE] Verified directory /<br>[NOTICE] Verified directory /<br><br>2023-09-09T20:14:07.454-03:00<br><br>Copy<br>[NOTICE] Verified file /texto01.txt, 34 bytes<br>[NOTICE] Verified file /texto01.txt, 34 bytes<br><br>2023-09-09T20:14:07.454-03:00<br><br>Copy<br>[NOTICE] Verified file /texto02.txt, 9 bytes<br>[NOTICE] Verified file /texto02.txt, 9 bytes<br><br>2023-09-09T20:14:09.374-03:00<br><br>Copy<br>[INFO] Execution exec-000690618e6b31d95 finished with status Success.<br>[INFO] Execution exec-000690618e6b31d95 finished with status Success.</pre><p>Como podem ver no log, ele transferiu o texto02.txt e que o arquivo texto01.txt teve uma modificação no meio da transferência de arquivos.</p><p>Perfeito, transferimos os arquivos do Administrativo.</p><p>Agora, criaremos outra task para migrar os dados do Financeiro e da Diretoria.</p><blockquote><strong>task02</strong></blockquote><p>Para configurar esta task que migrará os arquivos de ambas as pastas, será necessário criar outro compartilhamento no meu servidor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/505/1*po22nMtxbE-VPBzwL2P3Qw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*EyzD1vMkz450l7lhc_ZifQ.png" /></figure><p>Como podem ver, essa pasta é a pasta pai das outras. Tentei configurar a task com o caminho ‘/’ e adicionando os padrões (patterns), mas a task não funcionou dessa forma.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/965/1*I_UbPF-PdDwAlcmgFe1oew.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/959/1*kOSHb_bh9qJ8ZJTSJ_OaLA.png" /></figure><p>Vamos confgurar a task da maneira abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/966/1*_D8NlYFzgvbOnPyAc6858w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*ouTZcs8qCt2mr2_8LPSnyw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/1*RznK0C6fku-hoMl2X7Zzaw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/665/1*RrTk5RFh1235sHSK09cdkw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/732/1*j5zvfXBdKonrYuljpjbBRg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*MPyFkN1uwWmcCwhvI3yFRA.png" /></figure><p>Após criado, vamos executar a task.</p><p>Como podem ver, conseguimos configurar por paths, o que também é muito útil caso tenham a necessidade de migrar dados de forma mais granular.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/980/1*c5gQq9YgZvIzT4lXLBdmBg.png" /></figure><p>Vamos ver como ficou o bucket S3.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/926/1*_ZRMyBxIGHlm5ePquS24yg.png" /><figcaption>Criou uma pasta para cada diretório</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/964/1*SxwLtMMHEKs3nLP3a1T8-Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LkiehFpD-0ZoB8BYySNr7A.png" /></figure><pre>Logs Cloudwatch<br>-----------------------------------------------------------------------------------------------------------------------------<br>|   timestamp   |                                                  message                                                  |<br>|---------------|-----------------------------------------------------------------------------------------------------------|<br>| 1694303589020 | [INFO] Request to start task-0839ac6246bc6cbfe.                                                           |<br>| 1694303788320 | [INFO] Started logging in destination hostId: host-01950840c672a5289 for Execution exec-0fabb41769aa430ca |<br>| 1694303789411 | [INFO] Started logging in destination hostId: host-09dae2a3f96c7b460 for Execution exec-0fabb41769aa430ca |<br>| 1694303790487 | [INFO] Started logging in destination hostId: host-0b38061d3225b4672 for Execution exec-0fabb41769aa430ca |<br>| 1694303791555 | [INFO] Started logging in destination hostId: host-0fe9e48ee2c1d922d for Execution exec-0fabb41769aa430ca |<br>| 1694303800357 | [INFO] Execution exec-0fabb41769aa430ca started.                                                          |<br>| 1694303821027 | [NOTICE] Created directory /Financeiro                                                                    |<br>| 1694303821027 | [NOTICE] Created directory /Diretoria                                                                     |<br>| 1694303823484 | [NOTICE] Transferred file /Diretoria/texto01.txt, 0 bytes                                                 |<br>| 1694303823484 | [NOTICE] Transferred file /Diretoria/texto03.txt, 0 bytes                                                 |<br>| 1694303823485 | [NOTICE] Transferred file /Financeiro/texto02.txt, 0 bytes                                                |<br>| 1694303823485 | [NOTICE] Transferred file /Financeiro/financeiro02.jpg, 6453 bytes                                        |<br>| 1694303823485 | [NOTICE] Transferred file /Diretoria/texto02.txt, 0 bytes                                                 |<br>| 1694303823487 | [NOTICE] Transferred file /Financeiro/financeiro03.jpg, 12898 bytes                                       |<br>| 1694303823487 | [NOTICE] Transferred file /Financeiro/texto01.txt, 0 bytes                                                |<br>| 1694303823487 | [NOTICE] Transferred file /Financeiro/texto03.txt, 0 bytes                                                |<br>| 1694303823505 | [NOTICE] Transferred file /Diretoria/diretoria02.jpg, 7275 bytes                                          |<br>| 1694303823505 | [NOTICE] Transferred file /Diretoria/diretoria01.jpg, 11880 bytes                                         |<br>| 1694303823506 | [NOTICE] Transferred file /Financeiro/financeiro01.jpg, 10894 bytes                                       |<br>| 1694303823511 | [NOTICE] Transferred file /Diretoria/diretoria03.jpg, 2844 bytes                                          |<br>| 1694303825222 | [NOTICE] Transferred directory metadata /Financeiro                                                       |<br>| 1694303825222 | [NOTICE] Transferred directory metadata /Diretoria                                                        |<br>| 1694303825223 | [NOTICE] Transferred directory metadata /                                                                 |<br>| 1694303830148 | [NOTICE] Verified directory /                                                                             |<br>| 1694303830148 | [NOTICE] Verified file /Diretoria/diretoria01.jpg, 11880 bytes                                            |<br>| 1694303830148 | [NOTICE] Verified file /Diretoria/diretoria02.jpg, 7275 bytes                                             |<br>| 1694303830148 | [NOTICE] Verified file /Diretoria/diretoria03.jpg, 2844 bytes                                             |<br>| 1694303830148 | [NOTICE] Verified file /Diretoria/texto01.txt, 0 bytes                                                    |<br>| 1694303830148 | [NOTICE] Verified file /Diretoria/texto02.txt, 0 bytes                                                    |<br>| 1694303830148 | [NOTICE] Verified file /Diretoria/texto03.txt, 0 bytes                                                    |<br>| 1694303830148 | [NOTICE] Verified file /Financeiro/financeiro01.jpg, 10894 bytes                                          |<br>| 1694303830148 | [NOTICE] Verified file /Financeiro/financeiro02.jpg, 6453 bytes                                           |<br>| 1694303830148 | [NOTICE] Verified file /Financeiro/financeiro03.jpg, 12898 bytes                                          |<br>| 1694303830148 | [NOTICE] Verified file /Financeiro/texto01.txt, 0 bytes                                                   |<br>| 1694303830148 | [NOTICE] Verified file /Financeiro/texto02.txt, 0 bytes                                                   |<br>| 1694303830148 | [NOTICE] Verified file /Financeiro/texto03.txt, 0 bytes                                                   |<br>| 1694303831742 | [INFO] Execution exec-0fabb41769aa430ca finished with status Success.                                     |<br>-----------------------------------------------------------------------------------------------------------------------------</pre><p>Perfeito, agora para podermos finalizar, vamos migrar os dados do nosso NFS Server no Ubuntu.</p><blockquote><strong>Migrar arquivos NFS Server</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/731/1*hdUelNMToDutyKayaDxE0w.png" /><figcaption>IP do servidor NFS</figcaption></figure><p>Meu /etc/exports</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/731/1*T_2oIPgypzeXpMraeO7r-Q.png" /></figure><p>Vamos criar uma nova task, vou criar somente para o /var/nfs/marketing.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/610/1*nOwtxTrDfXRvr3YGoI95wQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/648/1*_fwH6FjgKpsoesC6hCjz2g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*_2pJFk0sjfLWOYKOgym6Qg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XfM9IQDllLT93spVCZGv_g.png" /></figure><p>Após a criação da task, caso a executemos, vamos receber o seguinte erro.</p><p>Task failed to access location loc-04b24950a9521aff0: x40016: Could not mount subdirectory /marketing on host 10.0.10.24. Please verify that the subdirectory exists and is properly exported in /etc/exports</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FWoF3yfYupTt8mHc7va%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fgiphy.com%2Fgifs%2Fmad-arthur-fist-WoF3yfYupTt8mHc7va&amp;image=https%3A%2F%2Fmedia2.giphy.com%2Fmedia%2Fv1.Y2lkPTc5MGI3NjExZ3JhZ3RiemJuMmN1MXY4dG12NjFmM2I2bXNxMjAzeTR4dTE4dWhnYSZlcD12MV9pbnRlcm5hbF9naWZfYnlfaWQmY3Q9Zw%2FWoF3yfYupTt8mHc7va%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="290" frameborder="0" scrolling="no"><a href="https://medium.com/media/828101a149d8feecf7153917d4f35d3f/href">https://medium.com/media/828101a149d8feecf7153917d4f35d3f/href</a></iframe><p>É um erro no meu EFS, creio que o datasync não possui permissão para acessar o mesmo.</p><p>Criei outra task, mudando somente o location de destino para / ao inves de /marketing. Agora com outro erro.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*qQAbuFaPkQVBPMdLvSnFfQ.png" /></figure><p>Bem, passei mais algumas horas tentando, criando outros sistemas de arquivos elásticos, com criptografia, sem criptografia, com política no sistema de arquivos e nada. O pior é que ao iniciar uma tarefa, ela demora cerca de 10 minutos(ou mais)no estado de lançamento/preparação e só depois aparece a mensagem de erro.</p><p>Realmente não sei por que isso está ocorrendo.”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/876/1*hXJEb7vp-UTD9Apybbc_mA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/720/1*3PHlWYsWEOpsrjuklV4fHA.png" /><figcaption>Teste de conexão com sucesso pelo agent</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*WVlD_vRp6WpAVgYTtVTzyQ.png" /></figure><p>Nesse tempo, revisei a documentação da AWS</p><p>Tem uma pergunta sobre o mesmo problema no stackoverflow mas sem respostas…</p><p><a href="https://stackoverflow.com/questions/74565874/aws-datasync-agent-ran-into-an-error-connecting-to-aws">AWS DataSync agent ran into an error connecting to AWS</a></p><p>No erro acima que postei a imagem, fala sobre erro nos requisitos de rede.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/1*8evzxOfjixcbaSW7t1te3Q.png" /></figure><p>Mas é ai que está rsrs.</p><p>Os requisitos de rede estão ok.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qQktj6BvvTiGt_msaI5OsQ.png" /></figure><p>Bom pessoal, não consegui fazer funcionar com o EFS como destino, infelizmente!</p><p>Ainda assim, criei outras duas tarefas para mover os arquivos dos pontos de montagem /mnt/docs e /mnt/marketing, ambos para outro bucket S3.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8dUfzkyEO7H9ommi4C-Rhg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/945/1*2bKPyfHuB6qmhbf9xtnFLQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/955/1*GUpPztx7diiz_PiZ_JPOkw.png" /></figure><blockquote><strong>Considerações finais</strong></blockquote><p>Pesquisei na internet e procurei por vídeos no YouTube. Estranhamente, os vídeos que encontrei eram principalmente sobre migração do On-Premises para o S3 e do S3 para o EFS, e vice-versa, mas não exatamente o que eu estava procurando.</p><p>Realmente, fiquei decepcionado por não ter funcionado com o EFS, configurei várias tasks fazendo testes e nenhuma funcionou. 😥</p><p>Mas pelo menos consegui mostrar o funcionamento do Datasync, vamos ver qual vai ser o próximo Lab 😁, enquanto isso, vou ver se troco uma figurinha com alguns veteranos que já tenham fito esse tipo de migração mais recentemente, para ver se descubro qual foi o problema desse EFS.</p><p>Por hoje é isso, até a próxima!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1910d04e93e3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Usando a ferramenta VM Import/Export da AWS.]]></title>
            <link>https://medium.com/@marcosdanielsantos/usando-a-ferramenta-vm-import-export-da-aws-ec75a9d6d863?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/ec75a9d6d863</guid>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[vmware]]></category>
            <category><![CDATA[ami]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Fri, 08 Sep 2023 12:11:39 GMT</pubDate>
            <atom:updated>2023-09-08T12:11:39.343Z</atom:updated>
            <content:encoded><![CDATA[<p>Boa tarde pessoal, tudo bem?</p><p>Hoje venho compartilhar com vocês como vocês podem usar a ferramenta VM Import/Export da AWS. Com ela, basicamente é possível pegar a imagem de uma máquina virtual e importá-la para sua conta da AWS.</p><h3>O que é VM Import/Export?</h3><p><a href="https://docs.aws.amazon.com/pt_br/vm-import/latest/userguide/vm-import-ug.pdf#what-is-vmimport"><strong>PDF</strong></a></p><p>O VM Import/Export permite que você importe imagens de máquina virtual (VM) do seu ambiente de virtualização existente para o Amazon EC2 e, em seguida, exporte-as de volta. Isso permite que você migre aplicativos e cargas de trabalho para o Amazon EC2, copie o seu catálogo de imagens de VM para o Amazon EC2 ou crie um repositório de imagens de VM para backup e recuperação de desastres.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vc3D2VBagVeG8_fpCVOzuA.png" /><figcaption><strong>Arquitetura</strong></figcaption></figure><p>Antes de tudo, é importante verificar os pré-requisitos para poder realizar essa importação.</p><p><a href="https://docs.aws.amazon.com/pt_br/vm-import/latest/userguide/prerequisites.html">Requisitos do sistema</a></p><blockquote><strong>Vamos começar o nosso laboratório.</strong></blockquote><p>Vamos criar dois buckets, um para as imagens exportadas e outro para as imagens dos discos. Procurem pelo serviço do S3 e cliquem em ‘create bucket’.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jl0mbXu2xzF2MKcr1cYxLA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/856/1*X6rb6G6Q9F3JCwFDOdJLtA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/801/1*CcEcHc9uvqa-e1sO0FDn7A.png" /></figure><p>Podem deixar as opções padrões na criação dos buckets.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f137ii9HdoEohYQjHz0Ipg.png" /></figure><p>Vamos criar uma função de serviço que permitirá à VM import/export assumir essa função e, assim, ter todas as permissões que serão incluídas nessa função específica.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/877/1*_m5fJqGVsxElhqFwBqOwjw.png" /></figure><p>Custom trust policy e anexem o json abaixo:</p><pre>{<br>   &quot;Version&quot;: &quot;2012-10-17&quot;,<br>   &quot;Statement&quot;: [<br>      {<br>         &quot;Effect&quot;: &quot;Allow&quot;,<br>         &quot;Principal&quot;: { &quot;Service&quot;: &quot;vmie.amazonaws.com&quot; },<br>         &quot;Action&quot;: &quot;sts:AssumeRole&quot;,<br>         &quot;Condition&quot;: {<br>            &quot;StringEquals&quot;:{<br>               &quot;sts:Externalid&quot;: &quot;vmimport&quot;<br>            }<br>         }<br>      }<br>   ]<br>}</pre><p>Agora, devemos adicionar uma permissão a essa função. Portanto, vamos criar uma nova política chamada ‘vmimport’.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/760/1*iJfv2H5-8f-XYYu4G67WfA.png" /></figure><p>Vamos mudar para JSON e colocar a policy abaixo com alguns ajustes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/877/1*kngk3iBPnp7cBbqIDrYcVQ.png" /></figure><pre>{<br>   &quot;Version&quot;:&quot;2012-10-17&quot;,<br>   &quot;Statement&quot;:[<br>      {<br>         &quot;Effect&quot;: &quot;Allow&quot;,<br>         &quot;Action&quot;: [<br>            &quot;s3:GetBucketLocation&quot;,<br>            &quot;s3:GetObject&quot;,<br>            &quot;s3:ListBucket&quot; <br>         ],<br>         &quot;Resource&quot;: [<br>            &quot;arn:aws:s3:::imagensdediscos-marcossantos&quot;,<br>            &quot;arn:aws:s3:::imagensdediscos-marcossantos/*&quot;<br>         ]<br>      },<br>      {<br>         &quot;Effect&quot;: &quot;Allow&quot;,<br>         &quot;Action&quot;: [<br>            &quot;s3:GetBucketLocation&quot;,<br>            &quot;s3:GetObject&quot;,<br>            &quot;s3:ListBucket&quot;,<br>            &quot;s3:PutObject&quot;,<br>            &quot;s3:GetBucketAcl&quot;<br>         ],<br>         &quot;Resource&quot;: [<br>            &quot;arn:aws:s3:::export-images-marcossantos&quot;,<br>            &quot;arn:aws:s3:::export-images-marcossantos/*&quot;<br>         ]<br>      },<br>      {<br>         &quot;Effect&quot;: &quot;Allow&quot;,<br>         &quot;Action&quot;: [<br>            &quot;ec2:ModifySnapshotAttribute&quot;,<br>            &quot;ec2:CopySnapshot&quot;,<br>            &quot;ec2:RegisterImage&quot;,<br>            &quot;ec2:Describe*&quot;<br>         ],<br>         &quot;Resource&quot;: &quot;*&quot;<br>      },<br>      {<br>         &quot;Effect&quot;: &quot;Allow&quot;,<br>         &quot;Action&quot;: [<br>            &quot;kms:CreateGrant&quot;,<br>            &quot;kms:Decrypt&quot;,<br>            &quot;kms:DescribeKey&quot;,<br>            &quot;kms:Encrypt&quot;,<br>            &quot;kms:GenerateDataKey*&quot;,<br>            &quot;kms:ReEncrypt*&quot;<br>        ],<br>        &quot;Resource&quot;: &quot;*&quot;<br>      }<br>   ]<br>}</pre><p>Observação: substituam os ARNs pelos respectivos buckets criados por vocês. Observação 2: No meu caso, estarei usando uma chave do KMS que eu criei para fornecer criptografia em repouso.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/769/1*Jg9nnGY3ri0jOBfF9MVioA.png" /></figure><p>Agora que criei a policy ‘vmimport’, vamos adicioná-la à função que estávamos criando.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kOSzGFGAhZGfOGMF73P4lA.png" /></figure><p>Cliquem no botão do refresh e depois pesquisem o nome da policy criada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/735/1*Fh_samz1lg4NUvyzfZnBPQ.png" /><figcaption>Atenção com essa condição pois ele vai assumir somente a role com o nome vmimport, se você criar a role com outro nome, deve-se alterar o nome na condição.</figcaption></figure><p>Prossigam com a criação da função (role).</p><p>Observação: Criem-na com o nome ‘vmimport’, conforme solicitado na documentação. Como você pode ver, acabei criando com o nome errado e tive que criar a função novamente</p><blockquote><strong>Verifiquem a configuração necessária para exportar uma VM</strong></blockquote><p>No link abaixo tem informações sobre configurações necessárias para fazer o export de uma vm.</p><p><a href="https://docs.aws.amazon.com/pt_br/vm-import/latest/userguide/prepare-vm-image.html">https://docs.aws.amazon.com/pt_br/vm-import/latest/userguide/prepare-vm-image.html</a></p><p>No meu caso, estou usando uma imagem de Windows10, portanto, habilitei o acesso remoto no mesmo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/404/1*0LuClsebu-PuBDdQd7mJ5g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cB5WSqCORx6H2hI5MCzV4g.png" /><figcaption>Minha área de trabalho da vm Win10</figcaption></figure><p>Como podem ver, não há muita coisa nele. Instalei 3 programas e criei um arquivo na área de trabalho para averiguar se vão ser mantidos ao criar a instância na AWS.</p><blockquote><strong>Importar a VM para o Bucket S3</strong></blockquote><p>Devemos carregar nossos arquivos para o bucket S3.</p><p>No meu caso, essa imagem do Windows está dividida em múltiplas partes.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/725/1*D9PHhRlBFJrbyCbLAWEvnQ.png" /></figure><p>Vocês podem fazer o upload diretamente pelo console ou pelo AWS CLI.</p><p><a href="https://docs.aws.amazon.com/cli/latest/reference/s3/cp.html">https://docs.aws.amazon.com/cli/latest/reference/s3/cp.html</a></p><p>Vamos seguir com as instruções do link abaixo:</p><p><a href="https://docs.aws.amazon.com/pt_br/vm-import/latest/userguide/vmimport-image-import.html">Importar uma VM como uma imagem usando o VM Import Import/Export</a></p><p>Criei um arquivo chamado discos.json na minha área de trabalho. E nele tem o seguinte conteúdo.</p><pre>[<br>    {<br>      &quot;Description&quot;: &quot;First disk&quot;,<br>      &quot;Format&quot;: &quot;vmdk&quot;,<br>      &quot;UserBucket&quot;: {<br>          &quot;S3Bucket&quot;: &quot;imagensdediscos-marcossantos&quot;,<br>          &quot;S3Key&quot;: &quot;Windows 10 x64.vmdk&quot;<br>      }<br>    },          <br>    {<br>      &quot;Description&quot;: &quot;Second disk&quot;,<br>      &quot;Format&quot;: &quot;vmdk&quot;,<br>      &quot;UserBucket&quot;: {<br>          &quot;S3Bucket&quot;: &quot;imagensdediscos-marcossantos&quot;,<br>          &quot;S3Key&quot;: &quot;Windows 10 x64-s014.vmdk&quot;<br>      }<br>    },<br>    {<br>      &quot;Description&quot;: &quot;Second disk&quot;,<br>      &quot;Format&quot;: &quot;vmdk&quot;,<br>      &quot;UserBucket&quot;: {<br>          &quot;S3Bucket&quot;: &quot;imagensdediscos-marcossantos&quot;,<br>          &quot;S3Key&quot;: &quot;Windows 10 x64-s013.vmdk&quot;<br>      }<br>    }<br>]</pre><p>Basicamente, criei essa estrutura com todas as VMDKs que eu tinha, deixei parte do código aqui apenas como exemplo. Fui executar o comando e tive um erro, pois acabei criando a função com o nome errado. Rs.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mTDSXrRAodTlhtjUDUKMKw.png" /></figure><p>Olhando novamente pela documentação é explicitamente necessário a criação com o nome vmimport.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1016/1*7-w_pVuVE_IpDUwu0NxZSw.png" /></figure><p>Executando novamente o comando eis a saída:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EDA0DjqtUrGAo1r6i8_hfA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/266/1*91HnNWS2AsgKPjHlqVN23w.png" /></figure><p>Agora, para verificar o status dessa importação, devemos usar o comando abaixo, substituindo pela AMI que está sendo gerada.</p><pre>aws ec2 describe-import-image-tasks --import-task-ids import-ami-054a71962b1870e1a&quot;</pre><p>Eu tive o seguinte erro:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/848/1*S7MX7kKRfl-51pxkIYSHQA.png" /></figure><p>Por algum motivo, deu erro de formato não suportado.</p><p>Erro no cloudtrail:</p><p>“errorCode”: “Client.DryRunOperation”,<br> “errorMessage”: “Request would have succeeded, but DryRun flag is set.”,</p><p>Pelo que vi, não é erro de permissões.</p><p>E pesquisando no Google, não achei nada que ajudasse na resolução desse problema. Para resolver essa questão, acabei criando uma conta na VMware e fiz o download da ferramenta deles para converter o arquivo VMX para OVA, que é um formato suportado pela ferramenta de importação/exportação da VM.</p><p>Vocês podem fazer o download da ferramenta aqui.</p><p><a href="https://developer.vmware.com/web/tool/4.4.0/ovf">https://developer.vmware.com/web/tool/4.4.0/ovf</a></p><p>Conversão completada</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/823/1*YR6qjz6KXA8P5C-DGSHFJQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/556/1*Sv-Sqpff8pr99m2_mtk5TA.png" /></figure><p>Vamos fazer o upload do arquivo para o bucket s3.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/1*Zr2DoEPRk5azTOJCdNdPHw.png" /></figure><p>Após completar o upload do arquivo (o que levou algumas horas), criei outro arquivo JSON que será usado no comando do EC2 import-image.</p><pre>[<br>    {<br>      &quot;Description&quot;: &quot;Windows10 Disk&quot;,<br>      &quot;Format&quot;: &quot;ova&quot;,<br>      &quot;UserBucket&quot;: {<br>          &quot;S3Bucket&quot;: &quot;imagensdediscos-marcossantos&quot;,<br>          &quot;S3Key&quot;: &quot;Windows10.ova&quot;<br>      }<br>    }<br>]</pre><pre>#Comando para fazer o import<br>#Podem ignorar o atributo --encrypted e --kms-key-id <br>aws ec2 import-image --description &quot;My server disks&quot; --encrypted --kms-key-id 96bb7d40-16f3-41ea-a0c9-42f0b689dd85 --disk-containers &quot;file://C:\Users\marcos\Desktop\import-disk.json&quot;</pre><p>Dessa vez está funcionando o import</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/984/1*y6S5wFB87cXtO_wLEkGrhg.png" /></figure><p>O mesmo vai atualizando o StatusMessage.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/940/1*7IQmisNxjCyHiSTT2l5D_Q.png" /></figure><p>Importação da imagem completada.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/978/1*NFCwiE8g_0EWyMbyTzfUxw.png" /></figure><p>Agora já conseguimos visualizar a AMI na nossa conta.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*R23m3XgZo2syP3qxDzxVlQ.png" /></figure><blockquote>Vamos criar nossa instância a partir dela.</blockquote><p>Cliquem em Launch instance from AMI</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/866/1*Gc5rUcAALuVeQdfYxJL9yg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*xDJxg2IWARMrVPSz7HjWHw.png" /></figure><p>Para esse cenário, estarei lançando a instância na subnet pública para qe eu possa acessá-la.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/869/1*8KxRqFuud_6TxhVmzFa5MA.png" /></figure><p>Observação: Minha VM tinha apenas 20GB sendo utilizados; no entanto, o disco C dela tinha 30GB livres. Podemos ver que ele pegou esses 30GB e criou o disco EBS com esse tamanho total do disco sendo os 50GB.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/330/1*7A5_7yxRMb_lrhGPTpBtYg.png" /></figure><p>Opa, minha instância já está rodando.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/901/1*_JxvbkjuvBgbG4SVJir1Fw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SzTqr7lQ3SsbH3ZqtMmuqA.png" /><figcaption>Disco EBS Criptografado com a chave KMS.</figcaption></figure><p>Consegui conectar na instância usando o usuário Admin, que é o mesmo usuário criado no momento da instalação da VM na minha máquina.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aZJqwWMSeWW6A7CY1_qcyQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/995/1*9CwqVwC6lULRTwSnS1AQqQ.png" /><figcaption>Captura de tela instância Windows 10 na AWS.</figcaption></figure><p>É isso pessoal, tive algumas dificuldades em relação ao formato, tive que converter o xmx para ova, ai foi necessário a instalação do programa da Vmware, uma mão na roda!</p><blockquote><strong>Considerações finais</strong></blockquote><h4>Tempo de execução do trabalho</h4><p>Demorou pouco mais de uma hora para fazer o import, que é o que gera a AMI a ser usada. Também levou bastante tempo para fazer o upload do arquivo OVA de 20GB para o bucket S3 e para realizar a conversão.</p><p>Depois, vou explorar outras formas de fazer a migração na AWS, essa pode ser considerada uma migração do tipo ‘Re-host’</p><p>‘A migração do tipo “re-host” é um processo de migração de sistemas ou aplicativos de um ambiente de hospedagem ou infraestrutura existente para outro ambiente sem fazer alterações significativas no código ou na funcionalidade da aplicação. Esse tipo de migração é muitas vezes chamado de “lift-and-shift”, pois envolve essencialmente levantar (ou copiar) a aplicação de um ambiente e colocá-la em outro, sem realizar modificações profundas.’</p><p>Por fim, achei bem bacana esse lab, já que é um tipo de serviço/operação que nunca realizei. Bom, por enquanto é isso.</p><p>Até a próxima!</p><p>Para quem quer acompanhar por meio de um vídeo, encontrei este vídeo fazendo os mesmos passos que eu fiz, exceto pela parte de conversão do VMDK para OVA.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FqPjTvKkr1cI%3Ffeature%3Doembed&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DqPjTvKkr1cI&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FqPjTvKkr1cI%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/7cc3995f8037714b474612ef093f7490/href">https://medium.com/media/7cc3995f8037714b474612ef093f7490/href</a></iframe><p>E o link abaixo para uso da ferramenta de conversão, é bem simples!</p><p><a href="https://www.youtube.com/watch?v=3uBTGUTrOfM">https://www.youtube.com/watch?v=3uBTGUTrOfM</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ec75a9d6d863" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Como conectar seu Active Directory on-premises com a AWS utilizando o AD Connector]]></title>
            <link>https://medium.com/@marcosdanielsantos/como-conectar-seu-active-directory-on-premises-com-a-aws-utilizando-o-ad-connector-36c5fa67cab8?source=rss-14e8ad885adc------2</link>
            <guid isPermaLink="false">https://medium.com/p/36c5fa67cab8</guid>
            <category><![CDATA[sso]]></category>
            <category><![CDATA[federated-identity]]></category>
            <category><![CDATA[arquitetura]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[Marcos Daniel Santos]]></dc:creator>
            <pubDate>Sun, 02 Jul 2023 21:31:30 GMT</pubDate>
            <atom:updated>2023-07-02T21:31:30.133Z</atom:updated>
            <content:encoded><![CDATA[<p>Bom dia pessoal, tudo bem?</p><p>Hoje venho trazer um cenário semelhante ao anterior na qual vamos usar o AD Connector para poder usar as credenciais dos nossos usuários On-Premises em aplicativos na AWS e também fazer o login federado nas contas.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DAfIwjQv0jNkjgoX_IwCpA.png" /><figcaption>Arquitetura desse cenário.</figcaption></figure><p>Segue pré-requisitos para usar o AD Connector.</p><p><a href="https://docs.aws.amazon.com/pt_br/directoryservice/latest/admin-guide/prereq_connector.html">Pré-requisitos do AD Connector</a></p><p>Vou estar aproveitando minha VM do Pfsense usada no outro lab para poder fechar outra VPN Site-to-Site com a AWS, como no último lab mostrei como poderiam fazer a conexão vou estar apenas deixando os links de referência nesse post.</p><p><a href="https://www.youtube.com/watch?v=ajblvp5Rr6M">https://www.youtube.com/watch?v=ajblvp5Rr6M</a></p><p>VPN estabelecida:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bmlXvjvfQqT_L6etqOABcA.png" /></figure><p>Vamos testar a conectividade com recursos na AWS, para esse teste criei duas instâncias, uma Linux e outra Windows.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/918/1*F1zaKCr_i7lF2f7j9l72ng.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/617/1*Jb3fKGVco9UTgDdFUNl0Mg.png" /><figcaption>Teste de icmp</figcaption></figure><p>O icmp para o Windows não está funcionando, mas é coisa do Windows Defender Firewall dele que está bloqueando, fazendo o acesso via protocolo RDP o mesmo funcionou perfeitamente.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/606/1*PwIK58QvftTP74-UVObCqA.png" /></figure><p>Bom agora vamos criar nosso AD Connector na AWS.</p><p>Informações do processo de criação do AD Connector abaixo:</p><p><a href="https://docs.aws.amazon.com/pt_br/directoryservice/latest/admin-guide/create_ad_connector.html">https://docs.aws.amazon.com/pt_br/directoryservice/latest/admin-guide/create_ad_connector.html</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/840/1*VTq10LesXjus4rXWEWsJMQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/789/1*Kw4LM3bpqT65VHt__fi4_g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/804/1*OgPImzLl5KrpTFn0u0LVkg.png" /><figcaption>Escolhi as subnets privadas</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/808/1*5XmS8tmhti20kM-0-itQ_A.png" /></figure><p>Nessa etapa de connect to AD devemos informar o nosso domínio existente no On-Premises, dns server ip e a conta de serviço que vai ser usada pelo AD Connector.</p><blockquote><strong>Processo de delegação de controle</strong></blockquote><p>Segue link com as informações abaixo:</p><p><a href="https://docs.aws.amazon.com/pt_br/directoryservice/latest/admin-guide/prereq_connector.html#connect_delegate_privileges">https://docs.aws.amazon.com/pt_br/directoryservice/latest/admin-guide/prereq_connector.html#connect_delegate_privileges</a></p><p>No AD local vamos criar um usuário, no meu caso chamado adconnector, e vamos delegar controle ao mesmo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/708/1*cPw_lldUrZETKMeWkEFI4w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/493/1*16pRvNfG7LeU5a01u31ogQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/489/1*es6ug40e02JHztwHP7wDcw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/503/1*I3WxvGv3KhpnKo4clyTUZQ.png" /></figure><p>Delegação de controle finalizada.</p><p>Agora vamos finalizar a criação do nosso AD Connector.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/659/1*aVMEexNBXMTh9i4wCPrPaA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/785/1*IvqPwuhORIGY0gIvx2DKqg.png" /></figure><p>O meu directory na AWS não conseguiu se comunicar com o meu AD no On-premises, vai ser necessário liberar as portas do LDAP e Kerberos no firewall.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/921/1*5cDacPQgpYCHs9pj_agQUA.png" /></figure><p>Fiz uma verificação e as portas para comunicação estão liberadas para conexão a partir da rede da VPC.</p><p>Exclui meu directory criado e criei um novo, assim que criei o novo directory na AWS fui e fiz os ajustes no securitygroup que as interfaces de rede do AD Connector estão incluidas.</p><p>Liberei all traffic para os CIDR local da VPC e do On-premises.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/969/1*BZ8n3fz-kpNq8n980VuyEQ.png" /><figcaption>Regras sg AD Connector</figcaption></figure><p>Após isso e aguardando a finalização da criação do AD Connector, o mesmo agora foi criado com sucesso.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/904/1*MiJ1rT702U1uoolPxzhyxA.png" /></figure><blockquote><strong>Ajustes no directory na AWS e AWS Identity Center</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/884/1*JzTy6z6nVAM4SqERnxpPoA.png" /><figcaption>Habilitado o acesso ao console</figcaption></figure><p>Vamos criar nossa URL de acesso para logon único.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/892/1*ZbKzTRQm6CT9_DVM48_R_Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/892/1*0vqLeQ_onT22fRe-gvK5JQ.png" /></figure><p>Perfeito, agora vamos criar uma role liberando o acesso ao EC2FullAccess para 2 de nossos usuários do AD local.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ASbq5RaO_AF_oAa4RjJv2g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/724/1*x_YfRETNOiZBYn5luvnnWg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/1*Hyu0Fcnb8JLMDBGm2-wHPQ.png" /></figure><p>Ao criar essa role, ela vai aparecer no nosso directory na AWS na parte do AWS Management Console.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/910/1*ziByO2E9ZDky55l_lPu-ZA.png" /></figure><p>Legal que também mostra as outras criadas no outro lab.</p><p>Vamos clicar nessa Role criada e adicionar algum usuário do On-premises.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/990/1*ANspRppShJw97g-8BjeBCw.png" /></figure><p>Nesse caso, vou adicionar o Celio e o João.</p><p>Usuários adicionados, agora é hora de testar o acesso ao console.</p><p>Vou pegar o link abaixo e testar o acesso.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/872/1*nMovKOm3nK4GOOuyWM4gxg.png" /></figure><p>Ao inserir seu usuário e senha vai conseguir logar no console sem menores problemas conforme imagem abaixo:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*q2hOrGg4n5Fx_uypi26Dag.png" /></figure><p>Se eu tentar criar um banco de dados, não vai funcionar, pois não possuo esse tipo de permissão.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/881/1*RLGD3PTZjYtqgUfhGhKRLA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/767/1*W7DCWRMmZVFMKP_UNMMSOA.png" /><figcaption>Podemos ver nossa EC2 executando na AWS.</figcaption></figure><p>Bom, esse foi o login via console. Temos o login também pelo link do SSO, que é o que tentei fazer no último lab e não funcionou, nesse lab em questão funcionou, então fiquei feliz com isso. Tomem o meme do gato dançante rs.</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FtN3qmAzTrX4&amp;display_name=YouTube&amp;url=https%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DtN3qmAzTrX4&amp;image=http%3A%2F%2Fi.ytimg.com%2Fvi%2FtN3qmAzTrX4%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/1d80ae032524287c495b7eb921080d4f/href">https://medium.com/media/1d80ae032524287c495b7eb921080d4f/href</a></iframe><p>Para que eu pudesse fazer o login via portal do SSO, tive que alterar algumas coisas no Identity Center.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/937/1*KxKy-u_YBL6vHCKrTuofLA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/939/1*EgKvkSlM8VQX_YDGTm5AUg.png" /></figure><p>Com as opções acima, assim que o usuário autenticar, será solicitado que configure o MFA. Outra coisa que devo fazer também é o sync dos usuários locais com o SSO.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/945/1*lmxiFLBdVsrGp-0sOJEvnA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/944/1*Dy1N5T8KtWCg5T8FIzG9xA.png" /></figure><p>No meu caso, já adicionei o usuário do Celio, vou mostrar como fazer usando o usuário do João.</p><p>Clique em “Add users and groups”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/937/1*PE24RP2N8V8CbdZKnaNqkg.png" /></figure><p>Pesquise o usuário desejado e adicione-o, depois de um tempo, ele vai aparecer como um usuário do seu SSO. No momento em que tento logar com o usuário do João pelo link do portal do SSO, ele aparece para mim como usuário no SSO.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/941/1*1gdlY4KCGqijz7Q3exSi3A.png" /></figure><p>Ao tentar autenticar, será solicitado que eu cadastre o MFA para ele.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/552/1*FvcRTlwkR3uMeLrYYaWSdQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/719/1*4MsV0N2ojyb3hQ_3WFqcDg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/694/1*hrHB3MHj5QMZH1Dhj7LCSQ.png" /></figure><p>Ao logar no portal, não vai aparecer nada para o mesmo, pois como a autenticação se dá pelo AWS SSO, a liberação de acesso se dá por meio dos permission sets e as contas nas quais ele vai precisar acessar. O SSO é para isso, único login para várias contas.</p><p>Como possuo somente uma conta, vou liberar o acesso para ela.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*U42sqOZMg_39ScZo9zLupA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/745/1*rTTiTYH4FuE0RzDFtvt-8Q.png" /></figure><p>Entro na conta e adiciono o usuário e a permission set.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/684/1*_EBzlnCx1axUyNWVq1m5yw.png" /></figure><p>Para o João, vou atribuir apenas a permissionset de ReadOnlyAccess.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/685/1*xvzrnNtVn0G5aIxsLGFngg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/636/1*zpOqx7SKRqR1E6vpCsQ12g.png" /></figure><p>Agora, para finalizar, vou atualizar a página e já vai aparecer a conta para eu acessar com o permission set indicado.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UN5h6oO8jK7uVwF844qSMA.png" /></figure><p>Infelizmente, acho que fiquei feliz demais à toa rs.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/578/1*ufB0OJvotx-Z7spz4ESEiw.png" /></figure><p>Ao tentar acessar a conta, dá esse erro, não achei esse erro na documentação oficial da AWS, nem encontrei nada no Stack Overflow, é muito estranho isso, pois me autentico com usuário, senha e MFA, nesse ponto do processo, o acesso ao console deveria funcionar.</p><p>Estava verificando os eventos no Cloudtrail.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/659/1*cnqU1RZfIavKoIOLZvIyWw.png" /></figure><p>Mas é um erro que para mim não faz sentido…</p><p>Após um bom tempo pesquisando, encontrei a informação no link abaixo:</p><p><a href="https://repost.aws/pt/questions/QU2cQ7kmJlRHae_TWzq5KzOg/giving-user-access-to-aws-console-via-identity-center">https://repost.aws/pt/questions/QU2cQ7kmJlRHae_TWzq5KzOg/giving-user-access-to-aws-console-via-identity-center</a></p><p>Ao verificar os parâmetros do usuário no SSO, vejo que o username dele está setado para o que seria o e-mail dele, apesar de que nos atributos está sendo o userprincipalname.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/926/1*quzqNIsIt5JKPYusjgprjA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/927/1*GwifeO7lH7mjxeyZtrRBww.png" /></figure><p>Adicionei o e-mail no campo de e-mail.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/410/1*afUkjwslyKIVLnaT9ZrmLQ.png" /></figure><p>Fui no SSO e coloquei para sincronizar os usuários novamente.</p><p>E o login foi feito com sucesso. Presumo que foi esse o problema quando tentei autenticar no SSO no lab anterior, mas como não da nenhum erro específico, fica difícil imaginar o que possa ser.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4lsOVARdd3bGcdNAc0rzeA.png" /></figure><p>Devido ao tempo que fiquei tentando resolver o problema acabei matando a instância, a fim de economizar um pouco.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/823/1*y_e5sKUNYarq2XgmjO8PNg.png" /></figure><p>E para validar, o mesmo está somente com ReadOnly, então não consigo provisionar nenhum recurso.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nu_Gwu7Cnctw6r685i0Fbw.png" /></figure><p>Agora que já fizemos os testes, devemos limpar o ambiente.</p><blockquote><strong>Limpando o ambiente</strong></blockquote><p>Primeiro devemos remover o usuário da role no directory services.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/867/1*3WuEu7YlIVEJWJflwoeYDw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/946/1*vZYPB0v6Qepo5ZrX-CGUKA.png" /></figure><p>Após isso, desabilitar o acesso ao console.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/899/1*9Of86XUD4X2smoak7IjS-g.png" /></figure><p>Agora, já no AWS SSO, devemos remover o Directory como provedor de identidade do SSO.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/950/1*LGBZ0efYFONunNVu3N2_Jw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/942/1*njP8u8HR7oUKDWsW2KqiYA.png" /></figure><p>Agora, já podemos excluir o directory do AD Connector.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/898/1*VjhYK5lcITqKD4SzscY2eA.png" /></figure><p>E, por fim, eliminar nossa conexão VPN Site-to-Site.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/801/1*9RdO1vNYwQGW9XeMx4VzEQ.png" /></figure><p>Por hoje é isso, até a próxima pessoal!</p><p><a href="https://aws.amazon.com/pt/blogs/aws-brasil/integrando-o-aws-directory-service-com-o-aws-console-ad-connector/">Integrando o AWS Directory Service com o AWS Console - AD Connector | Amazon Web Services</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=36c5fa67cab8" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>