<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Daniel Nam on Medium]]></title>
        <description><![CDATA[Stories by Daniel Nam on Medium]]></description>
        <link>https://medium.com/@naming0617?source=rss-ab9c676880ba------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*Q-kF79D6Kn0S3O5CnY8MFw.png</url>
            <title>Stories by Daniel Nam on Medium</title>
            <link>https://medium.com/@naming0617?source=rss-ab9c676880ba------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 23:08:37 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@naming0617/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[DevOps 엔지니어의 GitOps 도입기]]></title>
            <link>https://medium.com/platform-runbook/devops-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EC%9D%98-gitops-%EB%8F%84%EC%9E%85%EA%B8%B0-f815ed73a0c1?source=rss-ab9c676880ba------2</link>
            <guid isPermaLink="false">https://medium.com/p/f815ed73a0c1</guid>
            <category><![CDATA[gitops]]></category>
            <category><![CDATA[argo-cd]]></category>
            <category><![CDATA[devops]]></category>
            <dc:creator><![CDATA[Daniel Nam]]></dc:creator>
            <pubDate>Tue, 24 Mar 2026 12:29:41 GMT</pubDate>
            <atom:updated>2026-05-14T23:59:01.258Z</atom:updated>
            <content:encoded><![CDATA[<h3>왜 GitOps가 필요했을까?</h3><blockquote>EKS 환경에서 Spinnaker로 Helm 차트와 manifest를 관리하다 보니, 배포 이력 추적과 운영 효율에 한계를 느꼈습니다. 비슷한 고민을 하고 있는 분들께 GitOps 전환 경험을 공유합니다.</blockquote><p>EKS 환경에서 다양한 오픈소스와 yaml 파일을 관리하다 보면, 운영 측면에서 혼란이 생기기 마련입니다. 특히 파이프라인을 거치지 않고 로컬 환경에서 직접 수정 배포가 이뤄지거나 또는 Spinnaker와 같은 UI 상에서 배포 상태는 확인할 수 있었으나, manifest나 Helm values의 변경 이력이 Git 기반으로 관리되지 않아 누가 언제 어떤 설정을 변경했는지 추적이 어려웠습니다.</p><p>따라서 점차 Github를 통한 EKS 형상관리 필요성이 증가되었고, 기존에 Spinnaker에서 아쉬웠던 부분을 보완하고자 했습니다. Spinnaker의 경우 앞서 말했듯 웹 UI를 통해 파이프라인을 관리 할 수 있다는 점에서 편리했으나 이력관리와 유지보수 편리성 측면에서는 아쉬웠습니다. 구체적으로 신규 서비스의 Helm 차트를 도입해야 할 경우 크게 3가지 작업들이 이뤄져야 했습니다.</p><ol><li>신규 서비스 Helm 차트를 내부 설정에 추가하여 Spinnaker 서비스를 재배포 합니다.</li><li>helm 차트에 추가해야 할 custom values는 따로 Bitbucket Repository에서 관리합니다.</li><li>최종 배포 과정은 Spinnaker Web UI에서 진행합니다.</li></ol><p>이처럼 하나의 새로운 서비스 배포를 위해 “Halyard → Bitbucket → Spinnaker UI” 3곳에 각각 접근해야 했고, 이 과정에서 비효율은 팀원 전체의 운영 부담으로 이어졌습니다.</p><blockquote><em>EKS에 배포된 리소스를 통합 관리하고, 배포 파이프라인을 손쉽게 사용 할 수 있는 방법은 없을까? 좀 더 손쉽게 서비스를 배포 관리 할 수 있는 운영 환경을 제공 할 수 없을까?</em></blockquote><p>이러한 질문으로 DevOps 엔지니어로서 GitOps를 적용한 후기를 공유드리고자 합니다.</p><h3>GitOps란?</h3><p>GitOps란 실제 환경과 Git에 선언된 상태가 항상 일치하도록 자동화하는 운영 방식입니다. IaC가 인프라를 코드로 선언하듯, <strong>GitOps는 서비스와 EKS 리소스의 상태를 Git으로 선언</strong>합니다. 이를 구현하는 배포 방식은 Push / Pull 2가지 타입이 존재합니다.</p><h3>배포 전략 방안 Push / Pull</h3><p>DevOps에서 운영하는 서비스는 크게 2가지 분류가 있습니다. 자체 개발 중인 서비스와 Helm 차트(ex. Karpenter / Clickhouse / Datadog …)를 통해 오픈소스를 도입하는 2가지의 케이스로 분류될 수 있습니다. 첫번째 자체 개발 중인 서비스의 경우 코드를 수정 및 배포하며 완전히 커스텀하게 관리 할 수 있는 부분이고, 두번째 오픈소스인 경우에는 custom value만 수정하여 원하는 형상으로 서비스가 배포될 수 있게끔 관리하는게 주요 관심사항 입니다.</p><p>따라서 자체 서비스 개발의 경우 Bitbucket Repository &amp; Pipeline(서비스) / ECR / Bitbucket Repository(sre-chart) 3가지 구성요소가 필요하며, 오픈소스를 이용한 helm chart 배포의 경우 Bitbucket Repository(sre-chart)로 리소스 전개가 가능합니다.</p><p>각 서비스별로 전개 방식은 GitOps의 Push / Pull 방식을 도입하게 되었습니다.</p><h3>서비스 배포 : Push Type</h3><p>서비스 애플리케이션은 Bitbucket 또는 Github 파이프라인에서 CI/CD를 수행합니다. 작업 과정 중 Build된 서비스 이미지는 2) ECR로 Push되고, 변경사항은 3) Helm Chart에 업데이트(image.yaml 파일의 이미지 버전 최신화) 됨으로써 신규 버전의 서비스 배포 준비가 끝나게 됩니다.</p><p>이러한 배포 방식의 장점으로는 파이프라인에서 빌드와 배포가 모두 이뤄져 실제 사용자 입장에서는 EKS에 반영된 결과를 즉각적으로 확인 할 수 있다는 점입니다. 파이프라인 작업이 정상적으로 완료된 경우 실제 EKS에서 신규 서비스 배포가 완료되었다는 것을 의미하기에 개발자는 더이상 배포를 위한 추가 작업이 필요하지 않습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Gn4AuO9QLSljiDt7vUeNrg.png" /></figure><h3>오픈소스 : Pull Type</h3><p>반면 오픈소스의 경우 이미 helm chart가 존재하기 때문에 커스텀한 manifest 수정만 필요할 뿐, 직접적인 코드 수정이나 이미지 빌드 작업이 필요하지 않습니다. 즉, helm chart의 버전 및 values.yaml 파일만 적용할 수 있도록 환경을 구성하는 것이 핵심입니다.</p><p>따라서 기존 Push Type과 달리, EKS 환경 내에 존재하는 Operator가 Git Repository의 변경 사항을 지속적으로 감시(observe)하고 스스로 배포를 수행하는 <strong>Pull Type</strong>으로 구성하였습니다. 이러한 구성 덕분에 manifest 수정만으로도 서비스 배포까지 모두 이뤄질 수 있습니다.</p><p>기존 Push 타입의 경우 파이프라인에서 설정해야 할 것이 많았으나, Pull 타입으로 전환하면서 별도의 파이프라인을 추가할 필요 없이 Git Commit &amp; Push만으로 모든 작업을 반영할 수 있게 되었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TJdVOAF71ONJalLEulMkvQ.png" /></figure><p>이러한 방식은 기존에 사용했던 Spinnaker와 다르게 많은 장점을 갖고 있습니다. 신규 helm 차트를 도입하게 될 경우 Spinnaker에서는 다음 5단계가 필요했습니다.</p><ol><li>Halyard에 신규 Helm Chart 추가</li><li>hal deploy apply 실행</li><li>Spinnaker UI에서 추가 설정</li><li>Bitbucket에서 manifest 수정</li><li>Spinnaker UI를 통해 배포</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DbSmNXsbvKI7-84GKu-hZg.png" /></figure><p>반면 GitOps Pull 방식에서는 3단계로 줄어듭니다.</p><ol><li>단일 Repository에서 설정 파일 작성</li><li>변경사항을 Git Push 합니다</li><li>자동적으로 EKS에 반영된 것을 확인합니다.</li></ol><p>구체적인 파일 구조와 작성 방법은 아래 ‘ArgoCD 운영전략 &gt; 신규 addon 추가 방법’에서 다룹니다.</p><h3>ArgoCD 운영전략</h3><p>ArgoCD를 도입하면서 멀티 클러스터 환경에서 addon과 manifest를 체계적으로 관리할 수 있게 되었습니다. 핵심은 ApplicationSet의 Matrix Generator를 활용해 하나의 정의로 여러 클러스터에 동시 배포하는 구조입니다.</p><h3>ApplicationSet으로 배포 자동화</h3><p>ArgoCD에서 Application을 하나하나 수동으로 생성하는 것은 클러스터가 늘어날수록 비효율적입니다. 이를 해결하기 위해 ApplicationSet(이하 AppSet)을 활용하여 하나의 정의만으로 여러 클러스터에 자동으로 Application을 생성하도록 구성하였습니다.</p><p>sre-chart Repository에서 관리하는 리소스는 크게 2가지 유형으로 나뉘며, 각 유형에 맞는 AppSet을 정의해 자동 배포합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zuW974CHWEMyrb0dvYlr9g.png" /></figure><h3>Matrix Generator로 멀티 클러스터 배포</h3><p>AppSet의 핵심은 Matrix Generator입니다. “클러스터 목록 × Git 파일 목록”을 조합하여 클러스터마다 필요한 Application을 자동 생성합니다.</p><p>아래는 addon AppSet의 Generator 구조입니다.</p><pre># ApplicationSet Generator 구조 (addon 기준)<br>generators:<br>  - matrix:<br>      generators:<br>        - matrix:<br>            generators:<br>              - clusters: {}                              # ArgoCD에 등록된 클러스터 목록<br>              - git:<br>                  files:<br>                    - path: dev/addon/*/*/argocd.yaml     # addon 디렉토리의 설정 파일<br>        - list:<br>            elements:<br>              - appEnabled: &#39;{{ country 필터링 로직 }}&#39;      # country annotation 기반 필터</pre><p>이 Generator가 동작하면 ArgoCD에 등록된 각 클러스터와 addon 디렉토리의 파일을 조합하여 다음과 같은 Application이 자동으로 생성됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*Ztpt3R15mu3DzBACJjsxwA.png" /></figure><p>Application 이름은 {country}-{addon명} 패턴으로 자동 생성되기에 어떤 클러스터에 어떤 addon이 배포되어 있는지 ArgoCD UI에서 직관적으로 확인 할 수 있습니다.</p><h3>addon 디렉토리 구조</h3><p>각 addon은 argocd.yaml과 values.yaml 두 파일로 구성됩니다. 클러스터별로 다른 설정이 필요한 경우 values-{country}.yaml을 추가하면 자동으로 오버라이드 됩니다.</p><pre>addon/karpenter/karpenter/<br>├── argocd.yaml      ← 어떤 Helm 차트를 사용할지 정의<br>├── values.yaml      ← 기본 Helm values<br>└── values-kr.yaml   ← 클러스터별 오버라이드 (선택)</pre><p>아래는 실제 Karpenter addon의 argocd.yaml 파일입니다.</p><pre># argocd.yaml — 외부 Helm 차트 참조 정보<br>appName: karpenter<br>namespace: karpenter<br>chartRepo: public.ecr.aws/karpenter<br>chartName: karpenter<br>chartVersion: &quot;1.7.4&quot;</pre><h3>manifests 디렉토리 구조</h3><p>addon과 달리 manifests는 Helm 차트가 아닌 plain YAML 파일을 직접 관리합니다. NodePool, StorageClass, TargetGroupBinding 등 Kubernetes 리소스를 YAML 형태 그대로 배치하면 ArgoCD가 해당 디렉토리를 감시하여 자동으로 반영합니다.</p><pre>manifests/<br>├── karpenter-nodepool/          ← NodePool, EC2NodeClass 정의<br>│   ├── nodepool-api.yaml<br>│   ├── nodepool-mgt.yaml<br>│   └── ec2nodeclass-api.yaml<br>├── storage/                     ← StorageClass 정의<br>│   ├── storageclass-clickhouse.yaml<br>│   └── storageclass-gp3.yaml<br>└── targetgroupbinding/          ← ALB TargetGroupBinding<br>    ├── argocd-ingress.yaml<br>    └── clickhouse-ingress.yaml</pre><p>manifests AppSet은 디렉토리 단위로 동작하기에, 새로운 YAML 파일을 디렉토리에 추가하고 Git Push하면 자동으로 클러스터에 반영됩니다.</p><h3>자동 동기화 정책</h3><p>Git Push 후 ArgoCD가 자동으로 클러스터에 반영 할 수 있도록 설정했습니다. 누군가 kubectl로 클러스터를 직접 수정하더라도 Git에 정의된 상태로 자동 복구되기에, 앞서 언급했던 형상 관리 문제를 근본적으로 해결 할 수 있습니다.</p><pre># 자동 동기화 정책<br>syncPolicy:<br>  automated:<br>    prune: true      # Git에서 삭제된 리소스는 클러스터에서도 삭제<br>    selfHeal: true   # 클러스터 상태가 Git과 다르면 자동 복구<br>  syncOptions:<br>    - CreateNamespace=true    # 네임스페이스가 없으면 자동 생성<br>    - ServerSideApply=true    # 대형 CRD 리소스 처리를 위해 서버 사이드 적용</pre><p>추가적으로 AppSet 레벨에서는 preserveResourcesOnDeletion: true를 설정하여, AppSet 자체를 삭제하더라도 이미 배포된 Kubernetes 리소스는 보존되도록 안전장치를 두었습니다. 이를 통해 AppSet 설정을 변경하거나 재생성하는 과정에서 운영 중인 서비스가 영향받지 않도록 보호합니다.</p><h3>신규 addon 추가 방법</h3><p>지금까지 설명한 구조 덕분에 신규 addon을 추가하는 과정이 매우 간결해졌습니다. Pull Type에서 설명한 3단계를 실제로 적용하는 방법입니다.</p><ol><li>addon/{namespace}/{서비스명}/ 디렉토리를 생성하고 argocd.yaml에 Helm 차트 정보를, values.yaml에 커스텀 설정을 작성합니다.</li></ol><pre># argocd.yaml<br>appName: aws-load-balancer-controller<br>namespace: kube-system<br>chartRepo: &lt;https://aws.github.io/eks-charts&gt;<br>chartName: aws-load-balancer-controller<br>chartVersion: &quot;1.17.1&quot;</pre><pre># values.yaml<br>clusterName: eks-cluster<br>serviceAccount:<br>  annotations:<br>    eks.amazonaws.com/role-arn: arn:aws:iam::***:role/aws-load-balancer-controller</pre><p>2. 변경사항을 Git Push 합니다.</p><p>3. ArgoCD가 변경을 감지하여 자동으로 해당 클러스터에 배포합니다.</p><p>멀티 클러스터 환경이더라도 추가 작업은 필요하지 않습니다. AppSet의 Matrix Generator가 등록된 모든 클러스터에 자동으로 Application을 생성하기 때문입니다.</p><blockquote><em>디렉토리 생성 → 파일 작성 → Git Push. 3단계만으로 멀티 클러스터 환경에 서비스를 배포 할 수 있습니다.</em></blockquote><h3>마무리</h3><p>GitOps를 도입하면서 EKS 운영 방식이 크게 변화했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DeLCyP-4Y3rThgGZl9wC9Q.png" /></figure><p>가장 크게 체감한 변화는 팀원 누구나 동일한 방식으로 서비스를 배포할 수 있게 되었다는 점입니다. 이전에는 Spinnaker UI의 조작 방법이나 Halyard 설정을 알아야 했지만, 지금은 YAML 파일을 작성하고 Git Push하는 것만으로 충분합니다. 이를 통해 신규 Helm 차트의 배포 테스트 속도가 빨라졌고, 개발 생산성 또한 높아졌습니다.</p><p>한편, 개선해야 할 부분도 남아 있습니다. Secret 값이 외부에서 변경될 때 ArgoCD가 이를 Out of Sync로 인식하는 문제나, 파이프라인 이슈 발생 시 알람 정책을 어떻게 적용할지 등 세부적인 운영 설정을 보완할 계획입니다.</p><p>GitOps는 단순한 도구 전환을 넘어, 운영 문화와 개발 생산성 향상의 전환점이 되었습니다.</p><h3>Reference</h3><ul><li><a href="https://www.samsungsds.com/kr/insights/gitops.html">https://www.samsungsds.com/kr/insights/gitops.html</a></li><li><a href="https://www.atlassian.com/ko/git/tutorials/gitops">https://www.atlassian.com/ko/git/tutorials/gitops</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f815ed73a0c1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/platform-runbook/devops-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EC%9D%98-gitops-%EB%8F%84%EC%9E%85%EA%B8%B0-f815ed73a0c1">DevOps 엔지니어의 GitOps 도입기</a> was originally published in <a href="https://medium.com/platform-runbook">Platform Runbook</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI에 진심인 AWS, re:Invent 현장후기]]></title>
            <link>https://medium.com/spoontech/2025-aws-re-invent-ai-%EB%8C%80%EA%B2%A9%EB%8F%99-%EC%8B%9C%EB%8C%80-2496cd24ed0d?source=rss-ab9c676880ba------2</link>
            <guid isPermaLink="false">https://medium.com/p/2496cd24ed0d</guid>
            <category><![CDATA[tech]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[spoonlabs]]></category>
            <category><![CDATA[reinvent]]></category>
            <dc:creator><![CDATA[Daniel Nam]]></dc:creator>
            <pubDate>Tue, 16 Dec 2025 20:13:17 GMT</pubDate>
            <atom:updated>2026-01-12T03:18:03.633Z</atom:updated>
            <content:encoded><![CDATA[<p>안녕하세요.</p><p>SpoonLabs SRE팀에서 DevOps 엔지니어로 일하고 있는 Daniel(남태윤)입니다. 이번에 회사에서 좋은 기회를 주셔서 <strong>2025 AWS re:Invent</strong>를 다녀올 수 있었는데요.</p><p>결론부터 말씀드리면, 개발자라면 꼭 한번은 가봐야 할 행사라고 생각합니다. 전 세계 개발자 6만 명이 모인다는게 어떤 느낌인지 직접 경험하니, 글로벌 스케일이 무엇인지 체감할 수 있었습니다.</p><p>AI 관련 발표가 쏟아졌고, 개인적으로는 DevOps 관점에서 에이전트 도구들이 가장 인상 깊었습니다. 그 이야기를 하나씩 풀어보겠습니다.</p><h3>라스베가스 첫인상</h3><p>긴 비행 끝에 라스베가스에 도착했을 때는 솔직히 모두 녹초 상태였습니다. &quot;숙소 도착하면 바로 자야지” 생각했는데, 야경을 보고 마음이 바뀌었습니다.</p><p>낮에 보면 평범한 도시었으나, 밤에는 완전히 다른 세계더라고요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eUDN1PzouxjyYm4RsBL63w.png" /></figure><p>도착 당일 <strong>Beer Peak</strong>라는 곳에서 맥주 한 잔 하면서 분수쇼를 구경했는데요. 아직도 첫날 분위기와 야경은 잊을 수가 없습니다. 분수 야경을 보기엔 여기가 제일 좋았던 것 같습니다. 다만 가격은… 맥주 값에 야경 값이 많~이 포함되어 있기에 다음에 가실 분들도 부디 야경을 충분히 즐기셔야 할 것 같습니다. 😨 그래도 첫날 기념으로 좋은 추억을 만들 수 있었습니다.</p><h3>Opening Keynote</h3><p>다음 날부터 본격적으로 re:Invent가 시작됐습니다. 오프닝 키노트는 첫날이 아닌 둘째 날부터 시작했는데요. 전 세계 개발자들이 한 공간에 모여 새로운 기술 발표를 기다리는 모습을 보니, 진짜 글로벌 스케일이구나 싶었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-Eyy7QS-ZUqLUA5ESnNaBg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j67ctcNzXBxCS1KNXWAsKA.png" /></figure><p>이번 키노트는 거의 AI 관련 서비스 특집이었습니다. 가장 인상 깊었던 내용을 중점으로 하나씩 정리해보겠습니다.</p><h4>AI 인프라 확장</h4><p>첫번째 발표는 AI 인프라 이야기였습니다. 요즘 TPS는 Transaction Per Second보다 <strong>Token Per Second</strong>로 더 많이 쓰이는 것 같습니다. ChatGPT, Claude 같은 생성형 AI가 등장하면서 “1초에 토큰을 얼마나 생성하느냐”가 중요해진 거죠.</p><p>이런 트렌드에 맞춰 AWS에서 신규 기능을 선보였습니다.</p><ul><li><strong>NVIDIA</strong> 기반 신규 EC2 인스턴스</li><li><strong>AI Factories</strong> : 고객 데이터센터에 AWS가 AI 인프라를 완전 관리형으로 제공</li></ul><p>어딜가나 AI하면 NVIDIA 항상 따라오는 것 같은데요. AWS에서도 역시나 NVIDIA의 새로운 신규 인스턴스 타입을 대대적으로 홍보하고 EXPO에서도 부스가 위치해 있는 것을 보면서 새삼 트렌드를 다시 한번 느낄 수 있었습니다.</p><p>AI Factories의 경우 규제나 데이터 이슈로 클라우드를 못 쓰는 기업들이 있는데, 이런 곳에서 클라우드의 편리함을 온프레미스에서 누릴 수 있는 서비스를 출시했습니다. 비용적인 측면도 고려해야 하겠으나 앞으로 얼마나 더 많은 기업들이 채택할지 기대됩니다.</p><h4>Bedrock에 모델 대거 추가</h4><p><strong>Amazon Bedrock</strong>에 18개 신규 모델이 추가됐습니다. Google, OpenAI, Mistral, NVIDIA, Qwen 등 업체의 최신 모델들이 포함되어 라인업이 상당히 다양해졌습니다. 그중에서도 가장 주목받은 건 AWS 자체 모델인 <strong>Amazon Nova 2</strong>입니다.</p><p>종류도 다양하고, 가격 대비 성능이 업계 최고 수준이라고 합니다. 솔직히 실제 성능은 직접 써봐야 알겠지만, 가격 측면에서는 확실히 메리트가 있어 보였습니다.</p><p>앞으로 점점 더 <strong>Bedrock 사용 비중이 늘어나는 만큼 간단한 일상 질의는 Nova가 실행하고 복잡한 분석은 타 모델을 사용</strong>한다면 비용 최적화가 가능하지 않을까 싶습니다.</p><h4>Agent 도구 출시</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_hvpDkY9CL8ypGYyV5y3ig.png" /></figure><p>개인적으로 <strong>이번 발표에서 가장 눈이 갔던 파트</strong>입니다. AWS가 이번에 공개한 에이전트들입니다</p><ul><li><strong>Kiro</strong> (자율형 에이전트)</li><li><strong>Security Agent</strong></li><li><strong>DevOps Agent</strong></li></ul><p>여기서 AWS에서는 <strong>프론티어 에이전트(Frontier Agent)</strong>라는 개념이 추가 되었는데요.</p><blockquote><em>“목표를 스스로 이해하고 달성하는 자율형 AI 에이전트”</em></blockquote><p>해당 개념이 일반 GPT나 Gemini와 다른 점은 단순 질의응답 수준이 아니라, 프로젝트 중심으로 <strong>팀원처럼 같이 일할 수 있다</strong>는 점입니다.</p><p>발표를 보면서 그럼 DevOps 엔지니어는 이제 필요 없는거 아닐까? 라고 생각들었습니다만, 저와 같은 고민을 하신 분들이 벌써 Medium에 많은 글들을 올려주셨더라고요. 솔직히 말하면 진짜 그 정도 퍼포먼스가 나올지는 직접 써봐야 알 것 같습니다. 현재 Virginia 리전에서만 PoC로 사용 가능하다고 하여 테스트 해보고 있는데요. 다음 기회에 후기를 남겨보겠습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SqqeOX4WAsWS33yA2xQxfg.jpeg" /></figure><p>이외에도 여러 서비스가 새롭게 출시됐습니다. Database Saving Plan, S3 Vector DB 등 다양한 신규 기능이 발표 되었는데요. 다만, 이런 기능들은 비중 있게 다뤄지진 않았습니다. 발표자가 10분 안에 무려 25개 서비스를 소개하는 이벤트가 있었을 정도로, 정말 간략하게 기능만 훑고 넘어갔습니다.</p><p>그만큼 지금 AWS가 AI에 얼마나 집중하고 있는지를 보여주려는 의도가 아니었나 싶습니다.</p><h3>Session 영어 울렁증 시작</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CGCuu14AM4zoy1MnRB52Cw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5cCcNcZ0NNEbXA4kh2YEiQ.png" /></figure><p>모든게 다 영어인 세션… 내용을 다 이해 할 수 있을까?</p><p>그런데 막상 세션장에 들어가보니, 저뿐만 아니라 세계 모든 사람들이 비슷하게 어려워하는 것 같더라고요. 발표자가 중간중간 재밌는 농담을 던지지만 몇몇 사람만 웃을 뿐, 대부분의 사람들은 이해하지 못하고 몹시 진지한 표정으로 발표 화면만 응시하고 있었습니다. 저 또한 그 중 한명이었기에 조금은 위안이 되었습니다.</p><p>다행히 요즘은 여러 앱 또는 서비스를 통해 어느 정도 극복할 수 있는 방법들이 많습니다.</p><p><strong>세션 발표의 경우</strong>, 클로바 노트 또는 Notion을 이용해 녹음했고, 세션 종료 후 텍스트로 변환된 내용을 읽으면서 놓쳤던 부분들을 이해 할 수 있었습니다. 다행인건 대부분의 세션이 며칠 후 AWS 공식 채널에 업로드되기 때문에, 현장에서 완벽하게 이해하지 못했더라도 나중에 자막과 함께 다시 볼 수 있다는 점이 위안이 되었습니다.</p><p><strong>Hands-On 세션의 경우</strong>는 오히려 언어 장벽이 덜했습니다. 직접 화면을 보면서 따라 하는 실습 위주라서, 발표자의 말을 100% 이해하지 못하더라도 화면에 표시되는 단계별 가이드와 실제 AWS 콘솔 조작을 보면서 충분히 따라갈 수 있었습니다. (Hands-On의 경우 영상으로도 제공되지 않기 때문에 개인적으로 좀 더 많이 신청했으면 하는 아쉬움이 있습니다)</p><h3>re:Invent 꿀팁 &amp; 그 외 이야기</h3><p>다음에 가실 분들을 위해 몇 가지 팁을 남겨봅니다.</p><h4>세션 예약은 미리, 그리고 많이</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IqPPlijaxSX013O1_tBP2Q.png" /></figure><p><strong>AWS Events 앱</strong>을 통해 세션 정보를 미리 확인하고 동시간 대 최대한 많이 예약하는 걸 추천드립니다. 또는 예약 이외에도 참여하지 못했을 때 여러 대안들을 생각해야 하는데요. 인기 있는 주제의 경우 현장에서 기다려도 입장하지 못하는 경우가 발생합니다. 따라서 해당 시간대의 대안 세션들을 알고 있어야 re:Invent를 좀 더 알차게 즐기실 수 있습니다.</p><h4>Hands-On 세션 주의사항</h4><p>Hands-On 세션은 <strong>정해진 시간에만 입장</strong>할 수 있습니다. 다른 세션의 경우 발표 및 토론이기 때문에 예정된 시간보다 조금 늦게 가더라도 참여할 수 있습니다. 하지만 Hands-On의 경우 늦으면 입장 자체가 불가능해서 내용을 볼 수조차 없습니다. 시간 맞춰서 가시길 강력 추천드립니다.</p><h4>식사는 AWS가 챙겨줍니다</h4><p>아침과 점심은 걱정하지 않으셔도 됩니다. AWS가 제공합니다.<br>다만, 각 호텔별로 음식 메뉴와 퀄리티가 조금 다릅니다.</p><p>개인적으로는 이동 동선과 식사 퀄리티를 생각했을 때 <strong>CESARS Forum</strong>이 가장 좋았습니다. 다음에 가실 분들은 한번 참고해보셔도 좋을 것 같습니다.</p><h4>라스베가스 러닝 코스</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1009/1*NTp5tJlx2_0LGwPscTdlsA.png" /></figure><p>일정 마지막 날 Las Vegas를 러닝 해볼 수 있었는데요.🏃<br>숙소에서 출발해 Las Vegas 전광판이 있는 곳까지 달리면서 풍경과 경치를 온전히 즐길 수 있었습니다. 참고로 코스 목적지인 Las Vegas 전광판 앞에 엘비스 프레슬리 코스프레 아저씨를 만나실 수 있는데요. 주저하지 말고 사진 찍어달라고 요청하셔도 됩니다. 무료로 커플이나 개인을 재밌게 사진 찍어주시더라고요.</p><p>또한, 비록 참여는 못했지만 AWS에서 주관하는 5k 러닝 스케쥴도 있으니 다음에 가실 분들은 참고해 보셔도 좋을것 같습니다. 😀</p><h3>새로운 동기부여</h3><p>처음 가본 re:Invent는 기대 이상이었습니다. 규모도 규모지만, 다양한 세션과 많은 개발자들이 기술에 대한 열정이 대단하다고 느껴졌습니다. 시니어 인도 개발자는 문제를 해결하기 위해 자리에서 필기구를 꺼내 설명하고 Expo에서 만난 Resolve AI 서비스 개발자는 필요한 기능은 2주만에 만들어 줄 수 있다라는 자신감을 보여줬습니다.</p><p>이런 열정을 직접 보고 나니, 저도 다시 한번 자극을 받게 되었는데요. 다시 일상으로 돌아와, SpoonLabs 일원으로서 어떻게 기여할 수 있을지 고민하며 한 걸음 더 나아가보려 합니다.</p><p>SpoonLabs 화이팅!💪🏻</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2496cd24ed0d" width="1" height="1" alt=""><hr><p><a href="https://medium.com/spoontech/2025-aws-re-invent-ai-%EB%8C%80%EA%B2%A9%EB%8F%99-%EC%8B%9C%EB%8C%80-2496cd24ed0d">AI에 진심인 AWS, re:Invent 현장후기</a> was originally published in <a href="https://medium.com/spoontech">SpoonLabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AWS SSM Run Command를 활용한 보안 취약점 자동화하기]]></title>
            <link>https://medium.com/spoontech/aws-ssm-run-command%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-%EB%B3%B4%EC%95%88-%EC%B7%A8%EC%95%BD%EC%A0%90-%EC%9E%90%EB%8F%99%ED%99%94%ED%95%98%EA%B8%B0-14b7678b26e7?source=rss-ab9c676880ba------2</link>
            <guid isPermaLink="false">https://medium.com/p/14b7678b26e7</guid>
            <category><![CDATA[devops]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[tech]]></category>
            <dc:creator><![CDATA[Daniel Nam]]></dc:creator>
            <pubDate>Wed, 07 Aug 2024 05:43:29 GMT</pubDate>
            <atom:updated>2024-08-12T23:28:15.711Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MQHq-bEqRQ5EozTsSNpS8Q.jpeg" /></figure><p>안녕하세요. 스푼라디오 SRE 팀에서 DevOps 업무를 담당하고 있는 Daniel(남태윤)입니다.</p><p>현재 스푼라디오는 고객의 데이터와 서버 보안을 안전하게 관리하고자 여러 심사 및 인증 절차를 받고 있습니다. 그중 서버 보안 점검은 <strong>Multi Account &amp; Multi Region인 사내 클라우드 환경에서 500여 개가 넘는 인스턴스</strong>의 다양한 정보를 확인 및 관리해야 한다는 요구사항이 있습니다.</p><p>이를 위해 매년 보안팀에서 전달해준 보안 점검 스크립트를 실행하고 결과물을 공유 함으로써 업무를 완료했습니다. 단순 반복 업무를 매년 실행하는 것은 비효율적이며, 보안팀에서 필요한 결과물을 즉각적으로 확인 할 수 없다는 한계를 극복하고자 보안 점검 자동화를 고민하게 되었습니다. 해당 업무를 자동화 함으로써 궁극적으로 이루고자 하는 목표는 아래와 같습니다.</p><ul><li>스크립트 수행을 자동화 함으로써 업무의 효율성을 높인다.</li><li>스크립트 수행 결과를 하나의 폴더에서 통합 관리한다.</li><li>보안팀 자체적으로 언제든지 서버 점검을 실행 할 수 있도록 제공한다. 이를 통해 업무 프로세스를 효율화 시킨다.</li></ul><p>위의 목표를 기반으로 현재 사내에서 사용하고 있는 AWX와 AWS SSM Run Command를 검토하게 되었고, 목표를 달성하기 위한 적절한 Tool은 무엇일지 고민하게 되었습니다.</p><h3>AWX를 활용한 보안 점검</h3><p>스푼라디오는 ArgoCD, Spinnaker, Jenkins 등 다양한 파이프라인 도구를 활용하여 개발자 분들이 안정적이고 신속하게 서비스를 배포하고 있습니다. 이중 AWX는 Jenkins와 함께 연동되어 인스턴스의 서비스 Configuration을 구성 해주고 있습니다. [ <a href="https://medium.com/spoontech/jenkins%EC%99%80-awx%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%9C-ci-cd-%ED%8C%8C%EC%9D%B4%ED%94%84%EB%9D%BC%EC%9D%B8-%EA%B5%AC%EC%B6%95-5d5f897f3257">Link</a> ]</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/973/1*X0DSftgLjiy7VY_B0Kq6AQ.jpeg" /></figure><p>위와 같이 AWX는 특정 인스턴스에 접속하여 원하는 작업을 실행시킬 수 있습니다. 인스턴스 Tag 정보 기반으로 보안 점검 대상 서버들을 필터링 할 수 있으며, Ansible을 통해 스크립트를 수행하고 결과물을 S3에 업로드 할 수 있습니다.</p><p>하지만, 사용자 측면에서 다소 아쉬운 점이 존재합니다. Jenkins를 이용해 배포하고 있는 만큼, 일부 사용자 분들도 AWX 사용여부를 모를 때가 있습니다. 또한 범용적으로 AWX를 사용 하기에는 UI가 다소 불편합니다.</p><ul><li>비개발자 입장에서 사용자 친화적인 UI 제공 X.</li><li>직관적으로 작업 수행 결과를 파악하기 어려움.</li></ul><p>AWX를 활용해 자동화 했을 경우 이미 사내에서 사용하고 있는 만큼 초기 셋팅 비용은 발생하지 않습니다. 그러나 앞서 언급한 목표 중 하나인 <strong>보안팀에서 필요할때 언제든지 서버 점검을 실행</strong>하기 위해서는 보다 손쉽게 사용 할 수 있어야 합니다.</p><p>AWX의 경우 스크립트 수행 결과를 로그 정보로만 확인 할 수 있고, 이마저도 인스턴스 IP 정보로만 확인 가능합니다. 서버 보안 점검 업무가 자주 실행되지 않는 만큼 사용자 입장에서는 보다 직관적인 UI와 편리한 구성이 필요하며, 다수의 인스턴스 스크립트 실행 결과를 바로 확인 할 수 있어야 합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TXuwLDQSYkxHV0histR-oA.jpeg" /><figcaption>각 인스턴스 스크립트 수행 결과를 로그 정보를 통해서 확인</figcaption></figure><p>즉, AWX를 활용해 보안 점검 자동화를 적용하는데 기술적으로 부족한 점은 없으나 사용자 편의성 측면에서 100% 만족 할 수 없었습니다.</p><h3>Run Command를 활용한 보안 점검</h3><p>Run Command란 AWS의 System Manager의 기능중 하나로써 모든 EC2 또는 기타 AWS 서비스에 접속하여 일반적인 관리 작업을 자동화하고 대규모로 일회성 구성 변경을 수행할 수 있는 서비스입니다. EC2와 동일하게 각 Region별로 작업을 구성 할 수 있어 동일한 작업 내용이라 해도 초기 설정을 반복적으로 수행해야 합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7tgJbXeisuL2nJL3AP0roA.png" /></figure><p>Run Command는 보안 점검 자동화를 구성하는데 있어서 기술적인 조건을 모두 만족합니다. Tag 정보 기준으로 타겟 인스턴스를 필터링 할 수 있으며 내부에서 동작 할 수 있는 쉘스크립트를 작성 함으로써 업무를 자동화 시킬 수 있습니다. 뿐만 아니라 AWS 환경에서 제공하는 직관적인 UI를 통해 각 인스턴스에서 실행된 작업 결과와 로그 정보를 확인 가능합니다.</p><p>앞서 AWX에서 아쉬웠던 사용자 편의성을 보완 해줌으로써 보안 점검 자동화 업무를 구현했을 때 가장 알맞은 Tool이라고 볼 수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3eyGfYobp8VwPLmq6MrrRA.jpeg" /><figcaption>자동화 수행 결과물을 직관적으로 확인 가능</figcaption></figure><p>사용성 측면 이외에 Run Command 장점은 비용이 발생하지 않는다는 것입니다. 이미 사내에서 AWX를 사용하고 있는 만큼 만약 Run Command 활용 시 비용이 발생한다면, 비용 절감 및 운영 효율성을 고려하여 재검토 했을 것입니다.</p><h3>Run Command 적용방법</h3><p>AWX와 Run Command 모두 기술적으로 자동화 기능을 도입 할 수 있으나 보안팀에서 언제든지 수행 할 수 있도록 제공하기 위해서는 무엇보다 편리한 <strong>사용성</strong>과 <strong>직관적인 UI</strong>가 중요합니다. 따라서 Run Command는 AWX와 비교했을 때 각각의 인스턴스에서 실행한 스크립트 결과를 바로 확인 할 수 있으며, 로그 파일을 S3로 저장 및 관리 할 수 있기에 효율적일거라 판단했습니다.</p><p>위와 같은 이유로 Run Command를 이용해 보안 점검 자동화를 적용하기로 했으며, 전체적인 구성은 아래와 같습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gtcggqaIBXCJR0csdIFnow.png" /></figure><p>앞서 설명드린 Run Command에서 인스턴스의 특정 Tag 정보 기준으로 필터링 하기 위해서는 사전 작업이 필요합니다. 보안 점검 대상 인스턴스에 원하는 Tag(securityCheck:true) 정보가 입력되어 있어야 하며, 해당 부분은 AWS CLI를 이용해 실행합니다.</p><p>이후 각 인스턴스에서 수행하기 위한 스크립트는 위의 구성과 같이 순서대로 동작 할 수 있게 작성합니다. 그중 Run Command가 아닌 Bibucket Repository를 이용해 필요한 스크립트를 다운로드 받는 이유는 Run Command의 스크립트 용량 제한(Max 65KB)과 보안 점검 파일을 자유롭게 관리하기 위함입니다. 따라서 추가적인 로직(ex. 보안 점검 스크립트 / S3로 파일 업로드)은 Bibucket을 이용해 수행 할 수 있도록 구성합니다.</p><p>AWS 메타데이터(http://169.254.169.254/latest/meta-data/instance-id)의 경우 S3에 업로드 시 인스턴스 이름으로 오브젝트를 업로드 하기 위해 관련 정보를 조회하기 위한 용도로 사용합니다.</p><p>다만, 위의 구성과 같이 동작하기 위해서는 전제 조건이 필요합니다.</p><ul><li>Secret Manager를 이용해 Bitbucket Repository SSH 설정 필요</li><li>파일 업로드 하기 위한 S3 권한 필요</li></ul><p>Bitbucket Repository를 다운로드 받기 위해서는 지정한 Secret Manager로 부터 SSH키를 전달받고, S3로 스크립트 결과를 업로드 해야합니다. 이러한 과정을 실행하기 위해서는 SSH 키를 관리하고 있는 Secret Manager와 S3 업로드 권한이 필요합니다.</p><p>모든 인스턴스에 해당 권한이 필요한 만큼 일괄적으로 적용 할 수 있는 Policy가 필요했고, 다행히 사내에서는 공통된 SSM Policy를 갖고 있어 필요한 리소스 권한만 추가함으로써 문제를 해결 할 수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/759/1*EvfSV06Nf7_Uw68ikyBBqw.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/659/1*1T3vqv8kjJPPOru5706U4Q.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/594/1*lYo6R4tEN6L02cTh1AbMGQ.jpeg" /></figure><p>그 외 Run Command 셋팅은 직관적인 UI와 설명을 통해 원하는 동작을 실행시킬 수 있으며 실행 결과에 대한 로그 정보도 S3에서 확인 가능합니다.</p><h3>더 나아가</h3><p>Run Command 한계점으로는 CloudFront처럼 글로벌 서비스가 아닌 각 리전 제한으로 실행되어 초기 설정을 반복적으로 해야합니다. 또한 상대적으로 AWX보다 편리한 UI이지만 Run Command를 수행하기 위한 인스턴스 스크립트를 입력하는 과정에서 실수가 발생 할 수 있습니다. 스크립트 수행 결과를 관리하는 S3의 경우 개발자 입장에서 편리하지만, 오브젝트 파일을 각각 다운로드 받아야 한다는 단점이 존재합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XjD2ADZdaZS1KtJ2MrkTIg.png" /></figure><p>차후 해당 부분을 보완하고자 Bitbucket Pipeline과 OIDC를 이용해 사용자가 일괄적으로 적용 할 수 있는 프로세스를 만들고자 하며, 수행 결과 또한 Bitbucket Repository에서 확인 할 수 있게끔 만들고자 합니다.</p><h3>마치며</h3><p>Run Command를 이용해 보안 점검 자동화를 도입 함으로써 <strong>업무 효율화</strong> / <strong>스크립트 수행 결과 통합 관리</strong> / <strong>업무 프로세스 개선</strong>을 이뤄낼 수 있었습니다. 특히 업무 프로세스 개선은 보안팀과 협력 함으로써 자체적으로 언제든지 실행 할 수 있는 환경을 제공했습니다.</p><p>스푼라디오는 글로벌 서비스로써 Multi Account &amp; Multi Region 환경에서 작업이 이뤄지고 있습니다. 따라서 불가피하게 단순 반복 업무가 발생하며 이를 개선 및 효율화 시키고자 SRE(DevOps)팀에서는 많은 것을 고민하고 있습니다. 저희와 함께 개발 효율화와 클라우드 환경을 관리하고 싶으시다면 현재 적극 채용중에 있으니 많은 관심 부탁드립니다. [<a href="https://www.wanted.co.kr/company/1810">Link</a>]</p><h3>Reference</h3><ul><li><a href="https://docs.aws.amazon.com/ko_kr/systems-manager/latest/userguide/run-command-setting-up.html">https://docs.aws.amazon.com/ko_kr/systems-manager/latest/userguide/run-command-setting-up.html</a></li><li><a href="https://ansible.readthedocs.io/projects/awx/en/latest/">https://ansible.readthedocs.io/projects/awx/en/latest/</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=14b7678b26e7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/spoontech/aws-ssm-run-command%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-%EB%B3%B4%EC%95%88-%EC%B7%A8%EC%95%BD%EC%A0%90-%EC%9E%90%EB%8F%99%ED%99%94%ED%95%98%EA%B8%B0-14b7678b26e7">AWS SSM Run Command를 활용한 보안 취약점 자동화하기</a> was originally published in <a href="https://medium.com/spoontech">SpoonLabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Route53 Weighted의 Evaluate Target Health를 통한 트래픽 제어]]></title>
            <link>https://medium.com/spoontech/route53-weighted%EC%9D%98-evaluate-target-health%EB%A5%BC-%ED%86%B5%ED%95%9C-%ED%8A%B8%EB%9E%98%ED%94%BD-%EC%A0%9C%EC%96%B4-de587fff6a4e?source=rss-ab9c676880ba------2</link>
            <guid isPermaLink="false">https://medium.com/p/de587fff6a4e</guid>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[tech]]></category>
            <category><![CDATA[route-53]]></category>
            <dc:creator><![CDATA[Daniel Nam]]></dc:creator>
            <pubDate>Wed, 20 Mar 2024 06:34:00 GMT</pubDate>
            <atom:updated>2024-03-20T06:34:31.049Z</atom:updated>
            <content:encoded><![CDATA[<p>안녕하세요. SpoonRadio SRE팀에서 DevOps 업무를 담당하고 있는 Daniel(남태윤)입니다. 현재 SpoonRadio에서는 다양한 AWS 서비스를 사용 중에 있습니다. 그중 Route53으로 Weighted routing policy(가중치 기반 정책)를 활용한 트래픽 제어 중 잘못 알고 있었던 부분을 정리하고자 합니다.</p><h3>Route53이란</h3><p>우선 Route53은 가용성과 확장성이 뛰어난 DNS 서비스로써 3가지 주요 기능을 제공 합니다.</p><ul><li><strong>도메인 이름 등록</strong> : 웹 사이트 또는 웹 애플리케이션 도메인 이름 등록</li><li><strong>인터넷 트래픽을 도메인 리소스로 라우팅</strong> : 도메인에 연결되어 있는 실제 서비스 리소스로 연결</li><li><strong>리소스 상태 확인</strong> : 도메인 대상 리소스의 정상 작동 중인지 확인하고, 비정상인 경우 다른 곳으로 트래픽을 자동 라우팅</li></ul><p>일반 DNS 서비스와 동일하지만, 리소스의 상태 확인에 따라 트래픽을 제어하는 것은 Route53의 큰 장점 중 하나라고 볼 수 있습니다. 리소스의 상태 확인에 따라 DNS 장애 조치 구성으로 단순 및 복잡한 리소스의 트래픽 제어가 가능하기 때문입니다. 리소스의 상태 확인 구성 방법은 Alias 생성 여부에 따라 다릅니다.</p><ul><li><strong>별칭 레코드(Alias records)</strong> : AWS 리소스(ex. ELB, CloudFront …)의 대상 상태 평가(Evaluate Target Health)를 활성화</li><li><strong>비별칭 레코드(Non-alias records)</strong> : 리소스에 상태 확인 요청을 전송할 수 있도록 사용할 프로토콜(HTTP, HTTPS, TCP), IP 주소 및 포트, 도메인 이름 및 경로를 지정. 즉, Health Check가 가능한 엔드포인트 정보 제공</li></ul><h3>서비스 요구사항</h3><ul><li>동일한 도메인을 기반으로 2개의 ALB를 사용한다.</li><li>특정 ALB에서는 2개의 TargetGroup을 사용한다</li><li>가중치 설정을 손쉽게 할 수 있다.</li><li>서비스 이상 발생 시(ex. TargetGroup Unhealthy) 트래픽을 자동으로 전환시킨다.</li></ul><p>위와 같은 요구사항이 발생한 이유로는 기존 서비스를 신규 서비스로 트래픽을 점차적으로 늘려가기 위함이며, 이에 따라 복잡한 리소스 구성을 손쉽게 관리할 필요가 있었습니다. 해당 목적에 가장 부합한 Route53은 동일한 도메인으로 트래픽을 컨트롤 할 수 있었으며, Weighted routing policy의 “Evaluate Target Health” 옵션을 통해 TargetGroup-Unhealthy 발생 시 자동적으로 트래픽을 전환시킬 수 있습니다.</p><p>요구사항을 도식화 하면 다음과 같습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/807/1*Bz9o2V5NoKoWm67glzBGXA.png" /></figure><h3>Evaluate Target Health란</h3><p>“Evaluate Target Health”는 Alias Record가 가능한 AWS 리소스(ex. Load Balancer, S3 등)의 상태를 평가하는 기능입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j3hXWCnJe17HkGt9FNiSWw.png" /><figcaption><a href="https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/dns-failover-complex-configs.html">Evaluate Target Health 문서내용 도식화</a></figcaption></figure><p>여러 개의 인스턴스가 하나의 TargetGroup으로 묶여있을 때, 이 그룹이 여러 지역 또는 여러 가용 영역에 걸쳐 분산되어 있을 수 있습니다. 인스턴스 중 일부가 작동하지 않거나 장애가 발생한 경우, 사용자 트래픽을 Unhealthy 서버로 보내지 않도록 해야 합니다. 여기서 “Evaluate Target Health”가 필요합니다.</p><p>Evaluate Target Health는 다음과 같은 기능을 제공합니다.</p><ol><li><strong>대상 상태 평가</strong> : 설정된 TargetGroup의 상태를 주기적으로 확인하고 각 대상의 상태를 평가합니다.</li><li><strong>트래픽 라우팅 결정 </strong>: 대상 그룹 내의 Healthy 상태인 서버로만 트래픽을 라우팅합니다. 즉, 장애가 발생한 서버 또는 인스턴스에 대한 요청을 피할 수 있습니다.</li><li><strong>자동 복구 및 장애 조치</strong> : 인스턴스가 Healthy 상태로 복구될 때 자동으로 다시 트래픽을 전송합니다. 이것은 자동 복구 기능으로써, 사용자가 장애 조치를 취할 필요 없이 시스템이 자동으로 회복될 수 있도록 합니다.</li></ol><p>이러한 기능들을 통해 Evaluate Target Health는 애플리케이션의 가용성과 신뢰성을 유지하고, 장애 발생 시 빠르게 대응할 수 있도록 도와줍니다.</p><h3>적용 방법</h3><p>적용 방법은 간단합니다. 레코드를 생성할 때, 라우팅 정책을 “Weighted”로 선택하고 원하는 가중치를 지정합니다. Evaluate target health는 Alias가 가능한 AWS 리소스로 선택 시 활성화할 수 있으며, 기본적으로 Yes로 설정됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*18nOcg7hKTrP4yhHY51dnA.jpeg" /><figcaption>Routing Policy(Weighted) 지정 &amp; Evaluate Target Health</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Z01ZaFR3Km-hyKq9lSunrg.jpeg" /><figcaption>중복된 Record name으로 가중치 지정(Differentiator)</figcaption></figure><h3>적용 결과</h3><p>적용 방법은 매우 간단했으나 예상과 다르게 동작했습니다. 가중치 100%로 지정한 TargetGroup 방향으로 서비스가 동작하지 않았기 때문입니다. 오히려 가중치를 0%로 설정 했음에도 v1.0 ALB로 트래픽이 유입되는 것을 확인할 수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/638/1*VQ9g1u_y4YZ2MySNwup3Pw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/636/1*ARku4k9DsmKbUbhpFSK44Q.png" /><figcaption>(좌)예상 트래픽 경로 / (우)실제 트래픽 경로</figcaption></figure><h3>원인 분석</h3><p>앞서 도식화된 내용을 좀 더 설명하자면, v2.0 ALB에 존재하는 TargetGroup의 경우 Unhealthy인 상태가 지속되었습니다. 해당 TargetGroup(Unhealthy)의 가중치를 0%로 지정했으나 “Evaluate Target Health” 옵션은 해당 가중치를 고려하지 않고 Unhealthy 상태만을 확인하기 때문에 v1.0으로 트래픽을 전송합니다.</p><p><a href="https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/dns-failover-complex-configs.html">AWS 문서</a>에서도 ALB 가중치에 대한 언급은 없고, 오직 인스턴스 리소스의 상태 체크만을 설명하고 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RhI1UJkBLS4Sg0rTcxFdRA.png" /></figure><p>만약 Evaluate Target Health를 모두 비활성화 시킨 경우 TargetGroup Unhealthy인 상태를 고려하지 않습니다. 이런 경우 최초 원했던 v2.0 ALB로 트래픽이 유입되지만, 요구사항 중 하나인 “서비스 이상 발생 시(ex. TargetGroup Unhealthy) 트래픽을 자동으로 전환시킨다.”를 만족시키지 못합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iR6QBmUvH_-6wweziZ7Fbw.png" /></figure><p>원하는 목적지(B-1. Target Group)로 트래픽을 향하게 만들기 위해서는 UnHealthy Target Gruop(B-2. Target Group)을 제거 또는 정상 상태로 변경해야 합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tXBRG3ZApa1HeJoNcAlCnA.png" /><figcaption>B-2. Target Group 상태변경</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gPMgGIkLJa8eEG-gqu2org.png" /><figcaption>B-2. Target Group 제거</figcaption></figure><h3>더 나아가</h3><p>ALB별로 “Evaluate target health”를 각각 다르게 설정한 경우, 트래픽 이동이 다르다는 것을 확인할 수 있었습니다.</p><p>v2.0 ALB의 Evaluate target health 비활성화 시킨 경우 v1.0 ALB의 상태와 관련없이 트래픽이 (B-1) Target Group으로 이동합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jAdkWitePiYxrFvlKIXXMQ.png" /><figcaption>v1.0 ALB — Evaluate Target Health 활성화 / v2.0 ALB — Evaluate Target Health 비활성화</figcaption></figure><p>반대로 v1.0 ALB의 Evaluate target health를 비활성화 시켰을 때 아래와 같이 트래픽이 이동하며, 이때 중요한 점은 v2.0 ALB Evaluate target health의 조건에 따라 트래픽 방향이 결정 된다는 점입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JnSx7cUkz0raB_QARiMaZQ.png" /><figcaption>v1.0 ALB — Evaluate Target Health 비활성화 / v2.0 ALB — Evaluate Target Health 활성화</figcaption></figure><p>추가로 TargetGroup 내 여러 인스턴스 중 한 개 인스턴스만 Unhealthy인 경우. 의도한 가중치대로 트래픽이 전송되는 것을 확인할 수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cjTMVU3-vK6evo6Vikjq-w.png" /></figure><p>정리하자면, <strong><em>Route53의 Evaluate Target Health는 ALB TargetGroup 전체 상태만을 고려합니다</em></strong>. <strong><em>내부 가중치를 고려하지 않습니다</em>.</strong> ALB내에 특정 Target Group만으로 향하도록 가중치를 100% 설정 했음에도 가중치 0%인 Target Group의 모든 리소스 상태가 UnHealthy인 경우 Fail Open(고장이 났음에도 특정 요소가 열려있는 상태)이라고 인식하고 트래픽을 모두 차단합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/706/1*poYiMCbkdtViFEvFxOozbg.png" /></figure><ul><li>정상 : TargetGroup 내 모든 인스턴스가 Healthy</li><li>비정상 : TargetGroup 내 모든 인스턴스가 Unhealthy</li></ul><h3>마치며</h3><p>AWS 서비스를 사용하면서 다양한 옵션을 고려해야 할 필요성을 인식하게 되었습니다. AWS의 공식 문서와 블로그는 기능 설명과 가이드를 제공하지만, 실제 다양한 상황에서의 테스트 결과는 제공하지 않습니다.</p><p>이에 따라 보다 안정적인 인프라 환경을 구축하기 위해 다양한 옵션을 면밀히 검토하고, 서비스에 적합한 구성을 실현하기 위한 노력이 필요합니다.</p><h4>References</h4><ul><li><a href="https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/dns-failover-simple-configs.html">https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/dns-failover-simple-configs.html</a></li><li><a href="https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/routing-policy-weighted.html#routing-policy-weighted-healthchecks">https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/routing-policy-weighted.html#routing-policy-weighted-healthchecks</a></li><li><a href="https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/dns-failover-complex-configs.html">https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/dns-failover-complex-configs.html</a></li><li><a href="https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/health-checks-how-route-53-chooses-records.html">https://docs.aws.amazon.com/ko_kr/Route53/latest/DeveloperGuide/health-checks-how-route-53-chooses-records.html</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=de587fff6a4e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/spoontech/route53-weighted%EC%9D%98-evaluate-target-health%EB%A5%BC-%ED%86%B5%ED%95%9C-%ED%8A%B8%EB%9E%98%ED%94%BD-%EC%A0%9C%EC%96%B4-de587fff6a4e">Route53 Weighted의 Evaluate Target Health를 통한 트래픽 제어</a> was originally published in <a href="https://medium.com/spoontech">SpoonLabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AWS Summit Seoul 2023 첫 방문: DevOps의 이야기]]></title>
            <link>https://medium.com/spoontech/aws-summit-seoul-2023-%EC%B2%AB-%EB%B0%A9%EB%AC%B8-devops%EC%9D%98-%EC%9D%B4%EC%95%BC%EA%B8%B0-c5c403a7bcc2?source=rss-ab9c676880ba------2</link>
            <guid isPermaLink="false">https://medium.com/p/c5c403a7bcc2</guid>
            <category><![CDATA[observability]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[tech]]></category>
            <category><![CDATA[devops]]></category>
            <dc:creator><![CDATA[Daniel Nam]]></dc:creator>
            <pubDate>Fri, 19 May 2023 06:48:45 GMT</pubDate>
            <atom:updated>2023-05-19T06:54:02.995Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*t2XRNKJKphhv_4FN1QT-Wg.png" /></figure><p>안녕하세요. SpoonRadio SRE팀(DevOps)에서 근무하고 있는 Daniel(남태윤)입니다. 이번 AWS Summit 2023은 코로나 엔데믹 후 열린 만큼 다양한 볼거리가 있었습니다. Megazone Cloud, Datadog, Slack 등 여러 업체에서 제공하는 서비스를 살펴볼 수 있었고, AWS SnowBall Edge를 이용해 농구 모션을 분석하는 이벤트에도 참여할 수 있었습니다.</p><p>하지만 AWS Summit의 가장 큰 장점은 AWS 강연 및 사용 사례를 들어볼 수 있다는 것인데요. 개인적으로 여러 섹션 중 가장 인상 깊었던 “<strong><em>Global Scale Service의 중앙 집중식 Observability 구축하기</em></strong>”를 공유하고자 합니다.</p><h3>Observability란?</h3><p>Observability는 사전적 정의로는 “관찰할 수 있음”, “식별 가능성”, “주목할 만함” 이라고 합니다. 그럼 S/W에서 해당 개념을 처음 도입한 사람은 누구일까요? “Rudolf E. Kálmán” 엔지니어라고 하는데요. Ruldolf가 Observability 개념을 도입 하면서 정의한 내용은 아래와 같습니다.</p><blockquote><strong><em>오직 시스템의 외부 출력만을 이용해서 시스템의 현재 상태를 이해할 수 있는 능력</em></strong> <br>the ability to understand the current state of a system using only its external outputs.</blockquote><p>해당 개념을 기반으로 AWS에서도 <em>“Observability는 시스템 내부의 현재 상태를 잘 이해할 수 있도록 시스템 외부로 효과적인 정보를 전달하는 것&quot;</em>이라고 말합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2sQxChUjVPuw6ohdxoiRRg.jpeg" /></figure><h4>Monitoring vs Observability</h4><p>설명한 Observability를 처음 들었을 때 Monitoring과 동일한 개념이 아닌가 싶습니다. 하지만 AWS에서는 명확하게 차이점이 있다고 설명합니다.</p><blockquote><em>&lt; AWS 발표내용 </em><strong><em>中 &gt;</em> </strong><br>‘<em>Monitoring’은 어디에 문제가 생겼는지 알 수 있지만, ‘Observability’는 </em><strong>무엇이 문제를 일으켰는지 파악</strong><em>하고, </em><strong>현재 시스템 상태가 최종 사용자에게 어떤 영향을 주고 있는지 </strong><em>알게 되는 것</em></blockquote><p>좀 더 구체적으로 설명하자면</p><ul><li>Monitoring : 어떤 것이 문제인지 이미 정립되어 있다. 특정 지표나 이벤트 추적. 사전에 정의된 지표를 사용하여 시스템 상태를 평가하고 일정 수준 이상으로 기준치를 넘을 경우 경고를 발생시키거나 조치를 취하도록 설정한다.</li><li>Observability : 시스템 내부 상태를 이해하기 위해 로그, 추적, 이벤트 등을 한곳에 모아서 분석한다. 정보들의 맥락과 연관성을 파악할 수 있어야 한다. 즉, 복잡한 시스템 내부의 상호작용과 원인 결과를 이해하는데 중점을 둔다.</li></ul><p>최근 많은 기업들이 MSA 아키텍처를 도입 하면서 Observability 개념이 점차 부각되었다고 생각합니다. 기존에는 한개 리소스에서 모니터링 및 로그 수집으로 시스템 상태를 파악 할 수 있었습니다. 하지만, MSA로 서비스가 분리됨으로써 리소스 관리 포인트가 늘어났고 종합적으로 살펴볼 수 있는 Observability 필요하지 않았을까 생각합니다.</p><h4>Observability 기본 구성 요소</h4><p>Observability를 구성하기 위해서는 3가지 구성 요소가 필요합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uX-3uJ7fzKaJnlplpcctuQ.jpeg" /></figure><ul><li>Logs : 로그는 시스템의 이벤트 및 활동에 대한 기록입니다. 로그는 시간, 이벤트 유형, 관련 데이터 등을 기록하여 시스템의 작동 상태를 추적하고 이해하는 데 도움을 줍니다.</li><li>Metric : 지표는 시스템의 상태를 측정하고 모니터링하기 위한 수치적인 값입니다.</li><li>Trace : 트레이스는 시스템 내에서 특정 이벤트의 전체적인 흐름과 연관된 단계들을 추적하는 데 사용됩니다. 주로 분산 시스템에서 사용되며, 여러 컴포넌트 간의 상호작용을 추적하여 복잡한 문제의 원인을 분석하는 데 도움을 줍니다.</li></ul><p>이제 Observability에서 전반적으로 알아봤으니 실제 도입한 사례를 알아보겠습니다.</p><h3>“Full-Stack Observability”를 향한 여정</h3><p>삼성에서는 <a href="https://uracle.blog/2022/09/21/rcs%EB%9E%80/">RCS(Rich Communication Service)</a> 메세지 서비스를 제공하고 있습니다. 해당 서비스는 MAU가 3100만을 넘을만큼 매우 많은 사용자들이 사용하고있어 Observability 도입이 필요했습니다.</p><h4><a href="https://prometheus.io/docs/introduction/overview/">Prometheus 도입</a></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*du-UXkmwTNvevrER-uqzeA.jpeg" /></figure><p>삼성에서는 초기에 Prometheus를 도입했습니다. Prometheus는 시계열 DB(TSDB, Time Series Database)라는 점과 Target Resource 정보를 HTTP Pull 방식으로 정보를 수집해서 불필요한 트래픽을 방지 할 수 있습니다.</p><p>하지만 <strong><em>Local Storage로 인한</em></strong> Metrics 장기 보관에 어려움이있고, <strong><em>Prometheus의 read가 많을 경우</em></strong> CPU 사용량이 증가하며, <strong><em>Clustering을 지원하지 않아</em></strong> HA 구성이 어렵다는 단점이 있습니다.</p><h4><a href="https://thanos.io/v0.6/thanos/getting-started.md/">Thanos 도입</a></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EW6fgbFDmxQMga50oGBUfg.png" /></figure><p>이전에 언급한 대로, Prometheus는 우수한 모니터링 시스템이지만 결정적으로 클러스터링 구조를 지원하지 않습니다. 이로 인해 애플리케이션의 확장성과 고가용성에 제한이 생깁니다. 그러나 Thanos의 <a href="https://learn.microsoft.com/ko-kr/azure/architecture/patterns/sidecar">사이드카(Side Car)</a> 패턴을 이용하면 Prometheus의 한계를 극복할 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TdqkdgjrVA7-g25UeNQkNA.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0tChqNpmXgK9cuHhgNZPQQ.jpeg" /></figure><p>하지만 Thanos 단점은 <strong><em>리소스 사용량이 높을 경우</em></strong> Scale-Out 되지 않으며, <strong><em>Down Sampling을 위한 보존 주기 및 저장공간 사이즈 등 리소스에 대해서</em></strong> 지속적인 관리가 필요합니다.</p><h4>AMP(Amazon Managed Service for Prometheus) 도입</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mOeXV8ANpd-WV25D3ThO9A.png" /></figure><p>Thanos에서는 Scale-Out이 지원되지 않아 삼성에서는 최근 AMP(Amazon Managed Service for Prometheus)를 도입했습니다. AMP를 도입함으로써 리소스 Scale-Out / In 에 따라 운영 지표를 자동으로 확장 및 축소가 가능합니다. 또한 AWS 보안 서비스와 통합되어 데이터에 빠르고 안전하게 접근이 가능함으로써 효율적인 운영이 가능합니다.</p><h3>마치며</h3><p>해당 섹션을 통해 Observability에 대한 전반적인 이해를 높이고, 글로벌 서비스에서 어떻게 적용하고 있는지 알 수 있었습니다. 특히 삼성의 경우 Prometheus, Thanos, AMP 순서대로 Observability를 고도화하고 차후 아마존에서 관리하는 OpenTelemetry. 즉, ADOT 방향성도 엿볼 수 있었습니다.</p><p>DevOps에서도 OpenTelemetry 도입을 계획하고 있는만큼 개인적으로 차후 업무 진행 시 보다 낮은 허들로 빠르게 실행 할 수 있을거라 기대됩니다.</p><h3>참석 후기</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7hmqPntffrVZURH1j2vDmg.jpeg" /></figure><p>AWS Summit은 새로움에 연속이었습니다. 다양한 서비스와 여러 기업 사례를 통해서 새로운 Insight를 얻을 수 있었기 때문입니다. DevOps 뿐만 아니라 빅데이터, DB, 백엔드 등 다양한 관점에서 AWS를 살펴볼 수 있었고, Cloud 시스템의 지속적인 발전도 확인 할 수 있었습니다.🤩</p><p>혹시 참석하지 못하셨다면 AWS에서 제공하는 <a href="https://www.youtube.com/@AWSKorea">영상</a>과 <a href="https://www.slideshare.net/awskorea/presentations">자료</a>를 꼭 한번 보시길 추천합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c5c403a7bcc2" width="1" height="1" alt=""><hr><p><a href="https://medium.com/spoontech/aws-summit-seoul-2023-%EC%B2%AB-%EB%B0%A9%EB%AC%B8-devops%EC%9D%98-%EC%9D%B4%EC%95%BC%EA%B8%B0-c5c403a7bcc2">AWS Summit Seoul 2023 첫 방문: DevOps의 이야기</a> was originally published in <a href="https://medium.com/spoontech">SpoonLabs</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>