<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by WooJooShin on Medium]]></title>
        <description><![CDATA[Stories by WooJooShin on Medium]]></description>
        <link>https://medium.com/@tlsdnwn55_89958?source=rss-65abaf40032a------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*dmbNkD5D-u45r44go_cf0g.png</url>
            <title>Stories by WooJooShin on Medium</title>
            <link>https://medium.com/@tlsdnwn55_89958?source=rss-65abaf40032a------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 13:29:26 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@tlsdnwn55_89958/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Agentic AI — RCA 에이전트 ‘SentryOn’ 도입기 (feat. Strands SDK)]]></title>
            <link>https://techblog.lotteon.com/agentic-aiops-rca-%EC%97%90%EC%9D%B4%EC%A0%84%ED%8A%B8-sentryon-%EB%8F%84%EC%9E%85%EA%B8%B0-feat-strands-sdk-5425c265552c?source=rss-65abaf40032a------2</link>
            <guid isPermaLink="false">https://medium.com/p/5425c265552c</guid>
            <category><![CDATA[롯데온]]></category>
            <category><![CDATA[strands-agents]]></category>
            <category><![CDATA[ai-agent]]></category>
            <category><![CDATA[agentic-ai]]></category>
            <category><![CDATA[lotteon]]></category>
            <dc:creator><![CDATA[WooJooShin]]></dc:creator>
            <pubDate>Thu, 28 May 2026 01:08:55 GMT</pubDate>
            <atom:updated>2026-06-18T00:33:27.793Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TkAvgeKoY99rXmLhKxwUuA.png" /><figcaption>Generated By ChatGPT Image 2.0</figcaption></figure><p>안녕하세요. 롯데e커머스 TechOps팀에서 DevOps 직무를 맡고있는 신우주입니다.</p><p>최근 플랫폼 엔지니어링의 운영 트렌드는 단연 <strong>‘AI를 활용한 자동화 플랫폼 구축’</strong>이라고 생각합니다. 롯데온에서도 이러한 흐름에 맞춰 SRE 성격의 AI 에이전트를 운영 중인데요. 이번 글에서는 서비스 장애 발생 시 스스로 원인을 추론하는 롯데온의 RCA 에이전트, ‘<strong>SentryOn</strong>’의 도입 과정과 기술적 고민들을 공유하고자 합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Dd15NBvUuhYytPcFcQ_9Ug.jpeg" /><figcaption>새벽 3시 이슈가 발생한다면 ?</figcaption></figure><p>롯데온은 <a href="https://www.youtube.com/watch?v=7YJ4eaoQwfs">AWS EKS 기반의 마이크로서비스 아키텍처(MSA)</a>로 시스템 운영과 장애 대응에 적지 않은 휴먼 리소스를 투입해 왔습니다.</p><p>복잡한 MSA 환경이 가진 본질적인 문제는 시스템의 규모가 커질수록 장애 원인을 파악하는 과정이 점차 운영자의 경험과 직관에 의존하게 된다는 점입니다. 아무리 Runbook 같은 운영 절차를 잘 문서화해 두어도, 막상 이슈가 발생하면 수많은 서비스와 인프라 레이어 중에서 정확한 병목 지점을 빠르게 찾아내기란 현실적으로 쉽지 않습니다.</p><p>실제로 이슈가 터지면 DevOps 엔지니어는 AWS 인프라와 EKS를 , DBA는 데이터베이스를, 개발자는 APM 콘솔과 Elasticsearch에서 담당 모듈의 로그를 확인하는 등 여러 인원이 각기 다른 시스템을 동시에 들여다봐야 합니다. 업무 시간이라면 다수가 투입되어 대응할 수 있지만, 이러한 체계는 업무 외 시간이나 메인 담당자가 부재한 상황에서 명확한 한계를 드러냅니다.</p><p>해결해야 할 문제는 명확했습니다. 이처럼 특정 인원과 경험에 의존하는 반복적인 트러블슈팅 과정을<strong> 24/365 언제든 사내 도메인 지식과 전문 엔지니어 역량의 AI Agent가 확인해주면 되지 않을까 ?</strong><br>실시간으로 각 인프라의 상태를 확인하고 진단해 주는 RCA 에이전트 ‘<strong>SentryOn</strong>’을 구축하게 된 계기입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YdDvjlHdSySzSgGKzmiqcw.png" /><figcaption>strands agent SDK</figcaption></figure><h4>Strands Agent SDK</h4><p><strong>SentryOn은 AWS가 오픈소스로 공개한 </strong><a href="https://strandsagents.com/"><strong>Strands Agent SDK</strong></a><strong>를 기반으로 구현되었습니다. </strong>(작년 2025년 5월경<a href="https://aws.amazon.com/ko/blogs/tech/introducing-strands-agents-an-open-source-ai-agents-sdk/"> AWS 블로그</a>에 소개된 사례를 통해 처음 검토하게 되었습니다.)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/837/1*24OAAVGpMi__Hg0WzRGxDg.png" /><figcaption><a href="https://strandsagents.com/docs/user-guide/concepts/agents/agent-loop/">https://strandsagents.com/docs/user-guide/concepts/agents/agent-loop/</a></figcaption></figure><p>Strands SDK의 핵심은 ‘<a href="https://strandsagents.com/docs/user-guide/concepts/agents/agent-loop/"><strong>Agent Loop</strong></a>’ 메커니즘에 있습니다. <strong>에이전트가 설정된 목적을 달성할 때까지 스스로 판단하여 적절한 커스텀 도구(Tool)를 반복 호출</strong>하는 구조입니다. 따라서 목적에 맞는 에이전트를 설계하려면 이 컨셉을 이해하는 것이 가장 중요합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zdgYccrUAHxkTpKjAhQRtQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2xiXXun0JlvYYbeeUhkeHg.png" /><figcaption>Tool Creation Examples | <a href="https://strandsagents.com/docs/user-guide/concepts/multi-agent/agents-as-tools/#implementing-agents-as-tools-with-strands-agents-sdk">https://strandsagents.com/docs/user-guide/concepts/multi-agent/agents-as-tools/#implementing-agents-as-tools-with-strands-agents-sdk</a></figcaption></figure><p>그러면 Custom Agent가 사내 시스템을 접근하는 방법은 어떻게 구성해야 할까요 ? Strands SDK에서 제공하는 <strong>@tool</strong> 데코레이터를 통해 Agent를 위한 다양한 Custom 도구를 쉽게 구성할 수 있습니다. <br>또한 ‘<strong>Agents As Tool</strong>’ 패턴으로 <strong>Orchestrator Agent가 사용자 상호 작용을 처리하고 각 영역의 전문화 Agent를 도구로 호출하는 Multi Agent flow를 </strong>비교적 간단하게 구성할 수 있는데요. <br>초기 SentryOn은 Orchestrator Agent가 각 도메인별 전문 Agent를 호출하는 Multi Agent로 첫 설계를 시작했습니다.</p><p>다음은 Agent를 구현하면서 고민한 부분입니다.</p><h4>1. Single Agent 구조로 전환한 이유</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YUgMWk22qEwTDC84GCr3IQ.png" /><figcaption>SentryOn Architecture</figcaption></figure><p><strong>결론부터 말씀드리면 SentryOn은 Single Agent 구조로 구현되었습니다.<br></strong>Multi Agent로 구현을 진행할수록 Orchestrator Agent의 라우팅 규칙 최적화, 일반 질의 대응 체계, 개별 전문 에이전트들의 프롬프트 및 캐시 설계 등 현재 규모에 비해 복잡성이 과도한 설계라는 판단이 들었기 때문입니다.</p><p>특히 각 전문 Agent의 Output 스키마를 정의하는 과정에서 어려움이 있었습니다. 장애 상황에서는 작은 단서도 중요하기 때문에 최대한 모든 원문 데이터를 보존해야 한다고 생각했으나, 제한된 스키마 포맷 안에서 어떤 정보를 선별하고 요약하여 넘겨줄 것인지에 대한 기준을 잡기가 쉽지 않았습니다.</p><p>무엇보다 Orchestrator Agent가 여러 전문 Agent를 호출하고 결과를 취합하는 과정에서 Single Agent 구조보다 <strong>TTFT(Time To First Token)가 느렸습니다.</strong></p><p>RCA 성격의 SentryOn은 <strong>이슈 상황에서</strong> <strong>정확하고 빠른 답변</strong>을 주는 것이 중요한데 각 전문 Agent를 호출해야 하다 보니 하위 Agent의 TTFT까지 더해져 응답이 느리고 테스트를 진행할수록 Multi Agent가 응답의 퀄리티를 항상 보장하는 것은 아니라고 생각되었습니다.</p><p>현재 SentryOn이 선택해야 할 도구는 20개 내외인데요, 이 정도 규모라면 복잡한 에이전트 간의 스키마 정의나 요약 기준에 대한 고민 없이 단일 에이전트 내에서 <strong>정교한 프롬프트와 도구의 Docstring 설계만으로도 충분히 빠르고 정확한 답변</strong>을 얻었습니다. <br>결과적으로 단일 구조 전환을 통해 만족스러운 TTFT와 응답 퀄리티를 확보할 수 있었습니다.</p><blockquote>애플리케이션 아키텍처를 모노리스에서 마이크로서비스로 점진적으로 전환해 나가듯, 에이전트 역시 먼저 단일 구조로 시작해 보고 한계를 느꼈을 때 멀티 에이전트 구조로 전환할 예정입니다.</blockquote><h4>2. 사내 도메인 지식 설계</h4><pre># SentryOn 시스템 프롬프트 일부<br>You are **SentryOn**, the specialized AI SRE (Site Reliability Engineering) Agent for LotteON. <br>&#39;&#39;&#39;<br>Proactively infer service names and architectural relationships <br>based on the &lt;LotteOn_Infrastructure_Context&gt;.</pre><p><strong>범용 LLM(Claude, GPT 등)은 사내에서 사용하는 비즈니스 용어나 인프라 구조, 서비스 간의 맥락을 알지 못합니다.</strong> 그렇기 때문에 SentryOn이 장애 상황에서 실제 엔지니어처럼 판단하려면 사내 도메인 지식을 시니어 엔지니어 수준으로 이해할 필요가 있었습니다.</p><p>이를 위해 주요 시스템 현황, 트래픽 흐름, 비즈니스 약어, 롯데온만의 내부 시스템 관계를 정리한 도메인 지식을 설계하여 시스템 프롬프트로 주입했습니다. 또한 Claude 기반의 모델을 사용하고 있어, <a href="https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices">Prompting best practices</a> 를 참고하여 <strong>&lt;LotteOn_System_Context&gt;</strong>XML 태그 구성과 함께<strong> </strong>Claude 모델이<strong> </strong>명확하게 참조할 수 있도록 구조화했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sCpEy3DeSKGxqhSU_oreqw.png" /><figcaption><a href="https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices">https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/claude-prompting-best-practices</a></figcaption></figure><h4>3. 데이터 소스별 특성을 고려한 데이터 정제 기법</h4><p>롯데온은 현재 APM으로 Whatap을, 애플리케이션 로그는 Elasticsearch(ES)로 수집하고 있습니다. 이슈가 발생하면 SentryOn은 위에서 구성한 도메인 지식을 기반으로 확인이 필요한 서비스를 식별하고 Whatap과 ES에서 데이터를 조회합니다.</p><p>이슈 상황이 발생하면 Whatap의 통계 데이터는 5분 단위로 수십 MB에 달하는 JSON 데이터가 반환될 수 있고, ES에서는 수천 수만 건의 에러 로그가 수집됩니다. <br>MSA 구조 특성상 연관된 여러 애플리케이션 인덱스를 동시에 조회해야 하는데, 이 데이터를 그대로 LLM에 넘기면 모델의 컨텍스트 한계를 초과할 뿐만 아니라 답변 품질이 떨어집니다.</p><blockquote>claude 계열의 모델은 max input token이 200,000이고 1 token 은 대략 4byte (4word) 입니다. 이를 mega bytes로 환산할 경우 200,000 tokens × 4 bytes = <strong>800,000 bytes ≈ 0.8 MB </strong>입니다.</blockquote><p>이 문제를 해결하기 위해 데이터 소스의 특성에 맞춰 다음 두 가지 정제 기법을 적용했습니다.</p><p><strong>3.1 수십MB의 Json 데이터 처리 — CLI 활용하기</strong></p><pre># whatap sql 분석 도구 docstring<br>  &quot;&quot;&quot;<br>  When the user needs deeper analysis, provide a custom jq_filter that is applied<br>  to the pre-filtered records array.The input to jq_filter is a JSON array of objects with fields:<br>  sql, time_avg, time_max, count_total, count_error, fetch_count,<br>  fetch_time, db, service, service_hash, hash.<br>  Examples:<br>      Show full SQL text of top 3:<br>          &#39;.[:3] | .[] | {sql: .sql, time_avg: .time_avg, service: .service}&#39;<br>      Only error SQLs:<br>          &#39;[.[] | select(.count_error &gt; 0)] | sort_by(-.count_error) | .[:5]&#39;<br>      SQLs hitting a specific table:<br>          &#39;[.[] | select(.sql | test(&quot;SAMPLE_TABLE&quot;))] | sort_by(-.time_avg) | .[:5]&#39;<br>      Group by db:<br>          &#39;group_by(.db) | .[] | {db: .[0].db, count: length, total_calls: (map(.count_total) | add)}&#39;<br>  &quot;&quot;&quot;<br></pre><p>LLM은 Stack Overflow를 비롯해 수많은 엔지니어가 남긴 코드를 학습했습니다. 그 결과 코드 작성뿐만 아니라 리눅스 명령어를 포함한 CLI(Command Line Interface) 도구 활용에도 능숙한데요,</p><p>이 특성을 살려 수십 MB 규모의 WhaTap JSON 데이터를 jq 라이브러리로 필터링하도록 도구의 Docstring을 설계했습니다. WhaTap 통계 API의 응답 데이터는 명확한 구조를 가지고 있었고, 임계치를 초과하는 데이터만 빠르게 추출해 확인했습니다.</p><p>도구의 코드 레벨에 데이터 정제 로직을 직접 구현할 수도 있지만, 이 경우 매번 고정된 방식으로 수십 MB의 JSON을 파싱해야 합니다. <strong>반면 LLM이 직접 CLI를 활용하도록 설계하면, LLM이 스스로 상황을 추론하고 </strong><strong>jq 쿼리를 동적으로 구성하여 의심되는 데이터를 다각도로 조회할 수 있는 이점이 있었습니다.</strong></p><p><strong>3.2 Elasticsearch 분석 도구 — 로그를 에러 패밀리로 압축하기</strong></p><p>장애 시간대의 로그를 그대로 넘기면 동일한 예외 스택 트레이스(Stack Trace) 몇 개만으로도 컨텍스트가 빠르게 소모됩니다.(특히 Java 애플리케이션의 Stack Trace) 이를 해결하기 위해 ES 분석 도구가 검색 결과를 ‘<strong>에러 패밀리</strong>’ 단위로 압축하여 반환하도록 구현했습니다. <br>도구가 각 로그에서 message, exception class, root cause, endpoint 등을 추출한 뒤, UUID나 Timestamp, traceId처럼 요청마다 달라지는 값들은 정규식으로 제거(정규화)합니다.</p><p>이렇게 정제된 <strong>Signature</strong>를 기준으로 로그를 그룹핑하고 발생 횟수(count),최초/최근 발생 시간 (first_seen, last_seen) , 그리고 대표 스택 트레이스 한 건만 남기는 방식입니다.</p><pre>{<br>    &quot;result_status&quot;: &quot;ok&quot;,<br>    &quot;hit_count&quot;: 120,<br>    &quot;family_count&quot;: 3,<br>    &quot;families&quot;: [<br>      {<br>        &quot;signature&quot;: &quot;timeout while calling downstream api | class=ReadTimeoutException&quot;,<br>        &quot;count&quot;: 87,<br>        &quot;first_seen&quot;: &quot;2026-05-14T10:01:12+09:00&quot;,<br>        &quot;last_seen&quot;: &quot;2026-05-14T10:04:58+09:00&quot;,<br>        &quot;error_class&quot;: &quot;ReadTimeoutException&quot;,<br>        &quot;root_cause&quot;: &quot;read timed out&quot;,<br>        &quot;top_frame&quot;: &quot;com.example.order.client.ProductClient.getProduct&quot;,<br>        &quot;trace_excerpt&quot;: [<br>          &quot;ReadTimeoutException: read timed out&quot;,<br>          &quot;at com.example.order.client.ProductClient.getProduct&quot;,<br>          &quot;Caused by: SocketTimeoutException: Read timed out&quot;<br>        ]<br>      }<br>    ]<br>  }</pre><p>이 과정을 거치면 수만 건에 달하는 반복적인 로그가 핵심 패턴으로 묶입니다. LLM은 어떤 에러가 집중적으로 발생했는지, 장애의 시작 지점이 언제인지 컨텍스트 낭비 없이 빠르고 정확하게 분석할 수 있었습니다.</p><h4>4. Skill Indexing 설계</h4><p>롯데온은 현재 대부분의 AWS 메트릭을 Datadog으로 통합 수집하고 있습니다. 따라서 SentryOn이 AWS 인프라 상태를 확인할 때도 CloudWatch를 직접 조회하는 대신 Datadog API를 활용하도록 설계했습니다. 데이터독을 통해 조회하는 이유는 다음과 같습니다.</p><ol><li>에이전트가 모든 AWS 계정에 대해 직접 읽기 권한을 가질 필요 없이, <strong>Datadog API 권한 하나로 계정별 메트릭 조회 가능</strong></li><li>Datadog의 다양한 집계 함수 활용 가능</li></ol><p>다만 문제가 발생했을 때 수많은 metric 중 어떤 metric을 주로 조회해야 하는지, 정확한 metric name은 무엇인지 단순 프롬프트 설계만으로는 한계가 있었습니다. (사용자는 보통 정확한 metric name을 명시하지 않기 때문입니다.)</p><ul><li>“XX ALB 지연 확인해줘”</li><li>“XX RDS 특이사항 없는지 확인해줘”</li></ul><p>위 요청을 Datadog API로 호출하려면 다음 값을 정확히 알아야 합니다.</p><p>1. metrics: Datadog 내 정확한 메트릭 이름<br>2. filter_tags: 조회 대상을 좁히기 위한 조건<br>3. aggregation: avg, max, sum, min 중 어떤 것을 써야 하는지<br>4. time window: 어느 시간 범위를 조회할 것인지<br>5. group_by: 어떤 tag 기준으로 나누어 볼 것인지</p><p>이 모든 맥락을 시스템 프롬프트에 넣으면 프롬프트가 너무 길어집니다. LLM 응답의 퀄리티를 보장하기 어려울뿐더러, 관련 없는 요청을 처리할 때도 매번 같은 문맥을 들고 다녀야 하므로 불필요한 토큰 소모가 증가합니다.</p><p><strong>‘특정 상황에서 어떤 절차를 따라야 할지 알려주는 에이전트용 Runbook(지침서)이 있다면 어떨까요? 그리고 항상 모든 지식을 가지고 있을 필요 없이, 특정 도메인 지식이 필요한 순간에만 로드할 수 있다면 토큰 소모량도 획기적으로 아낄 수 있지 않을까요?’</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*SZ4NAoBsZMCrGJ6j" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*eE3mj5tAMzu5kBnD" /><figcaption><a href="https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills">https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills</a></figcaption></figure><p><a href="https://www.anthropic.com/engineering/equipping-agents-for-the-real-world-with-agent-skills">Anthropic에서 제안한 ‘Agent Skills’</a>은 이와 같은 고민을 완벽하게 해결해 줍니다.</p><p>간단히 말해 Skill은 SKILL.md 파일이 포함된 디렉터리입니다. 이 파일은 name과 description이라는 필수 메타데이터를 포함하는 YAML Frontmatter로 시작해야 합니다. 에이전트는 설치된 모든 Skill의 이름과 설명을 시스템 프롬프트에 미리 불러옵니다. 즉, 메타데이터가 스킬의 <strong>&#39;사용법(언제 사용해야 하는지 판단하는 기준)&#39;</strong> 역할을 하는 것입니다. <br>이후 에이전트가 현재 작업과 관련이 있다고 판단하면, 전체 SKILL.md 파일을 읽어 컨텍스트에 로드하고 Skill을 실행합니다.</p><p>Anthropic에서 구현한 PDF Skill 사례를 보면, 단순히 본문을 읽는 것을 넘어 훨씬 복잡하고 정교한 형태로 Skill을 구성할 수 있음을 알 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M7aofrV3OONe4GcMuJh0yA.png" /><figcaption><a href="https://strandsagents.com/docs/user-guide/concepts/plugins/skills/">https://strandsagents.com/docs/user-guide/concepts/plugins/skills/</a></figcaption></figure><p>Strands SDK는 이러한 ‘Skill’을 Plugin 형태로 제공하는데요. SentryOn은 이를 활용하여 Datadog 메트릭 조회 규칙을 datadog-metric-playbook Skill로 분리해 작은 인덱스처럼 구성했습니다.</p><pre>datadog-metric-playbook/<br>  SKILL.md<br>  references/<br>    elb-metrics.md<br>    cloudfront-metrics.md<br>    rds-metrics.md<br>    dynamodb-metrics.md<br>    amazon-es-metrics.md<br>    elasticache-metrics.md<br>    ec2-system-metrics.md<br>    infra-resource-map.md</pre><p><strong>SKILL.md에는 전체 metric 목록을 모두 넣지 않았습니다. 대신 요청을 분류하는 규칙과 어떤 reference를 열어야 하는지만 적었습니다.<br></strong>SentryOn은 사용자의 자연어 요청을 분석해 관련 reference만 열고, metric name과 filter tag를 찾은 뒤 datadog_query_metrics 도구를 호출합니다.</p><p>결과적으로 SentryOn의 Datadog Metric 조회 흐름은 다음과 같습니다.</p><p>1. <strong>사용자 자연어 요청:</strong> ( XX RDS 상태 특이사항 있는지 점검해줘)<br><strong>2. Skill 활성화: datadog-metric-playbook<br></strong>3. <strong>레퍼런스 확인:</strong> rds-metrics.md (RDS 메트릭중 어떤 지표를 주로 봐야할 지)<br>4. <strong>파라미터 결정:</strong> metric name / filter_tags / aggregation 결정<br>5<strong>. 도구 호출:</strong> datadog_query_metrics 호출<br><strong>6. 결과 해석</strong></p><p>이 방식의 핵심은 LLM이 잘못된 metric name을 추측하는 환각 현상을 막는 데 있습니다. 이 설계로 metric catalog를 기본 프롬프트에 넣지 않고도, 필요한 순간에만 관련 지침을 꺼내 자연어 요청을 정확한 Datadog query로 변환할 수 있었습니다.</p><h4>5. 프롬프트 캐싱 적용</h4><p>운영 시스템의 방대한 메트릭과 로그 정보를 앞서 여러 방법으로 줄였지만, 그럼에도 RCA 성격의 SentryOn이 처리해야 할 데이터는 수십만 토큰 단위입니다. 이는 곧 비용 부담으로 직결되는데요, 프롬프트 캐싱을 적용하여 어느 정도 완화할 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/758/0*cIVMOJi4xdX_qijc.png" /><figcaption><a href="https://aws.amazon.com/ko/blogs/tech/effectively-use-prompt-caching-on-amazon-bedrock-kr/">https://aws.amazon.com/ko/blogs/tech/effectively-use-prompt-caching-on-amazon-bedrock-kr/</a></figcaption></figure><p>프롬프트 캐싱을 효과적으로 적용하기 위해서는 동작 방식부터 이해해야 합니다. <strong>checkpoint를 기준으로 프롬프트의 Prefix가 일치할 경우 캐시 히트가 발생하고, 일치하는 부분의 토큰을 Cache에서 읽어옵니다.</strong> 이는 Bedrock Claude Model 기준 최대 10배 더 저렴하고, Latency까지 줄어듭니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jKYn4x4PsLZRZYMR6HARFQ.png" /><figcaption><a href="https://aws.amazon.com/ko/bedrock/pricing/">https://aws.amazon.com/ko/bedrock/pricing/</a></figcaption></figure><p>다만 프롬프트 캐싱을 적용하더라도 항상 비용이 절감되는 것은 아닙니다. 체크포인트 생성을 위해 캐시를 쓰는(Write) 비용 자체는 더 비싸기 때문입니다. 따라서 Prefix와 캐시 포인트의 동작 원리를 이해하고 <strong>앞쪽에는 변하지 않는 정적 프롬프트를, 뒤쪽에는 현재 시간과 같이 가변적인 정보를 위치시키는 프롬프트 구조 설계가 필요합니다.</strong></p><p>SentryOn은 다음 2가지 Bedrock 설정을 통해 프롬프트 캐싱을 적용하였습니다.</p><pre>{<br>    &quot;cache_config&quot;: CacheConfig(strategy=&quot;auto&quot;),<br>    &quot;cache_tools&quot;: &quot;default&quot;,<br>}</pre><ol><li><a href="https://strandsagents.com/docs/user-guide/concepts/model-providers/amazon-bedrock/#messages-caching">cache_config</a>: straetegy를 auto와 manual로 구성할 수 있습니다. auto는 매 턴마다 사용자 메시지 끝에 자동으로 cachepoint를 활성화합니다. 멀티턴을 통해 대화가 진행되는 경우 auto로 설정하는 것이 유리합니다.</li><li><a href="https://strandsagents.com/docs/user-guide/concepts/model-providers/amazon-bedrock/#tool-caching">cache_tools</a>: 도구(Tools)에 대한 정의 스키마를 캐싱합니다. Docstring은 고정되어 있으므로 활성화하는 것이 좋습니다.</li></ol><p><strong>프롬프트 캐싱을 적용한 후 예상치 못한 버그를 겪었습니다. <br></strong>Strands SDK의 AgentsSkill <strong>플러그인의 동작 과정과 충돌하여 캐시 포인트가 깨지는 현상</strong>이 발생한 것 인데요. 이로 인해 캐시 히트율이 7~80% 에서 40% 까지 떨어졌습니다.</p><p>원인을 확인하고 자체적으로 개선하였지만 당시(4월 말) 최신 버전에도 그대로 재현이 되었기 때문에 이 버그에 대한 이슈를 제기하려 했으나 <a href="https://github.com/strands-agents/sdk-python/pull/2134"><strong>이미 관련 PR이 Merge</strong></a>된 상태였습니다.</p><p><strong>글을 작성하는 현재(26년 5월) 기준으로는 해당 버그가 패치된 버전인 </strong><strong>v1.38.0(5월 1일 릴리스)이 출시되어 해결되었습니다.</strong> <br>혹시 Strands SDK에서 Skill 플러그인과 프롬프트 캐싱을 함께 사용하시는 분들은 꼭 버전을 확인하시길 바랍니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*81RIHJu01W4AxQjJwxhulA.png" /></figure><h4>도입 후 2개월, 성과와 앞으로의 과제</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tGFN-a-gVLjGZn15sFSs7w.jpeg" /></figure><p>밤낮없이 인프라 및 서비스 이슈에 대응하는 동료들의 피로도를 조금이나마 덜어보고자 시작한 SentryOn 기획이, 어느덧 도입 2개월 차를 맞이했습니다. 짧은 운영 기간이었지만 기대 이상의 성과를 확인했고, 동시에 앞으로 고도화해야 할 명확한 과제들도 발견할 수 있었습니다.</p><ol><li><strong>24/365 빠른 1차 분석 및 MTTD 향상<br></strong>실제 장애가 발생하면 대시보드를 열어 수많은 메트릭과 로그를 교차 검증하는 과정이 필요합니다. SentryOn은 이 과정을 사람과 비교할 수 없는 속도로 처리합니다. 실시간 상태와 과거 지표를 순식간에 비교 분석해 주기 때문에, 엔지니어가 직접 다양한 소스의 원시 데이터를 뒤적여야 하는 초기 대응의 피로감이 크게 줄어들었습니다.</li><li><strong>뜻밖의 효과 — MSA 아키텍처 내비게이션</strong> <br>SentryOn은 전체 시스템의 맥락을 이해하도록 DevOps 관점의 도메인 지식이 주입되어 있습니다. 이로 인해 개발자분들이 장애 상황이 아닐 때도 복잡한 MSA 호출 흐름이나 타 서비스와의 의존성을 파악하기 위해 SentryOn에 질의하는 경우가 생겼습니다. 의도한 기능은 아니었지만, 에이전트가 사내 시스템에 대한 전반적인 이해도를 높여주는 가이드 역할을 하며 개발자 경험 향상에도 기여하고 있습니다.</li><li><strong>Read-Only의 한계와 승인 기반 액션 도입</strong> <br>현재 SentryOn은 인프라에 직접 개입하지 않는 Read-Only 형태로 동작하며, 조치 방안을 ‘제안’하는 데 그치고 있습니다. 일시적인 네트워크 지연처럼 자연 해소되는 이슈도 많지만, 애플리케이션 롤백이나 클라우드 리소스 스케일링 등 DevOps 레벨의 긴급 조치가 필요한 상황에서는 에이전트가 직접 액션을 취하지 못하고 있습니다. 운영 데이터가 더 축적되어 판단의 신뢰도가 충분히 확보되면, 최종 조치는 사람이 승인하는 <strong>HIL(Human-in-the-Loop) 기반의 액션 제어</strong> 도입을 고려하고 있습니다.</li><li><strong>워크로드별 롱텀 메모리(Long-Term Memory) 부재<br></strong> 두 달간 트래픽을 지켜보니, 특정 애플리케이션 워크로드마다 반복적으로 나타나는 에러나 지연 패턴이 존재했습니다. 하지만 현재 SentryOn은 과거의 진단 이력을 장기적으로 기억하지 못해 매번 처음부터 새롭게 상황을 판단하고 있습니다. SentryOn이 ‘<strong>운영 노하우</strong>’를 누적하려면, 과거의 맥락을 참조할 수 있는 롱텀 메모리 구조가 필요합니다.</li></ol><p>이 외에도 피드백 수집과 모니터링을 통해 미흡한 프롬프트와 도구들을 지속적으로 튜닝하고 있습니다.</p><p>AI Agent는 이제 단순한 챗봇을 넘어, 커스텀 도구를 활용해 실제 시스템 운영 업무에 직접적으로 활용되고 있습니다. 물론 대규모 클라우드 환경의 본질적인 복잡성을 AI Agent 하나로 완벽하게 통제할 수는 없습니다. 하지만 적어도 장애 상황에서 엔지니어가 우선적으로 확인해야 할 병목 지점을 빠르게 짚어주는 역할만으로도 충분한 실효성을 확인할 수 있었습니다.</p><p>긴 글 읽어주셔서 감사합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5425c265552c" width="1" height="1" alt=""><hr><p><a href="https://techblog.lotteon.com/agentic-aiops-rca-%EC%97%90%EC%9D%B4%EC%A0%84%ED%8A%B8-sentryon-%EB%8F%84%EC%9E%85%EA%B8%B0-feat-strands-sdk-5425c265552c">Agentic AI — RCA 에이전트 ‘SentryOn’ 도입기 (feat. Strands SDK)</a> was originally published in <a href="https://techblog.lotteon.com/">롯데ON 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[주니어 IT 엔지니어가 일 속의 동기를 찾는 법 (feat. 오픈소스 기여)]]></title>
            <link>https://medium.com/@tlsdnwn55_89958/%EC%A3%BC%EB%8B%88%EC%96%B4-it-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4%EA%B0%80-%EC%9D%BC-%EC%86%8D%EC%9D%98-%EB%8F%99%EA%B8%B0%EB%A5%BC-%EC%B0%BE%EB%8A%94%EB%B2%95-62155268e2fd?source=rss-65abaf40032a------2</link>
            <guid isPermaLink="false">https://medium.com/p/62155268e2fd</guid>
            <category><![CDATA[datadog]]></category>
            <category><![CDATA[open-source]]></category>
            <category><![CDATA[kafka-connector]]></category>
            <category><![CDATA[mongodb]]></category>
            <category><![CDATA[confluent-kafka]]></category>
            <dc:creator><![CDATA[WooJooShin]]></dc:creator>
            <pubDate>Sat, 25 Apr 2026 07:43:09 GMT</pubDate>
            <atom:updated>2026-04-25T08:02:31.233Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>당시엔 바이브코딩이 크게 대두되지 않았고 온전히 내가 맡은 업무에 몰입하여 처음으로 오픈소스에 기여했다는 사실이 기뻐 글을 남기려 했는데 … 부끄럽다고 생각했는지 글을 마저 작성하지 않았다. 회고를 남기는 현재 2026년 4월은 AI가 코딩분야에서 너무나도 큰 영향력을 미치고 있고 사람이 작성하는 이슈와 PR보단 AI가 작성하는 PR이 넘쳐나고 있다. 이 때문에 다양한 오픈소스 생태계에서 골머리를 앓고 있는 부분도 보인다.(오픈소스 생태계를 단순히 소스관점에서만 볼건지, 커뮤니티? 관점에서 종합적으로 볼건지)</blockquote><p><strong>돌아와서… 다시 생각해보니 짧은 순간이였지만 당시엔 상당히 몰입감을 느꼈던 경험이였기에 글을 Publish 했다.</strong></p><p>안녕하세요. 클라우드 환경에서 다양한 오픈소스 기반의 미들웨어를 다루고 있는 2년 차 주니어 엔지니어입니다.</p><p>흔히들 말하는 ‘덕업일치’. 일 자체가 내가 좋아하는 것이라면 자연스레 동기부여도 되고 성취감도 따라올 것입니다. 하지만 현실적으로 대부분의 직장인이 일과 동기부여, 그리고 성취를 완벽하게 일치시키는 것은 결코 쉬운 일이 아닙니다.</p><p>IT 엔지니어도 마찬가지입니다. 매 순간 제가 원하고 흥미로운 업무만 할 수는 없으니까요. 그럼에도 불구하고 앞으로 더 나아가기 위해서는, 매일의 평범한 업무 속에서 나만의 성장과 성취를 찾아내야 한다고 생각합니다. 오늘은 제가 실무를 하며 어떻게 동기부여를 얻고 있는지, 그 작은 경험을 공유해 보고자 합니다.</p><h4>Troubleshooting = 성취감</h4><p>저는 주로 클라우드 환경에서 다양한 미들웨어 솔루션을 관리하고 있습니다. 이 과정에서는 정말 예상치 못한 버그나 크고 작은 문제들을 수시로 마주하게 됩니다. 처음에는 이런 예외 상황들이 그저 막막하고 큰 스트레스로 다가왔습니다. 하지만 끈질기게 파고들어 결국 문제를 해결해 냈을 때의 그 짜릿한 성취감은 생각보다 훨씬 컸습니다.</p><p>그러다 문득 이런 생각이 들었습니다.</p><p><em>‘</em><strong><em>내가 고생해서 발견하고 해결한 이 문제가, 우리 회사를 넘어 글로벌 오픈소스 제품 자체에 반영된다면 어떨까?’</em></strong></p><h4>글로벌 제품에 기여하기</h4><p>최근 전사 데이터 파이프라인을 Kafka 생태계로 전환하는 프로젝트를 진행하고 있었습니다. 그중 MongoDB SinkConnector를 구축하는 과정에서, 공식 문서대로 설정했음에도 의도한 대로 동작하지 않는 문제를 발견했습니다.</p><p>우리가 실무에서 마주하는 수많은 기술들은 오픈소스로 공개되어 있는 경우가 많습니다. 저는 이 버그를 해결하기 위해 단순히 구글링에 그치지 않고, 직접 MongoDB Connector의 소스 코드를 뜯어보고 관련 문서를 뒤지며 근본적인 원인을 파악하기 시작했습니다.</p><p>문제의 원인을 찾은 후, 해당 프로젝트의 컨트리뷰트(Contribute) 가이드를 꼼꼼히 확인했습니다. 그리고 MongoDB Jira에 제가 겪은 이슈를 상세히 묘사한 티켓을 발행하고, 이를 개선할 수 있는 PR(Pull Request)을 함께 제출했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6Ov6ZSuwhw4FkEKVCRqwxw.png" /><figcaption><a href="https://jira.mongodb.org/browse/KAFKA-395">https://jira.mongodb.org/browse/KAFKA-395</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0KMqIHulaRVDrPfRqOrwuw.png" /><figcaption><a href="https://github.com/mongodb/mongo-kafka/pull/149">https://github.com/mongodb/mongo-kafka/pull/149</a></figcaption></figure><p>사실 영어를 잘 못하는 편입니다... 하지만 구글 번역기의 힘을 빌려가며, 제가 파악한 문제 상황과 해결책을 최대한 논리적으로 설명했습니다..</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SmyWjz_jF8o_kskT3hT_YQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2hHgqNYx2RTCZli6tGC-sQ.png" /></figure><p>소통을 이어가는 김에, 구축 과정에서 평소에 이해가 잘 가지 않았던 부분들까지 용기 내어 질문해 보기도 했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BvexbBSa4uAlRUhmdDL51Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mXCJsJqJMo1Fh5zYzaSQiA.png" /><figcaption>merged !</figcaption></figure><p>결과는 성공적이었습니다. 제가 제출한 이슈가 인정되었고, 제가 작성한 커밋이 메인 브랜치에 무사히 머지(Merge) 되었습니다. 이후 이 코드가 MongoDB Connector의 공식 릴리즈 버전에 포함되었다는 사실은 저에게 말로 다 할 수 없는 큰 성취감을 안겨주었습니다.</p><p>이 첫 기여 경험은 저에게 꽤나 신선한 충격이었습니다. ”<strong>오픈소스 기여, 엄청난 고수들만 하는 건 줄 알았는데 나도 할 수 있구나!</strong>” 라는 생각과 함께 엔지니어로서 큰 자신감을 얻게 되었습니다.</p><p>이후로는 업무를 대하는 태도도 조금 달라졌습니다. 오픈소스 기반의 기술을 다루다 이슈가 발생하면, 단순히 우회하는 방법을 찾기보다 먼저 커뮤니티의 동향을 살피고 소스 코드를 직접 분석해 보는 습관이 생겼습니다.</p><p>이러한 관점의 변화 덕분에, 최근 Datadog으로 Confluent Platform 모니터링 환경을 구축하던 중 Kafka Streams 메트릭이 제대로 수집되지 않는 버그를 발견했을 때도 주저 없이 Datadog Integration 프로젝트에 개선 PR을 보내 두 번째 오픈소스 기여를 해낼 수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*r6bR2i0Vp0N1A9RqD9iyiA.png" /><figcaption><a href="https://github.com/DataDog/integrations-core/pull/17490">https://github.com/DataDog/integrations-core/pull/17490</a></figcaption></figure><p><strong>마치며</strong></p><p>제가 겪은 이슈에 대해 글로벌 커뮤니티에 논리적으로 설명하고, 재현 과정을 공유하며, 개선안을 제안하는 이 모든 과정. 전 세계의 뛰어난 엔지니어들과 처음으로 직접 소통해 보았던 이 경험은 주니어 엔지니어인 저에게 너무나도 흥미롭고 가슴 뛰는 기억으로 남았습니다.</p><p>회사에서 주어지는 평범한 업무 속에서도, 문제를 바라보는 시각을 조금만 넓힌다면 누구나 자신만의 강력한 동기부여를 찾아낼 수 있다고 믿습니다. 이 글이 매일의 트러블슈팅 속에서 고군분투하고 계실 또 다른 주니어 분들께 작은 자극과 응원이 되었으면 좋겠습니다.</p><p>— — 2026.04.25</p><p>오픈소스를 기여하는 과정은 내가 겪은 이슈에 대해 커뮤니티에 논리적으로 설명하고 재현 과정과 개선안을 제출하는 것입니다. (오픈소스마다 가이드라인은 다르지만) 이 과정에서 글로벌 커뮤니티의 인원과 처음으로 소통하는 과정이 상당히 흥미로웠고 재밌었던 기억이 나네요.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=62155268e2fd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[팀프로젝트 쿠버네티스 도입기]]></title>
            <link>https://medium.com/@tlsdnwn55_89958/%ED%8C%80%ED%94%84%EB%A1%9C%EC%A0%9D%ED%8A%B8-%EC%BF%A0%EB%B2%84%EB%84%A4%ED%8B%B0%EC%8A%A4-%EC%A0%81%EC%9A%A9%EA%B8%B0-744606f73fb1?source=rss-65abaf40032a------2</link>
            <guid isPermaLink="false">https://medium.com/p/744606f73fb1</guid>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[infrastructure-as-code]]></category>
            <dc:creator><![CDATA[WooJooShin]]></dc:creator>
            <pubDate>Wed, 30 Nov 2022 05:15:15 GMT</pubDate>
            <atom:updated>2022-12-04T13:52:13.563Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*4tdVab_Xz-vjR6RMvMk6yQ.png" /></figure><p>안녕하세요, 저는 5IVE에서 인프라와 백엔드를 담당하고 있습니다.</p><p>저희팀에서는 컨테이너 오케스트레이션 툴로 쿠버네티스(이하 k8s)를 적용하였는데요. 항상 취업준비를 하면서 쿠버네티스 말만 많이 들어봤지 컨테이너 오케스트레이션이 무엇인지, 왜 필요한지 직접적으로 체감할 수는 없었습니다. 그래서 프로젝트를 하며 k8s를 적용하게된 계기와 느꼈던 점을 부족한 지식으로 공유해보려 합니다.</p><h3><strong>1. 계기</strong></h3><p>최종 프로젝트의 권장사항중 하나인 Microservice Architecture(이하 msa)환경 구성을 위해 저희팀은 Spring Cloud를 적용하여 구현중에 있었습니다. 중간발표일이 다가오며 배포를 어떻게 할지 고민한 결과 docker를 이용해서 모든 서비스를 컨테이너환경으로 배포하게 되었는데요. msa의 장점중 하나로 서비스별 독립적인 CI/CD에는 이상이 없었으나 부하/분산을 위해 같은 서비스를 2개 이상 띄워야할때는 의문점이 들수밖에 없었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ubWn3K3f9skE9IHmLM71zA.png" /><figcaption>초기 VPC 구조</figcaption></figure><p>위 그림은 초기의 VPC 구조인데요. 처음에는 Public 영역에 bastion을 두고 각 서비스 컨테이너가 실행되고 있는 Elastic Compute Cloud(이하 EC2,노드)에 접속을 해서 명령어를 입력해야 했습니다. docker-compose를 이용하여 간편하게 작업할 수 있었지만 고가용성을 위해 2개 이상의 동일 컨테이너를 실행할 때는 여러가지 문제를 직면했습니다.</p><p>첫 번째로, 어떤 서비스의 컨테이너가 예기치못한 오류로 종료될 때 마다 일일이 해당 컨테이너가 있는 노드를 접속해서 관리해야 했습니다.</p><p>두 번째로, 고가용성을 위한 구성이 까다로웠습니다. msa 환경의 장점중 하나로 경량화된 컨테이너의 수평적 확장을 느끼고 싶었지만 각각 다른 노드에 접속해서 커맨드를 입력해야 되는 불편함이 있었습니다.</p><p>마지막으로 늘어나는 컨테이너의 관리와 로그 확인이 매우 불편했고 이 모든 것을 해결해줄 것은 컨테이너 오케스트레이션 툴이라 생각이 들었습니다.</p><p>툴의 종류는 다양하지만(docker swarm,mesos,k8s,aws ecs등) 많은 사람들이 사실상 업계 표준이라고 하는 쿠버네티스를 도입하기로 결정했습니다. 클러스터 구축은 가장 기본적인 방법인 kubeadm으로 설치했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Lc_Rv8gJ3sXFrtahvFULUA.png" /><figcaption>쿠버네티스 클러스터가 구축된 VPC</figcaption></figure><p>기본 VPC 구조와 다른점이 거의 없지만 private subnet에 쿠버네티스 클러스터를 구축하였고, master node(= control plane)에 접근하는 것만으로 모든 노드(EC2)를 관리할 수 있게 되었습니다. 고가용성을 위해 각각 다른 노드에 서비스를 실행할 수 있으며 장애 발생 시 self-healing 기능도 갖추었습니다. 그리고 쿠버네티스의 다양한 애드온과 패키지 매니저(Helm)를 통해 저희팀이 필요로 한 개발환경을 빠르게 구축할 수 있었는데요. 설치만 했을 뿐인데, 쿠버네티스는 도대체 어떻게 이러한 것들을 가능하게 해주는 걸까요?</p><h3><strong>2. Desired State</strong></h3><p>Desired State 한국어로 직역하면 “원하는 상태” 입니다. 저는 이 단어 하나로 쿠버네티스를 정의할 수 있다 생각하는데요. 쿠버네티스의 공식 홈페이지에도 유독 이 단어가 많이 나옵니다. Desired State에 대해 쉽게 예를 들면 “A 서비스의 컨테이너는 각 노드마다 1개씩 실행되고 포트는 8080번으로 서비스 하길 원해” 이런것을 의미하는데요. 개발자는 이러한 Desired State가 선언되어 있는 yml 형식의 파일을 쿠버네티스에게 넘겨주게 됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*tenSZTTDE7htRiy8.png" /><figcaption>Desired state - <a href="https://subicura.com/2019/05/19/kubernetes-basic-1.html">https://subicura.com/2019/05/19/kubernetes-basic-1.html</a></figcaption></figure><p>쿠버네티스는 current state(현재 상태)를 모니터링하며 사용자가 선언한 desired state와 차이점이 발생하면 current state를 desired state로 유지하는 특성이 있습니다. 예를 들어 A 서비스의 desired state 는 정상 동작하는 컨테이너의 수( replicas = 2라고 하겠습니다. )가 2개입니다. 그런데 어떤 노드에서 장애발생으로 해당 노드의 A 서비스가 다운되었다고 하면 일시적으로 current state는 replicas = 1이 되고 A 서비스의 desired state와 replicas 수가 맞지 않는 차이점이 발생하게 됩니다. 쿠버네티스는 이를 즉시 인지하여 A 서비스의 current state( replicas = 1 )를 desired state( replicas = 2 )와 맞추기 위해 마스터 노드와 연결되어 있는 워커 노드중 가장 적합한 노드에 A 서비스 1개를 추가함으로 replicas = 2를 유지하며 self-healing이 되는 것입니다.</p><p>겉으로 보기엔 굉장히 단순한 동작이지만 사실 쿠버네티스 내부에서는 다양한 컴포넌트들이 일련의 과정들을 위해 쉴새없이 정보를 주고받고 있습니다. 이해를 위해 쿠버네티스의 구조에 대해 간략하게 살펴보겠습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XMiC0tFjggUd_OjadNHFyQ.png" /><figcaption>kubernetes masternode - workernode</figcaption></figure><p>쿠버네티스는 기본적으로 전체 클러스터를 관리하는 마스터 노드와 컨테이너의 배포를 담당하는 워커노드로 구성되어 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XvKEUdyjTw9Soh6ziDWLcA.png" /><figcaption>master-node</figcaption></figure><p>마스터 노드에서는 논리적으로 구분된 다양한 Controller가 존재하며 컨테이너의 상태 체크, 서버 리소스 체크 등<strong> API server</strong>를 통해<strong> etcd</strong> 라는 모든 상태(state)를 기록하는 분산 데이터 저장소에 기록하게 됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pi1JGujETPReyToYQDmJrQ.png" /></figure><p>각 워커노드에서는 Master node의 API server와 통신을 주고받는 <strong>kubelet</strong>과 <strong>kube-proxy</strong>가 있습니다. kubelet은<strong> Pod</strong>(k8s의 최소 배포 단위)의 생명 주기를 관리하며 Pod가 사용자의 요구대로 동작하게 합니다.</p><p>kube-proxy는 네트워크 프록시로 쿠버네티스의 서비스 개념의 구현부입니다. 노드의 네트워크 규칙을 유지 관리하며 내부 네트워크 세션이나 클러스터 밖에서 Pod로 네트워크 통신을 할 수 있도록 해줍니다.</p><p>이런 기본적인 컴포넌트 외에도 쿠버네티스는 다양한 애드온과 커스텀 리소스를 제공하며 개발자들은 테스트 환경을 빠르게 구축할 수 있습니다. production 환경에서는 고려해야 할 점이 훨씬 많겠지만 다양한 개발 환경을 간편하게 도입할 수 있기에 쿠버네티스의 기본적인 지식만 알아도 개발자들의 생산성 향상을 기대할 수 있다고 생각합니다.</p><p>다음은 Spring-boot 기반의 Spring-Cloud 프로젝트를 쿠버네티스로 이전 하며 얻은 이점입니다.</p><h3><strong>3. Spring Cloud Kubernetes</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jWlq3bBvGp1GN0QcxswFtA.png" /><figcaption>Eureka server , Config server에 의존적인 구조</figcaption></figure><p>기존에는 msa간의 통신을 위해 Feign Client를 사용하며 Service Discovery의 역할을 Spring-Cloud-Netflix-Eureka 를 통해 각 마이크로 서비스의 이름으로 통신하였습니다. 또한 Centralized configuration management 로 Spring-Cloud-Config 를 사용하였습니다. msa 환경의 장점중 하나가 “<strong>장애 격리”</strong>인데 기존의 구성이면 Eureka Server 또는 Config Server 둘중 하나라도 정상 작동하지 않는다면 전체 msa 환경이 동작하지 않는 SPOF를 야기할 것이라고 생각되었습니다. 고가용성 구성을 통해 해결할 수 있는 문제이긴 하지만 쿠버네티스의 서비스 리소스를 활용하여 이러한 문제점을 해결할 수 있었습니다.</p><p>쿠버네티스는 어플리케이션을 배포하면 pod 형태로 배포되는데요. 각 pod는 고유의 IP를 가지지만 쿠버네티스의 특성상 pod가 자주 삭제되고 재생성 될때마다 pod의 IP가 변하게 됩니다. 하지만 쿠버네티스는 pod의 묶음을 하나의 dns name으로 부여하고 로드밸런스를 수행할 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lR9t4sXcE1sa6IRGTzcXbw.png" /><figcaption>kubernetes — service</figcaption></figure><p>위 그림의 auth-service라고 정의되어 있는 쿠버네티스의 “<strong>서비스 리소스</strong>”는 어떤 pod로 요청을 보낼지 로드밸런서 역할을 하게 됩니다. 실제 인증 로직을 처리하는 부분은 pod에서 일어나고 그 과정에서 어떤 한 pod가 삭제되고 다시 생성되더라도 auth-service라는 서비스 이름은 변하지 않습니다. 쿠버네티스의 Controller는 단지 삭제되서 없어진 pod의 endpoint는 지우고 새롭게 추가된 pod의 ip를 auth-service의 endpoint로 추가하게 되는데요.</p><p>즉, auth-service 라는 서비스 이름이 클러스터 내에서 Service Discovery 역할을 대체하여 어플리케이션 간 통신을 수행하게 됩니다. 그리고 Spring-Cloud는 기존 프로젝트를 Kubernetes 환경으로 쉽고 빠르게 마이그레이션 할 수 있도록 Spring-Cloud-Kubernetes 라는 라이브러리를 제공합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5GEBwflnF6owbbN7CsHQtQ.png" /><figcaption><a href="https://docs.spring.io/spring-cloud-kubernetes/docs/current/reference/html/">https://docs.spring.io/spring-cloud-kubernetes/docs/current/reference/html/</a></figcaption></figure><p>Eureka에 대한 종속성을 제거하고 몇개의 설정만 추가해주면 기존 feign client의 코드도 변경할 필요가 없습니다.</p><pre>implementation group: &#39;org.springframework.cloud&#39;, name: &#39;spring-cloud-starter-kubernetes-fabric8-all&#39;, version: &#39;2.1.5&#39;</pre><pre>spring.application.name=auth-service</pre><p>쿠버네티스의 서비스 이름과 스프링 어플리케이션의 이름을 일치시켜야 합니다.</p><pre>apiVersion: v1<br>kind: Service<br>metadata:<br>  name: auth-service<br>spec:<br>  ports:<br>    - port: 8500<br>  selector:<br>    app: auth-service</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/757/1*TifMIVRG32lpSpQb-k14wA.png" /><figcaption>Eureka를 사용할때와 동일한 Feign Client</figcaption></figure><p>최종적으로 저희팀은 쿠버네티스에서 다음과 같은 구조로 변경되었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tWoL8jonI4-FVNwTeVzpWg.png" /></figure><p>Eureka에 의존적이던 기존의 구조와는 다르게 쿠버네티스의 서비스 리소스와 DNS를 통해 Service Discovery 역할을 대체하고 Pod의 쉽고 빠른 확장으로 유연한 스케일링이 가능해집니다. Eureka Server에 소모되던 서버 리소스도 확보할 수 있습니다. Spring-Cloud-Config 또한 쿠버네티스의 ConfigMap, Secret 오브젝트를 활용하여 대체할 수 있습니다. 장단점이 분명하지만 자세한 내용은 생략하도록 하겠습니다.</p><p>새롭게 생성되고 삭제되는 pod들의 로그를 확인하는 방법도 편리했습니다. 개발을 하면서 실시간으로 각 pod들의 로그를 확인해야 하는일이 빈번했는데요. 간단하게 로그만 확인하면 됐기에 grafana와 loki,promtail을 이용하여 로깅시스템을 구축하였습니다.</p><h3>Loki , Promtail ?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/48/1*qd16iL2dY99GtmPtpii1hw.png" /><figcaption>grafana — loki</figcaption></figure><p>KubeCon Seattle 2018에서 Grafana Labs에서 오픈소스로 공개된 중앙 로깅 시스템입니다. 단일 로그 라인을 그대로 처리한다는 아이디어를 기반으로 만들어졌으며 이는 전체 텍스트 인덱싱을 하는 것이 아니라 Prometheus와 마찬가지로 동일한 label을 사용하여 관련 로그들을 그룹화한다는 것을 의미합니다. 당연히 Grafana를 통한 로그 시각화를 제공합니다.</p><p>Promtail은 로그를 중앙 저장소로 전달하는 에이전트 역할을 하며 모니터링해야 하는 모든 노드에 DaemenSet(모든 노드마다 1개씩 실행되는 쿠버네티스의 오브젝트)으로 배포되어 로그를 Loki로 전달합니다. 설치는 쿠버네티스의 패키지 매니저인 helm을 통해서 간편하게 설치할 수 있었습니다.</p><pre>helm repo add grafana https://grafana.github.io/helm-charts<br><br>---<br>loki install<br>helm pull grafana/loki-stack<br>tar xvfz loki-stack-2.8.7.tgz<br>helm install loki --namespace loki .<br>---<br>grafana install<br>helm install grafana --namespace=grafana --create-namespace grafana/grafana -f grafana.vo<br><br>---<br>grafana.vo<br>adminPassword: admin<br>datasources:<br>  datasources.yaml:<br>    apiVersion: 1<br>    datasources:<br>    - name: loki<br>      type: loki<br>      url: http://loki-headless.loki.svc.cluster.local:3100<br>      access: proxy<br>      isDefault: true</pre><p>간편한 설치만으로 클러스터내의 전체 pod들의 로그를 확인할 수 있었습니다. 실제로 배포 환경 테스트중 빠르게 로그를 확인하여 여러가지 버그를 고칠 수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Egd72Q0XhNwMBpoXEiNp7g.png" /><figcaption>operationalerror (2006 ‘mysql server has gone away’)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tR40d4CrD6itu1rr6I7Isg.png" /><figcaption>스프링 로그 확인중</figcaption></figure><h3>4. GitOps 경험</h3><p>마지막으로 저희팀은 프로젝트의 형상 관리와 이슈, 일정관리 등 모든 것을 Github으로 관리하였습니다. 앞서 언급했던 쿠버네티스의 원천인 Desired State(선언적 인프라 관리)와 git-workflow 전략을 활용하기 위해 쿠버네티스 상의 GitOps 구현체인 ArgoCD를 도입하였습니다.</p><h3>GitOps ?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M2JqvTas717SBsOMngugbQ.png" /><figcaption><a href="https://aws.amazon.com/ko/blogs/containers/automating-amazon-eks-with-gitops/">https://aws.amazon.com/ko/blogs/containers/automating-amazon-eks-with-gitops/</a></figcaption></figure><p>Weaveworks에서 처음 사용한 용어로 프로젝트에 데브옵스를 적용하는 실천 방법 중 하나입니다. 그 중에서도 지속적인 배포에 초점을 둔 개념인데요. 애플리케이션의 배포와 운영에 관련된 모든 요소를 코드화하여 Git에서 관리하는 것이 핵심입니다. (쿠버네티스의 Desired State와 비슷하게 동작합니다. ) 선언적으로 작성된 애플리케이션의 manifest 파일이 있는 Config Repository와 현재 클러스터내의 상태를 실시간 프로비저닝하고 Config Repository의 변경사항이 발생하면 그 즉시 동기화 수행을 하게 됩니다. ArgoCD는 쿠버네티스 상에서 GitOps를 실천할 수 있는 CD 툴이라고 볼 수 있습니다.</p><p>팀에 ArgoCD를 도입하며 얻은 장점으로는 다음과 같습니다.</p><ol><li>다양한 CD 도구들처럼 자동화로 인해 쉽고 빠른 배포가 가능한것에 더해 개발자들은 Git의 익숙한 절차만으로 배포가 가능해집니다. ( “git commit → push → Pull request → review → merge”)</li><li>Commit에 모든것이 기록되기 때문에 배포 환경의 버전관리가 용이하고 새롭게 배포한 서비스가 오류가 발생하더라도 git revert 명령어로 에러 복구를 빠르게 할 수 있습니다.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2uuy59oBEOZZ5KSHvc3CxA.png" /><figcaption>GitOps Pipeline</figcaption></figure><p>GitOps를 적용한 저희팀의 CI/CD 파이프라인 입니다. 각자 자기가 맡은 기능을 구현하며 Pull Request를 작성하고 팀원들 간의 코드리뷰를 진행합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IYQZn6mkstCjuM8zWL09TQ.png" /><figcaption>PullRequest</figcaption></figure><p>feature 브랜치가 develop 브랜치에 머지되기에 적합하다고 판단되어 merge되면 Jenkins에서 테스트와 빌드를 진행하고 이미지 빌드까지 진행하여 Image Registry에 업로드 하게됩니다. 모든 과정은 Slack으로 알람처리하여 성공/실패 여부를 확인할 수 있게 진행되었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/532/1*m3e1RhNYGWeJa47gYE8lxg.png" /></figure><p>그 다음 config repository의 이미지 태그를 새롭게 빌드된 이미지 태그로 업데이트 하고 ArgoCD는 config repository의 변경사항을 감지하고 동기화 수행을 합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ki7SCb221IIJFerVldTd_Q.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/1*uOr2eb0ipn1JY80jZW1HXw.gif" /><figcaption>argocd 동작과정</figcaption></figure><p>배포 전략은 Rolling Update로 진행되었지만 Argo Rollout( Argo에서 지원하는 CRD )을 이용하면 Blue-Green , Canary 배포도 수행할 수 있습니다.</p><h3>마치며…</h3><p>사실 팀프로젝트의 규모가 그렇게 크지 않았기에 쿠버네티스를 도입했던 것은 무리였을지도 모르겠습니다. 클러스터를 구축하는 것만으로 난이도가 있었기에 EKS 같은 관리형서비스를 사용하고 싶었지만 모든 팀들에게 제한된 aws 금액이 있었고 최대한 비용을 절약하기 위해 EC2에 직접 클러스터를 설치 했습니다. 설치만 하면 될줄 알았지만 클라우드 서비스와 하나도 연동되어 있지 않아서 동적 PV 할당부터 로드밸런스 리소스를 ELB로 생성하지 못하는 등 우여곡절이 많았습니다. 하지만 모든 과정들이 쿠버네티스에 대해 더 잘 알아보는 시간들이 되었습니다.</p><p>현재도 많은 기업이 클라우드로 환경을 이전하며 안정적인 대규모 서비스 운영을 위해 쿠버네티스를 운용하고 있습니다. 롯데ON 또한 100% 클라우드 환경을 지향하며 최근에는 AWS Summit Korea 2022 에서 “<a href="https://youtu.be/7YJ4eaoQwfs">대규모 Amazon EKS 워크로드를 운영하며 겪은 다양한 장애를 극복하고 서비스 안정화하는 과정</a>”을 공유한 바 있는데요. 개인적으로 제 생각에는 쿠버네티스는 더이상 인프라만의 영역이 아닌 개발자들도 알아야되는 영역이라고 생각합니다.</p><p>끝으로 쿠버네티스의 동작 방식인 Desired State와 어떤 방식으로 어플리케이션들이 컨테이너화 되어 실행되는지 기본적인 지식만 알아도 클라우드 환경의 개발이 개발자들에게 많은 도움이 될것이라고 생각됩니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=744606f73fb1" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>