<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[finda 기술 블로그 - Medium]]></title>
        <description><![CDATA[더 나은 금융 선택을 위해 - Medium]]></description>
        <link>https://medium.com/finda-tech?source=rss----393936937578---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>finda 기술 블로그 - Medium</title>
            <link>https://medium.com/finda-tech?source=rss----393936937578---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 06:17:53 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/finda-tech" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[금융서비스 MSA 전환기- 서버 간 비동기 메시지 기반 통신 처리(3편)]]></title>
            <link>https://medium.com/finda-tech/%EA%B8%88%EC%9C%B5%EC%84%9C%EB%B9%84%EC%8A%A4-msa-%EC%A0%84%ED%99%98%EA%B8%B0-%EC%84%9C%EB%B2%84-%EA%B0%84-%EB%B9%84%EB%8F%99%EA%B8%B0-%EB%A9%94%EC%8B%9C%EC%A7%80-%EA%B8%B0%EB%B0%98-%ED%86%B5%EC%8B%A0-%EC%B2%98%EB%A6%AC-3%ED%8E%B8-c0785860a3d5?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/c0785860a3d5</guid>
            <category><![CDATA[redis]]></category>
            <category><![CDATA[eda]]></category>
            <category><![CDATA[msa]]></category>
            <category><![CDATA[sse]]></category>
            <category><![CDATA[kafka]]></category>
            <dc:creator><![CDATA[김형래]]></dc:creator>
            <pubDate>Mon, 25 Sep 2023 03:01:26 GMT</pubDate>
            <atom:updated>2023-09-25T03:01:26.526Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>안녕하세요, FINDA 현금그로스 PG 자산/신용관리 PT 백엔드 개발자 김형래 입니다.</strong></p><p><strong>이번 글에서는 자산/신용관리 PT 에서 대량 트래픽에서 운영 서비스에 유입되는 트래픽을 원활이 처리하기 위해서 서버 간 메시지를 정의해서 비동기로 처리했던 프로젝트에 대해 알아보도록 할게요!</strong></p><h4>왜 비동기 처리를 선택했나?</h4><p>이전 글에서 다뤄본 CircuitBreaker 로 대량 트래픽 처리 시, 해결되지 않는 부분이 존재했습니다. CircuitBreaker 는 온전히 트래픽 유입을 조절하는 부분에 초점이 맞추어져 있습니다. 그러나, 내부 서비스들 간의 통신에서 Latency 가 오래 걸리는 API 가 있고, Thread 를 더욱 안정적으로 사용하기 위해서는 다른 방법을 강구해 봐야 한다고 판단했습니다. 실제 FINDA APP 홈 화면에서 호출되는 API 가 위에서 이야기한 Latency 가 오래 걸리는 API 로서 이부분을 해결하고자 자산관리, 마이데이터관리 백엔드 개발자가 모여 많은 논의를 진행했습니다. 논의 결과 서버 간 비동기 메시지를 기반으로 통신을 처리하자고 합의점을 이루었습니다. 이번 작업에서 EDA(Event Driven Architecture) 기반으로 아래의 기술들을 적용해서 진행해 보기로 했습니다.</p><blockquote><strong>Apache Kafka : 비동기 메시지 기반 통신 처리(Produce, Consume)</strong></blockquote><blockquote><strong>Redis : SSE 통신 중에 Server Scale Out 대응 처리(Pub/Sub), Distributed Lock</strong></blockquote><blockquote><strong>SSE : 단방향 이벤트 발생 시, Server 에서 Client 로 다수의 응답 처리</strong></blockquote><p>위에 소개한 기술들을 왜 선택하게 되었는지 하나씩 살펴 볼게요.</p><p><a href="https://kafka.apache.org/"><strong>Apache Kafka</strong></a><strong> 는 왜 사용하나요?</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Xc2EAoG19qRNR-0p8jrhzQ.png" /></figure><p>위에 질문에 답을 하기 위해서는 Apache Kafka 가 무엇인지 먼저 알아봐야겠네요. Apache Kafka 는 빠르고 확장 가능한 작업을 위해 데이터 피드의 분산 스트리밍, 파이프 라이닝 및 재생을 위한 실시간 스트리밍 데이터를 처리하기 위한 목적으로 설계된 오픈 소스 분산형 게시/구독 메시징 플랫폼입니다. Kafka는 Server 클러스터 내에서 데이터 스트림을 레코드로 유지하는 방식으로 작동하는 브로커 기반 솔루션입니다. Kafka Server 는 여러 데이터 센터에 분산되어 있을 수 있으며 여러 Server 인스턴스에 걸쳐 레코드 스트림(메시지)을 토픽으로 저장하여 데이터 지속성을 제공할 수 있습니다. 토픽은 레코드 또는 메시지를 키, 값 및 타임 스탬프로 구성된 일련의 튜플, 변경 불가능한 Python 객체 시퀀스로 저장합니다. Apache Kafka는 오늘날 시장에서 가장 빠르게 성장하는 오픈 소스 메시징 솔루션 중 하나입니다. 이는 주로 분산 시스템에 우수한 로깅 메커니즘을 제공하는 아키텍처 기반 설계 패턴 때문입니다. 실시간 로그 스트리밍을 위해 특별히 제작된 Apache Kafka는 다음 사항을 필요로 하는 애플리케이션에 적합합니다.</p><ul><li>서로 다른 구성 요소 간의 안정적인 데이터 교환</li><li>애플리케이션 요구 사항 변경에 따라 메시징 워크로드를 분할하는 기능</li><li>데이터 처리를 위한 실시간 스트리밍</li><li>데이터/메시지 재생에 대한 기본 지원</li></ul><p><a href="https://redis.io/"><strong>Redis</strong></a><strong> 는 왜 사용하나요?</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*1pChDJPhleupaCIN.png" /></figure><p>Redis는 빠른 오픈 소스 인 메모리 키 값 데이터 구조 스토어입니다. Redis는 다양한 인 메모리 데이터 구조 집합을 제공하므로 다양한 사용자 정의 애플리케이션을 손쉽게 생성할 수 있습니다. 주요 Redis 사용 사례로는 캐싱, 세션 관리, pub/sub 및 순위표를 들 수 있습니다. Redis는 현재 가장 인기 있는 키 값 스토어로서, BSD 라이선스가 있고, 최적화된 C 코드로 작성되었으며, 다양한 개발 언어를 지원합니다. Redis는 REmote DIctionary Server의 약어입니다. Redis는 속도가 빠르고 사용이 간편하여 최고의 성능이 필요한 웹, 모바일, 게임, 광고 기술 및 IoT 애플리케이션에서 널리 사용 되고 있습니다. 또한, 아래의 장점을 가지고 있습니다.</p><ul><li>놀라울 정도로 빠른 성능</li><li>인 메모리 데이터 구조</li><li>다양성과 사용 편의성</li><li>복제 및 지속성</li><li>선호하는 개발 언어 지원</li></ul><p><a href="https://docs.spring.io/spring-framework/reference/web/webmvc/mvc-ann-async.html#mvc-ann-async-sse"><strong>SSE</strong></a><strong> 는 왜 사용하나요?</strong></p><p>Server 의 Event 를 Client 전달하는 방법의 장단점을 아래와 같이 알아 볼게요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UfuN8_UHQuCYtbTj4P9C5g.png" /><figcaption><strong>Polling, Long Polling, Server Sent Events and WebSockets</strong></figcaption></figure><p>Polling</p><ul><li>Client 가 http request를 Server 로 계속 보내면서 Event 를 전달 받는 방식</li><li>계속 Request 를 보내기 때문에 Client 가 많아지면 Server 의 부담 급증</li><li>Http request connection을 연결 및 해제 자체가 부담되는 방식</li><li>실시간 정도의 빠른 응답을 기대 어려움</li><li>Http Overhead 발생(정보의 신뢰성을 판단하기 위해 전송되는 헤더 정보로 데이터량, 처리시간 증가)</li><li>일정하게 갱신되는 Server Data 의 경우 유용</li></ul><p>Long Polling</p><ul><li>Server 쪽에서 접속 시간을 길게 설정하는 방식</li><li>Client 에서 Server 로 Http request 전송</li><li>Server 응답 데이터가 없으면 기다리고, Event 가 존재하는 순간 Response 를 전달 후 연결 해제</li><li>Client 에서 다시 Http request 를 전송하여 Server 의 다음 Event 대기</li><li>Polling 방식보다 Server 부담은 줄고, Event 간격이 좁으면 차이 없음</li><li>다수의 Client 에게 Event 가 동시 발생 시, Server 부담 증가</li></ul><p>Web Sockets VS SSE(Server-Sent-Event)</p><p>Socket 과 SSE 에 가장 큰 차이점이라면 Socket 은 양방향으로 데이터를 주고 받을 수 있지만, SSE를 사용하게 되면 클라이언트는 데이터를 받을 수만 있게 됩니다. 아래의 표에 좀 더 상세히 차이점을 나눠보았습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j36LcYuqL2OE6xHKY2AM3g.png" /><figcaption><strong>Web Socket VS SSE</strong></figcaption></figure><p>Socket 은 최대 동시 접속 수는 Server 에 셋업에 따라 얼마나 많이 접속할 수 있는지 정해지기 때문에 딱 정해진 숫자는 없습니다. SSE 는 아래에 보면 HTTP2 를 사용하지 않을 경우에는 브라우저에서 6개로 제한하고 있습니다. 즉 Tab 을 6개 초과 시 안될 수 있습니다. 그리고 앞으로도 크롬에나 파이어폭스에서는 고치지 않을 것이라고 합니다. 하지만 HTTP2 를 사용하면 기본으로 100개를 허용합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*w_n1rSDCGbgvPDMonNNUjA.png" /><figcaption><strong>Warning Message of SSE</strong></figcaption></figure><p>Network Tab 을 열어서 보면 Socket 은 계속 Server 랑 계속 handshake를 하고 있습니다. 하지만 SSE 는 한번 열고 계속 기다립니다. Socket 이 Server 에 보내는 데이터가 적지만 계속 열려 있을 경우 양방향 통신으로 데이터 사용량이 더 크게 됩니다. 자산관리 서버에서는 마이데이터 정보를 Refresh 하는 기능을 처리하기 위한 필수 요건은 비동기 처리와 단방향 통신입니다.</p><p>즉, Refresh 요청을 Client 가 보내면 Server 는 마이데이터관리 서버를 통해 데이터를 받는 대로 Client 로 보내면 됩니다. 그래서 <strong>Server 의 Event 를 Client 전달하는 방법은 SSE 가 가장 적합하다고 판단했으며</strong>, 각 서비스 별로 아래의 설계로 진행했습니다.</p><h4>어떻게 설계해야 비동기 처리일까?</h4><p>기존에는 Client 로부터 받은 요청에 대해서 Client 와 Server 또는 Server 와 Server 사이에서 동기적으로 처리하고 있었습니다. 그러다 보니, 대량의 트래픽이 몰리면서 유한한 자원 내에서 요청에 대한 처리량이 비 효율적으로 나타나고 있었습니다. 그래서 메시지 기반으로 서로 간의 의존성을 제거하면서 비동기 통신으로 설계했습니다. 아래의 설계를 하나씩 살펴볼게요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RboOCt29oNBTefl2406rNw.png" /><figcaption><strong>Asynchronous message-based communication processing design - EDA(Event Driven Architecture)</strong></figcaption></figure><p><strong>Step1. Client 에서 자산관리(AMS API) 서버 API 요청(SSE Connection)</strong></p><ul><li>Client 에서 아래의 Refresh API 를 요청해서 SSE Connection 을 생성합니다. 여기서 중복된 API 인지 Redis 를 통해 확인하고 정보 조회를 요청합니다.</li></ul><pre>@GetMapping(value = &quot;/loans-async&quot;, produces = MediaType.TEXT_EVENT_STREAM_VALUE, consumes = MediaType.ALL_VALUE)<br>    @ResponseStatus(value = HttpStatus.OK)<br>    public ResponseEntity&lt;SseEmitter&gt; getLmsAccountListByAsync(<br>        @Parameter(description = &quot;사용자 인증토큰&quot;, required = true) @RequestHeader(value = &quot;X-Auth-Token&quot;, required = true) String authToken,<br>        @Parameter(description = &quot;연동 접점&quot;) @RequestParam(value = &quot;source&quot;, required = false, defaultValue = &quot;loanmanage&quot;) String source) {<br>        long userId = authService.getUserId();<br><br>        sseEmitterService.checkDuplicatedCallAndSaveForApiCallInfo(userId, emitterEventName);<br><br>        SseEmitter sseEmitter = sseEmitterService.subscribeEvent(userId, emitterEventName,<br>            emitterTimeout, SseApiType.LMS_LOAN_REFRESH.name());<br><br>        LmsLoanRefreshAsyncRequest request = LmsLoanRefreshAsyncRequest.builder()<br>            .authToken(authToken).userId(userId).source(source).build();<br>        lmsQueryService.getLmsAccountListByAsync(request, LmsAccountBaseListRspDto.class);<br><br>        return ResponseEntity.ok().headers(SseHeader.get()).body(sseEmitter);<br>    }</pre><p><strong>Step2. 여신(LMS API)/수신(DMS API) 관리 서버의 비동기 메시지 기반 통신(Produce)</strong></p><ul><li>마이데이터관리 서버(MYDATA API)로 Kafka Topic 으로 produce 하면서 Refresh 를요청합니다.</li></ul><pre>@Qualifier(&quot;reactiveByteKafkaProducerTemplate&quot;)<br>private final ReactiveKafkaProducerTemplate&lt;String, byte[]&gt; reactiveByteKafkaProducerTemplate;<br><br>public void send(String topic, byte[] message) {<br>    reactiveByteKafkaProducerTemplate.send(topic,message).subscribe();<br>}</pre><p><strong>Step3. 여신(LMS API)/수신(DMS API) 관리 서버의 Cache와 실제 응답</strong></p><ul><li>아래는 여신관리 서버의 응답처리 부분입니다. Client 에 처음에는 Cache 응답을 주고, 비동기로 Refresh 응답을 요청해서 받아오는 구조입니다. 이렇게 처리하면서 Client 는 기존 동기 API 에서 Cache 사용 유무를 파라미터로 받아서 처리하고 있었으나, 이젠 비동기 메시지 통신 처리로 인해 구분하지 않고 받아서 화면에 렌더링할 수 있게 되었습니다.</li></ul><pre>@Async<br>public &lt;T&gt; void getLmsAccountListByAsync(LmsLoanRefreshAsyncRequest request, Class&lt;T&gt; clazz) {<br>    if (sseEmitterService.hasEventEmitter(request.getUserId(), emitterEventName)) {<br>        StringBuilder uriParam = new StringBuilder();<br>        if (!StringUtils.isEmpty(request.getAuthToken())) {<br>            uriParam.append(&quot;?source=&quot;);<br>            uriParam.append(request.getSource());<br>        }<br><br>        BaseResponseDto responseDto = getLmsAccountListByAsyncByApiCall(request,<br>            BaseResponseDto.class);<br>        LmsAccountBaseListAsyncRspDto lmsAccountBaseListAsyncRspDto = objectMapper.convertValue(<br>            responseDto.getData(), LmsAccountBaseListAsyncRspDto.class);<br>        responseDto = new BaseResponseDto&lt;&gt;(<br>            lmsAccountBaseListAsyncRspDto.getLmsAccountBaseListRspDto());<br><br>        if (lmsAccountBaseListAsyncRspDto.getLoansType().equals(LoansType.MYDATA)) {<br>            // SSE Emitter send the cache<br>            sseEmitterService.sendEventCacheResult(request.getUserId(), emitterEventName,<br>                responseDto);<br>        } else {<br>            responseDto.setResult(new ResultInfoDto(AmsResponseCode.CODE20010));<br><br>            // SSE Emitter send the cache and SSE Close<br>            sseEmitterService.sendEventResult(request.getUserId(), emitterEventName,<br>                responseDto);<br>        }<br>    }<br>}</pre><p><strong>Step4. 마이데이터관리 서버/Worker 서버(MyData Event Worker)</strong></p><ul><li>마이데이터관리 서버는 마이데이터 Worker 서버와 Kafka Topic 으로 produce/consume 하면서 Refresh 를요청/응답합니다. 해당 Step 의 코드는 Step3, 6의 코드와 유사하므로 참고 하시길 바랍니다. 마이데이터관리 서버는 비동기 처리 상태 관리를 위해 <a href="https://redisson.org/">Redisson</a> 의 Distributed Lock 을 사용했고, Redis 서버의 부하가 적게 하기 위해서 Java Redis Client 를 Redi-sson 로 선정했습니다. 아래의 코드는 Distributed Lock 을 사용한 코드입니다. redissonClient.getLock() 을 통해 Lock 을 획득하고, tryLock() 을 통해 Lock 획득을 시도합니다. Lock 획득 성공 시, 임계 영역에 진입하여 비즈니스 로직을 실행하고, finally 블럭에서 unlock() 을 처리합니다.</li></ul><pre>public void hincrByLock(final String key, final String field, final int cnt) {<br>        if (key != null) {<br>            String lockName = key + LOCK_POST_FIX;<br>            final RLock redissonClientLock = redissonClient.getLock(lockName);<br><br>            try {<br>                redissonClientLock.tryLock(3, 2, TimeUnit.SECONDS);<br>                final int fieldCnt = Integer.parseInt(this.hget(key, field).toString());<br>                if (fieldCnt &lt;= 0) {<br>                    return;<br>                }<br><br>                this.redissonClient.getMap(key).addAndGet(field, cnt);<br>            } catch (Exception e) {<br>                throw new FindaErrorException(<br>                    String.valueOf(AmsResponseCode.CODE50040.getRspCode()), e);<br>            } finally {<br>                redissonClientLock.unlock();<br>            }<br>        }<br>    }</pre><p><strong>Step5. 마이데이터관리 Worker 서버</strong></p><ul><li>MYDATA Portal 이나 외부 금융사와 통신하면서 마이데이터관리 서버에서 요청한 결과를 전송해 줍니다.</li></ul><p><strong>Step6. 여신/수신 관리 서버의 비동기 메시지 기반 통신(Consume)</strong></p><ul><li>마이데이터관리 서버에서 Refresh 응답을 Kafka 로 Produce 해주면 여신/수신 관리 서버에서 Consume 해서 DB 와 Redis 에 저장합니다.</li></ul><pre>@KafkaListener(<br>   topics = {&quot;${kafka.topic.mydata.loan-refresh-response.consumer}&quot;},<br>   groupId = &quot;${spring.kafka.consumer.group-id}&quot;,<br>   containerFactory = &quot;pushEntityKafkaListenerContainerFactory&quot;)<br>public void loanRefreshResponseListen(@Payload byte[] message, Acknowledgment acknowledgment) {<br>    Long userId = null;<br>    String txId = StringUtils.EMPTY;<br>    try {<br>        CommonMessage&lt;RequestApisAsyncRspDto&gt; commonMessage = lmsDataParser.parse(message, CommonMessage.class);<br>        RequestApisAsyncRspDto requestApisAsyncRspDto = lmsDataParser.parse(objectMapper.writeValueAsString(commonMessage.getData()), RequestApisAsyncRspDto.class);<br>        userId = requestApisAsyncRspDto.getUserId();<br>        txId = requestApisAsyncRspDto.getTxId();<br>        mydataRequestService.requestAsyncResponse(requestApisAsyncRspDto);<br>        acknowledgment.acknowledge();<br>     } catch (Exception e) {<br>         processListenerError(userId, txId, e, acknowledgment);<br>     }<br>}</pre><ul><li>Server Scale Out 대응을 위해서 어느 POD 에 SSE Emitter 가 있는지 알 수 없으므로 Redis 의 publish/subcribe 로 구현해서 모든 자산관리 서버 POD 에 Broadcast 합니다.</li></ul><pre>private final RedissonClient redissonClient;<br><br>public Long send(String topic, String message) {<br>    return redissonClient.getTopic(topic).publish(message);<br>}</pre><p><strong>Step7. 자산관리 서버에서 Client 로 응답 전송(SSE 응답, Connection Close)</strong></p><ul><li>Refresh 응답을 Redis 의 Subscribe 를 받아서 해당 SSE Emitter 가 자산관리 서버의 In-memory 에 있는지 확인합니다. 확인 후, 존재한다면, Client 에 Refresh 응답을 주고 SSE Connection 을 종료합니다.</li></ul><pre>@PostConstruct<br>public void init() {<br>    redissonClient.getTopic(redisTopicLmsToAmsLoanRefreshResponseSubscribe)<br>        .addListener(String.class, ((channel, message) -&gt; {<br>            Long userId = null;<br>            String txId = StringUtils.EMPTY;<br>            try {<br>                LmsLoanRefreshAsyncResponseMessage lmsLoanRefreshAsyncResponseMessage =<br>                    amsDataParser.parse(<br>                        message,<br>                        LmsLoanRefreshAsyncResponseMessage.class);<br><br>                userId = lmsLoanRefreshAsyncResponseMessage.getUserId();<br>                txId = lmsLoanRefreshAsyncResponseMessage.getTxId();<br>                lmsQueryService.processLmsRefreshAsyncResponse(<br>                    lmsLoanRefreshAsyncResponseMessage);<br>            } catch (Exception e) {<br>                processListenerError(userId, txId, e);<br>            }<br>        }));<br>}<br><br>public void processLmsRefreshAsyncResponse(LmsLoanRefreshAsyncResponseMessage message) {<br>    long userId = message.getUserId();<br><br>    if (sseEmitterService.hasEventEmitter(userId, emitterEventName)) {<br>        LmsAccountBaseListRspDto lmsAccountBaseListRspDto = message.getBody();<br>        BaseResponseDto&lt;LmsAccountBaseListRspDto&gt; responseDto = new BaseResponseDto&lt;&gt;(<br>            lmsAccountBaseListRspDto);<br>        responseDto.setResult(new ResultInfoDto(AmsResponseCode.CODE20010));<br><br>        // SSE Emitter send<br>        sseEmitterService.sendEventResult(userId, emitterEventName, responseDto);<br>    }<br>}</pre><ul><li>위에 코드가 Redis 의 Subscribe 를 받아오는 부분입니다. 내부적으로 txId 를 전달해 주어 비동기 메시지 기반 통신 처리 시, 트래킹이 편리하도록 구성했습니다. processLmsRefreshAsyncResponse 에서 보면 SSE Emitter 가 존재할 경우, Client 에 Event 를 전송합니다. 여기서 좀 더 깊게 들어갈 볼게요. 아래의 sendEventResult 를 살펴보면 sseEmitterRepository 인 In-memory 에서 SSE Emitter 를 조회하는 부분을 보실 수 있습니다. sendEvent 내부를 들여다 보면 eventName 과 data 를 설정해주면 event 를 Client 에 전송할 수 있는 구조입니다.</li></ul><pre>public void sendEventResult(Long userId, String emitterEventName, Object response) {<br>    String eventName = sseEmitterManager.makeEmitterEventName(emitterEventName,<br>        String.valueOf(userId));<br>    SseEmitter emitter = sseEmitterRepository.findEmitterByEventName(eventName);<br>    if (!ObjectUtils.isEmpty(emitter)) {<br>        sseEmitterManager.sendEvent(emitter, eventName, response, userId);<br>        emitter.complete();<br><br>        String redisKey = RedisPrefixHelper.genKey(emitterEventName, String.valueOf(userId));<br>        redisCommonService.evictRedisCache(redisKey);<br>    }<br>}<br><br>public void sendEvent(SseEmitter emitter, String eventName, Object data, long userId) {<br>    try {<br>        AmsLogUtil.writeSseEmitterResponseLog(<br>            new SseEmitterResponseLog(emitter, eventName, data, userId));<br>        emitter.send(SseEmitter.event()<br>            .name(eventName)<br>            .data(data));<br>    } catch (Exception e) {<br>        sseEmitterRepository.deleteByEventName(eventName);<br>        String redisKey = RedisPrefixHelper.genKey(eventName, String.valueOf(userId));<br>        redisCommonService.evictRedisCache(redisKey);<br>    }<br>}</pre><p><strong>적용 후, 결과 분석</strong></p><p>Client 가 Cache 와 실제 데이터를 받을 때 결정이 쉬워졌습니다. 다만, 전체적으로 서비스의 설계는 좀 더 복잡해졌습니다. 그래도 동기 API 를 호출하지 않아서 Thread 사용을 적절하게 할 수 있고, 이전 보다 트래픽을 더 많이 받을 수 있는 구조가 되었습니다.</p><p>금융서비스 MSA 전환기 1, 2, 3 을 기획하면서 많은 고민을 했고, 빠른 생산성을 요구하는 PT 내에서 기술과 비즈니스 간의 논의와 타협이 많았던 것으로 기억합니다. 추후 좀 더 재미난 글로 만나뵙겠습니다. 여기까지 긴 글을 읽어주셔서 감사합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c0785860a3d5" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/%EA%B8%88%EC%9C%B5%EC%84%9C%EB%B9%84%EC%8A%A4-msa-%EC%A0%84%ED%99%98%EA%B8%B0-%EC%84%9C%EB%B2%84-%EA%B0%84-%EB%B9%84%EB%8F%99%EA%B8%B0-%EB%A9%94%EC%8B%9C%EC%A7%80-%EA%B8%B0%EB%B0%98-%ED%86%B5%EC%8B%A0-%EC%B2%98%EB%A6%AC-3%ED%8E%B8-c0785860a3d5">금융서비스 MSA 전환기- 서버 간 비동기 메시지 기반 통신 처리(3편)</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AWS RDS 인증서 만료에 따른 인증서 업데이트]]></title>
            <link>https://medium.com/finda-tech/aws-rds-%EC%9D%B8%EC%A6%9D%EC%84%9C-%EB%A7%8C%EB%A3%8C%EC%97%90-%EB%94%B0%EB%A5%B8-%EC%9D%B8%EC%A6%9D%EC%84%9C-%EC%97%85%EB%8D%B0%EC%9D%B4%ED%8A%B8-88dfcf01ae0e?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/88dfcf01ae0e</guid>
            <category><![CDATA[ssltls]]></category>
            <category><![CDATA[rds]]></category>
            <category><![CDATA[dba]]></category>
            <category><![CDATA[rds-ssl-certificate]]></category>
            <category><![CDATA[aws]]></category>
            <dc:creator><![CDATA[Hyunho Jung]]></dc:creator>
            <pubDate>Mon, 11 Sep 2023 02:58:10 GMT</pubDate>
            <atom:updated>2023-09-12T02:12:35.778Z</atom:updated>
            <content:encoded><![CDATA[<h3>Motivation</h3><p>안녕하세요. 핀다 DBA로 근무하고 있는 정현호 라고 합니다.</p><p>얼마전에 RDS CA 인증서의 만료가 1년 앞으로 다가오게 되었고 그에 따라서 얼마전부터 Health Dashboard 와 Databases requiring certificate update 통해 관련 내용이 통지가 되고 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*2dDgU3yUdpums9ZLZqJxRg.png" /><figcaption>PHD(Personal Health Dashboard)</figcaption></figure><p>그래서 이번 글도 이전의 <a href="https://medium.com/finda-tech/mysql%EA%B3%BC-ssl-tls%ED%86%B5%ED%95%9C-%EC%A0%91%EC%86%8D-15262c49783e"><strong>SSL/TLS 접속과 관련된 포스팅</strong></a>과 유사하고 <strong>이어지는 내용으로</strong> SSL/TLS 접속과 관련된 AWS RDS의 CA 인증서 만료와 업데이트에 대한 내용에 대해서 이야기해보려고 합니다.</p><h3>TLS Handshake 와 인증서</h3><p><a href="https://medium.com/finda-tech/mysql%EA%B3%BC-ssl-tls%ED%86%B5%ED%95%9C-%EC%A0%91%EC%86%8D-15262c49783e">SSL/TLS 접속과 관련된 </a>포스팅에서 간단하게 설명된 내용으로 SSL/TLS 통신을 하면서 Handshake 과정을 진행되게 됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*2GbKpqFeFqcDR8Ai.jpeg" /><figcaption><a href="https://unsplash.com/ko/%EC%82%AC%EC%A7%84/MAYEkmn7G6E?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash 의 Richy Great</a></figcaption></figure><p>SSL/TLS 보안 프로토콜을 통해서 안전한 통신을 위해 양측(서버, 클라이언트)에서의 서로에 대한 신뢰된 정보 및 메세지를 교환 및 확인하고 암호화 코드 설정 및 세션 키의 동의를 위해서 메세지를 주고받는 일련의 과정을 거치게 돼요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*2hwSmwMJJBkyMsEg.png" /><figcaption><a href="https://www.cloudflare.com/ko-kr/learning/ssl/what-happens-in-a-tls-handshake/">TLS 핸드셰이크의 원리는 무엇일까요? — CLOUDFLARE</a></figcaption></figure><p>사람이 만나서 인사를 나누듯이 <strong>SSL/TLS의 Handshake 과정</strong>에서 “client hello” , “server hello’ 의 <strong>메세지를 주고받아요</strong></p><p>그 다음 단계에서 클라이언트는 서버의 인증서에 대한 검증을 수행하며 <strong>인증서의 만료여부도 확인</strong>을 합니다.</p><p>그래서 <strong>인증서의 만료가 되었을 경우 인증서가 유효하지 않다는 오류가 발생</strong>되면서 Handshake가 실패하게 됩니다.</p><p>따라서 서버의 인증서의 만료일 이전에 새로운 인증서로 교체(업데이트)를 해야 SSL/TLS Handshake 과정에서 인증서 만료로 인한 오류를 방지할 수 있습니다.</p><h3>인증서 만료 정보</h3><p>Amazon RDS 인증 기관 인증서 <strong>rds-ca-2019는 2024년 8월에 만료될 예정</strong>이에요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Qa6-Mx4HISUZ25aBOKl6DQ.png" /><figcaption>Connectivity&amp;Security 탭에서 확인되는 인증서 만료 일자 정보</figcaption></figure><p>AWS RDS DB 인스턴스에 연결에서 SSL/TLS(전송 계층 보안)을 사용한다면 새로운 CA 인증서 rds-ca-rsa2048-g1, rds-ca-rsa4096-g1, rds-ca-ecc384-g1 중 하나로 만료 전에 업데이트를 고려해야 합니다.</p><h3>인증서 종류</h3><p>Amazon RDS는 DB 인스턴스의 서버 인증서에 서명할 수 있는 CA를 다음과 같이 제공하고 있어요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VDKxNcenzlRMkj2KOEAUAw.png" /><figcaption>사용가능한 CA 목록</figcaption></figure><p>현재 사용중인 인증서(업데이트 대상)은 rds-ca-2019 이며, 업데이트 시 선택할 수 있는 인증서는 rds-ca-rsa2048-g1, rds-ca-rsa4096-g1, rds-ca-ecc384-g1 로 3개의 인증서는 향후 만료 시 자동 교체를 지원하고 있어요</p><p>rds-ca-ecc384-g1과 rds-ca-rsa4096-g1 은 <strong>만료일이 2121년 5월 21일</strong>이고,<br>rds-ca-rsa2048-g1의 <strong>만료일은 2061년 5월21일</strong>입니다.</p><p>새로운 3개 인증서 모두 향후 자동 인증서 교체를 지원한다고 해요</p><h3>인증서 업데이트 시 재시작 여부</h3><p>CA 인증서 업데이트 과정에서 사용하는 DB Engine 에 따라서 재시작이 될 수도 있기 때문에 <strong>사전에 재시작 되는 대상의 판별이 필요</strong>해요</p><p>aws cli describe-db-engine-versions 명령어를 통해서 재시작이 필요한 DB Engine과 상세 버전을 확인할 수 있어요</p><p>describe-db-engine-versions 명령어에서 확인되는 정보 중에서 <strong>SupportsCertificateRotationWithoutRestart</strong> 값이 <strong>false 인 대상</strong>이 재시작이 되는 DB Engine 입니다.</p><ul><li>전체 대상 중에서 재시작 되는 DB Engine 조회 명령어</li></ul><pre>aws rds describe-db-engine-versions --query \<br>&#39;DBEngineVersions[?SupportsCertificateRotationWithoutRestart==`false`].<br>{Engine: Engine, EngineVersion: EngineVersion, <br>SupportsCertificateRotationWithoutRestart: SupportsCertificateRotationWithoutRestart}&#39; \<br>--no-cli-pager</pre><ul><li>특정 엔진만 조회하고자 할 경우 — engine 옵션을 추가해서 조회</li></ul><pre>aws rds describe-db-engine-versions --engine [엔진명] --query \<br>&#39;DBEngineVersions[?SupportsCertificateRotationWithoutRestart==`false`].<br>{Engine: Engine, EngineVersion: EngineVersion, <br>SupportsCertificateRotationWithoutRestart: SupportsCertificateRotationWithoutRestart}&#39; \<br>--no-cli-pager</pre><ul><li>AWS RDS에서 지원되는 전체 DB Engine 에 대한 목록</li></ul><pre>aws rds describe-db-engine-versions --query \<br>&#39;DBEngineVersions[].{Engine: Engine}&#39; \<br>--no-cli-pager --output text | sort -u</pre><p>조회 결과를 살펴보면 재부팅이 되는 DB Engine의 경우 상대적으로 이전 버전의 Engine 버전이며, 가급적 최신 버전인 경우 대부분 재시작 없이 인증서 업데이트가 가능한 것으로 확인할 수 있어요</p><p>만약 SupportsCertificateRotationWithoutRestart 값이 조회되지 않을 경우(null로 출력될 경우) awscli 를 최신 버전으로 업데이트를 해야 합니다.</p><pre># Linux 기준<br>curl &quot;https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip&quot; -o &quot;awscliv2.zip&quot;<br>unzip awscliv2.zip<br>sudo ./aws/install --update</pre><h3>인증서 업데이트</h3><p>RDS의 CA 인증서 업데이트는 인스턴스의 Modify(수정)을 통해서 진행할 수 있어요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*r4vUAIE2efYucMKNv5Or9A.png" /></figure><p>Modify 항목 중간에 새로운 인증서를 선택할 수 있으며 DB Engine 별로 선택할 수 있는 인증서의 종류가 다를 수 있어요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OtkxRA1CasS4bzg7aMLIhg.png" /><figcaption>RDS for MySQL 5.7</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qjMsOLyjnLckBONPXk3OoA.png" /><figcaption>RDS for MySQL 8.0</figcaption></figure><p>인증서를 선택하였다면 하단의 Continue(계속) 버튼을 클릭합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5DQVCp2dhNCmJEc-DdFyCw.png" /></figure><p>Maintenance Window에 수행이 아닌 즉시 수행한다면 “Apply immediately” 를 선택 후 하단의 “Modify DB instance” 버튼을 클릭합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DioAGf5r9auPNWGuFSKODw.png" /></figure><p>인증서 업데이트 작업이 완료되면 다음과 같이 선택한 인증서로 변경된 것과 만료 일자를 확인할 수 있어요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*L0H8OmY9xHc0xMHOaHyDzA.png" /></figure><h3>인증서 업데이트 재부팅 소요시간</h3><p>테스트 대상은 RDS for MySQL 5.7 과 Aurora MySQL 2 버전 인스턴스 대상으로 수행하였습니다.</p><p>사용하는 인스턴스의 클래스와 작업 시 워크로드 등에 따라서 시간은 달라질 수 있기 때문에 참고 정도만 해주시고 실제 작업 전 개발/테스트 환경에서 시간 측정은 해보시는 것을 권장 드릴게요</p><p>RDS for MySQL 5.7 와 Aurora MySQL 2버전 소요 시간은 동일(유사) 하였습니다.</p><ul><li>Backup 활성화 조건, Multi-AZ 활성화 와 비활성화 동일 시간 소요</li><li>웹 콘솔에서 Logs &amp; events 상으로 진행 기준 약 2~3분 정도 소요</li><li>실제 접속이 중단되는 재시작은 8~20초 소요</li></ul><p>제공되는 서비스 와 비지니스의 특정에 따라서 블루/그린 형태의 Out-Of-Place 하는 것이 유리한지 또는 실제로 접속이 불가능한 시간은 길지 않기 때문에 점검 공지를 하고 진행할지 등에 대해서는 서비스나 업무 특성을 고려해서 결정하시면 될 것 같습니다.</p><p>참고로 재시작 되지 않은 DB Engine의 경우 인증서 업데이트 작업 시 Logs &amp; events 에 별도의 로그가 남지 않지 않습니다.</p><h4>Aurora 2.10 이하 버전에서</h4><p>Aurora MySQL 기준으로 Writer 인스턴스에 인증서 업데이트를 수행하여도 강제로 Fail-over 되지는 않습니다.</p><p>다만 <strong>Aurora MySQL 2.10 이하 버전</strong> 중에서 재시작 되는 엔진 버전의 경우 Writer 인스턴스의 인증서를 업데이트 하는 과정에서 재시작 발생시에 <strong>Reader 인스턴스도 같이 재시작이 발생</strong>합니다.</p><p>Writer 인스턴스의 재시작에 따른 Reader 인스턴스 재시작시 Logs &amp; events 내역</p><pre>Time                                          System notes<br>-------------------------------------------------------------------------<br>September 05, 2023, 16:16 (UTC+09:00)  DB instance restarted<br>September 05, 2023, 16:16 (UTC+09:00)  Read replica has fallen behind the master too much. Restarting Mysql.</pre><p>사용하는 DB Engine 버전 종류에 따라서 재시작이 필요한 대상이 많을 경우도 있을 수 있는데요</p><p>아직은 시간이 1년 정도 많이 남은 만큼 서비스 특성을 고려해서 계획을 세우고 진행한다면 원만하게 진행되시리라 생각됩니다.</p><p>긴 글을 읽어 주셔서 감사해요!</p><p>다음에 또 만나요👋 감사합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=88dfcf01ae0e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/aws-rds-%EC%9D%B8%EC%A6%9D%EC%84%9C-%EB%A7%8C%EB%A3%8C%EC%97%90-%EB%94%B0%EB%A5%B8-%EC%9D%B8%EC%A6%9D%EC%84%9C-%EC%97%85%EB%8D%B0%EC%9D%B4%ED%8A%B8-88dfcf01ae0e">AWS RDS 인증서 만료에 따른 인증서 업데이트</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[MySQL과 SSL/TLS통한 접속]]></title>
            <link>https://medium.com/finda-tech/mysql%EA%B3%BC-ssl-tls%ED%86%B5%ED%95%9C-%EC%A0%91%EC%86%8D-15262c49783e?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/15262c49783e</guid>
            <category><![CDATA[mysql]]></category>
            <category><![CDATA[sslsecurity]]></category>
            <category><![CDATA[dba]]></category>
            <dc:creator><![CDATA[Hyunho Jung]]></dc:creator>
            <pubDate>Mon, 21 Aug 2023 02:27:53 GMT</pubDate>
            <atom:updated>2023-09-15T01:27:45.417Z</atom:updated>
            <content:encoded><![CDATA[<h3>Motivation</h3><p>안녕하세요. 핀다 DBA로 근무하고 있는 정현호 라고 합니다.</p><p>이번 글은<strong> SSL/TLS와 MySQL에 접속 시 SSL/TLS에 대한 내용</strong>을 이야기해보려고 해요</p><p>MySQL도 다른 소프트웨어와 마찬가지로 메이저 및 마이너 버전의 업데이트 마다 새로운 기능 추가나 기존 결함의 수정 그리고 개발 방향성 등에 따라서 명칭이 변경되거나 사라지는 기능이나 옵션 등의 여러가지 변경사항을 포함하게 됩니다.</p><p>많이 사용하고 있는 AWS 클라우드의 MySQL 서비스인 RDS for MySQL 도 얼마전 8.0.27 버전이 표준 지원이 종료되어 MySQL 8.0.28버전이 지원되는 가장 낮은 버전이고 Aurora MySQL 서비스에서도 MySQL 8.0.28버전과 호환되는 <a href="https://aws.amazon.com/ko/about-aws/whats-new/2023/07/amazon-aurora-mysql-3-04-compatible-8-0-28-generally-available/">Aurora MySQL 3.04.0 버전이 릴리즈</a> 되었습니다.</p><p>MySQL을 비롯하여 소프트웨어는 새로운 버전이 출시되어 기존의 사용하던 버전을 업데이트(업그레이드) 하는 경우 설치되는 환경과의 문제점이나 호환성(compatibility) 또는 접속을 하는 클라이언트와 서버 간의 호환성 등을 사전에 체크와 테스트가 되어야 업데이트 수행 후에 문제없이 소프트웨어를 사용할 수 있습니다.</p><p>그래서 이번 글은 <strong>MySQL의 버전을 업데이트 하거나</strong> 또는 <strong>연관된 드라이버나 개발언어의 버전을 업데이트</strong>시에 여러 고려사항 중에서 <strong>MySQL과 SSL/TLS에 관한 내용을 이야기해보려고 합니다.</strong></p><h3>SSL/TLS</h3><p>MySQL에 대한 내용에 앞에서 <strong>SSL/TLS에 대해서 먼저</strong> 간략하게 알아보도록 할게요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iJfI-wpqCFQGaDtSRx9h7A.jpeg" /><figcaption><a href="https://www.freepik.com/free-vector/hand-drawn-flat-design-ssl-illustration_22896757.htm#query=ssl&amp;position=5&amp;from_view=search&amp;track=sph">Image by Freepik</a></figcaption></figure><p>SSL/TLS는 클라이언트와 서버 프로그램이 네트워크로 통신하는 과정에서 <strong>도청 및 간섭, 위 변조 방지 등을 위해서 서로 간의 신뢰할 수 있는 전자 서명이 포함된 인증서를 사용하여 암호화 통신 프로토콜</strong>을 의미해요</p><p>통신 과정에서 전송계층 종단간(End-to-End, 終端間) 보안과 데이터 무결성을 확보하기 위한 기술입니다.</p><p>SSL은 Secure Sockets Layer 약자이고 TLS는 Transport Layer Security 약자로 <strong>암호화 전송 또는 전송 계층 보안에 의미</strong>를 담고 있습니다.</p><p>표준적인 명칭은 TLS이지만 통상적으로 SSL 과 TLS을 같이 부르고 있기 때문에 같이 언급을 하였으며 버전에 따라서 SSL에서 TLS로 명칭이 변경되었어요</p><p>SSL 프로토콜 규약은 처음 넷스케이프에서 개발하였으며, 이후 국제 인터넷 표준화 기구(IETF)에 의해서 표준 규약으로 정의되었으며, 버전의 역사 정보는 다음과 같아요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/1*FZpqMry-2SBzp1BwA5fOyg.png" /><figcaption>SSL/TLS Version History</figcaption></figure><p>SSL/TLS는 우리가 알게 모르게 계속해서 사용하고 있는 암호화 통신 프로토콜이에요. 인터넷 브라우저로 웹 사이트에 접속하였을 때 아래와 같이 사이트 주소 앞에 <strong>자물쇠 모양의 아이콘</strong>을 본적이 있으실 텐데요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PUmYnnDA5nfb-qL66JxD6w.jpeg" /><figcaption><a href="https://unsplash.com/ko/%EC%82%AC%EC%A7%84/MAYEkmn7G6E?utm_source=unsplash&amp;utm_medium=referral&amp;utm_content=creditCopyText">Unsplash 의 Richy Great</a></figcaption></figure><p>해당 아이콘이 의미하는 것은 전자 서명이 포함된 인증서를 통해서 서로 간의 신뢰할 수 있음을 의미하며 <strong>통신 내용은 암호화하여 전송되고 있음</strong>을 나타냅니다.</p><p>어떤 프로그램을 설치를 하려고 할 때 설치할 수 있는 운영체제 버전이나 브라우저 종류나 버전이 있고 이것을 호환성(compatibility) 이라고 해요</p><p>암호화하여 송수신하는 프로토콜인 SSL/TLS는 클라이언트와 서버 간에도 이와 유사하게 사용할 SSL/TLS 버전을 지정하는 과정을 수행하고 서버와 클라이언트 간의 버전 호환성(compatibility)이 맞아야 통신이 가능하게 돼요</p><h4>TLS Handshake</h4><p>우리가 실생활에서 서로 간의 악수를 하는 것과 같이 SSL/TLS 암호화 프로토콜 통신을 위해서 <strong>서버와 클라이언트 간의 악수를 하는 과정을 의미</strong>해요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6Z5hKBVyjfUsMdABi7ct8A.jpeg" /><figcaption><a href="https://www.freepik.com/free-vector/business-handshake-background-flat-style_2098681.htm#query=handshake&amp;position=3&amp;from_view=search&amp;track=sph">Image by Freepik</a></figcaption></figure><p>SSL/TLS 보안 프로토콜을 통해서 안전한 통신을 위해 양측(서버, 클라이언트)에서의 서로에 대한 신뢰된 정보 및 메세지를 교환 및 확인하고 암호화 코드 설정 및 세션 키의 동의를 위해서 메세지를 주고받는 일련의 과정을 거치게 돼요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tsMmW2P9UM6UnD34mmMm0g.png" /><figcaption><a href="https://www.cloudflare.com/ko-kr/learning/ssl/what-happens-in-a-tls-handshake/">TLS 핸드셰이크의 원리는 무엇일까요? — CLOUDFLARE</a></figcaption></figure><p>사람이 만나서 인사를 나누듯이 <strong>SSL/TLS의 Handshake 과정</strong>에서 “client hello” , “server hello’ 의 <strong>메세지를 주고받아요</strong></p><p>이런 SSL/TLS Handshake 과정에서 클라이언트와 서버 간에 수행하는 것 작업 중에는 <strong>각각 사용할 TLS 버전을 지정하는 과정</strong>이 있는데요</p><p>접속을 요청하는 클라이언트에서도 사용 가능한 SSL/TLS 버전이 정해져 있고, 접속을 받는 서버에서도 사용(지원) 가능한 SSL/TLS 버전이 정해져 있습니다.</p><p>그래서 클라이언트와 서버 서로 간에는 사용 가능한 SSL/TLS 버전이 매칭이 되어야, 즉 <strong>버전이 호환이 되어야 SSL/TLS Handshake를 정상적으로 할 수</strong> 있게 되고 그에 따라서 암호화 송수신 프로토콜을 통한 통신을 할 수 있게 되는 것입니다.</p><p>이제 이번 글에서 본격적으로 이야기하려고 하는 부분이 바로 이 SSL/TLS 버전과 관련된 내용입니다.</p><h3>MySQL 과 SSL/TLS</h3><p>MySQL 서버도 접속을 받는 서버 소프트웨어(프로그램)으로 SSL/TLS 통신 프로토콜을 사용할 수 있고 위의 내용과 동일하게 <strong>버전 별로 지원하는 SSL/TLS 버전에 대한 부분이 정해져 있어요</strong></p><p>MySQL에 접속하는 <strong>클라이언트(애플리케이션이나 PC 등)에서도 사용 환경에 따라서 지원되는 SSL/TLS 버전이 정해져 있습니다.</strong></p><p>그리고 혹시 사용하는 드라이버 또는 클라이언트 툴에 따라서 SSL/TLS로 접속을 기본값으로 사용하는 경우가 많다는 것을 혹시 알고 계셨나요?</p><p>지금 사용하는 MySQL 데이터베이스를 확인해 보시면 접속된 많은 세션 중에서 이미 SSL/TLS을 통해서 접속되어 있는 세션이 아마도 있을 거예요!<br>(조회방법은 다음 챕터 참조)</p><p>위에서 SSL/TLS의 버전 호환성과 관련된 내용처럼 MySQL 접속 시 SSL/TLS 암호화 프로토콜 방식으로 접속하려면 TLS 버전 호환성이 맞아야 접속할 수 있습니다.</p><p>서두의 Motivation 내용과 같이 최근에 AWS의 MySQL 서비스 RDS for MySQL 8.0.27 버전까지 표준 지원일이 지남에 따라 최소 8.0.28 버전으로 업데이트가 수행이 되었고, Aurora MySQL은 MySQL 커뮤니티 버전 8.0.28과 호환되는 <a href="https://aws.amazon.com/ko/about-aws/whats-new/2023/07/amazon-aurora-mysql-3-04-compatible-8-0-28-generally-available/">Aurora MySQL 3.04.0 버전이 출시</a>가 되었어요</p><p>앞으로는 점점 더 MySQL 8버전(또는 호환된 Aurora)사용시에 <strong>8.0.28 버전 이상의 환경에서 사용할 것이라고 예상</strong>이 돼요</p><p>MySQL 8.0.28 버전에서 여러 변경 내용을 담고 있고, <strong>그 중에서는 TLS 버전1.0, TLS 버전1.1 지원이 제거(remove) </strong>되었다는 내용도 포함되어 있습니다.</p><blockquote>Deprecation and Removal Notes<br>Support for the TLS v1.0 and TLS v1.1 connection protocols is removed as of MySQL 8.0.28.<br>- Changes in MySQL 8.0.28 (2022–01–18, General Availability)</blockquote><p>이 내용은 클라이언트(애플리케이션이나 PC 등)에서 MySQL을 SSL/TLS 방식으로 접속시에 <strong>TLS1.0 또는 1.1 버전으로 접속한다면 다음과 같은 에러가 발생되면서 접속이 불가능함을 의미</strong>해요</p><p>MySQL을 비롯하여 OS나 응용 프로그램은 새로운 버전이 출시하게 되어 기존의 사용하던 버전을 업데이트(업그레이드) 하는 경우 설치되는 환경과의 문제점이나 호환성(compatibility) 또는 접속을 하는 클라이언트와 서버 간의 호환성 등을 사전에 체크와 테스트가 되어야, 업데이트 후에 문제없이 프로그램을 사용할 수 있게 됩니다.</p><p>MySQL 서버는 대부분이 네트워크(TCP/IP)를 통한 접속을 하고 있고 그래서 <strong>버전 업데이트시 클라이언트와 서버 간의 접속에 대한 호환성이 매우 중요</strong>한 부분이라고 할 수 있어요</p><p>이전 버전의 MySQL 에서 MySQL 8버전으로 업데이트하거나 기존의 MySQL 8 버전에서 마이너 버전 업데이트 할 경우 향후에 결국은 8.0.28 버전 이상으로 업데이트를 하게 될 것입니다.</p><p>그에 따라 MySQL 업데이트시 고려해야 할 내용과 사전 체크하였던 여러 항목 중에서 사용하는 클라이언트의 SSL/TLS 버전 지원 범위에 대한 부분도 추가로 체크를 해야 하는 상황이라고 설명할 수 있을 것 같아요</p><p>사용중인 MySQL 서버에서 지원하는 SSL/TLS 버전에 대한 정보는 다음과 같이 확인할 수 있어요</p><pre>mysql&gt; select @@version;<br>+------------+<br>| @@version  |<br>+------------+<br>| 5.7.37-log |<br>+------------+<br><br>mysql&gt; show global variables like &#39;tls_version&#39;;<br>+---------------+-----------------------+<br>| Variable_name | Value                 |<br>+---------------+-----------------------+<br>| tls_version   | TLSv1,TLSv1.1,TLSv1.2 |<br>+---------------+-----------------------+</pre><p>위의 환경은 <strong>MySQL 5.7.37버전</strong>이고 지원가능한 버전은 TLSv1, TLSv1.1,TLS v1.2까지 인 것을 확인할 수 있어요</p><p>예전 개발 언어 버전 및 드라이버 버전을 사용한 샘플 Java 와 Python 프로그램을 통해서 테스트를 해보도록 할게요</p><p>2개 프로그램 모두 MySQL 서버에 접속하여 접속한 MySQL 서버 버전, 접속한 클라이언트의 SSL/TLS 버전 정보를 표시하는 간단한 샘플 프로그램입니다.</p><pre>### Java<br>$ java TestConnection_mysqldriver<br>version: 5.7.37-log, SSL/TLS Version: TLSv1.1, SSL cipher: ECDHE-RSA-AES256-SHA<br><br>### Python<br>$ python3 py_mysql_connect_test.py<br>version: 5.7.37-log ,SSL Version: TLSv1 ,SSL Cipher: ECDHE-RSA-AES256-SHA</pre><p>접속에 사용된 SSL/TLS 버전은 <strong>TLSv1.1</strong> 과<strong> TLSv1</strong> 으로 확인되고 있어요</p><p>이제 상위 버전인 MySQL 8.0.28로 접속을 시도하면 다음과 같은 에러가 발생되게 됩니다.</p><pre>### Java<br>$ java TestConnection_mysqldriver<br>Exception in thread &quot;main&quot; com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure<br><br>The last packet successfully received from the server was 513 milliseconds ago.  <br>The last packet sent successfully to the server was 506 milliseconds ago.<br><br> &lt; ... 중략 ... &gt;<br>Caused by: javax.net.ssl.SSLHandshakeException: Received fatal alert: protocol_version<br> at sun.security.ssl.Alert.createSSLException(Alert.java:131)<br> at sun.security.ssl.Alert.createSSLException(Alert.java:117)<br> at sun.security.ssl.TransportContext.fatal(TransportContext.java:311)<br> at sun.security.ssl.Alert$AlertConsumer.consume(Alert.java:293)<br> at sun.security.ssl.TransportContext.dispatch(TransportContext.java:185)<br> at sun.security.ssl.SSLTransport.decode(SSLTransport.java:152)<br> at sun.security.ssl.SSLSocketImpl.decode(SSLSocketImpl.java:1397)<br> at sun.security.ssl.SSLSocketImpl.readHandshakeRecord(SSLSocketImpl.java:1305)<br> at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:440)<br> at com.mysql.jdbc.ExportControlled.transformSocketToSSLSocket(ExportControlled.java:188)<br><br><br><br>### Python<br>$ python3 py_mysql_connect_test.py<br>Traceback (most recent call last):<br>  File &quot;..../site-packages/mysql/connector/network.py&quot;, <br>     line 421, in switch_to_ssl<br>    self.sock.do_handshake()<br>  File &quot;..../ssl.py&quot;, line 767, in do_handshake<br>    self._sslobj.do_handshake()<br>ssl.SSLError: [SSL: TLSV1_ALERT_PROTOCOL_VERSION] <br>tlsv1 alert protocol version (_ssl.c:598)<br><br>During handling of the above exception, another exception occurred:</pre><p>위의 에러 메세지를 통해서 확인할 수 있는 내용은 이전장의 SSL/TLS <strong>Handshake</strong> 를 설명한 내용과 같이 <strong>SSL Handshake 과정에서의 문제가 발생</strong>되었음을 알 수 있습니다.</p><p>발생된 2개의 메세지 <strong>TLSV1_ALERT_PROTOCOL_VERSION</strong> 또는 <strong>protocol_version</strong> 를 통해서 SSL Handshake의 과정에서의 TLS Version에 의해서 문제가 발생되었다는 점도 에러 메세지를 통해 확인할 수 있는 부분입니다.</p><p>이와 같이 SSL/TLS 암호화 프로토콜은 서버와 클라이언트간의 통신을 위한 Handshake 과정에서 서로 간의 사용할 TLS버전을 정하게 되는데 <strong>서로 공통된 TLS버전이 존재하지 않는다면</strong> <strong>Handshake과정이 실패하게 되어 접속이 불가능</strong>하게 돼요</p><p>MySQL 8.0.28 버전 릴리즈 노트의 내용과 같이 TLSv1, TLSv1.1 이 Remove 되어서 지원되는 TLS 버전이 1.2 와 1.3 인 것을 확인할 수 있습니다.</p><pre>mysql&gt; select @@version;<br>+-----------+<br>| @@version |<br>+-----------+<br>| 8.0.28    |<br>+-----------+<br><br>mysql&gt; SHOW GLOBAL VARIABLES LIKE &#39;tls_version&#39;;<br>+---------------+-----------------+<br>| Variable_name | Value           |<br>+---------------+-----------------+<br>| tls_version   | TLSv1.2,TLSv1.3 |<br>+---------------+-----------------+</pre><p>다수의 서비스를 하는 운영 환경에서는 각각의 개발언어나 드라이버와 그리고 접속하는 대상(서버)에서 사용가능한(지원되는) TLS 버전이 각각 상황이 다를 것입니다.</p><p>그래서 개발언어(또는 접속 드라이버) 또는 접속하는 대상(여기서는 데이터베이스)의 버전 업데이트는 위와 같이 SSL/TLS 버전의 지원의 불일치(mismatch)을 상황을 만날 수 있 도 있게 되는 것이지요</p><p>그렇다면 서버 소프트웨어의 변경(업데이트 등)에 의해서만 이러한 문제가 발생될 수 있을까요? <strong>그렇지는 않아요!</strong></p><p>SSL Handshake 과정에서 서버와 클라이언트 간에 사용할 TLS 버전을 설정한다는 의미는 <strong>클라이언트의 변화에 의해서도 SSL/TLS 버전이 불일치할 수도 있음을 의미</strong>해요</p><p>예를 들어 <strong>Java 8 버전의 Update 291 버전</strong>부터는 <strong>TSLv1.0 과 TLSv1.1 이 더이상 지원을 하지 않은</strong> 비활성화 상태로 변경이 되었어요</p><p>그래서 <strong>TLSv1.2를 지원하지 않은 예전의 MySQL 5.7 버전이거나 그 이전 버전을 사용하고 있을 경우</strong>에도 동일 하게 SSL Handshake 에러가 발생하게 됩니다.</p><pre>The last packet sent successfully to the server was 0 milliseconds ago. <br>    The driver has not received any packets from the server.<br>        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)<br>        &lt;... 중략 ...&gt;<br>Caused by: javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled <br>          or cipher suites are inappropriate)<br>        at sun.security.ssl.HandshakeContext.&lt;init&gt;(HandshakeContext.java:171)<br>        at sun.security.ssl.ClientHandshakeContext.&lt;init&gt;(ClientHandshakeContext.java:98)<br>        at sun.security.ssl.TransportContext.kickstart(TransportContext.java:220)<br>        at sun.security.ssl.SSLSocketImpl.startHandshake(SSLSocketImpl.java:428)<br>        at com.mysql.cj.protocol.ExportControlled.performTlsHandshake(ExportControlled.java:336)<br>        at com.mysql.cj.protocol.StandardSocketFactory.performTlsHandshake(StandardSocketFactory.java:188)<br>        at com.mysql.cj.protocol.a.NativeSocketConnection.performTlsHandshake(NativeSocketConnection.java:99)<br>        at com.mysql.cj.protocol.a.NativeProtocol.negotiateSSLConnection(NativeProtocol.java:325)</pre><p>이와 같이 SSL/TLS 를 사용하는 환경에서는 <strong>서버 와 클라이언트(드라이버 또는 개발언어) 모두 버전을 변경할 경우 SSL/TLS 지원 버전에 대한 정보를 미리 확인이 필요</strong>해요</p><p>핀다에서도 작년에는 일부에서 예전 개발 언어 버전이 사용되어 다음과 같이 TLS v1.1 로 접속된 내용을 확인할 수 있었는데요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/697/1*6ohSh4Sc397OOe39O4Q7Bw.png" /></figure><p><strong>작년에 핀다의 빠른 압축 성장</strong>과 함께 많은 개발자 분들이 합류해 주셔서 지금은 적절한 최신의 개발 언어 버전 과 개발 언어로 변화하였고 그에 따라서 <strong>이제 핀다에서의 기술부채는 찾아볼 수 없게 되었어요!</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/1*YA8AJ7VR7fG5x7CUEW4Nvg.png" /><figcaption><a href="https://twitter.com/lqez/status/896214626018279426">기술부채 — 파이콘 2017</a></figcaption></figure><p>그래서 지금 TLS v1.2에서 TLS v1.3까지 적절한 TLS 버전을 만족하는 환경으로 사용 중입니다.</p><h4>SSL/TLS 조회</h4><p>MySQL 에서 접속된 애플리케이션 스레드의 접속 방식 및 TLS 버전에 대한 확인은 sys.session_ssl_status 와 performance_schema.threads 을 조인(join) 을 해서 조회하면 확인할 수 있습니다.</p><pre>mysql&gt; select b.processlist_user,<br>b.processlist_id, <br>b.connection_type,<br>a.ssl_version,<br>a.ssl_cipher  <br>from sys.session_ssl_status a join performance_schema.threads b<br>on a.thread_id= b.thread_id<br>where ssl_version is not null<br>order by ssl_version desc;</pre><p>다만 다른 스레드의 SSL/TLS 정보를 확인하기 위해서는 <strong>performance_schema가 활성화되어 있어야 확인 가능</strong> 합니다.</p><p>접속한 자기 스레드에 대한 정보는 다음과 같이 확인할 수 있습니다.</p><pre>mysql&gt; show session status like &#39;ssl_version&#39;;</pre><p>특이점으로는 글을 작성하는 시점 기준으로 <strong>AWS Aurora MySQL 2 버전대</strong>에서는 performance_schema.status_by_thread 에서 SSL/TLS에 대한 정보가 출력되지 않는 다는 점이에요</p><p>2 버전에서 모두 나타나는 현상이고 AWS 클라우드 Support Case를 통해 확인한 결과, 간략하게 정리하면 현재로 써는 Aurora MySQL 2 버전의 제한사항이라는 내용으로 확인받았어요<br>(향후에는 조회가 가능할 수도 있어요!)</p><p>이처럼 SSL/TLS를 사용할 경우에는 버전 업데이트 수행하기 전에 <strong>서버와 클라이언트간 TLS 지원 버전도 확인을 해야</strong> 합니다.</p><p>이런 경우 문제를 해결하기 위해서 할 수 있는 조치 사항 또는 사전에 문제가 발생되지 않기 위해서 할 수 있는 준비 사항은 크게 다음과 같은 부분을 생각해 볼 수 있을 것 같아요</p><ul><li><strong>클라이언트와 MySQL 서버 둘 다 적절한 버전을 유지<br></strong>개발언어나 서버 프로그램에서도 <strong>LTS(Long Term Support)</strong> 라고 표현되는 <strong>장기 지원 버전</strong>이 있는 경우, LTS 버전대를 사용한다면 보통의 경우 문제가 될 확률이 상대적으로 적습니다.<br>LTS 버전은 아니지만 EOS(End of support)가 끝나지 않은 안정 버전(또는 최신버전) 사용 중이라면 마이너 버전의 업데이트의 변경에서는 보통의 경우 TLS 버전은 맞출 수 있게 됩니다.</li><li><strong>SSL/TLS 접속을 비활성화<br></strong>각 개발 언어의 접속 드라이버 설정 속성에서는 SSL/TLS 접속에 대해서 사용 또는 미사용을 선택할 수 있는 옵션이 보통은 제공 됩니다.<br>예를 들어 Java 에서는 useSSL=false 를 통해서 SSL/TLS 접속이 아닌 Non-SSL 방식으로 접속할 수 있습니다.</li></ul><p>당장 문제가 발생된 <strong>긴급한 경우</strong>라면 SSL/TLS 미사용 설정으로 변경하여 MySQL로 접속하는 것도 한가지 방법이 될 수도 있을 것 같습니다.</p><p>다만, <strong>운영 정책에서 SSL/TLS의 사용이 권장 또는 필수</strong>인 경우가 있을 수 있고 계속되는 <strong>보안적인 위험도가 늘어나는</strong> 요즘의 IT환경에서 SSL/TLS 보안 통신 프로토콜을 사용하는 것이 당연히 권장된다고 생각하고 있어요</p><p>앞으로는 SSL/TLS 사용이 더욱 보편화되고 일반적인 환경이 될 수 있는 예상되는 환경인 만큼 MySQL에서의 SSL/TLS 사용에 대해서도 한번 쯤 생각해볼 수 있는 시간이 되었으면 되었으면 합니다!</p><h3>끝으로</h3><p>이번 글에서는 SSL/TLS과 MySQL에 대한 내용에 대해서 알아보았고 주요 내용을 정리해볼게요</p><ul><li>SSL/TLS 방식으로 접속 시 공통되는 SSL/TLS 버전이 존재해야 함</li><li>서버 와 클라이언트 모두 지원 SSL/TLS 버전에 대해서 확인이 필요함</li><li>MySQL에 접속 시 많은 경우 이미 SSL/TLS를 통해 접속하여 사용중임</li><li>MySQL 8.0.28 버전 부터 TLSv1.0, TLSv1.1 이 제거(Remove) 되었음</li></ul><p>긴 글을 읽어주셔서 감사해요!</p><p>아직 많이 더운 여름 날씨인데요 건강하시고 행복한 여름 보내시길 바랄게요</p><p>SSL/TLS 접속과 관련되어 “<a href="https://medium.com/finda-tech/aws-rds-%EC%9D%B8%EC%A6%9D%EC%84%9C-%EB%A7%8C%EB%A3%8C%EC%97%90-%EB%94%B0%EB%A5%B8-%EC%9D%B8%EC%A6%9D%EC%84%9C-%EC%97%85%EB%8D%B0%EC%9D%B4%ED%8A%B8-88dfcf01ae0e">AWS RDS 인증서 만료에 따른 인증서 업데이트</a>” 글로 내용이 이어집니다</p><p>다음에 또 만나요👋 감사합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=15262c49783e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/mysql%EA%B3%BC-ssl-tls%ED%86%B5%ED%95%9C-%EC%A0%91%EC%86%8D-15262c49783e">MySQL과 SSL/TLS통한 접속</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[금융서비스 MSA 전환기- BFF 와 CircuitBreaker 적용(2편)]]></title>
            <link>https://medium.com/finda-tech/%EA%B8%88%EC%9C%B5%EC%84%9C%EB%B9%84%EC%8A%A4-msa-%EC%A0%84%ED%99%98%EA%B8%B0-bff-%EC%99%80-circuitbreaker-%EC%A0%81%EC%9A%A9-2%ED%8E%B8-c409e5fb28c9?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/c409e5fb28c9</guid>
            <category><![CDATA[msa]]></category>
            <category><![CDATA[bff]]></category>
            <category><![CDATA[finance]]></category>
            <category><![CDATA[circuit-breaker]]></category>
            <dc:creator><![CDATA[김형래]]></dc:creator>
            <pubDate>Mon, 31 Jul 2023 01:21:40 GMT</pubDate>
            <atom:updated>2023-07-31T01:39:59.380Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>안녕하세요, FINDA 현금그로스 PG 자산/신용관리 PT 백엔드 개발자 김형래 입니다.</strong></p><p><strong>이번 글에서는 자산/신용관리 PT 에서 기존 서비스를 Frontend 에 서빙하기 편리한 구조인 </strong><a href="https://www.mobilelive.ca/blog/why-backend-for-frontend-application-architecture"><strong>BFF(Backend For Frontend)</strong></a><strong> 와 대량 트래픽에서 운영 서비스에 유입되는 트래픽 조절을 위한 CircuitBreaker 적용에 대해 알아보도록 할게요!</strong></p><h4>왜 BFF(Backend For Frontend) 서비스를 필요로 할까요?</h4><p><strong>BFF 패턴</strong></p><p>간단히 말하면, Frontend 를 위한 Backend 서버를 말합니다. BFF 패턴이 생겨난 이유는 다양한 디바이스 장치가 생겨나면서 각각의 환경에 맞는 UI 가 필요해졌기 때문입니다(WEB, Mobile, Watch, Tablet 등). 같은 서비스라도 사용하는 디바이스 환경에 맞추어 보여지는 UI 와 Data 가 다르므로 이를 해결하기 위한 방법으로 BFF 패턴이 나타났습니다. BFF 패턴은 모놀리틱 구조라면 필요하지 않지만, MSA 를 이용할 때 유용합니다.</p><p><strong>BFF 의 장점</strong></p><ul><li>Client 별 필요한 데이터 전달 가능(여러 API 호출에 대한 응답 수정, 조합)</li><li>서비스 별 API 호출을 최소화 처리</li><li>Frontend 는 복잡한 로직을 단순화 처리</li><li>MSA 환경에서 API Endpoint 분리 시, Client 에 변경없이 처리 가능</li><li>Browser 의 CORS 또는 인증 방식 등과 같은 공통 부분 처리</li></ul><p><strong>BFF 의 단점</strong></p><ul><li>코드 중복이나 재 작성을 해야하는 단점이 존재합니다.</li></ul><p><strong>API Gateway 서비스와 차이점</strong></p><p>BFF 는 API Gateway 와 유사하게 보이나 아래의 내용을 보면 명확하게 다릅니다.</p><ul><li>API Gateway 는 Frontend의 요청에 대한 Backend의 응답을 변경 X</li><li>BFF 는 Frontend 의 UI/UX에 필요한 API 와 데이터만 제공</li></ul><p><strong>자산/신용 관리 PT 에서 BFF 를 적용한 구조</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HG3PxOBGfZFt6c18h9l3TA.png" /><figcaption><strong>일반적인 API 서비스 패턴(Left), BFF 패턴(Right)</strong></figcaption></figure><p>일반적인 API 서비스 패턴과 비교해 볼 때, 중간에 자산 관리 서비스(BFF)가 추가되었습니다. 현재는 WEB 이 Mobile APP 내에 존재하고 독립된 WEB 페이지에 API 를 서빙하고 있지 않으므로 WEB/Mobile APP 에 동일한 BFF 를 적용했습니다. 추후 FINDA 의 WEB 페이지 API 를 제공할 경우, WEB 전용 BFF 를 추가할 예정입니다. 현재는 고객이 FINDA APP 으로 API 요청 시, 여신/수신/MYDATA 정보를 조합해서 WEB/Mobile APP 내의 복잡한 로직을 요구하지 않도록 하며 응답을 처리합니다. 즉, 이를 통해 Frontend 가 소망하는 ‘UI/UX 에 필요한 데이터만 받는 구조&#39; 를 구현할 수 있게 됩니다.</p><h4>대량의 트래픽으로 장애 전파가 되고 있는 경우, 어떻게 막아야 할까요?</h4><p><strong>트래픽 증가로 장애 전파의 시작</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NEieEoewOZOFzpRDZ8Vs3A.png" /><figcaption><strong>MYDATA 관리 서비스 장애 발생(CircuitBreaker 적용 전)</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R0PkAP3SOuMj2LwTFhDh8w.png" /><figcaption><strong>자산 관리 서비스 장애 발생(CircuitBreaker 적용 전)</strong></figcaption></figure><p>위 그래프를 보면 12:45 부터 초당 오류와 지연시간이 증가하고 있습니다. JVM Non-Heap 와 Pod Memory Usage 를 보면 서비스들이 Running 하는 POD 가 Up &amp; Down 이 되고 있는 것을 볼 수 있습니다. 해당 장애는 아래의 순서대로 전파가 진행되고 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Vxpw_U6lw5G2LpHRZFxu1Q.png" /><figcaption><strong>장애전파 흐름</strong></figcaption></figure><p>해당 장애전파로 FINDA APP 의 메인 홈에서 렌더링이 지연되고 원활한 기능을 사용하는데 응답시간이 오래 걸리게 되었습니다. MYDATA 관리 서비스에서 트래픽 또는 처리 로직에 지연시간이 증가하거나, 서버에 다수의 오류가 발생할 경우, API 호출을 요청한 서비스들에 장애가 전파되는 이슈가 발생한 겁니다. 얼마 후, 대환대출 서비스가 오픈 되므로 위와 같은 이슈는 전사적으로 큰 장애물이 될 수 있다고 판단했습니다. 그래서 장애 전파를 차단하고 트래픽 조절을 위해 CircuitBreaker 패턴을 도입하기로 결정했습니다. 상세한 내용은 아래에서 자세히 살펴 볼게요.</p><p><strong>장애 전파를 CircuitBreaker 패턴으로 막기</strong></p><p>CircuitBreaker 패턴에 대해 알아볼게요. MSA 로 구성된 시스템에서는 다른 서비스를 호출하는 경우가 빈번합니다. 서버들 간에 장애가 발생할 때, 호출한 다른 서비스에 장애가 전파되면서 Client 까지 장애가 전파됩니다. 또한, 장애가 발생한 서버에 계속해서 요청을 보내는 것은 장애를 복구하는데 어려움을 만듭니다. 그러므로 장애가 발생한 서비스를 탐지하고 요청을 차단하는 필요성이 생겼습니다. 이 문제를 해결하기 위해서 CircuitBreaker 패턴이 등장했습니다. 이 패턴은 <a href="https://wikibook.co.kr/release-it/">Release It</a> 이라는 책에서 처음 소개되었어요. 이 패턴을 통해 시스템의 장애 전파를 막고, 장애 복구를 도와 사용자에 불필요한 대기를 방지합니다. 즉, Client 측면에서 장애 전파를 차단하는 도구로 실패할 수 있는 작업을 계속 시도하지 않도록 방지합니다. 자산관리 서버에서는 외부 통신부를 Webclient 를 사용해서 처리하고 있습니다. 그래서 타 서비스 간의 API 통신부에 Resilience4J 를 사용해서 CircuitBreaker 설정을 추가했습니다. Resilience4J 는 함수형 프로그래밍 방식으로 설계된 lightweight fault tolerance 라이브러리로, CircuitBreaker 패턴을 위해 사용됩니다. fault-tolerance 란 하나 이상의 구성 요소에 문제가 생겨도 무중단으로 지속 가능한 시스템을 의미합니다. Resilience4J 를 적용하면 외부 서비스에 장애가 발생해도 서비스는 계속 운영이 가능하다는 것입니다. 참고로 Java 진영의 CircuitBreaker 라이브러리로는 Netflix 에서 만든 Hystrix(오픈소스) 가 있습니다. 하지만, Hystrix 는 deprecated 되었고 Hystrix에서도 Resilience4J 의 사용을 권장하고 있어서 선택하게 되었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nGzHil2uAjrwOVybMIvSoQ.png" /><figcaption><strong>Hystrix Status</strong></figcaption></figure><p>아래의 코드는 Resilience4j 를 사용한 것으로 자산관리 서버에서 트래픽 조절하면서 과도한 Thread 생성과 고갈을 막고 있습니다.</p><p>우선 CommonWebClientApiComponent class 로 타 서비스 별 API 에 사용되는 Webclient 를 추상화하도록 구현했습니다.</p><pre>@RequiredArgsConstructor<br>@Component<br>public abstract class CommonWebClientApiComponent {<br>    protected WebClient webClient;<br>    protected final String X_AUTH_TOKEN = &quot;X-AUTH-TOKEN&quot;;<br>    <br>    protected CommonWebClientApiComponent(WebClient webClient) {<br>        this.webClient = webClient;<br>    }<br><br>    public &lt;T&gt; Mono&lt;T&gt; callApiMono(WebClientApiReqData&lt;T&gt; reqData) {<br>        return webClient.mutate()<br>            .baseUrl(reqData.getBaseUrl())<br>            .build()<br>            .method(reqData.getHttpMethod())<br>            .uri(reqData.getUri())<br>            .accept(MediaType.APPLICATION_JSON)<br>            .header(X_AUTH_TOKEN, reqData.getAuthToken())<br>            .retrieve()<br>            .onStatus(HttpStatus::isError, response -&gt; processError(reqData, response))<br>            .bodyToMono(reqData.getResponseType());<br>    }<br><br>    protected &lt;T&gt; Mono&lt;Throwable&gt; processError(WebClientApiReqData&lt;T&gt; reqData, ClientResponse response) {<br>            ExternalServerType externalServerType = reqData.getExternalServerType();<br>            return switch (response.rawStatusCode()) {<br>                case 400 -&gt; response.bodyToMono(reqData.getResponseType())<br>                    .flatMap(rsp -&gt; Mono.error(<br>                        new HttpErrorBadRequestException(externalServerType, AmsResponseCode.CODE40001,<br>                            HttpStatus.BAD_REQUEST)));<br>                case 401 -&gt; response.bodyToMono(reqData.getResponseType())<br>                    .flatMap(rsp -&gt; Mono.error(<br>                        new HttpErrorUnauthorizedException(externalServerType, AmsResponseCode.CODE40101,<br>                            HttpStatus.UNAUTHORIZED)));<br>                case 403 -&gt; response.bodyToMono(reqData.getResponseType())<br>                    .flatMap(rsp -&gt; Mono.error(<br>                        new HttpErrorForbiddenException(externalServerType, AmsResponseCode.CODE40301,<br>                            HttpStatus.FORBIDDEN)));<br>                case 404 -&gt; response.bodyToMono(reqData.getResponseType())<br>                    .flatMap(rsp -&gt; Mono.error(<br>                        new HttpErrorNotFoundException(externalServerType, AmsResponseCode.CODE40401,<br>                            HttpStatus.NOT_FOUND)));<br>                case 500 -&gt; response.bodyToMono(Object.class)<br>                    .flatMap(rsp -&gt; Mono.error(<br>                        new HttpServerErrorException(HttpStatus.INTERNAL_SERVER_ERROR, StringConvertUtils.getErrorMessage(externalServerType, AmsResponseCode.CODE50001))));<br>                default -&gt; response.bodyToMono(byte[].class)<br>                    .flatMap(rsp -&gt; Mono.error(<br>                        new HttpServerErrorException(HttpStatus.valueOf(response.rawStatusCode()), StringConvertUtils.getErrorMessage(externalServerType, AmsResponseCode.CODE50004))));<br>            };<br>        }<br>    }<br>}</pre><pre>@Component<br>public DmsWebClientApiComponent(@Qualifier(&quot;DmsWebClient&quot;) WebClient dmsWebClient) {<br>        webClient = dmsWebClient;<br>    }<br>    @Override<br>    @CircuitBreaker(name = &quot;dms-api-service&quot;, fallbackMethod = &quot;callApiMonoFallback&quot;)<br>    public &lt;T&gt; Mono&lt;T&gt; callApiMono(WebClientApiReqData&lt;T&gt; reqData) {<br>        return webClient.mutate()<br>            .baseUrl(reqData.getBaseUrl())<br>            .build()<br>            .method(reqData.getHttpMethod())<br>            .uri(reqData.getUri())<br>            .accept(MediaType.APPLICATION_JSON)<br>            .header(X_AUTH_TOKEN, reqData.getAuthToken())<br>            .retrieve()<br>            .onStatus(HttpStatus::isError, response -&gt; processError(reqData, response))<br>            .bodyToMono(reqData.getResponseType())<br>            ;<br>    }       <br>    @Override<br>    public &lt;T&gt; Mono&lt;T&gt; callApiMonoFallback(WebClientApiReqData&lt;T&gt; reqData, CallNotPermittedException e) {<br>        return Mono.error(new FallbackMethodInvokedException(reqData.getExternalServerType(), AmsResponseCode.CODE50005, HttpStatus.INTERNAL_SERVER_ERROR, e));<br>    }<br>}</pre><p>수신관리(DMS) 서비스가 CommonWebClientApiComponent 를 상속받아서 사용합니다. callApiMono method 를 호출 시 CircuitBreaker 설정을 통해 실패 시, callApiMonoFallback method 를 호출 시킵니다. 그 후에 리턴으로FallbackMethodInvokedException 를 발생시키면서 CircuitBreaker 의 Fail rate 를 증가시킵니다.</p><pre>resilience4j.circuitbreaker:<br>  configs:<br>    default:<br>      registerHealthIndicator: true<br>      failureRateThreshold: 20<br>      slowCallRateThreshold: 20<br>      slowCallDurationThreshold: 60s<br>      permittedNumberOfCallsInHalfOpenState: 10<br>      slidingWindowType: COUNT_BASED<br>      slidingWindowSize: 100<br>      minimumNumberOfCalls: 10<br>      automaticTransitionFromOpenToHalfOpenEnabled: false<br>      waitDurationInOpenState: 30s<br>      recordFailurePredicate: com.finda.ams.common.exception.predicate.WebClientRecordFailurePredicate<br>      recordExceptions:<br>        - org.springframework.web.client.HttpServerErrorException<br>        - java.util.concurrent.TimeoutException<br>      ignoreExceptions:<br>        - com.finda.ams.common.exception.FindaHttpErrorException<br>  instances:<br>    dms-api-service:<br>      baseConfig: default<br>...</pre><p>위에 application.yml 설정값은 아래 표로 기본값과 설명을 자세히 추가했습니다. 설정값들은 각 서비스의 특성별로 정의할 수 있으며, instances 밑에 baseConfig 를 선택해서 사용할 수 있습니다. 자산관리 서비스에서는 latency 가 빠른지 느린지로 서비스 별 config 를 나누어 적용했습니다. 좀 더 상세하게 예를 들어 설명해 볼게요. minimumNumberOfCalls 이 10으로 설정되어 있어서 만약 A 서비스에서 B 서비스를 9번 호출하더라도 상태변화는 없습니다. 10번째로 호출될 때 성공/실패 횟수를 계산하여 그 비율로 CircuitBreaker 를 OPEN 할지 여부를 판단합니다. 그렇다면, A 서비스에서 B 서비스를 100번 호출했고, 80번은 성공하고 20번은 실패할 경우, 비율은 20/100 ✕ 100 = 20% 가 되므로 CircuitBreaker 의 상태는 OPEN 으로 변경됩니다. 즉, 실패율 계산은 아래와 같습니다.</p><blockquote><strong>실패율 = 실패횟수 / slidingWindowSize 또는 minimumNumberOfCalls </strong>✕ <strong>100</strong></blockquote><p>분모 값이 slidingWindowSize &lt; minimumNumberOfCalls 경우라면 slidingWindowSize 값을 사용하고, 반대의 경우라면 minimumNumberOf Calls 값을 사용합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4iCi-rpqF3wJel6ulWUMZQ.png" /><figcaption>CircuitBreaker Configuration</figcaption></figure><p>application.yml 에서 보면 recordFailurePredicate 설정이 있는데, 해당 설정은 어떤 예외를 실패로 기록할 것인지를 결정하기 위한 Predicate 설정이며, 커스터마이징이 가능해서 Exception 에 대해 좀 더 디테일한 설정을 하고자 적용했습니다. 상세한 정보는 <a href="https://resilience4j.readme.io/docs/getting-started"><strong>Resilience4j Document Site</strong></a><strong> </strong>를 참고하시면 좋습니다.</p><p><strong>적용 후, 결과 분석</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YO4OEiBfYU1bFK9VIjxALg.png" /><figcaption><strong>자산 관리 서비스(CircuitBreaker 적용 후)</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DxbDXKGkY6s2iB0WkwI2Gw.png" /><figcaption><strong>자산 관리 서비스(CircuitBreaker 적용 후)</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/716/1*JwMnBYEQOlPlbh6eJHmCPg.png" /><figcaption><strong>CircuitBreaker Open Alert</strong></figcaption></figure><p>자, 이제 CircuitBreaker 적용한 뒤 결과를 분석해 볼게요. Metric 에 Circuit Breaker failure rate 를 추가했고 Grafana 모니터링에서 위와 같은 지표를 확인했습니다. 초당 오류율이 더 많은 상황에서도 서비스가 운영되는 POD 가 Up &amp; Down 되지 않고 있습니다. 또한, CircuitBreaker failure rate 를 보면서 API 를 호출한 서비스 별로 CircuitBreaker 가 Open 된 상황을 Slack 알람을 통해 확인할 수 있도록 설정했습니다. 결과적으로 불필요한 API 요청에 따른 Thread 사용이 줄어들면서 Thread 의 효율성이 증가했고, 외부로부터 유입되는 자산관리 서비스의 트래픽을 조절하고 fault tolerance 를 유지할 수 있었습니다.</p><p>여기까지 긴 글을 읽어주셔서 감사합니다.</p><p>다음 글은 금융서비스 MSA 전환기- 서버 간 비동기 메시지 기반 통신 처리(3편)으로 알아보겠습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c409e5fb28c9" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/%EA%B8%88%EC%9C%B5%EC%84%9C%EB%B9%84%EC%8A%A4-msa-%EC%A0%84%ED%99%98%EA%B8%B0-bff-%EC%99%80-circuitbreaker-%EC%A0%81%EC%9A%A9-2%ED%8E%B8-c409e5fb28c9">금융서비스 MSA 전환기- BFF 와 CircuitBreaker 적용(2편)</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[금융서비스 MSA 전환기 — DB 부(1편)]]></title>
            <link>https://medium.com/finda-tech/%EA%B8%88%EC%9C%B5%EC%84%9C%EB%B9%84%EC%8A%A4-msa-%EC%A0%84%ED%99%98%EA%B8%B0-db-%EB%B6%80-1%ED%8E%B8-63d09e7ebe0e?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/63d09e7ebe0e</guid>
            <category><![CDATA[마이크로서비스]]></category>
            <category><![CDATA[cqrs]]></category>
            <category><![CDATA[msa]]></category>
            <category><![CDATA[ddd]]></category>
            <category><![CDATA[bds]]></category>
            <dc:creator><![CDATA[김형래]]></dc:creator>
            <pubDate>Mon, 17 Jul 2023 01:55:49 GMT</pubDate>
            <atom:updated>2023-07-17T01:57:04.408Z</atom:updated>
            <content:encoded><![CDATA[<h3>금융서비스 MSA 전환기 - DB 분리(1편)</h3><p><strong>안녕하세요, FINDA 현금그로스 PG 자산/신용관리 PT 백엔드 개발자 김형래 입니다.</strong></p><p><strong>이번 글에서는 자산/신용관리 PT 에서 기존 및 신규 서비스를 </strong><a href="https://martinfowler.com/articles/microservices.html"><strong>MSA(Micro Service Architecture)</strong></a><strong>로 전환하는 첫 단추를 끼우는 작업에 대해 알아보도록 할게요!</strong></p><h4>왜 기존 서비스를 마이크로 서비스(MSA) 로 전환해야 할까요?</h4><p>Why 를 팀원 들과 논의하게 된 시점은 KCB 의 금융명의보호 서비스를 개발하면서 시작되었어요. 금융명의보호 서비스(이하 금명보 서비스)는 아래와 같아요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*U4IjBEZDUZlrhmNM3MrskQ.png" /><figcaption><strong>금융명의보호 서비스</strong></figcaption></figure><blockquote>이 서비스에 가입해 두면 누군가가 자신 몰래 카드를 신규 발급받거나 카드론 등을 신청할 경우 곧바로 ‘알림 정보’가 옵니다. 아예 금융사가 자신의 신용정보를 조회하지 못하도록 ‘차단’ 기능을 설정할 수도 있습니다. 피해 고객이 아니어도 누구나 신청할 수 있습니다.</blockquote><p>금명보 서비스를 FINDA 앱에 안전하게 서비스로 릴리즈 하기위해 대출비교 서비스와 같이 사용하는 DB 에서 분리하기로 했어요. 이유는 대출비교 서비스에 부하를 줄이는 게 가장 큰 목적이었어요. 대출비교 서비스(메인 서비스) 에 여신관리 서비스가 부하를 증가 시킨다면, 메인 서비스의 전면 및 일부 장애로 이어져 회사 수익에 손실이 발생할 수 있기 때문이죠. 또한, 여신관리 서비스가 타 서비스와 의존성이 너무나 큰 강결합 형태여서 유지 보수 및 대량 트래픽 이슈 처리를 위해 MSA 구조를 선택했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/938/1*5XBEDgzCFXPpOn-iHwYB1g.png" /><figcaption><strong>기존 Database 구조(개선 전)</strong></figcaption></figure><p>FINDA 백엔드 서비스의 Legacy 로 유관부서의 영향도 체크하는 커뮤니케이션 비용이 정말 컸어요. 유관부서의 리드 또는 팀원 들과 소통을 해야했어요. 우리 팀이 쏘아올린 공에 유관부서의 작업이 많이 증가해서 협조를 많이 구했던 작업이었어요. 아래는 MSA 를 위해 선행 작업 Timeline 을 나타낸 것이에요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5zvioXdZasprE_LG3I6oKg.png" /><figcaption><strong>선행 작업 Timeline</strong></figcaption></figure><h4>MSA 로 전환 하기</h4><p><strong>선행 작업 분석</strong></p><p>사내의 모든 유관 부서와 협업 하면서 여신관리 DB 가 이관 될 경우, Side Effect를 조사하기 시작했습니다. 유관부서와 전환 전에 사전 협의 및 논의를 진행하면서 Side Effect 가 얼마나 클지 미리 검토하고 사전 시나리오를 작성해봤어요. 그 중에서 가장 까다로운 부분은 FINDA 앱에서 사용 되는 알림 발송 처리 부분이었어요. 좀 더 자세한 내용은 <strong>DB 이관 테이블 분석</strong>에서 살펴볼게요.</p><p><a href="https://domainlanguage.com/wp-content/uploads/2016/05/DDD_Reference_2015-03.pdf">Domain Driven Design(DDD)</a> 로 설계를 시작해 볼게요.</p><ul><li>Domain 은 사전적 의미로 ‘영역&#39;, ‘집합&#39; 입니다.</li><li>Domain 은 비즈니스 Domain 으로 유사한 업무의 집합으로 표현됩니다.</li><li>Application 은 비즈니스 Domain 별로 나누어 설계 및 개발을 합니다.</li><li>DDD 의 목표는 “Loosely coupling”, “High cohesion” 입니다.</li><li>DDD 는 Strategic Design 와 Tactical Design 으로 나뉩니다. Strategic Design 은 개념 설계이고, Tactical Design 은 개발하기 위한 구체적 설계입니다.</li></ul><p>위에 설계 방식을 따라 Domain Event 를 정의하기 위해 비즈니스 Domain 내에 발생하는 모든 이벤트를 과거형으로 서술하면서 Domain Event 정보를 정의했습니다. 이번 글에서는 여신관리의 일부 정보만 한정해서 기술했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/794/1*BSov0p-yaIjPOY9DHcO17A.png" /><figcaption><strong>Domain Event 정의</strong></figcaption></figure><p>도출된 이벤트로 도메인의 업무 흐름을 이해하고 토론하여 프로세스 별로 그룹핑해서 Bounded Context 를 정의했습니다. 또한, 아래에 색상 별 항목을 정의 하면서 진행했습니다. 결과적으로 여신정보가 아닌 부분을 도출해서 적합한 팀으로 이관하게 되었습니다.</p><ul><li>초록색 : Event</li><li>하늘색 : Command</li><li>분홍색 : External System</li><li>하늘색 : Actor</li><li>노란색 : Bounded Context</li><li>주황색 : Aggregate Root</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*grI-tMMQF5JP5VrxqKjV4g.png" /><figcaption><strong>Bounded Context 정의</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/922/1*sFlZpjBLGzyLFkY2hZqswA.png" /><figcaption><strong>Aggregate Root 선정</strong></figcaption></figure><blockquote><strong>AS-IS</strong></blockquote><blockquote>- 여신관리 DB 와 대출비교 DB 간의 의존성 존재(JOIN)</blockquote><blockquote>- Bounded Context 기준으로 타 도메인 로직 존재(상품 정보, 두낫콜 정보)</blockquote><blockquote><strong>TO-DO</strong></blockquote><blockquote>- 여신, 수신, 자산, 배치 관리 DB 와 대출비교 DB 간 의존성 분리</blockquote><blockquote>- Bounded Context 기준으로 타 도메인 로직 이관(상품 정보, 두낫콜 정보)</blockquote><p><strong>공통 모듈 제거</strong></p><p>전사 공통적으로 사용하는 모듈(logging, user 유효성 체크 등)을 제거해서 의존성을 낮추는 작업을 진행했습니다. 공통으로 사용하는 모듈은 이미 주인이 없는 소스 코드라 사실상 관리가 제대로 되지 않고 있어서 계속 함께하기엔 유지보수 부담스러운 모듈이었습니다. 또한, 공통 모듈을 제거하면서 빌드 툴도 Maven 에서 Gradle 로 변경했습니다.</p><p><strong>전사 영향도 체크</strong></p><p>Backend / Frontend / Data 서비스 별로 영향도 체크를 위해 모든 유관부서와 협업하면서 진행하다보니, 많은 커뮤니케이션 비용이 들었습니다. 덕분에 FINDA 서비스를 전반적으로 살펴보고 분석하는 계기가 되었고, 비즈니스 파악에도 도움이 많이 되었습니다.</p><p><strong>DB 이관 테이블 분석</strong></p><p>가장 큰 작업으로 DB 이관 테이블을 분석 및 여신관리 서비스용 DB 테이블을 생성했어요. DBA 분들이 외래키 제약조건을 여러 이유로 최대한 지양 (<strong>성능 저하, DDL/DML시 관리포인트 증가</strong>) 하는 제안을 받았습니다. 서비스의 성능을 높이고 관리포인트 감소를 위해, 이번 작업에서 여신관리 DB의 외래키를 제거한 설계를 진행했습니다. 또한, Bounded Context 도출된 결과로 Entity 설계에 반영했습니다.</p><blockquote>병렬 스레드 갯수와 무관하게 외래키 제약조건이 존재할 경우,</blockquote><blockquote><strong>→ QPS 감소, Latency 증가</strong></blockquote><p>MSA 로 여신관리 서비스를 전환하면서, 대출비교 DB 에 있는 Push 알림 발송 테이블과 여신관리 DB 테이블이 서로 접근이 어려웠어요. 해결방안으로 FINDA 의 Data Lake 를 관리하고 담당하는 Data Platform 팀에서 Databricks 로 처리하는 프로세스로 변경해서 알림 발송을 일괄 처리하도록 개선 되었습니다.</p><p><strong>Multi Datasource 구성</strong></p><p>Application 에서 아래의 그림과 같이 DB read/write 를 각각 처리하는 구조로 변경하면서 Repository Layer 를 CQRS 적용이 편리한 구조인 Multi Datasource 로 만들었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/774/1*ZBkQyebtCDnd32VFnjcPKw.png" /></figure><p>부가적으로 여신관리 서비스에 맞지 않는 API 들도 이번 작업에서 제 주인을 찾아가면서 Domain Driven Design(DDD)을 위한 Bounded Context 도 잘 이루어졌습니다. 😉</p><p>아래에서 CQRS 를 적용한 코드를 보면서 이야기를 나눠 보겠습니다.</p><p>한 개의 DB 만 사용할 경우, <strong>application.yml </strong>설정으로 auto configuration 으로 DB 커넥션이 자동으로 생성됩니다. 그러나, 2개 이상 DB 를 접근할 경우, Configuration class 를 생성합니다. 우선, EntityManagerFactory class 로 아래와 같이 Bean 을 생성합니다.</p><p>application.yml 파일을 아래와 같이 설정합니다.</p><pre>spring:<br>  ...<br>  datasource:<br>    lms-read:<br>      maximum-pool-size: 20<br>      max-lifetime: 540000<br>      driver-class-name: com.mysql.cj.jdbc.Driver<br>      jdbc-url: jdbc:mysql://localhost:3306/lms?useUnicode=true&amp;characterEncoding=utf8<br>      username: test<br>      password: testpw<br>    lms-write:<br>      maximum-pool-size: 20<br>      max-lifetime: 540000<br>      driver-class-name: com.mysql.cj.jdbc.Driver<br>      jdbc-url: jdbc:mysql://localhost:3306/lms?useUnicode=true&amp;characterEncoding=utf8<br>      username: test<br>      password: testpw</pre><p>먼저 각 Datasource 에서 사용할 entity package와 repository package 를 분리합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/328/1*87H_SQwD9XfTGsWdtHC68Q.png" /><figcaption><strong>package 구조</strong></figcaption></figure><p>DB configuration class 로 application.yml 파일에 설정한 datasource properties 를 가져옵니다. LmsReadDataSourceConfig 파일을 설정해서 entityManager 와 transactionManager 를 Bean 으로 생성합니다. LmsWriteDataSourceConfig 파일도 LmsReadDataSourceConfig 와 유사합니다.</p><pre>@Configuration<br>@RequiredArgsConstructor<br>@EnableTransactionManagement<br>@EnableJpaRepositories(<br>        entityManagerFactoryRef = &quot;lmsReadEntityManager&quot;,<br>        transactionManagerRef = &quot;lmsReadTransactionManager&quot;,<br>        basePackages = {&quot;com.finda.lms.db.lmsdb.credit.read.*&quot;, &quot;com.finda.lms.db.lmsdb.lms.read.*&quot;}<br>)<br>public class LmsReadDataSourceConfig {<br><br>    private final EntityManagerFactory entityManagerFactory;<br><br>    private static final String[] LMS_READ_PACKAGE_NAME =<br>            {&quot;com.finda.lms.db.lmsdb.lms.entity&quot;, &quot;com.finda.lms.db.lmsdb.credit.entity&quot;};<br><br><br>    @Bean<br>    public LocalContainerEntityManagerFactoryBean lmsReadEntityManager(<br>            @Qualifier(&quot;lmsReadDataSource&quot;) DataSource dataSource, ConfigurableListableBeanFactory beanFactory<br>    ) {<br>        LocalContainerEntityManagerFactoryBean build = entityManagerFactory.getEntityManger(dataSource, LMS_READ_PACKAGE_NAME);<br>        build.getJpaPropertyMap().put(AvailableSettings.BEAN_CONTAINER, new SpringBeanContainer(beanFactory));<br>        return build;<br>    }<br><br>    @Bean<br>    public PlatformTransactionManager lmsReadTransactionManager(<br>            @Qualifier(&quot;lmsReadEntityManager&quot;) LocalContainerEntityManagerFactoryBean entityManager<br>    ) {<br>        JpaTransactionManager transactionManager = new JpaTransactionManager();<br>        transactionManager.setEntityManagerFactory(Objects.requireNonNull(entityManager.getObject()));<br>        return transactionManager;<br>    }<br>}</pre><p>여기서 @EnableJpaRepositories 가 핵심이며, 설정을 통해 Datasource 를 JPA Repository 로 접근 가능하게 합니다. 여러개의 Datasource 를 참조하는 상황에서는 반드시 명시적으로 entitiyManager, transactionManager 를 사용해야 합니다.</p><p><strong>QA 및 테스트</strong></p><p>DB Config, Repository, Service, Controller Layer 별 모든 소스코드가 변경 및 추가되어 전체 테스트로 리소스가 많이 들었습니다. QA 테스트는 전수 테스트에서 금융데이터를 실제 금융권에서 받아서 처리하는 부분이 테스트가 원활하지 않아서 Mockup Server 에서 Mock 데이터를 생성해 처리 하면서 테스트 시간을 단축 시킬 수 있었습니다.</p><p><strong>기존 서버에서 신규 서버로 트래픽 전환</strong></p><p>기존 서버의 트래픽을 신규 서버로 전환하는 작업은 Ingress 에서 prefix 를 redirect 처리 하면서 진행했습니다. 또한, 전환 전에 전사 유관 부서에 공지하면서 진행하다보니, 커뮤니케이션 비용도 많이 들었습니다. MSA 로 전환 작업을 하면서 팀원들이 기존 레거시 소스코드를 뜯어내고 재조립하는 과정에서 정해진 일정 내에 완료하기 위해서 팀원들과 QA 분들이 많은 고생을 했던 기억이 아직도 생생합니다. 이래서 Legacy 개선은 어렵습니다. 😱</p><h4>개선사항 정리 및 결과 분석하기</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/938/1*_NxJIw8FaqIB2cdWPZ9org.png" /><figcaption><strong>현재 Database 구조(개선 후)</strong></figcaption></figure><p><strong>개선사항 정리</strong></p><p>위에 그림은 현재 Database 구조로 개선 후 모습입니다. 처음에는 여신관리 서비스가 대출비교 DB 에서 독립 했고, 이후에는 수신, 자산, 배치관리 DB 가 독자적인 DB 를 갖는 MSA 구조로 변모하게 되었습니다. 지금까지 개선한 사항들을 정리해 보면 아래와 같습니다.</p><ul><li>전사 공통모듈 제거</li><li>Build Tool 변경(Maven to Gradle)</li><li>Multi Datasource(CQRS) 적용</li><li>Repository 분리(Command, Query)</li><li>Service 분리(Command, Query)</li><li>Controller 분리(Command, Query)</li><li>외래키 및 미사용 테이블 제거</li><li>Character Sets(utf8 to utf8mb4) 및 Collations 변경</li><li>Push 알림 발송 관련 작업은 Databricks 로 이관</li><li>기존 서비스(여신관리) DB 이관</li><li>신규 서비스(수신, 자산, 배치관리) DB 분리</li></ul><p><strong>개선 후, 결과 분석</strong></p><p>여신관리 DB 이관 후, 대출비교 DB 모니터링 결과는 아래와 같이 긍정적으로 나타났습니다.</p><ul><li>대출비교 DB CPU Workload 10% 정도 감소</li><li>대출비교 DB QPS 평일 기준 20% 감소</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/969/1*ja2riAuGqPr59-WcJI9mBQ.png" /><figcaption><strong>CPU Workload</strong></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/970/1*RQ1V3zoDrcvEsGKmM_1GFg.png" /><figcaption><strong>QPS</strong></figcaption></figure><p>여기까지 긴 글을 읽어주셔서 감사합니다.</p><p>다음 글은 금융서비스 MSA 전환기- BFF 와 CircuitBreaker 적용(2편)으로 알아보겠습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=63d09e7ebe0e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/%EA%B8%88%EC%9C%B5%EC%84%9C%EB%B9%84%EC%8A%A4-msa-%EC%A0%84%ED%99%98%EA%B8%B0-db-%EB%B6%80-1%ED%8E%B8-63d09e7ebe0e">금융서비스 MSA 전환기 — DB 부(1편)</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DevOps LGTM 스택 도입기]]></title>
            <link>https://medium.com/finda-tech/lgtm-%EC%8A%A4%ED%83%9D-%EB%8F%84%EC%9E%85%EA%B8%B0-aeb1424b8299?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/aeb1424b8299</guid>
            <category><![CDATA[mimir]]></category>
            <category><![CDATA[observability]]></category>
            <category><![CDATA[loki]]></category>
            <category><![CDATA[grafana]]></category>
            <category><![CDATA[tempo]]></category>
            <dc:creator><![CDATA[김명석]]></dc:creator>
            <pubDate>Wed, 05 Jul 2023 10:31:24 GMT</pubDate>
            <atom:updated>2023-07-06T12:09:09.770Z</atom:updated>
            <content:encoded><![CDATA[<p>안녕하세요. 핀다 DevOps 팀의 김명석입니다.</p><p>이번 글에서는 저희 팀에서 Observability 도구로써 LGTM 스택을 채택하고 적용한 경험에 대해 이야기해보고자 합니다.</p><h3><strong>LGTM이란?</strong></h3><p>LGTM 에 대한 소개는 ChatGPT 에게 맡기겠습니다.</p><p>Q) “Grafana LGTM 에 대해 설명해줘”<br>A) LGTM은 혁신적인 데브옵스의 관찰 가능성(Observability) 기술 스택으로, <strong>Loki, Grafana, Mimir</strong>, 그리고 <strong>Tempo</strong>의 각 첫 글자를 따서 이름이 지어졌습니다. 이 도구들은 시스템 모니터링, 로그 관리, 대시보드 제공, 그리고 분산 추적을 위해 함께 사용되며, 서비스의 성능과 안정성을 확보하는 데 굉장히 중요합니다. LGTM 스택은 효과적인 데브옵스 프로세스를 구축하려는 모든 기업에게 놀라운 가치를 제공하며, 이를 통해 기술 팀이 서비스의 상태를 실시간으로 파악하고 문제를 신속하게 해결할 수 있습니다.</p><h3><strong>우리는 어떤 문제를 해결하고자 하였는가?</strong></h3><p>핀다의 서비스는 AWS EKS 위에서 MSA 구조로 되어 있는데요. 핀다가 성장하면서 서비스의 수도 꾸준히 증가하여 현재는 수십여개의 서비스로 운영중입니다. (이 성장세라면 곧 백여로 늘어날 것 같네요!)</p><p>서비스의 개수가 증가할수록 서비스들 간의 통신 구조는 점점 복잡해지고, 애플리케이션에서 문제가 발생했을때 문제가 되는 지점을 찾는 것이 점점 어려워졌습니다. 서비스 개수가 늘어날수록 트러블슈팅에 더 많은 시간이 소요될 것이라는것이 자명했죠.</p><p>이번 글의 결론이라고도 할 수 있겠는데요. LGTM 스택을 적용하고 아래와 같이 서비스 토폴로지(구성도)와 RED(Rate, Error, Duration) 지표를 통해 전체적인 서비스의 현재 상태 파악이 가능해졌고, 문제가 발생했을때 더욱 빠르게 원인을 찾고 해결할 수 있게되었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/335/1*KLUwDNqr6xTk4bJ9kivWcQ.png" /><figcaption>서비스 토폴로지 및 RED 지표(서비스 일부)</figcaption></figure><h3><strong>시스템의 복잡성을 해결하는 관측가능성</strong></h3><h4>Observability(관측가능성)란?</h4><p>Observability 도구 도입기에 대한 글이므로 Observability에 대해 간단하게 살펴보겠습니다.</p><p>Observability은 “시스템의 외부 출력으로 시스템의 현재 상태를 측정할 수 있는 능력” 입니다. Cloud Native, MSA 아키텍처와 같이 복잡하게 분산된 환경에서 시스템의 성능과 안정성을 유지하기 위한 매우 중요한 요소입니다.</p><p>이전에도 시스템 상태 확인을 위한 방법론으로 Monitoring(모니터링)이라는 개념이 있었는데요. Observability 와 Monitoring은 종종 동일어로 사용되기도 하지만, 많은 글에서 볼 수 있는 것처럼 Observability는 Monitoring의 개념에서 한발 나아가 오늘날의 분산된 IT 환경에서의 “통합 모니터링”이라고 볼 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*zwYLHdNfNKvYp6xGK--JRg.png" /><figcaption>출처:<a href="https://www.riverbed.com/blogs/what-is-observability-vs-monitoring.html">https://www.riverbed.com/blogs/what-is-observability-vs-monitoring.html</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Qz-hfgvNz7HYN0s2U0cRxw.png" /><figcaption>출처:<a href="https://www.instana.com/blog/observability-vs-monitoring/">https://www.instana.com/blog/observability-vs-monitoring/</a></figcaption></figure><p>일반적으로 Observability를 이루고 있는 요소로 Metrics, Logs, Traces 의 3가지 데이터 유형을 꼽습니다.</p><p><strong>Metrics: </strong>시간 경과에 따라 수집된 수치 데이터<br><strong>Logs: </strong>애플리케이션과 시스템의 이벤트에 대한 영구 기록<br><strong>Traces: </strong>단일 트랜잭션 또는 요청에 대한 흐름, 특정 요청의 세부 정보를 조사하여 어떤 구성 요소가 시스템 오류를 생성하는지 확인</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RYjaevTNLqw96vKzzGy_fQ.png" /><figcaption>출처:<a href="https://linkedin.github.io/school-of-sre/level101/metrics_and_monitoring/observability/">https://linkedin.github.io/school-of-sre/level101/metrics_and_monitoring/observability/</a></figcaption></figure><h4><strong>핀다의 Observability를 위한 도구의 선택기준</strong></h4><p>저희팀에서 Observability 도구를 선택함에 있어 고려했던 부분은 다음과 같습니다.</p><p><strong>통합 대시보드<br></strong>AWS Cloudwatch, Elasticsearch, Datadog, Prometheus(Grafana) 등과 같은 여러가지 도구를 쓰고 있었고, 서비스 상태를 파악하기 위해 여러 대시보드를 돌아다녀야 했습니다. 또한 환경마다 모니터링 시스템이 존재하여 운영비용도 점점 증가하고 있었습니다.</p><p>이러한 부분들의 개선을 위한 통합 대시보드를 희망했습니다.</p><p><strong>비용 효용성<br></strong>AWS 관리형 및 SaaS 서비스는 운영비용을 절감해주므로 좋은 선택지 중 하나였는데요. 수집되는 정보가 많을수록 비용도 비례해서 증가하게 됩니다. 핀다의 서비스는 지금도, 앞으로도 성장할 것이기에 이러한 비용도 고려해야 했습니다. 그래서 오픈소스를 이용하여 직접 구축하기로 결정했습니다.</p><p><strong>운영 및 관리 간소화<br></strong>시스템을 직접 구축하기로 했지만, 관리/운영은 편하길 바랬습니다.</p><p>EKS의 운영 경험을 살리고, Kuberneties의 오케스트레이션(Orchestration)을 활용할 수 있는 Kubernetes Native 오픈소스 시스템을 원했습니다.</p><h4><strong>LGTM 스택의 도입</strong></h4><p>여러 후보들 중 최종선택은 LGTM 스택이었습니다. LGTM 스택은 로그를 위한 Loki, 시각화를 위한 Grafana, 트레이스를 위한 Tempo, 메트릭을 위한 Mimir 시스템의 조합을 말합니다.</p><p>해당 스택을 선택한 이유는 Kubernetes Native 한 것도 있겠지만, 모든 시스템의 저장소로 Object Storage 를 지원하는 것이었습니다.</p><p>Observability의 3가지 요소인 Metrics, Logs, Traces의 관점에서 핀다의 LGTM 스택을 도입한 여정에 대해 살펴보겠습니다.</p><p><strong>Metrics(메트릭)<br></strong>초창기에는 Cloudwatch 를 이용했었는데요. 별도의 대시보드를 구성하지 않아 해당 지표는 거의 보지 않았습니다.</p><p>모니터링의 시작이라고도 할 수 있는 메트릭 시스템에 대한 개선을 우선적으로 진행했는데요. Kubernetes 환경에서 가장 많이 사용되는 Prometheus 로 전환을 했습니다. 환경마다 Prometheus stack 을 설치하고 대시보드를 구성했습니다. 시스템에 대한 가시성이 확보되어 나름 만족했습니다. 이전에 종종 발생했던 Disk Full 로 인한 장애와 같은 시스템 관련 장애는 사전에 감지하여 더이상 발생하지 않게 되었죠!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*r9CChw4W67tbTzRdyk68zg.png" /><figcaption>출처:<a href="https://sysdig.com/blog/challenges-scale-prometheus/">https://sysdig.com/blog/challenges-scale-prometheus/</a></figcaption></figure><p>하지만 여러 환경을 운영하다보니 운영 비용이 늘어나게 되었습니다. 클러스터가 추가 되기라도 하면 grafana 대시보드를 생성하고 알람을 거는 반복작업을 해야했습니다. 업그레이드 및 수정사항이 있으면 환경 수 만큼 반복해야 했습니다. 시간이 지날수록 환경별로 버전 등의 형상도 조금씩 달라지는 경우가 발생했습니다.</p><p>또한 당연하게도 수집되는 메트릭이 많아질 수록 Prometheus의 리소스 사용량이 증가했습니다. EKS 노드그룹의 1개 노드를 Prometheus가 통째로 쓰더라도 OOM이 발생하는 상황이 되어 선택을 해야 했습니다.</p><ul><li>노드그룹의 인스턴스 타입을 상향 조정</li><li>Prometheus Shards 적용</li></ul><p>서비스 전용 노드그룹과 관리 전용 노드그룹을 각각 운영하고 있는데요. 관리 전용 노드그룹의 스펙을 올리면 Prometheus 가 올라간 노드를 제외하고는 리소스 낭비가 발생할 것, 노드그룹의 변경이 필요하여 다른 관리도구들까지 영향을 받게 될 것이라 판단하여 Prometheus Shards를 적용하기로 했습니다.</p><p>그러나 Prometheus Shards를 적용하면 Grafana에서는 별도의 데이터소스를 등록해야하므로 전체 데이터 쿼리에 문제가 발생합니다. 뿐만아니라 Prometheus 운영에서 있어 잘 알려진 고가용성, 확장성 문제도 해결해야 했는데요. 여러 솔루션을 검토한 결과 Mimir를 선택하게 되었습니다.</p><p>Mimir 의 주요 특징은 다음과 같습니다.(네.. 좋은말은 다 있습니다.)</p><ul><li>Prometheus 100% 호환(Remote Write, PromQL, 얼럿등 포함)</li><li>수평으로 확장가능한 클러스터 아키텍처</li><li>Object Storage 지원(S3, GCS, Blob)</li><li>복제를 통한 고가용성</li><li>멀티 테넌시 지원</li></ul><p>각 클러스터의 Prometheus를 Agent 모드로 전환하여 리소스 사용량을 낮추고, Remote write 를 이용하여 Mimir에 데이터를 보냅니다.</p><p>Mimir는 멀티 테넌시를 지원하여 메트릭 특성에 따라 테넌시를 구분했는데요. Mimir는 1개 시스템이지만 테넌시별로 데이터소스로 관리되어 데이터 격리가 가능합니다.</p><p>환경별로는 external_label 을 추가하여 모든 메트릭은 label을 통해 환경을 구분할 수 있게 했습니다. Prometheus 노드가 늘어나더라도 Mimir 에서 설정을 변경할 필요는 없습니다. PromQL 쿼리에서 label만 추가할 뿐이죠!</p><pre>#환경별 노드의 Memory 용량 확인 <br>node_memory_MemTotal_bytes{env=&quot;$Environment&quot;}</pre><p>env 를 변수로 처리하여 단일 대시보드를 모든 환경에 적용할 수 있게되었습니다. 더 이상 대시보드 수정을 위한 반복작업이 필요 없게 된 것이죠!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*omOqmNER6fHntq2EH5TzCQ.png" /><figcaption>출처:<a href="https://grafana.com/blog/2023/03/27/a-year-in-mimir-massive-scale-new-metrics-formats-increased-adoption/">https://grafana.com/blog/2023/03/27/a-year-in-mimir-massive-scale-new-metrics-formats-increased-adoption/</a></figcaption></figure><p><strong>Logs(로그)<br></strong>기존에는 EFK(Elasticsearch, Fluentd, Kibana) 스택을 이용했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/784/1*LZ6CXyllw0JdJfy8CDPliA.png" /><figcaption><a href="https://www.infracloud.io/blogs/logging-in-kubernetes-efk-vs-plg-stack/">https://www.infracloud.io/blogs/logging-in-kubernetes-efk-vs-plg-stack/</a></figcaption></figure><p>기존 시스템도 잘 사용하고 있었기 때문에 Loki 시스템으로 변경하는 것이 타당한가에 대한 고민을 많이 했습니다. 상대적으로 적은 리소스 사용, Object Storage 지원 등 운영적인 면에서는 시스템을 바꾸는 것에 굉장히 긍정적이었으나, 실제로 시스템을 사용하게 될 서비스 개발자들의 사용 경험이 중요했죠.</p><p>다행히 대부분이 로그 검색용으로 사용을 했고, 로그 알람과 일부 Kibana 대시보드가 구성되어 있었습니다.</p><p>사용사례를 바탕으로 테스트한 결과 시스템을 변경하더라도 개발자분들의 사용 경험이 훼손되지 않을 것이라 판단했고, 일부 개발 팀에 요청하여 새로운 로그 시스템에 대한 PoC 기간을 가졌습니다. 이 기간 동안 VoC를 수렴하여 시스템을 개선한 후 전사적으로 오픈하였습니다.</p><p>Loki의 주요 장점은 다음과 같습니다.</p><ul><li>Object Storage 지원</li><li>실시간 로그 추적(Live tail)</li><li>Prometheus, Grafana 및 K8s와 기본적으로 통합되어 단일 UI 내에서 메트릭, 로그 및 추적 간에 원활하게 이동</li><li>멀티 테넌시 지원</li></ul><p>Elasticsearch 와 가장 큰 차이점이라면 인덱싱 방식입니다. Elasticsearch의 경우 로그 전체 텍스트를 인덱싱하는 반면 Loki는 메타데이터만 인덱싱합니다. 이러한 설계 덕분에 상태적으로 적은 스토리지를 사용하게 됩니다.</p><p>또한 오브젝트 스토리지를 지원하여 저장비용이 저렴하고, 용량 관리에 대해 자유롭습니다.</p><p>Promethues를 사용하시는 분들은 Loki의 로그라인을 보면 뭔가 익숙한 느낌이 드실텐데요. Loki 자체가 Prometheus에서 영감을 받아 만들어진 시스템이기 때문입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/947/1*ONhl93huVgIDp12mhFJF4g.png" /><figcaption>출처:<a href="https://grafana.com/oss/loki/">https://grafana.com/oss/loki/</a></figcaption></figure><p>Loki의 스택은 PLG(Promtail, Loki, Grafana) 스택이 가장 널리 쓰이고 있고, 저희도 PLG 스택을 채용했습니다. Promtail을 통한 로그 Scrape 설정 구문이 Prometheus와 동일하므로 Prometheus 를 이용중이라면 Promtail 도입이 비교적 어렵지 않을 것입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/891/1*fyI6Q7jBepFPzCz8MSEuVw.png" /><figcaption>출처:<a href="https://www.infracloud.io/blogs/logging-in-kubernetes-efk-vs-plg-stack/">https://www.infracloud.io/blogs/logging-in-kubernetes-efk-vs-plg-stack/</a></figcaption></figure><p>메타데이타인 Label 을 어떻게 만드느냐가 Loki의 성능에 중요한 요소이므로 Loki를 사용하고자 할때에는 Loki의 Lable 관련 블로그를 읽어보는 것이 좋습니다.</p><ul><li><a href="https://grafana.com/blog/2020/04/21/how-labels-in-loki-can-make-log-queries-faster-and-easier/">How labels in Loki can make log queries faster and easier</a></li><li><a href="https://grafana.com/blog/2023/01/10/watch-5-tips-for-improving-grafana-loki-query-performance/">Watch: 5 tips for improving Grafana Loki query performance</a></li></ul><p>Loki에 쌓은 로그데이터로 Grafana 대시보드를 그릴 수도 있는데요. 대시보드의 Time Range를 길게 잡으면 시스템 성능에 따라서 대시보드를 그릴 수 없거나 성능에 문제가 발생하게 됩니다.</p><p>Grafana 가 시계열 데이터를 대시보드로 그리는데 최적화 되어 있기도 하고, Loki의 데이터를 시계열 데이터 바꾸는 과정을 거쳐야하기 때문입니다.</p><p>저희는 Recording Rule을 이용하여 Loki의 로그데이터를 Mimir 에 시계열 데이터로 저장하고, 이 시계열 데이터를 이용하여 대시보드를 생성하는 방식으로 성능문제를 해결하고 있습니다.</p><p><strong>Traces(트레이스)<br></strong>트레이스는 3가지 요소 중 가장 덜 알려져 있는 데이터 유형으로 클라이언트의 요청을 처리하기 위해 서비스들이 수행한 이벤트를 하나의 플로우보여주는 데이터입니다. 이러한 플로우를 트레이스라 하고, 트레이스를 이루는 각각의 이벤트는 스팬(Span)이라고 합니다.</p><p>트레이스는 MSA 의 분산된 서비스 구조에서 서비스 가시성을 확보하는데 굉장히 중요한 요소입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FidRbgC6FD30fwxWBGlpRA.png" /><figcaption>출처:<a href="https://www.dynatrace.com/news/blog/open-observability-distributed-tracing-and-observability/">https://www.dynatrace.com/news/blog/open-observability-distributed-tracing-and-observability/</a></figcaption></figure><p>핀다에서도 이전에는 트레이스를 수집하지 않고 있었는데요. Istio 를 도입하면서 트레이스도 수집하기로 결정하였습니다.</p><p>처음에는 Jaeger, zipkin 을 검토 했었는데요. 결국은 Tempo로 결정을 하게 되었습니다.</p><p>다른 트레이스 도구들은 Elasticsearch 또는 Cassandra와 같이 무거운 저장소들이 필요하지만, Tempo는 비교적 가벼운 Obect Storage를 지원하기 때문입니다.</p><p>클라이언트 요청은 Istio gateway를 통해 유입되기 때문에 istio 에서 트레이스를 활성화해 주는 것만으로도 서비스 토폴로지를 그릴 수는 있습니다. 하지만 트래픽이 유입된 서비스에서 다음 서비스를 호출할 때 동일한 트레이스라는 것을 표시하여 API 호출에 대한 전체적인 트레이스를 추적하기 위해서는 서비스에도 트레이스 생성/전달을 위한 작업이 필요합니다.</p><p>핀다의 백엔드는 대부분 Spring Boot 로 구성되어 있는데요. Spring Boot 2.x 버전에서는 <a href="https://spring.io/projects/spring-cloud-sleuth">spring-cloud-sleuth</a> 를, Spring Boot 3.x 버전에서는 <a href="https://micrometer.io/docs/tracing">micrometer</a> 를 이용하여 트레이스를 생성 하고 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/558/1*_ra4RwIun-ibsJPJM6Qq8A.png" /><figcaption>출처:<a href="https://grafana.com/blog/2021/05/04/get-started-with-distributed-tracing-and-grafana-tempo-using-foobar-a-demo-written-in-python/">https://grafana.com/blog/2021/05/04/get-started-with-distributed-tracing-and-grafana-tempo-using-foobar-a-demo-written-in-python/</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*woBaVtG8QR8sVL3qlEIDVg.png" /><figcaption>트레이스ID 검색(그래프)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dvs6UkfRPfXcn-emYPzr9w.png" /><figcaption>트레이스ID 검색(트레이스)</figcaption></figure><p>또한 Loki와 연계를 통해 Trace → Log 또는 Log → Trace 이동이 가능합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ph_L1BKThYtEPJ7B4aS63A.png" /><figcaption>트레이스를 통한 로그 검색</figcaption></figure><p>처음 Tempo 를 적용했을 때에는 트레이스 정보를 Tempo로 바로 보냈었는데요. 불필요한 데이터를 필터링하고, 우리가 원하는 Attribute(트레이스 속성값)을 주입하기 위해 OpenTelemetry Collector를 도입했습니다.</p><p>AWS Distro for OpenTelemetry(ADOT) 도 고려했으나 당장은 AWS Cloudwatch, AWS X-Ray를 도입하는 것이 아니라서 오픈소스 솔루션을 이용했습니다.</p><h3><strong>마치며 — 운영을 넘어 서비스의 품질을 지키는 노력</strong></h3><p>도입여정에 대해 설명하다보니 구체적인 내용이 많이 생략이 되었네요.</p><p>다음에는 LGTM 스택을 이루는 Loki, Grafana, Tempo, Mimir 각각에 대해 좀 더 자세하게 글을 쓰도록 하겠습니다.</p><p>LGTM 스택을 도입을 고민하시는 분들에게 조금이라도 도움이 되면 좋겠습니다.</p><p>핀다의 DevOps팀이 궁금하면.. <br><a href="https://www.post.finda.co.kr/people230519">https://www.post.finda.co.kr/people230519</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=aeb1424b8299" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/lgtm-%EC%8A%A4%ED%83%9D-%EB%8F%84%EC%9E%85%EA%B8%B0-aeb1424b8299">DevOps LGTM 스택 도입기</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[우리의 개발문화는 이렇게 성장합니다]]></title>
            <link>https://medium.com/finda-tech/%EC%9A%B0%EB%A6%AC%EC%9D%98-%EA%B0%9C%EB%B0%9C%EB%AC%B8%ED%99%94%EB%8A%94-%EC%9D%B4%EB%A0%87%EA%B2%8C-%EC%84%B1%EC%9E%A5%ED%95%A9%EB%8B%88%EB%8B%A4-8f57b06ca549?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/8f57b06ca549</guid>
            <category><![CDATA[개발자]]></category>
            <category><![CDATA[scrum]]></category>
            <category><![CDATA[개발문화]]></category>
            <category><![CDATA[성장]]></category>
            <category><![CDATA[백엔드]]></category>
            <dc:creator><![CDATA[김형래]]></dc:creator>
            <pubDate>Tue, 20 Jun 2023 08:31:56 GMT</pubDate>
            <atom:updated>2023-06-20T08:31:56.598Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>안녕하세요, FINDA 현금그로스 PG 자산/신용관리 PT 백엔드 개발자 김형래 입니다.</strong></p><p><strong>이번 글에서는 제가 팀빌딩을 하면서 고민했던 내용과 FINDA 현금그로스 PG 개발문화의 과거와 현재에 대해서 이야기 해 보려고 합니다. FINDA 내에는 다양한 PT 가 있고, 여러 PT 가 하나의 PG 로 모여 일합니다. 다수의 인원과 다양한 직군이 만나 일 하는 방식에서 더 일 잘하는 개발문화에 대한 주제가 필요해 보여서 해당 주제로 이야기하려고 합니다. 사례 중심으로 개발문화란 무엇이고, FINDA 현금그로스 PG 자산/신용관리 PT 의 개발문화는 어떻게 변화가 되었는지 알아 볼게요!</strong></p><h4><strong>개발 문화란 무엇 일까요?</strong></h4><blockquote><strong>개발 [명사]</strong><br>새로운 물건을 만들거나 새로운 생각을 내어놓음.</blockquote><blockquote><strong>문화 [명사]</strong><br>자연 상태에서 벗어나 일정한 목적 또는 생활 이상을 실현하고자 사회 구성원에 의하여 습득, 공유, 전달되는 행동 양식이나 생활 양식의 과정 및 그 과정에서 이룩하여 낸 물질적ㆍ정신적 소득을 통틀어 이르는 말.</blockquote><p><strong>위와 같이 포털사이트에서 검색하면 사전에서 볼 수 있는데요. 위에 내용으로는 개발 문화에 대한 개념을 잡기엔 무리가 있어 보이네요. 실무에서 사용된 방법과 기술을 접목시켜 보면 아래와 같이 재해석 할 수 있습니다.</strong></p><blockquote><strong>간단하게, ‘개발자들이 어떻게 일 하는가’ 로 해석 가능</strong></blockquote><blockquote><strong>좋은 개발 문화를 만들기 위해 다양한 방법 및 기술들 사용하기</strong></blockquote><blockquote>- <strong>Agile, Scrum, Code Review, CI/CD, Git Flow, Convention, Test, Study 등등</strong></blockquote><blockquote><strong>위 방법들은 ‘일종의 규칙들’ 이며, 더 나은 것을 만들기 위해 함께 소통, 성장 및 공유하는 일련의 생태계 또는 방향성으로 정의</strong></blockquote><h4>개발 문화에 대해 생각해 보기</h4><figure><img alt="Team Culture Mind Map" src="https://cdn-images-1.medium.com/max/1024/0*4qZbyZmHOb0a6fId" /><figcaption>Team Culture Mind Map</figcaption></figure><p><strong>FINDA 에 입사한 후, 한 팀의 리드를 맡게 되었고 오래된 레거시와 새로 모인 팀원들 간의 화합과 협업을 가장 잘 이끌어 낼 수 있도록 많은 생각이 필요했어요. 개발문화가 무엇인지 또한, 팀에서 어떻게 활용할 수 있을지 여러모로 고민하면서 위의 MindMap 으로 정리해 보았습니다.</strong></p><p><strong>우선, 팀원 들의 성향 파악, 공통된 규격과 프로세스 정립, 코드 리뷰, 데일리 스크럼, 회고 등을 고려해서 올바른 커뮤니케이션 방법을 모색했어요.</strong></p><p><strong>커뮤니케이션 중 하나의 예를 들면 아래와 같아요!</strong></p><blockquote>팀원의 개발 진행상황을 물어 볼 경우,</blockquote><blockquote><strong>진행상황을 물어보는거지, 빨리 못 끝냈다고 Push 하는 것이 아니고, 문제가 있다면 도와 줄 수 있는 부분이 있는지 알고 싶은 거에요.</strong></blockquote><h4><strong>개발 문화에 필수 요소는 무엇일까?</strong></h4><p><strong>다양한 실무 경험을 쌓아오면서 개발 문화에 대한 관심은 자연스레 따라왔습니다. 책과 미디어를 통한 많은 생각을 정리하면서 아래의 3가지 문장으로 필수 요소를 찾아 볼 수 있었어요.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/0*wA968P7GV3oU9T9o" /></figure><p><strong>공유하고 신뢰하기</strong></p><blockquote>서로의 상황을 공유(이슈)</blockquote><blockquote>서로를 이해하며 신뢰 관계 유지</blockquote><blockquote>각자의 다양성을 존중하며 자율적으로 일하기</blockquote><blockquote>자연스러운 학습 및 Insight 발견 및 발전</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/783/1*mthNH5536w6mi_1yX063Mw.png" /></figure><p><strong>공개하고 참여하기</strong></p><blockquote>수평적인 팀 구성원들과 동반자 관계로서 함께 만들기</blockquote><blockquote>모든 영역에서 팀 구성원들이 참여 및 의견을 낼 수 있는 분위기 조성(친해지기)</blockquote><blockquote>모든 정보를 팀 구성원에게 공개 및 방향성 공유(음지에서 양지로, 부족한 코드도 피드백으로 훌륭한 코드로 재탄생)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*WenXiBDd2oVQ4IWE" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/0*HX-xnzepjr8K5hbj.jpg" /></figure><p><strong>자극받고 성장하기(레드퀸 효과의 극대화!)</strong></p><blockquote>함께 성장할 수 있도록 주변에 긍정적인 영향으로 성장의 씨앗이 되는 부분을 응원 및 지지</blockquote><blockquote>서로 돕고 자극을 받아 팀 구성원 모두가 빠르게, 지속 가능한 성장 만들기</blockquote><h4><strong>FINDA</strong> 커스텀 워크</h4><p><strong>FINDA</strong>는 자율 출퇴근 제도와 리모트 근무로 시간과 장소에 구애받지 않는 최상의 업무 컨디션을 발휘합니다. 워케이션 제도가 있어서 해외에서도 근무가 가능합니다. 코어타임은 11시~ 16시이고, 출퇴근 시간은 승인없이 스스로 정할 수 있어요. 그래서 코어타임에는 더 집중해서 일하게 됩니다. 이렇게 시간을 유연하게 관리하다보니 개인에 맞는 업무 집중시간에 일을 하면서 집중도가 높아집니다. 저는 FINDA 만의 커스텀 워크 방식에서 업무에 더욱 몰입할 수 있고, 제대로 해낼 수 있길 바랬어요. <strong>아래에서 FINDA 현금그로스 PG 자산/신용관리 PT 의 Scrum Process 에 대해 알아볼게요.</strong></p><h4><strong>FINDA 현금그로스 PG 자산/신용관리 PT 의 과거</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*5CPmU-I3TKtXBcMF" /><figcaption>Scrum Process</figcaption></figure><p>Scrum Process 를 그림으로 살펴본다면, Maker 들이 모여서 Sprint 기간 동안 작업을 진행합니다. 진행하는 동안, Daily Scrum 을 통해 업무 진행 상황과 이슈를 공유합니다. Sprint 기간이 종료되면 회고를 통해 잘한 점, 못한 점을 확인합니다.</p><p>과거에 어떻게 Sprint 를 진행했는지 좀 더 상세하게 살펴볼게요.</p><blockquote><strong>흐름</strong></blockquote><blockquote>- Item 선정 및 Design Document 작성</blockquote><blockquote>- Tech Spec 작성(Jira Epic 생성)</blockquote><blockquote>-일정 논의 및 공수 산정(Jira Task 생성)</blockquote><blockquote>- <strong>Daily Scrum(unlimited)</strong></blockquote><blockquote>- 작업 진행 및 종료(Status 변경)</blockquote><blockquote><strong>장점</strong></blockquote><blockquote>- <strong>Jira/Confluence 등 툴 사용성 Low</strong></blockquote><blockquote><strong>단점</strong></blockquote><blockquote>- 전반적인 Sprint 진행상황 공유가 느림</blockquote><blockquote>- 회고가 부족해서 KPT 공유 부족</blockquote><blockquote>- <strong>Problem 되풀이 가능성 High</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/641/0*kpvNb-BtxxG18_JR.jpg" /></figure><p>과거의 흐름에서 살펴보면, <strong>‘Daily Scrum(unlimited)’ </strong>와<strong> ‘Jira/Confluence 등 툴 사용성 Low’ </strong>가 문제였어요.</p><p>Daily Scrum 에서 시간을 정했지만, 항상 정해진 시간을 초과하다보니 업무에 집중할 시간이 부족했어요. Jira/Confluenec 등 툴이 있었지만, 적극적으로 활용이 되지 않아서 Sprint 진행상황이 한눈에 보이지 않고 담당자에게 물어봐야 알 수 있었죠. 회고도 PT 내에서만 진행하고 Tech 쪽 회고는 없어서 KPT 의 Problem 이 되풀이 될 가능성이 매우 높았어요.</p><p>그렇게 반복되는 Sprint 일정 속에서 동료들은 지쳐가고, Backlog 를 제대로 챙겨서 다음 Sprint 에 반영할 수 없었어요.</p><h4>FINDA 현금그로스 PG 자산/신용관리 PT 의 현재</h4><p><strong>자, 이번엔 현재 FINDA 현금그로스 PG 개발문화가 어떻게 변화 되었는지 알아볼 시간이에요!</strong></p><blockquote><strong>흐름</strong></blockquote><blockquote>- Item 선정 및 Design Document 작성</blockquote><blockquote>- Tech Spec 작성(Jira Epic)</blockquote><blockquote><strong>-일정 논의 및 공수 산정(Jira Task, Story Point, Start Date, End Date, Work Log)</strong></blockquote><blockquote><strong>- Daily Scrum(15min)</strong></blockquote><blockquote><strong>- 작업 진행(WorkLog 추가, Status 변경)</strong></blockquote><blockquote><strong>- Code Review</strong></blockquote><blockquote>-작업 종료(Status 변경)</blockquote><blockquote><strong>- 회고, Backlog 기록(PT 별, 개발 그룹별)</strong></blockquote><blockquote><strong>장점</strong></blockquote><blockquote>- 전반적인 스프린트 진행상황 공유가 빠름</blockquote><blockquote>- 회고를 통해 KPT 공유</blockquote><blockquote><strong>- Code Review 를 통해 품질 향상</strong></blockquote><blockquote><strong>- Problem 되풀이 가능성 Low</strong></blockquote><blockquote><strong>단점</strong></blockquote><blockquote>- Jira/Confluence 등 툴 사용성 High(처음은 귀찮아질 수도 있어요!)</blockquote><p>FINDA 에서는 아래의 문서 템플릿을 업무에 공통적으로 적용하고 있어요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x49Qwd137k4VqmkvqYGHGQ.png" /><figcaption>Design Document</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7XuQWRy7vkVFqVD09mL6aA.png" /><figcaption>Tech Specification</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ptxStFBFzIwwaZT4W0e5wQ.png" /><figcaption>Jira Ticket List(Plan)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WEIfauEBJCAWx0BORuhQdQ.png" /><figcaption>Retrospective</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/680/0*duKFtPl7N03A1cJO.jpg" /></figure><p>과거 Daily Scrum 전에 아이스 브레이킹 시간이 있었습니다. 하지만, 현재는 몰입도를 최고로 생각하고자 아이스 브레이킹 시간을 없애고, 매일 Scrum Master(Round Robin 방식)가 이슈로만 진행합니다. 또한, 과거에는 각자 진행한 업무도 이야기 했지만, 현재는 과감하게 서면대체를 선택해서 15분이라는 Ground Rule 을 지키고 있어요! 이 부분은 사실 팀원들 간의 친밀도가 높을수록 좋고, 어색하지 않게 진행할 수 있습니다.</p><p>그리고 Jira/Confluence 를 적극 활용합니다. Story Point(1 point 4 hours), Start/End Date, Work Log 를 각 Jira Ticket 에서 꼭 사용하면서 모든 Maker 가 진행상황과 업무일정을 투명하게 볼 수 있도록 했어요. 사실 과거에는 개발자 이외의 직군은 업무에 대해서 Jira Ticket 을 잘 사용하지 않았지만, 현재는 많이 사용하고 계십니다.</p><p>또한, Code Review 도 반드시 하고 승인자가 있어야만 배포할 수 있는 Rule 을 적용했어요. 이전에는 Code Review 가 없어서 테스트 코드가 거의 0% 였지만, 현재 많이 끌어올리고 있고, 목표치 70% 까지 열심히 작업해 볼게요!</p><p>리뷰, 회고 및 Backlog 는 PT 그룹과 백엔드 그룹별 각각 진행하면서 Product/Sprint Backlog 를 챙기면서 다음 Sprint 를 준비했어요.</p><p>마지막으로 <strong>레드퀸 효과</strong>를 적극적으로 활용했습니다. 레드퀸 효과는 서로 자극을 주면서 건강하게 성장하도록 유도하는 방식으로 거울나라의 앨리스에서 나왔던 효과라 보신 분들이라면 익히 알고 계실거라 생각됩니다. 서로 기술적 탐색을 통해 설계진행과 논의에 직접 참여하고, 스터디와 기술적 공유를 통해 적극적으로 반영할 수 있는 환경과 분위기를 만들었어요.</p><p>결과적으로 Sprint 진행상황 공유가 빠르고 Code Review 로 코드 품질이 향상 되었습니다. KPT 에서 Problem 의 되풀이 가능성도 최소화 시킬 수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*4KhG1-VzZ4JaPLF_" /></figure><h4><strong>개발 프로세스 변화 후 결과는 어떨까요?</strong></h4><p><strong>지금까지의 이야기를 정리해 볼게요.</strong></p><blockquote><strong>Confluence(Wiki) : 부족한 점을 다음 스프린트에서 보완 가능</strong></blockquote><blockquote>- 회고, Back Log 기록</blockquote><blockquote><strong>Jira : 작업 상태 공유로 현재 스프린트 파악 및 업무 Scope 측정 용이</strong></blockquote><blockquote>- Story Point(1 point 4 hours), Start/End Date, Work Log</blockquote><blockquote><strong>Daily Scrum : 짧고, 집중도 있는 의사소통</strong></blockquote><blockquote>- Unlimited(과거) → 15min(현재)</blockquote><blockquote>- Ice Breaking(과거) → X(현재)</blockquote><blockquote><strong>Code Review : Code 품질 개선</strong></blockquote><blockquote>- Code Review X(과거) → Code Review O, 승인자 1명 이상 Merge 제한(현재)</blockquote><p>각자 서로 다른 경험을 가진 팀원들 간의 화합과 협업을 위해서 FINDA 현금그로스 PG 자산/신용관리 PT 만의 Scrum Process 를 적용했습니다.</p><p>그 결과, <strong>초기 팀원들의 역량</strong>(슬램덩크 초기 모습) 보다 한층 <strong>성장한 모습</strong>(서태웅과 강백호의 하이파이브 모습)으로 발전되어 팀과 PG 내에서 좋은 결실을 맺었다고 생각합니다.</p><h4><strong>시작은 어려울 수 있어요! 습관화 된다면 쉬어요.</strong></h4><h4><strong>퇴근 전, 5분만 투자하면 충분히 변화할 수 있어요!</strong></h4><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8f57b06ca549" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/%EC%9A%B0%EB%A6%AC%EC%9D%98-%EA%B0%9C%EB%B0%9C%EB%AC%B8%ED%99%94%EB%8A%94-%EC%9D%B4%EB%A0%87%EA%B2%8C-%EC%84%B1%EC%9E%A5%ED%95%A9%EB%8B%88%EB%8B%A4-8f57b06ca549">우리의 개발문화는 이렇게 성장합니다</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[MySQL timestamp 와 Y2K38 Problem]]></title>
            <link>https://medium.com/finda-tech/mysql-timestamp-%EC%99%80-y2k38-problem-d43b8f119ce5?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/d43b8f119ce5</guid>
            <category><![CDATA[dba]]></category>
            <category><![CDATA[mysql]]></category>
            <category><![CDATA[y2k38]]></category>
            <dc:creator><![CDATA[Hyunho Jung]]></dc:creator>
            <pubDate>Tue, 27 Dec 2022 09:21:00 GMT</pubDate>
            <atom:updated>2024-08-25T13:20:48.646Z</atom:updated>
            <content:encoded><![CDATA[<h3>Motivation</h3><p>안녕하세요 핀다에서 DBA 로 근무하고 있는 정현호 라고 합니다.</p><p>오늘은 날짜와 시간에 관련된 여러가지 이야기를 해보려고 해요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2PKyc0qkbYjMFR4DNv_gaA.jpeg" /><figcaption>그리니치 천문대(Royal Observatory Greenwich)</figcaption></figure><p>먼저 올해 유행 또는 트렌드를 잠깐 얘기를 해볼게요!</p><p>작년에 이어서 올해에도 계속된 트렌드가 있다면 그것은 밀레니엄, Y2K 일 거라고 생각해요.</p><p>그중 패션계에서 주목하고 있는 트렌드는 바로 Y2K 패션으로 1990년대 말부터 2000년대를 일컫는 일명 Y2K 패션으로 부르는, 그 시절 패션이 작년에 이어 올해 한 해도 주요 트렌드였어요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZiGzyOm1kvwFJxByk1OE9Q.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dAr2SUJ4R4SIKw5j-hHkvQ.jpeg" /><figcaption>출처: 뉴진스 공식인스타그램(@newjeans_official) / 공식 트위터(@newjeans_ador)</figcaption></figure><p>유행과 트랜드는 돌고 돈다는 그 말처럼, 2022년인 재해석된 2000년대의 복고 또는 레트로 감성의 컨셉 Y2K 패션이 올해에도 많은 주목을 받았어요.</p><p>패션계 이외에도 방송에도 90~2000년대를 회상하게 만드는 드라마도 많은 인기를 끌었었는데요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*dnHvTgIv_Fu3mhEQ3xf5YQ.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*Hv1Cf1zTiQZBHLeVLgLjXA.jpeg" /><figcaption>공식 포스터</figcaption></figure><p>두 드라마 모두 90년대~2000년대 그 시절 실제 있었던 일들이 드라마 스토리에 담겨 있어요.</p><p>드라마 “<strong>스물다섯 스물하나</strong>”에서는 Y2K 버그(밀레니엄 버그)에 대한 내용이 하나의 에피소드로 나오면서 “<strong>지구가 멸망할지도 모른다고요</strong>”라고 걱정을 하는 부분이 있었고, 드라마 “<strong>재벌집 막내아들</strong>’에서도 “노스트라다무스가 예언한 1999년 지구 종말론 바로 이거였어요, <strong>Y2K로 인한 핵폭발!</strong>”이라고 그때 당시의 상황을 소개하며, 이 소재를 통해서 주인공이 Y2K 무제한 보상제라는 많은 금액의 광고 효과를 거뒀다는 내용이 드라마에서 다뤄지고 있습니다.</p><p>이처럼 올 한 해에는 세기말 Y2K에 대한 내용이 다양한 분야에서 다뤄졌고, 새해가 얼마 남지 않은 연말이 다가오다 보니 그때의 기억으로 세기말에 IT 와 세계를 떠들썩하게 했던 Y2K Problem(밀레니엄 버그)과 그 이후의 날짜와 시간에 이슈 대한 내용으로 정리해 보면 좋겠다 생각되어서 글을 작성하게 되었습니다.</p><h3>Y2K</h3><p>이번 글의 주제는 <strong>Y2K38 Problem 이라고 불리는 2038년도의 날짜 이슈</strong>인데요.</p><p>Y2K38을 얘기하기 전에, 우리가 익히 들어서 알고 있는 <strong>Y2K 이슈</strong>부터 살펴보도록 할게요.</p><p>밀레니엄 버그(Y2K)는 1999년 들어서 한국은 물론 전 세계를 불안에 사로잡았고, 한 해에 방송사의 주요 뉴스로 빠지지 않은 단골 소재였어요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HEHGp2hrNCWWy_A8o1TNrg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zh3m9vyDmmO4zemH0_IdHQ.png" /><figcaption>출처: 14f 유튜브 채널</figcaption></figure><p><strong>2000년 문제 또는 밀레니엄 버그</strong>라고 불리는 이 문제는 1999년 12월 31일에서 2000년 1월 1일로 넘어가면서 날짜와 시간을 다루는 과정에서 오류가 발생되는 문제로 오래전에 컴퓨터 설계 당시에 오류입니다.</p><p>컴퓨터 메모리의 가격이 <strong>매우 고가에 첨단 부품이었던 60년대에는</strong> 기술적, 비용적 문제로 서기 연호를 2자리수로 만 인식과 처리하도록 설계하게 되었어요.</p><p>즉, 1965년을 65라고 만 저장하고 사용해왔던 것이었죠.</p><p>연도 표기에 관한 용어는 RTC(Real Time Clock·리얼타임시계)라고 하고 RTC 에서는 2자리수만 표기되도록 설계되었어요.</p><p>이러한 이유로 두 자리를 인식과 사용하는 시스템 설계가 되었고 처음에는 연도를 두 자릿수만 사용해도 컴퓨터가 연도를 인식하고 사용하는데 아무런 문제는 없었어요.</p><p>그러나 두 자릿수로 만 표기할 경우 몇 십 년 뒤에 2000년이 되면, 2000년과 1900년을 구분하지 못하게 되는 문제가 발생할 것이라고는 예상하지 못했던 것이었죠.</p><p>그래서 이 문제는 2000년 되기 몇 해부터 많은 이슈가 되었어요 밀레니엄 버그라고 불리는 Y2K에 대응하기 위해서 막대한 비용과 인력을 투자하여, 프로그램의 버그를 수정하고 대응하였어요.</p><p>하드웨어 측면에서는 486 정도 되는 컴퓨터에서 사용되는 바이오스부터는 이 문제를 해결해서 제작되거나, 486 메인보드부터는 BIOS 업데이트가 가능해서 바이오스 업데이트로도 해결할 수 있었어요.</p><p>486 이전의 386시스템이나 1970년대부터 사용된 메인 프레임 또는 예전 전산 시스템이 주요한 문제의 대상이었고, 그런 전산 시스템에서 구동 중인 프로그램도 연호를 2자리를 사용하고 있었던 것이었죠.</p><p>하드웨어에서 수정 가능하다면 수정을 하였고, 프로그램의 수정이 필요하다면 프로그램 수정을 진행하였어요.</p><p>그래서 2000년 되기 수년 전부터 예전에 작성된 코볼 프로그램에서 이 문제에 대응하기 위해서 그때 당시에도 많이 은퇴하여 찾기 힘든 코볼 프로그래머를 찾는 것이 아주 힘들었다고 해요.</p><p>일부 프로그램은 <strong>윈도우윙(Windowing)</strong>이라는 임시방편으로 00~20까지의 연도 숫자를 2000 ~ 2020년으로 인식하도록 코드를 수정하는 형태로 대응하기도 했어요</p><p>이런 윈도우윙 임시방편으로 대응한 프로그램이나 시스템은 다시 2020년 되어서 <strong>Y2K20 버그</strong>에 의해서 다시 문제가 발생된 경우도 있었어요.</p><p>설마! 2020년까지 그 프로그램이나 코드, 시스템이 사용될 것이라고 예측하지 못하였던 것이었죠.</p><p>다만 Y2K20으로 인한 문제된 비중이 크지 않고 하다 보니 밀레니엄 버그 때보다는 덜 이슈화가 되고 조용히 넘어가게 되었던 것이고요.</p><p>그럼 2020년을 넘어서 이제는 날짜나 시간에 관한 문제가 없을까요? 다 해결된 것일까요?!</p><p>가까운 시일 내는 아니지만, <strong>여전히 끝은 아니었습니다.</strong></p><p>2038년이 되면 <strong>Y2K38 Problem(Year 2038 버그) 이슈</strong>가 아직 남아 있었기 때문이죠.</p><h3>Y2K38</h3><p>이제 이 글의 본격적인 주제인 <strong>Y2K38(Year 2038 Problem)</strong>에 대해서 얘기를 해보려고 해요.</p><p>Y2K38은 <strong>2038년에 발생되는 날짜 시간과 관련된 문제</strong>로 Year 2038 Problem 또는 Unix Millennium bug라고 하며, 줄여서 Y2K38이라고 불리고 있어요.</p><p>앞에서 날짜와 시간과 관련된 문제가 발생되었던 Y2K 와 Y2K20 이슈를 살펴보았어요.</p><p>초기 설계 시의 어쩔 수 없는 여러 이유에 따른 오류였고, Y2K38 역시도 이와 유사하다고 할 수 있어요.</p><p>유닉스 시간(Unix Timestamp)은 <strong>32비트 정수형</strong>을 사용해서 날짜와 시간을 표현을 해요.</p><p>그래서 날짜/시간은 <strong>32 비트 정수형 사용 가능한 허용 범위에서만 표현</strong>할 수 있습니다.</p><p>표현 가능 범위의 제한에 의해서 유닉스 시간(Unix Timestamp)은 시간이 2038년 1월 19일 3시 14분 7초를 지나게 되면 <strong>처음 값(초기값)인 0으로 되면서 1970년 1월 1일 0분 0초로 돌아가는 오류</strong>가 발생하게 되며 이러한 문제 현상을 <strong>Y2K38 Problem</strong>이라고 합니다.</p><p>이 이슈는 유닉스 타임스탬프를 사용하는 모든 곳에서의 공통 사항이에요.</p><p>유닉스(Unix) 운영체제에서 채용한 Timestamp는 유닉스 시간(Unix time , Unix timestamp, POSIX Time) 또는 Epoch 시간이라고 불립니다.</p><p>그리니치 평균시를 기반으로 한 협정 세계시(協定 世界時, UTC) 기준 1970년 1월 1일 자정을 기준으로 해서 경과 시간을 초(second)로 환산하여 정수로 표현해요.</p><p>32비트 크기의 정수형으로 시간을 나타내는 변수를 사용하고 초당 1씩 증가합니다.</p><p>그로 인해서 시간 값이 32비트의 <strong>최대 허용 범위인 2,147,483,647까지</strong> 증가하게 되면 더 이상 증가할 수 없기 때문에 이 과정에서 오버플로우가 발생되면서 해당 변수의 가장 최솟값으로 돌아가게 됩니다.</p><p>1970년 1월 1일 자정에서 시작해서 <strong>2,147,483,647까지 증가된 날짜가 2038년 1월 19일 3시 14분 07초</strong>입니다.</p><p>그래서 2038년 1월 19일 3시 14분 07초가 지나게 되면 유닉스 시간의 처음 값으로 돌아가게 되고 그에 따라서 각종 계산의 오류나, 프로그램 수행 동작의 문제 및 오류 등 여러 문제점을 야기할 수 있게 되는 것이에요.</p><p>OS(시스템), 응용 프로그램, 데이터베이스, 32비트 시간 표현을 사용하는 데이터 구조, 32비트 시간 필드를 사용하는 바이너리형 파일 또는 파일 시스템 등 여러 곳에서 Unix Time 은 사용되고 있고 이 이슈가 해결되었는지, 해결되었다면 <strong>해결된 시점이나 버전 등에 대한 정보는 각 구성 요소마다 차이가 있습니다.</strong></p><p>지금 사용 중인 시스템, 데이터베이스, timestamp 기능 등에서 해결되었는지 확인하는 방법은 간단해요.</p><p>UTC 기준으로 <strong>2038년 1월 19일 3시 14분 07초 이상의 시간이 사용되는지</strong>를 확인해보면 알 수 있습니다.</p><p>예를 들어 예전 커널 버전(5.6 이하)의 Linux 32-bit에서는 아래와 같이 문제가 발생하는지 간단하게 테스트해 볼 수 있어요.</p><pre>$ uname -a<br>Linux testsrv 2.6.9-34.ELsmp #1 SMP Wed Mar 8 00:27:03 CST 2006 i686 i686 i386 GNU/Linux<br><br>$ echo $TZ<br>UTC<br><br>$ date -u -d &quot;2038-01-19 03:14:06&quot; +&quot;%Y-%m-%d %H:%M:%S&quot;<br>2038-01-19 03:14:06<br><br>$ date -u -d &quot;2038-01-19 03:14:07&quot; +&quot;%Y-%m-%d %H:%M:%S&quot;<br>2038-01-19 03:14:07<br><br>$ date -u -d &quot;2038-01-19 03:14:08&quot; +&quot;%Y-%m-%d %H:%M:%S&quot;<br>date: invalid date `2038-01-19 03:14:08&#39;</pre><p>문제가 해결되지 않은 시스템이나 함수 등에서는 위와 같은 테스트처럼 문제가 발생되거나 1970년도 1월 1일로 시간이 돌아가게 됩니다.</p><p>같은 방식으로 최근의 64-bit Linux에서 수행하면 아래와 같이 정상적으로 시간이 출력 되는 것을 확인할 수 있어요.</p><pre><br>$ uname -a<br>Linux testsrv 5.10.109-104.500.x86_64 #1 SMP Wed Apr 13 20:31:43 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux<br><br>$ echo $TZ<br>UTC<br>$ date<br>2022. 11. 28. (월) 18:35:49 UTC<br><br>$ date -u -d &quot;2038-01-19 03:14:06&quot; +&quot;%Y-%m-%d %H:%M:%S&quot;<br>2038-01-19 03:14:06<br><br>$ date -u -d &quot;2038-01-19 03:14:07&quot; +&quot;%Y-%m-%d %H:%M:%S&quot;<br>2038-01-19 03:14:07<br><br>$ date -u -d &quot;2038-01-19 03:14:08&quot; +&quot;%Y-%m-%d %H:%M:%S&quot;<br>2038-01-19 03:14:08<br><br>$ date -u -d &quot;2038-01-19 03:14:09&quot; +&quot;%Y-%m-%d %H:%M:%S&quot;<br>2038-01-19 03:14:09</pre><p>마찬가지로 작성된 프로그램에서도 동일한 에러가 발생하는 것을 확인할 수 있는데요</p><p>간단하게 아래와 같이 작성을 하고</p><pre>#include &lt;stdio.h&gt;<br>#include &lt;time.h&gt;<br><br>int main(void) {<br>  time_t x;<br><br>  x = 2147483647;<br>  printf(&quot;%s\n&quot;, ctime(&amp;x));<br>  x += 1;<br>  printf(&quot;%s\n&quot;, ctime(&amp;x));<br>  x += 1;<br>  printf(&quot;%s\n&quot;, ctime(&amp;x));<br><br>  return 0;<br>}</pre><p>실행을 하면, 마찬가지로 07초를 넘어서는 순간 시간의 문제가 발생이 되는 걸 확인할 수 있어요.</p><pre>$ uname -a<br>Linux testsrv 2.6.9-34.ELsmp #1 SMP Wed Mar 8 00:27:03 CST 2006 i686 i686 i386 GNU/Linux<br><br>$ gcc -o test_g_lib_y2k38 test_g_lib_y2k38.c &amp;&amp; ./test_g_lib_y2k38<br>Tue Jan 19 03:14:07 2038<br><br>Fri Dec 13 20:45:52 1901<br><br>Fri Dec 13 20:45:53 1901</pre><p>최근 버전의 64-bit에서 동일하게 수행하면 역시 문제없이 정상적으로 날짜 출력이 되는 것을 확인할 수 있습니다.</p><pre>$ uname -a<br>Linux testsrv 5.10.109-104.500.x86_64 #1 SMP Wed Apr 13 20:31:43 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux<br><br>$ gcc -o test_g_lib_y2k38 test_g_lib_y2k38.c &amp;&amp; ./test_g_lib_y2k38<br><br>Tue Jan 19 03:14:07 2038<br><br>Tue Jan 19 03:14:08 2038<br><br>Tue Jan 19 03:14:09 2038</pre><p>32-bit 플랫폼의 자료형에서 long 이 8 byte(64bit) 가 아닌 4 byte(32bit)이고, 그래서 이 문제를 해결하는데 보통은 64-bit 아키텍처를 사용하면서 여러 방법으로 문제를 수정하고 있습니다.</p><p>다만 32-bit(i386) 시스템을 교체하기 어렵거나, 계속 32-bit 사용에 대한 요구사항이 있다 보니, 2020년 1월 9일에 Linux Kernel Mailing 을 통해서 Kernel 5.6 에서부터 32-bit에 대한 Y2K32의 문제 해결이 포함됨을 announce 하게 되었어요. (다만 주의할 점이 있으니 원문 <a href="https://lkml.org/lkml/2020/1/29/355?anz=web">메일링</a> 내용을 참조)</p><h3>MySQL 의 Timestamp와 Y2K38</h3><p>그럼 이제 이 글에서 확인해보려는 MySQL의 timestamp에 대해서 얘기해 보려고 해요.</p><p>먼저 MySQL에서 날짜 및 시간 타입을 다루는 timestamp와 datetime의 각각의 차이점을 잠깐 살펴보겠습니다.</p><h4>TimeStamp와 Datetime 차이</h4><p><strong>시간대(timezone) 지원 여부</strong></p><p>timestamp 와 datetime 은 사실 거의 동일한 특성을 가지고 있으며, timestamp 는 UTC 로 저장되고 datetime은 그렇지 않다는 점이 큰 차이점이에요.<br> <br> 그에 따라서 timestamp는 DB의 time_zone 시스템 변수의 영향을 받으며 아래와 같이 간단하게 내용을 확인해 볼 수 있어요.</p><pre>mysql&gt; create table tb_dt_ts_test<br>(id int auto_increment primary key,<br>col_dt datetime, col_ts timestamp );<br><br>mysql&gt; insert into tb_dt_ts_test(col_dt,col_ts)<br>values (now(),now());<br><br>mysql&gt; select @@global.time_zone, @@session.time_zone,@@system_time_zone;<br>+-------------------+----------------------+--------------------+<br>| @@global.time_zone | @@session.time_zone | @@system_time_zone |<br>+--------------------+---------------------+--------------------+<br>|     SYSTEM         |       SYSTEM        |         UTC        |<br>+--------------------+---------------------+--------------------+<br><br>mysql&gt; select * from tb_dt_ts_test;<br>+----+---------------------+----------------------+<br>| id |   col_dt            |    col_ts            |<br>+----+---------------------+----------------------+<br>|  1 | 2022-11-30 21:38:54 |  2022-11-30 21:38:54 |<br>+----+---------------------+----------------------+<br><br><br>mysql&gt; set session time_zone = &quot;Asia/Seoul&quot;;<br>mysql&gt; select * from tb_dt_ts_test;<br>+-----+--------------------+----------------------+<br>| id |    col_dt           |      col_ts          |<br>+----+---------------------+----------------------+<br>|  1 | 2022-11-30 21:38:54 |  2022-12-01 06:38:54 |<br>+----+---------------------+----------------------+</pre><p>참고) 설치형 MySQL의 경우 타임존 테이블에 타임존 테이블 정보를 로드(Load) 해야 time_zone = ‘UTC’ 이 가능해요.</p><p>자세한 사항은 <a href="https://dev.mysql.com/doc/refman/8.0/en/mysql-tzinfo-to-sql.html">문서</a>를 확인해 주세요.</p><p><strong>저장 공간</strong></p><p>저장 공간의 경우 큰 차이는 아니지만 아래와 같이 1 바이트 차이가 있어요.</p><p>Datetime : 5 bytes + fractional seconds storage<br>Timestamp : 4 bytes + fractional seconds storage</p><p><strong>날짜 지원 범위</strong></p><p>datetime 은 ‘YYYY-MM-DD hh:mm:ss’ 형식으로 표현하고 있으며 아주 큰 범위의 날짜 범위를 지원하고 있고 범위는 ‘1000–01–01 00:00:00’ ~ ‘9999–12–31 23:59:59’ 입니다.</p><p>timestamp 은 이름에서 유추할 수 있는 것처럼 UNIX Time(Timestamp) 와 동일해요.</p><p>그리니치 평균시를 기반으로 한 협정 세계시(協定 世界時, UTC) 기준 1970년 1월 1일 자정을 기준으로 해서 경과 시간을 초(second)로 환산하여 정수로 표현하는 것이에요.</p><p>Unix Time 과 동일하게 기본적으로 4 바이트 정수형 변수로 구현과 시간을 표현하고 있고, MySQL timestamp 는 우리가 읽은 수 있는 날짜 형식으로 값을 표현을 해요.</p><p>Unix Timestamp 와 MySQL timestamp 모두 같은 방식이기 때문에 2038년 1월 19일 3시 14분 07초까지만 표현이 가능해요.</p><p>MySQL의 UNIX_TIMESTAMP 함수를 이용하면 UNIX 형식으로 표현합니다.</p><pre>mysql&gt; select unix_timestamp (&#39;2022-12-25 09:45:00&#39;) as &#39;unixt_imestamp&#39;; <br>+-----------------+<br>|  unixt_imestamp |<br>+-----------------+<br>|   1671929100    |<br>+-----------------+</pre><p>FROM_UNIXTIME 함수를 이용하면 Unix timestamp 값을 사람이 읽을 수 있는 형식으로 날짜 및 시간 값을 표현합니다.</p><pre>mysql&gt; select from_unixtime (1671929100) as &#39;mysql_timestamp&#39;;<br>+---------------------+<br>|   mysql_timestamp   |<br>+---------------------+<br>| 2022-12-25 09:45:00 |<br>+---------------------+</pre><h4>MySQL 에서의 Y2K38</h4><p>위의 내용에서 확인할 수 있는 것처럼 MySQL에서 사용되는 timestamp 역시도 Y2K38 문제를 피해 갈 수는 없었고, 동일하게 문제가 발생하게 돼요.</p><p>MySQL에서 문제가 발생하는지는 아래와 같이 간단하게 확인할 수 있어요.</p><p>테스트를 위해서 사용한 버전은 <strong>MySQL 8.0.27 버전</strong>이고 OS(system)의 time_zone 은 UTC이고 MySQL의 time_zone 은 SYSTEM입니다.</p><pre>mysql&gt; select @@version;<br>+------------+<br>| @@version  |<br>+------------+<br>|   8.0.27   |<br>+------------+<br><br>mysql&gt; select @@global.time_zone, @@session.time_zone,@@system_time_zone;<br>+--------------------+--------------------------+---------------+<br>| @@global.time_zone | @@session.time_zone | @@system_time_zone |<br>+--------------------+---------------------+--------------------+<br>|     SYSTEM         |       SYSTEM        |         UTC        |<br>+--------------------+---------------------+--------------------+</pre><p>2038–01–19 03:14:07 날짜와 시간 값을 Unix time으로 변환을 하면 2147483647으로 4 bytes 정수형의 마지막 값이 출력이 돼요.</p><pre>mysql&gt; select unix_timestamp(&#39;2038-01-19 03:14:07&#39;)  as &#39;unixt_imestamp&#39;;<br>+-----------------+<br>| unixt_imestamp  |<br>+-----------------+<br>|  2147483647     |<br>+-----------------+</pre><p>그 다음 1초 뒤의 시간인 08초를 입력하면 integer overflow 가 발생되어 0으로 되돌아가는 것을 확인할 수 있어요.</p><pre>mysql&gt; select unix_timestamp(&#39;2038-01-19 03:14:08&#39;)  as &#39;unixt_imestamp&#39;;<br>+-----------------+<br>| unixt_imestamp  |<br>+-----------------+<br>|            0    |<br>+-----------------+</pre><p><strong>overflow 설명</strong></p><p>여기서 잠깐 <strong>overflow</strong>에 대해서 간략히 설명을 하면,</p><p>“<strong>컴퓨터의 정수 연산의 계산 결과가 허용 범위를 초과할 때 발생하는 오류</strong>” 를 의미해요</p><p>4byte int 형의 경우 음수 와 양수를 모두 가질 수 있는 signed 형의 경우 값의 범위는 -2,147,483,648 ~ 2,147,483,647 이고,</p><p>양수만 처리할 수 있는 unsigned 형은 0 ~ 4,294,967,295 으로 양의 값에 대해서 더 넓은 값을 처리할 수 있어요</p><p>이와 같이 사용 가능한 값의 범위는 값을 담을 수 있는 크기에 따라서 정해져 있어요</p><p>최댓값의 범위를 넘어서게 되면 최솟값으로 되돌아가게 되고, 이를 overflow 라고 하고, 그림으로 보면 아래와 같이 표현할 수 있어요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/805/1*fB9Pnon0vyj1ZLd1E94kaQ.png" /></figure><p>양수만 처리하는 unsigned 의 경우 최댓값을 넘어서면 –(음수)가 아닌 0 이 됩니다.</p><p>이것은 마치 잠을 잘 때 양 1마리, 2마리 세는 것처럼 반복이 된다고 아래 그림처럼 이해하면 쉬울 것 같아요</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*6NuHdNXzIzVbj_ws6DQQew.jpeg" /><figcaption>출처 : 나무위키 참조, 원본 : <a href="https://namu.wiki/w/xkcd">xkcd</a> <a href="http://xkcd.com/571/">571화 ‘Can’t Sleep’</a></figcaption></figure><p>이렇게 다시 되돌아가는 이유로 컴퓨터가 실제로 사용하는 이진수(binary number) 와 연관 되어있고, 특히 양의 값과 음의 값 처리에 대한 부분과 연관되어 있습니다.</p><p>2진수에서 <strong>가장 왼쪽의 1비트</strong>는 수에 영향을 가장 크게 미치는 비트인 중요 비트로 <strong>MSB(Most Significant Bit)</strong> 라고 부르는데요, 해당 비트는 <strong>부호(+/-)비트로 사용</strong> 되며 <strong>0일때는 양수</strong>, <strong>1일때는 음수</strong>를 나타내게 돼요</p><p>4byte int 양수의 맨 마지막 값인 2,147,483,647를 2진수로 변환하면 아래와 같습니다.</p><p><strong><em>0</em></strong>1111111111111111111111111111111<br>(4byte=32bit=32자리)</p><p>여기에 1을 더 하게 되면 <strong>부호 비트가 0에서 1로</strong> 변하게 되고 아래와 같이 값이 바뀌게 됩니다.</p><p><strong><em>1</em></strong>0000000000000000000000000000000</p><p>위의 이진수는 10진수로 변환하면 -2,147,483,648 이 되게 됩니다.</p><p>2의 보수 표현법 따라 수의 <strong>부호(+/-) 를 변경</strong>하기 위한 계산은 <strong>비트를 반전시킨 다음 1을 더하면</strong> 되는데요</p><p>-2,147,483,648 값의 이진수인 <strong><em>1</em></strong>0000000000000000000000000000000 값을 비트 반전을 시키게 되면</p><p><strong><em>0</em></strong>1111111111111111111111111111111 이 되고<br> <br> 여기에 다시 1을 더하면</p><p><strong><em>1</em></strong>0000000000000000000000000000000 이 다시 계산되게 됩니다.</p><p><strong>즉, 원래 값이 되는 것이지요</strong></p><p>그래서 2진수에서는 <strong>음수를 한개 더 표현할 수 있으며</strong>, 그에 따라 4byte int 에서의 사용 가능한 수의 범위는 signed 기준 -2,147,483,648 ~ 2,147,483,647 이 되는 것입니다.</p><p>다시 MySQL로 돌아와서!</p><p>2038–01–19 03:14:08 날짜와 시간 값을 Unix time으로 변경한 다음에 다시 MySQL Timestamp로 변환을 해보면 아래 결과처럼 시작 날짜 시간인 1970–01–01 00:00:00 으로 시간이 되돌아간 것을 확인할 수 있습니다.</p><pre>mysql&gt; select from_unixtime(unix_timestamp(&#39;2038-01-19 03:14:08&#39;)) &#39;mysql_timestamp&#39;;<br>+---------------------+<br>|   mysql_timestamp   |<br>+---------------------+<br>| 1970-01-01 00:00:00 |<br>+---------------------+</pre><p>Y2K38 에 대해서 처음 설명한 내용과 같이 OS 시스템이나 애플리케이션 별로 수정하고 개선한 시점과 방식이 조금씩 다른데요.</p><p>그럼 MySQL 어떻게 수정이나 대응하였을까요?</p><h4>MySQL 에서 개선된 사항</h4><p>DBMS마다 개선사항 반영 여부 및 차이가 있으며, MySQL에서는 올해(2022년) 초에 릴리스된 <strong>8.0.28 버전에서 Y2K38 개선 사항이 일부 포함</strong>되었습니다.</p><p>그래서 MySQL 버전 8.0.28에서 테스트해보면 ‘2038–01–19 03:14:07’ 이후로도 날짜 시간이 표시되는 것을 확인할 수 있어요.</p><pre>mysql&gt; select @@version;<br>+------------+<br>| @@version  |<br>+------------+<br>| 8.0.28     |<br>+------------+<br><br>mysql&gt; select @@global.time_zone, @@session.time_zone,@@system_time_zone;<br>+--------------------+--------------------------+---------------+<br>| @@global.time_zone | @@session.time_zone | @@system_time_zone |<br>+--------------------+---------------------+--------------------+<br>|     SYSTEM         |       SYSTEM        |         UTC        |<br>+--------------------+---------------------+--------------------+<br><br><br>mysql&gt; select unix_timestamp(&#39;2038-01-19 03:14:07&#39;)  as &#39;unixt_imestamp&#39;;<br>+-----------------+<br>| unixt_imestamp  |<br>+-----------------+<br>|     2147483647  |<br>+-----------------+<br><br>mysql&gt; select unix_timestamp(&#39;2038-01-19 03:14:08&#39;)  as &#39;unixt_imestamp&#39;;<br>+-----------------+<br>| unixt_imestamp  |<br>+-----------------+<br>|     2147483648  |<br>+-----------------+<br><br>mysql&gt; select unix_timestamp(&#39;2038-01-19 03:14:09&#39;)  as &#39;unixt_imestamp&#39;;<br>+-----------------+<br>| unixt_imestamp  |<br>+-----------------+<br>|     2147483649  |<br>+-----------------+</pre><p>MySQL 8.0.27 와 달리 8.0.28 버전에서는 ‘2038–01–19 03:14:08’ 가 돼도 문제가 발생하지 않게 되었어요!</p><p>그럼 더 자세하게 어떻게 개선점이 반영되었는지 Source Code를 통해서 조금 더 자세하게 살펴볼게요.</p><p>8.0.28 버전에서는 MySQL의 시간과 관련된 헤더 파일인 my_time.h 파일에서 <strong>새로운 헤더 파일 my_time_t.h 을 참조하는 include 구문이 추가</strong>되었어요.</p><pre>#include &quot;my_time_t.h&quot;</pre><p>그래서 먼저 <strong>새로 추가된 my_time_t.h 파일</strong> 간략하게 살펴보도록 할게요.</p><pre>#ifdef __cplusplus<br>using my_time_t = int64_t;<br>#else<br>typedef my_time_t int64_t;<br>#endif<br><br>struct my_timeval {<br>  int64_t m_tv_sec;<br>  int64_t m_tv_usec;<br>};</pre><p>새로운 <strong>구조체 my_timeval 을 선언한 것</strong>을 확인할 수 있으며, 멤버변수의 타입은 int64_t 으로 64-bit 플랫폼에서 long long int 형으로 즉, 64-bit=8 bytes 인 long 정수형 변수로 선언되어 있습니다.</p><p><strong>my_time_t 역시도 64-bit=8 bytes 인 long 정수형 변수로 선언</strong>되어 있는 것을 확인할 수 있습니다.</p><p>이제 주요 변경 사항인 <strong>my_time.h 헤더파일</strong>을 살펴보도록 할게요.</p><pre>constexpr const bool HAVE_64_BITS_TIME_T = sizeof(time_t) == sizeof(my_time_t);</pre><p>sizeof(time_t) == sizeof(my_time_t) 같은 지 여부에 따라서 해당 결과를 참/거짓(True/False) 값을 담는 boolean 타입으로 HAVE_64_BITS_TIME_T 선언하였고, 2개의 변수의 비교 결과를 변수에 대입하게 됩니다.</p><p>my_time_t는 새로 추가된 헤더파일 my_time_t.h에서 64-bit=8 bytes 로 선언되었고, time_t는 64비트 플랫폼에서 64-bit=8 bytes으로 사용됩니다.</p><p>그래서 둘 다 8 bytes가 맞는다면 TRUE 가 반환하게 됩니다.</p><p>2개 변수의 사이즈가 얼마인지, 2개가 같은지는 아래와 같이 간단하게 테스트해볼 수 있는데요</p><pre>#include &lt;stdio.h&gt;<br>#include &lt;stdint.h&gt;<br>#include &lt;stdbool.h&gt;<br>#include &lt;sys/time.h&gt;<br>#include &quot;my_time_t.h&quot;<br><br><br>int main(void)<br>{<br>      printf(&quot;time_t: %dbyte\n&quot;,sizeof(time_t));<br>      printf(&quot;my_time_t: %dbyte\n&quot;,sizeof(my_time_t));<br><br>    if ( sizeof(time_t) == sizeof(my_time_t) )<br>      printf(&quot;true\n&quot;);<br>    else<br>      printf(&quot;false\n&quot;);<br>    return 0;<br>}</pre><p>실행해서 테스트 해보면 둘다 8 byte로 같다는 것을 알 수 있습니다.</p><pre>$ g++ -o sizeof_time_diff sizeof_time_diff.cc &amp;&amp; ./sizeof_time_diff<br>time_t: 8byte<br>my_time_t: 8byte<br><br>true</pre><p>2개 변수가 <strong>같은 8 byte임으로 HAVE_64_BITS_TIME_T 는 TRUE</strong> 가 되게 돼요.</p><p>그 다음에는 아래의 <strong>삼항 연산자</strong> 부분을 살펴볼게요.</p><pre>constexpr const my_time_t MYTIME_MAX_VALUE =<br>    HAVE_64_BITS_TIME_T ? 32536771199<br>                        : std::numeric_limits&lt;std::int32_t&gt;::max();</pre><p>HAVE_64_BITS_TIME_T 는 TRUE이기 때문에 MYTIME_MAX_VALUE 변수에는 32536771199 이 대입되게 되며, 해당 변수의 데이터 타입은 my_time_t 즉, 8 bytes long형이 되게 돼요.</p><p>그 다음은 inline함수 is_time_t_valid_for_timestamp 에 대해서 <strong>8.0.27 버전과 8.0.28 버전을 비교</strong>해서 살펴보도록 할게요</p><pre>## MySQL 8.0.27<br>inline bool is_time_t_valid_for_timestamp(time_t x) {<br>  return x &lt;= TIMESTAMP_MAX_VALUE &amp;&amp; x &gt;= TIMESTAMP_MIN_VALUE;<br>}<br><br><br>## MySQL 8.0.28<br>inline bool is_time_t_valid_for_timestamp(time_t x) {<br>  return (static_cast&lt;int64_t&gt;(x) &lt;= static_cast&lt;int64_t&gt;(MYTIME_MAX_VALUE) &amp;&amp;<br>          x &gt;= MYTIME_MIN_VALUE);<br>}</pre><p>boolean 타입(true/false)으로 생성된 inline 함수 is_time_t_valid_for_timestamp 은 timestamp 값에 대한 유효성 체크에 대해서 8.0.27 버전에서는 TIMESTAMP_MAX_VALUE 와 TIMESTAMP_MIN_VALUE 변수를 사용했습니다.</p><p>8.0.28 버전 부터는 MYTIME_MAX_VALUE 와 MYTIME_MIN_VALUE 를 사용하는 것으로 변경되었어요.</p><p>MYTIME_MIN_VALUE 는 0 이 대입되고 MYTIME_MAX_VALUE 는 <strong>32536771199</strong> 으로 대입돼요.</p><p>Unix_timestamp의 0(MYTIME_MIN_VALUE)은 1970–01–01 00:00:00.000000 가 되고, <strong>32536771199(MYTIME_MAX_VALUE)는 3001–01–18 23:59:59.000000</strong> 이 되게 됩니다.</p><p>그래서 결론적으로 MySQL 8.0.28 버전부터는 timestamp의 날짜 지원 범위는 <strong>1970–01–01 00:00:00.000000 ~ 3001–01–18 23:59:59.000000 으로 확장</strong> 되게 되는 것이지요.</p><pre>mysql&gt; select @@version;<br>+------------+<br>| @@version  |<br>+------------+<br>|  8.0.28    |<br>+------------+<br><br>mysql&gt; select from_unixtime(&#39;0&#39;) as &#39;from_unixtime&#39; ;<br>+-----------------------------+<br>| from_unixtime               |<br>+-----------------------------+<br>| 1970-01-01 00:00:00.000000  |<br>+-----------------------------+<br><br>mysql&gt; select from_unixtime(&#39;32536771199&#39;) as &#39;from_unixtime&#39; ;<br>+----------------------------+<br>| from_unixtime              |<br>+----------------------------+<br>| 3001-01-18 23:59:59.000000 |<br>+----------------------------+</pre><p>그러면 여기서 한 가지 더! 의구심이나 궁금한 부분이 있으실 거예요~</p><p>그건 아마도 long형 데이터 타입이 8 bytes이고 <strong>9,223,372,036,854,775,807(signed 기준)까지 사용 가능</strong>한데 <strong>왜 표현 범위를32,536,771,199 까지로 하였는가</strong> 일거 같아요!</p><p>MySQL 8.0.28 버전에서의 timestamp 개선점은 Linux, MacOS, and Windows 64-bit 플랫폼에서만 적용되었어요.</p><p>그런데 Windows에서 사용되는 localtime_s inline 함수는 UTC 3001년 1월 18일 23:59:59까지 날짜 표현이 가능하게 구현이 되어 있습니다.</p><p>그래서 MySQL 사용 시 플랫폼별로 다른 값을 출력하는 것이 아닌 같은 값을 위해서, 즉 통일성을 위해서 Windows, MacOS, Linux 3개 시스템 모두 MYTIME_MAX_VALUE 의 값을 magic constant으로 32536771199 정하게 되었습니다.<br>(참고로 32-bit 플랫폼은 여전히 2038–01–19 03:14:07 까지 표현되며, 이런 개선점이 반영되지는 않았어요!)</p><p>위에서 확인한 내용처럼 Windows의 localtime_s inline 함수는 UTC 3001년 1월 18일 23:59:59 까지 표현 가능해요 그렇다면 이 이후는 어떻게 되는 걸까요?</p><p>그래서 이와 관련해서 벌써 Windows Y3K Bug 이란 칼럼 글이나 블로그 글도 찾아볼 수 있습니다.</p><p>MySQL에서 3001년 1월 18일 23:59:59 이후 날짜에 대해서 정말 문제가 발생할까요? 확인해 보면 Y2K38 Problem 과 동일하게 Unix_timestamp 가 0 이 되는 것을 확인할 수 있어요.</p><pre>mysql&gt; select unix_timestamp(&#39;3001-01-19 00:00:05&#39;)  as &#39;unixt_imestamp&#39;;<br>+-----------------+<br>| unixt_imestamp  |<br>+-----------------+<br>|             0   |<br>+-----------------+</pre><p>MySQL의 현재 개발 정책에서는 3001년 1월 18일 23:59:59 이후 날짜 사용이 필요한 경우 datetime 사용을 가이드 하고 있어요.<br>( datetime 표현 범위 : ‘1000–01–01 00:00:00’ ~ ‘9999–12–31 23:59:59’ )</p><p>처음 언급한 내용과 같이 이러한 개선사항은 일부에 적용되었는 내용이 있었는데요 64bit의 제한 그리고 platform에 대한 제한 이외에 적용에 대한 범위에 일부 적용이 되어있는 점이 있습니다.</p><p>조회하고 변환하는데 사용하는 unix_timestamp 함수에는 개선점이 적용 되어있지만 실제로 데이터를 저장하고 조회에 사용하는 data type 인 timestamp 데이터 타입에서는 개선사항이 반영되지는 않았어요</p><p>실제로 데이터가 저장되는 data type 인 timestamp 에 대해서 2038년 이후의 데이터를 저장하기 위해서는 4byte 에서 더 많은 byte를 저장할 수 있도록 구조 개선이 필요한 만큼 이 부분은 개선점에 포함되지 않았을 것이라고 개인적으로 예상을 해봅니다.</p><p>그래서 timestamp 함수로 조회하여 varchar나 datetime 등 다른 데이터 타입등 에 저장하는 형태로 사용하거나 unix_timestamp 를 조회하는 제한적인 부분에서의 개선점 및 사용이 있을 수 있습니다.</p><p>MySQL에서 timestamp를 사용하였을 때 이런 제약사항 또는 고려해야 할 부분이 있을 수 있지만, Unix 타임스탬프는 timezone 을 반영할 수 있으며, 지역과 관계없이 1970년 1월 1일부터 시작하는 즉, 동일 시점에서 계산을 할 수 있고 이러한 동일한 시점에 증가되는 방식을 이용하여 순차적인 증가하는 고유의 값을 생성하여 사용하거나 2개의 시간을 비교하여 크고 작음을 분별할 수 있는 등의 여러 장점과 활용도가 있습니다.</p><p>2022년인 지금에서 보면 2038년도 멀어 보이는데, 3001년은 아주 먼 나중의 일이지만 그래도 3001년에 가면 문제가 생길 텐데? 하는 걱정도 해보며 이 글을 작성해보았습니다.</p><p>역사는 반복되고 항상 그랬듯이 이런 날짜 와 시간에 대한 이슈는 다시 또 좋은 방향으로 수정되고 개선이 되지 않을까? 하는 예상을 해보면서 이번 글을 이만 마무리하겠습니다.</p><p>2022년 한 해 얼마 남지 않았네요, 올해 모두 수고하셨습니다.</p><p>즐거운 연말 보내시고, 새해 복 많이 받으세요~</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d43b8f119ce5" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/mysql-timestamp-%EC%99%80-y2k38-problem-d43b8f119ce5">MySQL timestamp 와 Y2K38 Problem</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[kubernetes Pod의 진단을 담당하는 서비스 : probe]]></title>
            <link>https://medium.com/finda-tech/kubernetes-pod%EC%9D%98-%EC%A7%84%EB%8B%A8%EC%9D%84-%EB%8B%B4%EB%8B%B9%ED%95%98%EB%8A%94-%EC%84%9C%EB%B9%84%EC%8A%A4-probe-7872cec9e568?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/7872cec9e568</guid>
            <category><![CDATA[kubernetes-cluster]]></category>
            <category><![CDATA[kubernetes]]></category>
            <category><![CDATA[microservices]]></category>
            <category><![CDATA[containers]]></category>
            <category><![CDATA[kubectl]]></category>
            <dc:creator><![CDATA[ShinChul Bang]]></dc:creator>
            <pubDate>Mon, 22 Jun 2020 02:27:12 GMT</pubDate>
            <atom:updated>2021-11-05T02:23:27.679Z</atom:updated>
            <content:encoded><![CDATA[<h3>kubernetes Pod의 진단을 담당하는 서비스 : probe</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8dUVh226vHnx4bPv_d2-Bg.png" /></figure><p><a href="https://kubernetes.io/ko/docs/concepts/workloads/pods/pod-lifecycle/#%EC%BB%A8%ED%85%8C%EC%9D%B4%EB%84%88-%ED%94%84%EB%A1%9C%EB%B8%8C-probe">프로브(Probe)</a>는 컨테이너에서 <a href="https://kubernetes.io/docs/reference/command-line-tools-reference/kubelet/">kubelet</a>에 의해 주기적으로 수행되는 진단(diagnostic)이다.</p><p>진단을 수행하기 위해서, kubelet은 컨테이너에 의해서 구현된 핸들러를 호출한다.</p><p><strong>핸들러</strong>에는 다음과 같이 세 가지 타입이 있다.</p><ul><li><a href="https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.18/#execaction-v1-core"><strong>ExecAction</strong></a> : 컨테이너 내에서 지정된 명령어를 실행한다. 명령어 상태 코드 0으로 종료되면 진단이 성공한 것으로 간주한다.</li><li><a href="https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.18/#tcpsocketaction-v1-core"><strong>TCPSocketAction</strong></a> : 지정된 포트에서 컨테이너의 IP 주소에 대해 TCP 검사를 수행한다. 포트가 활성화되어 있다면 진단이 성공한 것으로 간주한다.</li><li><a href="https://kubernetes.io/docs/reference/generated/kubernetes-api/v1.18/#httpgetaction-v1-core"><strong>HTTPGetAction</strong></a> : 지정된 포트 및 경로에서 컨테이너의 IP 주소에 대한 HTTP Get 요청을 수행한다. 응답의 상태코드가 200 보다 크고 400 보다 작으면 진단이 성공한 것으로 간주한다.</li></ul><p>각 <strong>프로브(Probe)</strong>는 다음 세 가지 결과 중 하나를 가진다.</p><ul><li><strong>Success</strong> : 컨테이너가 진단을 통과함.</li><li><strong>Failure</strong> : 컨테이너가 진단에 실패함.</li><li><strong>UnKnown</strong> : 진단 자체가 실패하였으므로 아무런 액션도 수행되면 안됨.</li></ul><p><strong>kubelet</strong>은 실행 중인 컨테이너들에 대해서 선택적으로 세 가지 종류의 프로브를 수행하고 그에 반응할 수 있다.</p><ul><li><strong>livenessProbe</strong> : 컨테이너가 동작 중인지 여부를 나타낸다. 만약 활성 프로브(liveness probe)에 실패한다면, kubelet은 컨테이너를 죽이고, 해당 컨테이너는 <a href="https://kubernetes.io/ko/docs/concepts/workloads/pods/pod-lifecycle/#%EC%9E%AC%EC%8B%9C%EC%9E%91-%EC%A0%95%EC%B1%85"><strong>재시작 정책</strong></a>의 대상이 된다. 만약 컨테이너가 활성 프로브를 제공하지 않는 경우, 기본 상태는 Success 이다.</li><li><strong>readinessProbe</strong> : 컨테이너가 요청을 처리할 준비가 되었는지 여부를 나타낸다. 만약 준비성 프로브(readiness probe)가 실패한다면, 엔드포인트 컨트롤러는 파드에 연관된 모든 서비스들의 엔드포인트에서 파드의 IP 주소를 제거한다. 준비성 프로브의 초기 지연 이전의 기본 상태는 Failure이다. 만약 컨테이너가 준비성 프로브를 지원하지 않는다면, 기본 상태는 Success 이다.</li><li><strong>startupProbe</strong> : 컨테이너 내의 애플리케이션이 시작되었는지를 나타낸다. 스타트업 프로브(startup probe)가 주어진 경우, 성공할 때 까지 다른 나머지 프로브는 활성화 되지 않는다. 만약 스타트업 프로브가 실패하면, kubelet이 컨테이너를 죽이고, 컨테이너는 <a href="https://kubernetes.io/ko/docs/concepts/workloads/pods/pod-lifecycle/#%EC%9E%AC%EC%8B%9C%EC%9E%91-%EC%A0%95%EC%B1%85"><strong>재시작 정책</strong></a>에 따라 처리된다. 컨테이너에 스타트업 프로브가 없는 경우, 기본 상태는 Success 이다.</li></ul><p><strong>언제 활성 프로브(liveness probe)를 사용해야 하는가?</strong></p><ul><li>만약 컨테이너 속 프로세스가 어떠한 이슈에 직면하거나 건강하지 못한 상태(unhealthy)가 되는 등 프로세스 자체의 문제로 중단될 수 있더라도, 활성 프로브가 반드시 필요한 것은 아니다. 이러한 경우에는 kubelet이 파드의 재시작 정책(restart policy)에 따라서 올바른 대처를 자동적으로 수행한다.</li><li>프로브가 실패한 후 컨테이너가 종료되거나 재시작 되기를 원한다면, 활성 프로브를 지정하고, 재시작 정책을 항상(Always) 또는 실패 시(OnFailure)로 지정한다.</li></ul><p><strong>언제 준비성 프로브(readiness probe)를 사용해야 하는가?</strong></p><ul><li>프로브가 성공한 경우에만 파드에 트래픽 전송을 시작하려고 한다면, 준비성 프로브를 지정하기를 바란다. 이 경우에서는, 준비성 프로브가 활성 프로브와 유사해 보일 수도 있지만, 스팩에 준비성 프로브가 존재한다는 것은 파드가 트래픽을 받지 않는 상태에서 시작되고 프로브가 성공하기 시작한 이후에만 트래픽을 받는다는 것이다. 만약 컨테이너가 대량의 데이터, 설정 파일들, 또는 시동 중 마이그레이션을 처리해야 한다면, 준비성 프로브를 지정하기 바란다.</li><li>만약 당신의 컨테이너가 유지 관리를 위해서 자체 중단되게 하려면, 준비성 프로브를 지정하길 바란다. 준비성 프로브는 활성 프로브와는 다르게 준비성에 특정된 엔드포인트를 확인한다.</li><li>파드가 삭제될 때 단지 요청들이 흘려 보낼(drain) 목적으로, 준비성 프로브가 필요하지 않다는 점을 유념해야한다. 삭제 시에, 파드는 프로브의 존재 여부와 무관하게 자동으로 스스로를 준비되지 않은 상태(unready)로 변경한다. 파드는 파드 내의 모든 컨테이너들이 중지될 때 까지 준비되지 않은 상태로 남아있는다.</li></ul><p><strong>언제 스타트업 프로브(startup probe)를 사용해야 하는가?</strong></p><ul><li>컨테이너가 보통 초기 지연 시간 + 실패 임계 값 * 대기 초(initialDelaySeconds + failureThreshold * periodSeconds) 이후에 기동된다면, 스타트업 프로브가 활성화 프로브와 같은 엔드포인트를 체크하도록 명시해야 한다.</li><li>periodSeconds의 기본 값은 30초 이다. 이 때 컨테이너가 활성화 프로브의 기본 값 변경 없이 기동되도록 하려면 failureThreshold를 충분히 높게 설정해주어야 한다. 그래야 데드락(deadlock)을 방지하는데 도움이 된다.</li></ul><p>활성, 준비성 및 스타트업 프로브를 설정하는 방법에 대한 추가적인 정보는, <a href="https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/">활성, 준비성 및 스타트업 프로브 설정하기</a>를 참조하면 된다.</p><p>Kubernetes에서 새로운 버전의 애플리케이션(컨테이너)을 배포하기 위해 Pod를 Rolling update할 때, Pod는 띄워졌지만 내부의 프로세스(예를 들면 Spring 혹은 Node.js같은 서버 어플리케이션)가 제대로 뜨지 못한 상태에서 기존 Pod를 terminate하면 새로 띄워진 Pod 내부의 프로세스가 다 뜨기 전까지는 해당 프로세스에 요청을 날릴 수 없으므로 다운타임(504 Bad gateway)이 발생한다.</p><p>따라서 이를 방지하기 위해 kubernetes에서는 probe라는 이벤트 리스너를 생성하여 kubelet이 Pod 내부의 컨테이너를 진단하게 하여 컨테이너가 실행 중인지(livenessProbe), HTTP 요청을 처리할 준비가 되었는지(readinessProbe), 컨테이너 내에서 응용 프로그램이 시작되었는지(startupProbe) 확인할 수 있도록 기능을 제공한다.</p><p>예제를 위한 deployment, service manifest를 아래와 같이 작성해보자.</p><p>간단한 웹 서버를 띄워주는 manifest 이다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/19a77c5f77545bb71355b7e831abc767/href">https://medium.com/media/19a77c5f77545bb71355b7e831abc767/href</a></iframe><p>작성한 manifest를 아래 명령어를 통해 kubernetes 클러스터에 배포해보자.</p><pre>$ kubectl apply -f ./test.yaml</pre><p>이제 다시 deployment 부분만 아래와 같이 수정하여 다시 apply 해보자.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1f47414568d6f8e69c6864b39553b660/href">https://medium.com/media/1f47414568d6f8e69c6864b39553b660/href</a></iframe><p>args 부분에서 index.html을 만든 다음 sleep 30000 조건을 넣어 30초 정도 딜레이 되도록 변경했다.</p><p>만약 컨테이너를 띄우는 데 많은 시간이 들지 않는다면 상관 없겠지만, 수정한 내용과 같이 Pod 내부에 새로운 프로세스가 뜨는데 30초 정도 걸린다고 가정한다면 Pod를 새로 배포할 때 Rolling Update시 30초 정도 다운 타임이 발생하게 되는 것이다.</p><p>이를 방지하기 위해 probe를 설정하여 프로세스가 뜰 때 까지는 기존 Pod를 terminate시키지 않도록 아래와 같이 deployment를 수정해보자.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8226046dce9c6ce6e75f4f93192e9ffd/href">https://medium.com/media/8226046dce9c6ce6e75f4f93192e9ffd/href</a></iframe><p>위와 같이 readinessProbe 라는 옵션을 추가했는데, 이를 설명하면 아래와 같다.</p><p>readinessProbe는 컨테이너가 요청을 처리할 준비가 되었는지 여부를 확인해준다.</p><p>Pod가 뜨게되면 readinessProbe는 initialDelaySeconds에 지정한 값 만큼 기다렸다가 periodSeconds의 값만큼 한번씩 httpGet에 세팅한 path와 port로 health check를 위한 HTTP Get 요청을 날린다.</p><p>여기서 전달받은 response의 stauts code가 성공(200) 이라면 kubelet은 해당 Pod의 컨테이너가 살아있다고 간주하게 된다.</p><p>따라서 Rolling Update시에 새로 뜬 Pod에 대해서 readinessProbe의 역할을 마치기 전까지 기존 Pod를 terminate 시키지 않기 때문에 Rolling Update로 인한 다운 타임이 방지된다.</p><p>하지만 반대로 httpGet에 세팅한 경로로 health check를 했는데 성공(200)이 아닌 400 혹은 500의 status 를 리턴 받는다면, 이 Pod는 이상이 있는 것으로 간주하고 해당 pod로 라우팅되지 않도록 처리한다.</p><p>따라서 이 옵션은 Pod 내에 구동되고 있는 프로세스(어플리케이션)의 health check를 담당하고 있다고 볼 수 있다.</p><h3>참고</h3><ul><li><a href="https://kubernetes.io/docs/concepts/workloads/pods/pod-lifecycle/#container-probes">Pod Lifecycle</a></li><li><a href="https://kubernetes.io/docs/tasks/configure-pod-container/configure-liveness-readiness-startup-probes/">Configure Liveness, Readiness and Startup Probes</a></li><li><a href="https://kubernetes.io/ko/docs/concepts/workloads/pods/pod-lifecycle/#%EC%BB%A8%ED%85%8C%EC%9D%B4%EB%84%88-%ED%94%84%EB%A1%9C%EB%B8%8C-probe">파드 라이프사이클</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7872cec9e568" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/kubernetes-pod%EC%9D%98-%EC%A7%84%EB%8B%A8%EC%9D%84-%EB%8B%B4%EB%8B%B9%ED%95%98%EB%8A%94-%EC%84%9C%EB%B9%84%EC%8A%A4-probe-7872cec9e568">kubernetes Pod의 진단을 담당하는 서비스 : probe</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Spring 로컬 캐시 라이브러리 ehcache]]></title>
            <link>https://medium.com/finda-tech/spring-%EB%A1%9C%EC%BB%AC-%EC%BA%90%EC%8B%9C-%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC-ehcache-4b5cba8697e0?source=rss----393936937578---4</link>
            <guid isPermaLink="false">https://medium.com/p/4b5cba8697e0</guid>
            <category><![CDATA[cache-control]]></category>
            <category><![CDATA[ehcache]]></category>
            <category><![CDATA[java]]></category>
            <category><![CDATA[java8]]></category>
            <category><![CDATA[cache]]></category>
            <dc:creator><![CDATA[ShinChul Bang]]></dc:creator>
            <pubDate>Mon, 22 Jun 2020 02:27:02 GMT</pubDate>
            <atom:updated>2020-06-22T02:27:02.824Z</atom:updated>
            <content:encoded><![CDATA[<p>Spring에서 주로 사용되는 로컬 캐시인 ehcache에 대해서 알아보자.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/930/1*yihW_Etl_PHiWnzcR84AWw.jpeg" /></figure><p><a href="https://www.ehcache.org/">ehcache</a>는 Spring에서 간단하게 사용할 수 있는 Java기반 오픈소스 캐시 라이브러리이다.</p><p>redis나 memcached같은 캐시 엔진들도 있지만, 저 2개의 캐시 엔진과는 달리 ehcache는 데몬을 가지지 않고 Spring 내부적으로 동작하여 캐싱 처리를 한다.</p><p>따라서 redis같이 별도의 서버를 사용하여 생길 수 있는 네트워크 지연 혹은 단절같은 이슈에서 자유롭고 같은 로컬 환경 일지라도 별도로 구동하는 memcached와는 다르게 ehcache는 서버 어플리케이션과 라이프사이클을 같이 하므로 사용하기 더욱 간편하다.</p><p>ehcache는 2.x 버전과 3 버전의 차이가 크다.</p><p>3 버전 부터는 <a href="https://www.jcp.org/en/jsr/detail?id=107">javax.cache API (JSR-107)</a>와의 호환성을 제공한다. 따라서 표준을 기반으로 만들어졌다고 볼 수 있다.</p><p>또한 기존 2.x 버전과는 달리 3 버전에서는 offheap 이라는 저장 공간을 제공한다. offheap이란 말 그대로 힙 메모리를 벗어난 메모리로 Java GC에 의해 데이터가 정리되지 않는 공간이다.</p><h3>사용법 — 설정</h3><p>해당 문서에서는 ehcache 2.x 버전이 아닌 ehcache 3 버전을 다룬다.</p><p><a href="https://github.com/ehcache/ehcache3/releases">먼저 github에서 직접 jar를 다운로드하여 import</a>하거나,</p><p>Maven central에서 dependency를 가져올 수 있다.</p><p>Maven dependency로 구성하는 방법을 알아보자.</p><p>먼저 ehcache를 사용하기 위해 아래와 같이 Maven dependency를 추가한다.</p><pre>&lt;dependency&gt;<br>  &lt;groupId&gt;org.ehcache&lt;/groupId&gt;<br>  &lt;artifactId&gt;ehcache&lt;/artifactId&gt;<br>  &lt;version&gt;3.6.2&lt;/version&gt; <br>&lt;/dependency&gt;</pre><p>다음으로 JSR-107 API를 사용하기 위해서 아래의 Maven dependency도 추가해야한다.</p><pre>&lt;dependency&gt;<br>  &lt;groupId&gt;javax.cache&lt;/groupId&gt;<br>  &lt;artifactId&gt;cache-api&lt;/artifactId&gt;<br>  &lt;version&gt;1.1.0&lt;/version&gt;<br>&lt;/dependency&gt;</pre><p>마지막으로 spring boot를 사용하고 있다면 아래의 Maven dependency를 추가한다. dependency의 버전은 자신의 프로젝트 버전에 알맞게 세팅한다.</p><pre>&lt;dependency&gt;<br>  &lt;groupId&gt;org.springframework.boot&lt;/groupId&gt;<br>  &lt;artifactId&gt;spring-boot-starter-cache&lt;/artifactId&gt;<br>  &lt;version&gt;2.1.1.RELEASE&lt;/version&gt; <br>&lt;/dependency&gt;</pre><p>다음에는 캐시에 대해서 어떻게 처리할 것인지 정의하기 위해 ehcache.xml 파일을 작성해야한다.</p><p>이 파일의 위치는 프로젝트 내 resources 디렉터리 하위에 위치하도록 한다.</p><p>ehcache.xml의 내용은 아래와 같이 작성한다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9167a8c3bfb94942db754cbbadedee61/href">https://medium.com/media/9167a8c3bfb94942db754cbbadedee61/href</a></iframe><p>그리고 작성한 ehcache.xml 파일을 Spring이 알도록 하기 위해 properties에 아래 텍스트를 추가한다.</p><pre>spring.cache.jcache.config=classpath:ehcache.xml</pre><p>마지막으로 메인 클래스에 <strong>@EnableCaching </strong>어노테이션을 붙여주면 ehcache를 사용하기 위한 설정은 끝난다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/619ec1b0b1f6e2dbb98a74f1ecf27288/href">https://medium.com/media/619ec1b0b1f6e2dbb98a74f1ecf27288/href</a></iframe><h3>사용법 — 실제 사용</h3><p>우선 캐싱 처리에 대해서 모니터링을 위하여 CacheEventLogger 라는 클래스를 만들자.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/95b0420e7720d30053219efa40fde41e/href">https://medium.com/media/95b0420e7720d30053219efa40fde41e/href</a></iframe><p>이제 캐싱 처리가 되면 이 CacheEventLogger 클래스 내부의 onEvent() 메서드가 호출되면서 로그가 찍힐 것이다.</p><p>다음으로는 캐싱 테스트를 위해 아래와 같이 컨트롤러 코드를 작성한다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f83a2c17691310a5c3f41f7b98c3f269/href">https://medium.com/media/f83a2c17691310a5c3f41f7b98c3f269/href</a></iframe><p>해당 컨트롤러를 통해 NumberService.square() 메서드를 호출하게 된다.</p><p>NumberService.square()에서 실질적인 데이터를 리턴 해줄텐데, 여기에서 캐싱 처리를 하여 테스트를 해보도록 한다.</p><p>그럼 NumberService를 아래와 같이 작성해보자.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/a4d672fba1b08e7fa6204df11ee35ed9/href">https://medium.com/media/a4d672fba1b08e7fa6204df11ee35ed9/href</a></iframe><p>저 @Cacheable 어노테이션은 캐시하려는 메서드를 지정하는데 사용한다.</p><p>즉, 이 어노테이션을 설정한 메서드는 결과를 캐시에 저장하고, 뒤이은 호출에는 실제로 메서드를 실행하지 않고 캐시에 저장된 값을 반환한다.</p><p>@Cacheable의 인자로는 value, key, condition을 지정해주었다.</p><p>이 세 개의 인자에 대해서 설명하자면 아래와 같다.</p><ul><li>value는 ehcache.xml에서 등록했던 캐시 중 메서드에 적용할 캐시의 이름(ehcache.xml의 cache 요소에 등록했던 alias 값)을 등록한다.</li><li>key는 캐시를 구분하기 위한 용도로 사용된다. 만약 캐시를 구분할 필요가 없다면 key를 등록하지 않는다.</li><li>condition은 캐시 처리에 대한 조건을 지정한다. 위에서는 condition을 #number &gt; 10으로 지정 했으므로 이를 해석하면 매개변수 Long number가 10보다 큰 경우에만 캐시 처리를 한다는 뜻이다.</li></ul><p>이 세가지 인자 외에도 다양한 인자를 넣을 수 있다. (cacheName, keyGenerator, cacheManager, cacheResolver, unless, sync)</p><p>이제 테스트를 위한 코드는 모두 작성했으니 실행하고 API를 호출하여 테스트해보자.</p><p>아래는 API 호출을 테스트해서 찍힌 로그이다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/36036e30f71842e7c6477295f563310a/href">https://medium.com/media/36036e30f71842e7c6477295f563310a/href</a></iframe><p>위와 같이 NumberService가 30초 동안에는 캐싱되어 NumberController에서 호출 해도 실행되지 않고 바로 결과 값을 리턴 해주는 것을 확인할 수 있다.</p><p>이는 NumberService의 로그가 호출당하고 난 뒤의 30초 동안은 찍히지 않는 것으로 판단할 수 있다.</p><p>14:57:24.154 에 호출 당한 이후로 30초 동안은 로그가 찍히지 않았고, 그 뒤 30초가 지난 후 14:57:56.901 에 다시 호출당해 로그가 찍혔다.</p><p>테스트 코드는 아래 링크를 통해 더 자세히 볼 수 있다.</p><p><a href="https://github.com/BangShinChul/Spring-boot-ehcache-demo-project">BangShinChul/Spring-boot-ehcache-demo-project</a></p><h3>참고 1</h3><p>ehcache3 는 캐싱할 데이터를 외부 메모리(offheap 혹은 disk)에 저장하기 위해서는 저장할 데이터(객체 혹은 인스턴스)가 Serializable이 구현 되어 있어야 한다.</p><p>즉, 캐싱할 데이터는 Serializable을 상속받은 클래스여야 한다.</p><p>왜냐하면, ehcache가 JVM의 힙 메모리가 아닌 곳(offheap 혹은 disk)에 캐시를 저장하기 위해서는 JVM 메모리에 인스턴스화 되어있는 객체의 데이터를 외부에서 사용할 수 있게 하기 위해 Serialize(직렬화)가 필요하기 때문이다.</p><p><strong>직렬화란?</strong></p><ul><li>자바 시스템 내부에서 사용되는 Object 또는 Data를 외부의 자바 시스템에서도 사용할 수 있도록 byte 형태로 데이터를 변환하는 기술.</li><li>JVM(Java Virtual Machine 이하 JVM)의 메모리에 상주(힙 또는 스택)되어 있는 객체 데이터를 바이트 형태로 변환하는 기술</li></ul><h3><strong>참고 2</strong></h3><ul><li><a href="https://nesoy.github.io/articles/2018-04/Java-Serialize">Java의 직렬화(Serialize)란?</a></li><li><a href="https://stackoverflow.com/questions/36490716/ehcache-value-need-to-implement-serializable">ehcache value need to implement serializable?</a></li><li><a href="https://www.ehcache.org/documentation/3.0/serializers-copiers.html">Serializers and Copiers</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4b5cba8697e0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/finda-tech/spring-%EB%A1%9C%EC%BB%AC-%EC%BA%90%EC%8B%9C-%EB%9D%BC%EC%9D%B4%EB%B8%8C%EB%9F%AC%EB%A6%AC-ehcache-4b5cba8697e0">Spring 로컬 캐시 라이브러리 ehcache</a> was originally published in <a href="https://medium.com/finda-tech">finda 기술 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>