<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[네이버 비지니스 플랫폼 개발 블로그 - Medium]]></title>
        <description><![CDATA[네이버 비지니스 플랫폼 개발 블로그 - Medium]]></description>
        <link>https://medium.com/naver-biz-dev?source=rss----9c50478ba473---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>네이버 비지니스 플랫폼 개발 블로그 - Medium</title>
            <link>https://medium.com/naver-biz-dev?source=rss----9c50478ba473---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 11:06:12 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/naver-biz-dev" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[@egjs/react-conveyer]]></title>
            <link>https://medium.com/naver-biz-dev/egjs-react-conveyer-66b3d44f88e7?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/66b3d44f88e7</guid>
            <category><![CDATA[naver]]></category>
            <category><![CDATA[react]]></category>
            <category><![CDATA[scroll]]></category>
            <dc:creator><![CDATA[Hansuk Kim]]></dc:creator>
            <pubDate>Fri, 16 Jun 2023 07:08:27 GMT</pubDate>
            <atom:updated>2023-06-16T07:31:23.322Z</atom:updated>
            <content:encoded><![CDATA[<h3>배경</h3><p>출장항공권 FE 작업을 할때<br>PC 환경에서 다음과 같이 필터 카테고리 탭을 스크롤하는 UI 기능 구현이 필요했습니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/754/1*RH9XPoHBB99ZPxkxw7slnA.png" /></figure><ul><li>탭이 스크롤 되게 함</li><li>양옆으로 움직이게 하는 좌우버튼을 추가하고</li><li>좌우 끝 구간에 도달하면, 버튼을 미노출</li></ul><p>이걸 스크립트 작업으로 구현하려고 생각해보니 수작업을 꽤 많이 해야할것같아서<br>좀더 편하게 작업할수있는 방법이 없을까 해서 라이브러리 를 찾아보았고<br><a href="https://www.npmjs.com/package/@egjs/react-conveyer">@egjs/react-conveyer</a> 가 요구사항에 적합하다고 판단되어<br>이 라이브러리를 사용해서 아래와 같이 좌우 스크롤/버튼 구현을 완성했습니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/756/1*rR93_UkBI0ux0MciCgf7iw.gif" /></figure><p>이와 유사한 좌우 스크롤/버튼을 구현하실 일이 있을것 같아서<br>출장항공권 코드를 예시로 적용법을 간단히 공유드리려고 합니다</p><h3>소개</h3><p><a href="https://www.npmjs.com/package/@egjs/react-conveyer">@egjs/react-conveyer</a> 는 native scroll UI 에 drag 제스쳐<br>스크롤 이벤트 관련 변수/함수를 제공해주는 라이브러리 입니다</p><p>라이브러리 코드 한줄로</p><pre>const { isReachStart, isReachEnd, scrollIntoView } = useConveyer(ref);</pre><p>수작업으로 하면 꽤 힘들었을 다음 스펙들을 해결할수 있었습니다</p><ul><li>수평스크롤 움직임에 따라 좌우버튼을 선택적으로 노출</li><li>좌우 버튼으로 스크롤 이동</li></ul><p>출장항공권에 적용한 코드를 예시로 어떻게 적용했는지 구체적으로 설명드리도록 하겠습니다</p><blockquote>라이브러리에 대한 상세 사용법은 <a href="https://naver.github.io/egjs-conveyer/docs/api/Conveyer">@egjs/react-conveyer document</a> 참조해주시면 되겠습니다</blockquote><h3>코드</h3><p>우선 적용한 전체 코드는 다음과 같습니다</p><pre>import { useConveyer } from &#39;@egjs/react-conveyer&#39;;<br><br>const Tab = ({ selectedTag, setSelectedTag }: IProps) =&gt; {<br>  const ref = useRef&lt;HTMLDivElement&gt;(null);<br>  const { isReachStart, isReachEnd, scrollIntoView } = useConveyer(ref);<br><br>  return (<br>    &lt;div className={cx(&#39;tabs_scroll_container&#39;)}&gt;<br>      &lt;div className={cx(&#39;tabs_scroll_box&#39;)} ref={ref}&gt;<br>        {filterTagList.map((tagItem, idx) =&gt; (<br>          &lt;button<br>            key={`${tagItem}_${idx}`}<br>            className={cx(&#39;tab&#39;)}<br>            type=&quot;button&quot;<br>            aria-selected={tagItem === selectedTag}<br>            onClick={() =&gt; setSelectedTag(tagItem)}<br>          &gt;<br>            &lt;span className={cx(&#39;name&#39;)}&gt;{tagItem}&lt;/span&gt;<br>          &lt;/button&gt;<br>        ))}<br>      &lt;/div&gt;<br>      {!isReachStart &amp;&amp; (<br>        &lt;button<br>          type=&quot;button&quot;<br>          className={cx(&#39;prev&#39;)}<br>          aria-label=&quot;이전&quot;<br>          onClick={() =&gt; {<br>            scrollIntoView(&#39;start&#39;, {<br>              align: &#39;end&#39;,<br>              duration: 500,<br>            });<br>          }}<br>        /&gt;<br>      )}<br>      {!isReachEnd &amp;&amp; (<br>        &lt;button<br>          type=&quot;button&quot;<br>          className={cx(&#39;next&#39;)}<br>          aria-label=&quot;다음&quot;<br>          onClick={() =&gt; {<br>            scrollIntoView(&#39;end&#39;, {<br>              align: &#39;start&#39;,<br>              duration: 500,<br>            });<br>          }}<br>        /&gt;<br>      )}<br>    &lt;/div&gt;<br>  );<br>};<br><br>export default Tab;</pre><p>적용부분별로 나눠서 설명드리겠습니다</p><h4>target element 지정</h4><p>우선 <a href="http://twitter.com/egjs/react-conveyer">@egjs/react-conveyer</a> 를 적용할 대상을 지정해줘야 합니다</p><pre>const ref = useRef&lt;HTMLDivElement&gt;(null);<br>useConveyer(ref);</pre><p>`useConveyer(ref)` hook에 파라미터로 넘겼던 ref 참조를<br>scroll item 들을 포함하고 있는 부모 element ref 로 지정해줍니다</p><pre>&lt;div className={cx(&#39;tabs_scroll_box&#39;)} ref={ref}&gt;<br>  {filterTagList.map((tagItem, idx) =&gt; (<br>    &lt;button &gt;<br>    // ...<br>    &lt;/button&gt;<br>  ))}<br>&lt;/div&gt;</pre><h4>useConveyer</h4><p>이제 본격적으로 라이브러리를 사용하면 되는데요</p><pre>const { isReachStart, isReachEnd, scrollIntoView } = useConveyer(ref);</pre><p>`useConveyer` hook 으로 스펙 구현에 필요한 변수/함수를 가져옵니다</p><ul><li>isReachStart : 스크롤이 시작부분에 (왼쪽) 도달했는지 확인해주는 boolean 값</li><li>isReachEnd : 스크롤이 끝부분에 (오른쪽) 도달했는지 확인해주는 boolean 값</li><li>scrollIntoView : 영역 밖에 있는 item 들을 스크롤해서 display zone 으로 끌어온다고 생각하시면 되는데..<br>우선 다음 영상으로 개략적으로 참고해주시기 바랍니다</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CaVx-o4PY2B7oUEEAYvXww.gif" /></figure><blockquote>세부설명은 <a href="https://naver.github.io/egjs-conveyer/docs/examples/Methods/#scrollintoview">document</a> 를 참조</blockquote><h4>⬅️ 버튼</h4><pre>{!isReachStart &amp;&amp; (<br>  &lt;button<br>    type=&quot;button&quot;<br>    className={cx(&#39;prev&#39;)}<br>    aria-label=&quot;이전&quot;<br>    onClick={() =&gt; {<br>      scrollIntoView(&#39;start&#39;, {<br>        align: &#39;end&#39;,<br>        duration: 500,<br>      });<br>    }}<br>  /&gt;<br>)}</pre><ul><li>`!isReachStart` : 스크롤이 시작부분에 오지 않았을때만 노출하도록 합니다</li><li>`scrollIntoView(‘start’, {align: ‘end’})` : display zone 의 start 영역으로 바깥에 있는 element 들을 가져옵니다.<br>그리고 display zone 의 end 영역에 item 이 위치하도록 각을 맞춥니다</li></ul><h4>➡️ 버튼</h4><pre>{!isReachEnd &amp;&amp; (<br>  &lt;button<br>    type=&quot;button&quot;<br>    className={cx(&#39;next&#39;)}<br>    aria-label=&quot;다음&quot;<br>    onClick={() =&gt; {<br>      scrollIntoView(&#39;end&#39;, {<br>        align: &#39;start&#39;,<br>        duration: 500,<br>      });<br>    }}<br>  /&gt;<br>)}<br>&lt;/div&gt;</pre><ul><li>`!isReachEnd` : 스크롤이 끝부분에 오지 않았을때만 노출하도록 합니다</li><li>`scrollIntoView(‘end’, {align: ‘start’})` : display zone 의 end 영역으로 바깥에 있는 element 들을 가져옵니다.<br>그리고 display zone 의 start 영역에 item 이 위치하도록 각을 맞춥니다</li></ul><h3>마치며</h3><p>아무래도 view library 설명이다 보니 글만으로는 이해가 어려우신 부분도 있으실것 같은데요<br><a href="https://naver.github.io/egjs-conveyer/docs">공식문서</a>에 설명이 잘 되어있으니 이해 안되시는 부분은 문서 참고 부탁드립니다<br>특히 scrollIntoView 관련해서 잘 이해 안되시는 부분 있으시면 <a href="https://naver.github.io/egjs-conveyer/docs/examples/Methods#example">sample</a> 한번 보시면 도움이 되실것 같습니다</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=66b3d44f88e7" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/egjs-react-conveyer-66b3d44f88e7">@egjs/react-conveyer</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Date-fns]]></title>
            <link>https://medium.com/naver-biz-dev/date-fns-64c962200506?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/64c962200506</guid>
            <category><![CDATA[typescript]]></category>
            <category><![CDATA[date-fns]]></category>
            <category><![CDATA[naver]]></category>
            <category><![CDATA[dateutil]]></category>
            <category><![CDATA[functional-programming]]></category>
            <dc:creator><![CDATA[Hansuk Kim]]></dc:creator>
            <pubDate>Fri, 16 Jun 2023 06:58:19 GMT</pubDate>
            <atom:updated>2023-06-16T06:58:19.325Z</atom:updated>
            <content:encoded><![CDATA[<h3>도입배경</h3><p>여행상품 검색결과에 노출되는 항공권 최저가 API 작업을 할때<br>날짜를 많이 다룰일이 있었습니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O9pgJo8gczOINYtbh2uHCA.png" /></figure><p>원래대로라면 날짜관련 부가기능이 많이 들어있는 moment.js 를 사용했을텐데요<br><a href="https://momentjs.com/docs/#/-project-status/">moment project status</a> 를 보니 moment.js 가 사실상 추가 개선이 없는 legacy 모드로 전환되었습니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/741/1*-BFrbC_RA83ghLd1btCP_Q.png" /></figure><p>이에 따른 대안으로 dayjs 사용을 생각해보았으나 <br>필요로 하는 날짜계산 관련 기능이 조금 충분치 않았습니다</p><p>그래서 다른 대안을 찾아보던중 <a href="https://date-fns.org/">date-fns</a> 라는 라이브러리를 사용해보게 되었고, 작업하면서 꽤 만족스럽게 사용했어서 간단히 공유드리려고 합니다</p><h3>date-fns 특장점</h3><p>date-fns 는 moment.js, dayjs 와 같은 날짜 라이브러리입니다<br>날짜 관련 util 이 대동소이 하겠지만<br>date-fns 특징을 다음과 같이 요약해볼수 있을것같습니다</p><ul><li>다양한 날짜 계산 기능 제공</li><li>Native Date 객체를 사용한다</li><li>함수형으로 사용하기 용이하다</li></ul><h4>다양한 기능 제공</h4><p>작업하면서 날짜를 다루는데 필요한 기능들을 date-fns 에서 대부분 발견할수 있었습니다</p><p>예시로 아래와 같이 `eachDayOfInterval` 함수를 사용해서 <br>시작일-종료일 사이에 날짜들을 쉽게 구할수 있었습니다</p><pre>test(&#39;get days from today to 2 month after&#39;, () =&gt; {<br> // given<br> const start = new Date(2022, 7, 29); // &#39;20220829&#39;<br> const end = endOfMonth(addMonths(start, 2));<br>// when<br> const intervalDays = eachDayOfInterval({ start, end });<br>// then<br> expect(format(intervalDays[0], &#39;yyyyMMdd&#39;)).toBe(&#39;20220829&#39;);<br> expect(format(intervalDays[intervalDays.length - 1], &#39;yyyyMMdd&#39;)).toBe(<br> &#39;20221031&#39;,<br> );<br> expect(intervalDays).toHaveLength(64);<br>});</pre><blockquote>eachWeekOfInterval, eachMonthOfInterval 같은 함수를 통해서 주,월 단위도 조회 가능합니다</blockquote><p>또한 ‘다음주 토요일’ 같이 꽤 세부적인 요구사항의 경우도 <br>`nextSaturday` 함수를 통해 바로 구할수 있었습니다</p><pre>test(&#39;get next saturday&#39;, () =&gt; {<br> // given<br> const somedayOfweek = new Date(2022, 8, 27); // &#39;20220927&#39;<br>// when<br> const nextSat = nextSaturday(somedayOfweek);<br>// then<br> expect(format(nextSat, &#39;yyyyMMdd&#39;)).toBe(&#39;20221001&#39;);<br> expect(getDay(nextSat)).toBe(6);<br>});</pre><p><a href="https://date-fns.org/docs/Getting-Started">가이드 문서</a>를 참고하시면<br>이외에도 제공하는 다양한 기능들을 확인하실수 있습니다</p><h4>Native Date 객체 사용</h4><p>Moment.js, day.js 는 라이브러리 생성자를 통해<br>Moment, Day 같은 wrapper object를 만들고<br>해당 object의 함수를 통해서 날짜를 계산하거나 원하는 값들을 얻습니다</p><pre>// moment<br>var day = new Date(2011, 9, 16);<br>var dayWrapper = moment(day);<br>// dayjs<br>dayjs(&#39;2018–04–04T16:00:00.000Z&#39;)</pre><p>이를통해 기존 자바스크립트 Date 에서 제공하지 않는 기능들을<br>wrapper 객체에서 바로 사용할수 있게 하는건 장점이라고 할수 있지만</p><p>반면에 해당 라이브러리의 기능을 사용하기 위해서는<br>wrapper 객체로 변환이 필요하다는점이 단점이 되기도 합니다</p><blockquote>DB에 데이터를 저장하거나, API 응답값으로 날짜를 전달할때<br>날짜형태 호환을 위해서 Date object 로 변환해야한다는 점도 다소 번거로울수 있겠습니다</blockquote><p>반면에 date-fns 는 wrapper 없이 기존 Date 객체를 다루는 함수들만 제공해주는데요<br>(그래서 이름을 date-fns 으로 지었을지도?)</p><p>진구님이 작성하신 date-fns util test 를 예시로 들어보면<br>날짜 관련 변수들을 wrapper 로 감싸지 않고도<br>필요한 연산들을 쉽게 수행할수있는것을 확인할수 있습니다</p><pre>test(&#39;compare if the date has been updated since a certain time yesterday&#39;, () =&gt; {<br> //given<br> const today = new Date(&#39;2022–08–26T01:00:00&#39;);<br> const newUpdateDate = new Date(&#39;2022–08–26T05:00:00&#39;);<br> const oldUpdateDate = subDays(today, 10);<br> const yesterdayOneOclock = subDays(today, 1);<br>//when<br> const isAfterYesterday = isAfter(newUpdateDate, yesterdayOneOclock);<br> const isBeforeYesterday = isBefore(oldUpdateDate, yesterdayOneOclock);<br>//then<br> expect(isAfterYesterday).toBeTruthy();<br> expect(isBeforeYesterday).toBeTruthy();<br>});</pre><p>취향의 영역이겠지만 개인적으로는 기본 js Date 객체를 활용할수있는게<br>호환성 측면에서 장점이 있다고 생각합니다</p><h4>함수형으로 쓰기 쉬움</h4><p>Moment.js 의 <a href="https://momentjs.com/guides/#/lib-concepts/mutability/">mutability</a> 특징은 함수형으로 코딩하는걸 다소 어렵게 만드는데요<br>date-fns 함수들은 pure function 으로 Input Date 조작없이 새로운 Date 객체를 반환하도록 되어있어<br>함수형으로 쓰기 좋게 되어있습니다</p><p>date-fns 함수를 간단하게 `Input(Date) -&gt; Output(new Date)` 으로 표현해볼수 있겠는데요<br><a href="https://lodash.com/docs/4.17.15#flow">lodash flow</a> 를 사용해서 아래와 같이 함수 chaining 도 해볼수 있습니다</p><pre>_.flow(addMonths, endOfMonth)(searchDate, 2);</pre><p>함수형 관련 내용은 date-fns 문서의 <a href="https://date-fns.org/v2.29.3/docs/FP-Guide">FP-Guide</a> 를 참조해주시면 되겠습니다</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=64c962200506" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/date-fns-64c962200506">Date-fns</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Varnish Cache #3 : Configuration]]></title>
            <link>https://medium.com/naver-biz-dev/varnish-cache-3-configuration-94087fd18522?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/94087fd18522</guid>
            <category><![CDATA[react]]></category>
            <category><![CDATA[cache]]></category>
            <category><![CDATA[naver]]></category>
            <category><![CDATA[front-end-development]]></category>
            <category><![CDATA[varnish]]></category>
            <dc:creator><![CDATA[Hansuk Kim]]></dc:creator>
            <pubDate>Fri, 16 Jun 2023 06:57:19 GMT</pubDate>
            <atom:updated>2023-06-16T07:29:04.303Z</atom:updated>
            <content:encoded><![CDATA[<h3>Varnish Cache #3 : Monitoring</h3><p>Varnish Monitoring Tool 들을 이용해서 Varnish 적용 후 수치들을 확인해 볼 수 있습니다 <br>Cache Hit 비율은 잘 나오는지, Cache Key 가 생각한대로 적용이 되었는지, 메모리는 어느정도 사용하는지 등등입니다</p><p>항공권 서비스를 예시로 Varnish 모니터링 도구를 몇개 소개해드릴텐데요<br>모니터링 실행시 참고하실 사항 몇가지를 먼저 말씀드려 보겠습니다</p><pre>/home/apps/varnish/bin</pre><p>앞으로 말씀드릴 varnish 모니터링 실행파일들이 있는 경로 입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/956/1*cPIOB4SiLrC52k8lU2iGZA.png" /></figure><pre>-n /home/apps/varnish/var/run</pre><p>모니터링 파일을 실행시킬때 명령어에 `-n` 옵션으로 varnish working dir 를 지정합니다</p><blockquote>varnish working dir 에 대해서는 이전 글에서 가볍게 다뤘었습니다</blockquote><h3>varnishstat</h3><p>Varnish 에서 집계하는 <strong>각종 수치</strong> 를 볼수있는 모니터링 툴입니다<br>항공권 서비스의 Varnish Cache Hit / Miss 수치, 메모리 사용량을 예시로 확인해보도록 하겠습니다</p><p>varnishstat은 다음 명령어로 실행합니다</p><pre>./varnishstat -n /home/apps/varnish/var/run</pre><h4>Varnish Cache Hit / Miss Counter</h4><p>실행하면 상단에 MAIN.cache_hit, MAIN.cache_hit_grace, MAIN.cache_miss 같은 수치들이 나옵니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BhHz00fKDPy6b3GPHH6Bfg.png" /></figure><p>항목중에 cache_hit / cache_miss 는 말그대로 cache hit / miss 개수를 나타냅니다<br>cache_hit_grace 는 grace 상태에서 cache hit 을 하게된 수치입니다</p><blockquote>grace 세부설명은 이전 글을 참조하시면 됩니다</blockquote><p>표 상단에 흰색줄로 표시된 ‘CURRENT / CHANGE / AVERAGE / AVG_XXX’ 는 다음과 같은 의미입니다</p><ul><li>CURRENT : 현재까지 집계된 개수(Counter)</li><li>CHANGE: 초당(per second) 수치 변화 개수</li><li>AVERAGE : 평균값</li><li>AVG_XXX : 지난 최근 모니터링 횟수 XX 사이에 평균</li></ul><p>예를들어 AVG_10 이면 CHANGE 가 10번 바뀌었을동안의 평균이라고 생각하시면 됩니다</p><h4>Varnish Memory Usage</h4><p>좀더 아래로 내려가보면 `SMA.` 으로 시작하는 항목들이 보입니다<br>SMA 는 Shared Memory Allocation 의 약자인데요, 지난 글에서 Varnish Shared Memory 에 대해 말씀드린부분과 관련이 있습니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MyEdgk5qUn68-2JdgqbNeA.png" /></figure><p>g_bytes 는 현재 캐싱에 사용되고 있는 메모리 사이즈를 나타냅니다. 2M 정도밖에 안되니는 많이 귀여운 수치네요ㅎㅎ<br>g_space 는 남아있는 메모리 사이즈입니다. 1021M 정도가 남았네요<br>이정도면 최초에 Varnish 실행시키면서 `-s malloc,1G` 로 할당했던 메모리 여유공간이 거의 그대로 남아있다는걸 알 수 있습니다</p><h3>varnishlog</h3><p>nginx access log 보는것과 비슷하게, Varnish 에서도 유입된 요청 로그들을 확인할수 있습니다</p><pre>./varnishlog -n /home/apps/varnish/var/run</pre><p>으로 로그를 확인하실수 있는데요<br>varnish request / response 에 관련된 거의 모든 항목을 확인해볼수 있다고 생각하시면 됩니다<br>항목중에 조금 눈여겨 봐야될 부분만 말씀드려보겠습니다</p><p>varnishlog 를 실행하면 아래와 같이 로그가 출력됩니다</p><pre>* &lt;&lt; Request &gt;&gt; 5885845 <br>- Begin req 5885844 rxreq<br>- Timestamp Start: 1649639945.105580 0.000000 0.000000<br>- Timestamp Req: 1649639945.105580 0.000000 0.000000<br>- VCL_use boot<br>- ReqStart 10.96.24.59 58864 a0<br>- ReqMethod GET<br>- ReqURL /?ZZZZZZZZZ<br>- ReqProtocol HTTP/1.1<br>(중략…)<br>- VCL_return hash<br>- VCL_call HASH<br>- Hash &quot;XXXXXX&quot;<br>- Hash &quot;YYYYYY&quot;<br>- VCL_return lookup<br>- Hit 5989100 -5.290442 1800.000000 0.000000<br>- VCL_call HIT<br>- VCL_return deliver<br>- Link bereq 5885846 bgfetch<br>- Timestamp Fetch: 1649639945.105671 0.000091 0.000091<br>- RespProtocol HTTP/1.1<br>- RespStatus 200<br>- RespReason OK<br>- RespHeader Server: nginx/1.14.2<br>(중략..)<br>- End</pre><blockquote>로그가 길어서 중간에 생략을 좀 해봤습니다</blockquote><p>이중에서 조금 관심있게 볼만한 부분을 발췌해보면 아래와 같은데요</p><pre>- VCL_return hash<br>- VCL_call HASH<br>- Hash &quot;XXXXXX&quot;<br>- Hash &quot;YYYYYY&quot;<br>- VCL_return lookup<br>- Hit 5989100 -5.290442 1800.000000 0.000000<br>- VCL_call HIT<br>- VCL_return deliver</pre><p>Hash 를 보면 cache key가 잘 생성된걸 확인할 수 있습니다</p><pre>- Hash &quot;XXXXXX&quot;<br>- Hash &quot;YYYYYY&quot;</pre><p>VCL_return -&gt; VCL_call 흐름을 보면 VCL flow 가 어떻게 진행되는지도 확인할수가 있네요</p><blockquote>VCL flow 는 이전글을 참고해주시면 됩니다</blockquote><pre>- VCL_call HIT<br>- VCL_return deliver</pre><h3>varnishhist</h3><p>varnish 성능이 어떻게 나오는지 시각적으로 보시고 싶다면 varnishhist 를 사용하실수 있습니다<br>cache hit / miss 수치를 히스토그램(막대그래프) 로 보여주는 모니터링 툴인데요</p><p>항공권 Varnish 서버에서 아래 명령으로</p><pre>./varnishhist -n /home/apps/varnish/var/run</pre><p>varnishhist 를 실행하면 hit / miss 가 실시간으로 반영되어 히스토그램으로 나타납니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mtsxdmVdcwqgkQbI3G3XWg.png" /></figure><p>히스토그램 표기에 대해 설명을 드리면</p><ul><li>‘|’ 표시는 cache HIT 을 뜻하고</li><li>‘#’ 표시는 cache MISS 를 뜻합니다</li></ul><p>X 축에 있는 시간은 request 를 varnish 가 처리한 <strong>내부 처리시간</strong> 을 보여주는데요</p><blockquote>참고로 여기 나온 시간을 client 에서 호출하고 응답받는 전체 처리시간과 헷갈리시면 안됩니다.</blockquote><p>X축 시간 표기의 정의는 ‘request from kernel to Varnish and response from Varnish to kernel’ 입니다</p><p>그래프에서 cache hit <strong>( | 표시 )</strong> 를 처리하는 시간은 0.01ms ~ 0.1 ms 사이고</p><pre>1e-4 = 0.0001 secs or 0.1 ms or 100 µs<br>1e-5 = 0.00001 secs or 0.01 ms or 10 µs</pre><p>cache miss <strong>( # 표시 )</strong> 를 처리하는 시간은 1ms ~ 10ms 정도 걸리는걸 확인할 수 있습니다</p><pre>1e-2 = 0.01 secs or 10 ms<br>1e-3 = 0.001 secs or 1 ms or 1000 µs (microseconds)</pre><p>varnish 서버 내부에서 처리되는 속도라는걸 감안하더라도 매우 빠르다는것을 알 수 있습니다<br>관련해서 좀 더 자세한 설명은 <a href="https://boyter.org/2016/10/explaining-varnishhist/">Explaining VarnishHist</a> 를 참고해주시면 되겠습니다</p><h3>cache MISS 는 왜 생길까?</h3><p>varnishstat 이나 varnishhist 수치를 보시면, cache MISS 수치가 생각보다 조금 있는데?<br>라는 의문점이 드실 수 있습니다</p><p>여기서 유의하셔서 구분하셔야 될 점이 있는데요<br>cache key 에 해당하는 데이터가 없을때도 cache MISS 가 되지만<br>pass 로 처리한 경우도 cache MISS 로 처리됩니다</p><p>기억을 잘 돌이켜 보시면 항공권 Varnish서버에서 pass 로 처리한 요청이 하나 있었습니다</p><pre>sub vcl_recv {<br>  if (req.url ~ &quot;^/monitor/l7check&quot;) {<br>    return (pass);<br>  }<br>  return(hash);<br>}</pre><p>3초마다 수행되는 모니터링 요청 <em>/monitor/l7check</em> 는 항상 PASS 가 되어 MISS 수치로 집계되는데요</p><p>모니터링 경로로 집계되는 MISS 수치를 구분할수 없는 한계점이 있어도<br>현재 hit 율이 80% 정도로 나오고 있는점을 보아<br>캐싱 대상만 고려했을때는 hit 율이 90% 중후반으로 나올것으로 예상됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*COq9QFYBNuJ_B-k8h_Jk8Q.png" /></figure><blockquote>hit 율 표기는 `varnishstat` 실행시 우측 상단에 노출됩니다</blockquote><h3>Future work</h3><p>지금까지 이야기한 모니터링 방식들은 서버에 들어가서 직접 실행해야 볼수있다는 아쉬움이 약간 있는데요<br>추후에 prometheus varnish exporter 를 연동하게 되면 grafana 로 접속해 수치들을 확인할수도 있을것 같습니다</p><p>모쪼록 Varnish 를 적용하시는 분들이 많아지셔서 유용한 기능들과 사용법을 많이 발견하면 좋겠습니다<br>지금까지 긴글 읽어주셔서 감사합니다~ Varnish 많.관.부!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=94087fd18522" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/varnish-cache-3-configuration-94087fd18522">Varnish Cache #3 : Configuration</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Varnish Cache #2 : Configuration]]></title>
            <link>https://medium.com/naver-biz-dev/varnish-cache-2-configuration-1b82f8d3cd3?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/1b82f8d3cd3</guid>
            <category><![CDATA[cache]]></category>
            <category><![CDATA[front-end-development]]></category>
            <category><![CDATA[react]]></category>
            <category><![CDATA[naver]]></category>
            <category><![CDATA[varnish]]></category>
            <dc:creator><![CDATA[Hansuk Kim]]></dc:creator>
            <pubDate>Fri, 16 Jun 2023 06:56:06 GMT</pubDate>
            <atom:updated>2023-06-16T07:29:16.862Z</atom:updated>
            <content:encoded><![CDATA[<h3>Varnish Cache #2 : Configuration</h3><p>Varnish 를 커스터마이징 또는 유지보수 하실때 도움이 될수 있도록 <br>항공권 서비스에 세팅한 Varnish 설정에 대해 설명드리려 합니다</p><h3>실행 명령어</h3><p>아래 varnishd 명령으로 항공권 통검 Varnish 를 실행시키는데요<br>사용한 옵션들에 대해 항목별로 설명해 드리도록 하겠습니다</p><pre>/home/apps/varnish/sbin/varnishd -F <br>-f /home/apps/varnish/vcl/hit.vcl <br>-s malloc,1G<br>-n /home/apps/varnish/var/run <br>-a :80 <br>-p vsl_mask=+Hash</pre><h4>-F</h4><p>Foreground mode 로 실행한다는 옵션입니다<br>Docker container 실행시 container run 상태를 유지하기 위해 설정했습니다</p><h4>-f /home/apps/varnish/vcl/hit.vcl</h4><p>Varnish 가 참조할 VCL 설정 파일의 경로를 지정해주는 옵션입니다<br>Cache On / Off 기능을 구현하기 위해<br>hit.vcl 과 pass.vcl 파일을 각각 생성했다고 말씀드렸었는데요<br>-f 옵션으로 어떤 VCL 파일을 참조하느냐에 따라 Cache On / Off 설정이 바뀌게 됩니다</p><h4>-s malloc,1G</h4><p>html 페이지를 캐싱하려면 메모리 공간이 필요하겠죠?<br>Varnish가 사용할 storage 사이즈를 설정해주는 옵션입니다.</p><p>처음에는 사용량이 가늠이 안되서 4G 정도로 넉넉하게 잡았었는데<br>모니터링을 해보니 100M 정도밖에 사용하지 않아서<br>1G 로 잡아도 충분할것 같아서 위와 같이 설정했습니다</p><h4>-n /home/apps/varnish/var/run</h4><p>Varnish working directory를 지정해주는 옵션입니다<br>varnish 실행에 관련된 정보들을 저장하고 있습니다 (ex. varnish process pid)</p><p>working directory 는 추후 varnish 모니터링/로깅 툴을 실행할때도 사용됩니다<br>예를들어 <em>./varnishstat -n /home/apps/varnish/var/run</em> 과 같이 사용됩니다</p><h4>-a :80</h4><p>varnish listen port 를 지정해줍니다<br>참고로 irteam 계정으로 80 포트를 사용하기 위해서<br>Varnish Dockerfile 에서 아래와 같은 명령을 수행했습니다</p><pre>USER root<br>RUN /usr/sbin/setcap &#39;cap_net_bind_service=+ep&#39; <br>/home/apps/varnish/sbin/varnishd</pre><h4>-p vsl_mask=+Hash</h4><p>-p 는 기타 파라미터 옵션들을 설정해줄때 사용합니다<br><em>vsl_mask=+Hash</em> 옵션은 cache key 가 의도한 대로 설정되었는지 확인하기 위해서 세팅했습니다<br>만약 저 옵션이 없으면 cache key 가 hash 된 값으로 보여서 의도한대로 설정되었는지 확인이 어렵습니다</p><blockquote>varnishlog 기능으로 cache key 가 어떻게 적용되었는지 확인할수 있습니다. varnishlog 에 대해서는 모니터링에 대해 설명할때 다시 말씀드리겠습니다</blockquote><h3>설정파일</h3><p>Varnish 는 VCL(Varnish Configuration Language) 에 있는 설정을 참조해 실행됩니다<br>요청이 들어오면 Varnish 는 각 단계별로 짜여진 로직에 따라 처리방법을 결정하는데요<br>이때 처리방법을 어떻게 할지 설정하는게 VCL 파일입니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IaF6S0Nzpqi8Oin93ZoZcA.png" /></figure><p>먼저 Cache Off 모드인 pass.vcl 파일을 예시로 설명드리도록 하겠습니다</p><h4>pass.vcl</h4><p>vcl_recv -&gt; vcl_hash -&gt; vcl_pass -&gt; Backend fetch -&gt; vcl_deliver 흐름으로 진행됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IaF6S0Nzpqi8Oin93ZoZcA.png" /></figure><p>vcl_recv 는 request handling 을 하는 로직인데요<br>여기서 cache 할 request 대상을 선별할 수 있습니다</p><p>pass.vcl 는 cache 를 하지 않는 VCL 설정이므로<br>모든 요청에 대해 일괄적으로 <em>return(pass);</em> 를 했습니다</p><pre>sub vcl_recv {<br> return(pass);<br>}</pre><p>이후 캐시에 관한 별다른 처리를 하지 않고 vcl_hash -&gt; vcl_pass -&gt; Backend fetch 단계까지 넘어가게 됩니다</p><p>Backend fetch 단계는 원본서버인 어플리케이션 서버에서<br>html 응답을 받아오는 단계를 말합니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JyHWXYqTrkNMRSKocR7NXQ.png" /></figure><p>여기서 정상적으로 응답이 전달되면(deliver)<br>client 에게 응답을 해주기 전 vcl_deliver 단계로 오게 되는데요<br>여기에서는 response header 에 필요한 값을 추가하거나 정리해주는 로직을 넣습니다</p><pre>sub vcl_deliver {<br>  if (obj.hits &gt; 0) {<br>    set resp.http.X-Cache = &quot;HIT&quot;;<br>  } else {<br>    set resp.http.X-Cache = &quot;MISS&quot;;<br>  }<br>}</pre><p>Client 에서도 Cache Hit / Miss 에 대한 정보를 쉽게 파악할수 있게<br>response header X-Cache 값에 Cache Hit / Miss 여부를 넣었습니다</p><h4>hit.vcl</h4><p>hit.vcl 에서는 크게 두가지 흐름으로 진행이 되는데요<br>Cache Hit 과 Cache Miss 의 경우로 진행이 됩니다</p><h4>Cache Hit</h4><p>요청이 왔을때 Varnish 에 기존에 저장해둔 Cache 가 있으면<br>Backend Fetch 없이 Cache 를 바로 반환하고 이걸 Cache Hit 이라고 합니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K7_fes1EHQYYzITjHhnpmQ.png" /></figure><p>요청을 처리하는 첫 단계인 vcl_recv 설정에서<br>request url 들에 대해 기본적으로 cache 처리하도록 했는데요<br>단, health check 를 하는 <em>/monitor/l7check</em> 요청은 cache 처리하지 않고 pass 하도록 설정했습니다</p><pre>sub vcl_recv {<br>  if (req.url ~ &quot;^/monitor/l7check&quot;) {<br>    return (pass);<br>  }<br>  return(hash);<br>}</pre><p><em>/monitor/l7check</em> 같은 경우는 Varnish가 아닌 어플리케이션 서버의 상태를 체크하는것이기 때문에<br>cache 응답을 주는것보다 어플리케이션 서버의 실시간 응답을 전달하는게 맞다고 생각했기 때문입니다</p><p>이후 vcl_hash 단계에서는<br>hash_data 함수를 통해 cache key 를 설정해주는 작업을 진행합니다</p><p>varnish 에 해당 cache가 있으면 vcl_deliver 단계가 실행되어 client에게 캐싱된 결과를 반환하게 됩니다</p><h4>Cache Miss</h4><p>요청이 왔을때 Varnish 에 저장해둔 Cache 가 없거나 만료되면<br>Backend Fetch 를 통해 어플리케이션 서버에서 html을 받아와서<br>Varnish Cache 에 저장하고 Client 에게 전달합니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M3Z662hw9LX5MBSWqitPbA.png" /></figure><p>vcl_recv, vcl_hash 설정은 cache hit 인 경우와 동일한데요<br>cache key 에 해당하는 데이터가 없기 때문에 Backend fetch 로 어플리케이션 서버에서 html 을 가져옵니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YSyRux-diRb-VTMwpup_WQ.png" /></figure><p>이떄 vcl_backend_response 가 실행되는데요<br>여기서 cache 정책을 어떻게 설정할지 정할 수 있습니다</p><pre>sub vcl_backend_response {<br> set beresp.ttl = 10m;<br> set beresp.grace = 30m;<br> <br> if (beresp.status &gt;= 500){<br>   if (bereq.is_bgfetch){<br>   return (abandon);<br>   }<br>   set beresp.uncacheable = true;<br> }<br>}</pre><p><em>beresp.ttl </em>을 10분, <em>beresp.grace</em> 를 30분으로 설정해뒀는데요<br>ttl / grace 에 대해서는 밑에서 따로 설명드리겠지만<br>간단하게 ttl + grace 로 계산해서 cache 가 40분동안 유지된다고 생각하시면 됩니다</p><p><em>beresp.status &gt;= 500</em> 설정을 통해<br>backend response status code 가 5xx 인 것들은 에러로 판단해서 캐싱하지 않도록 설정했습니다.</p><p>만약 일시적으로 에러가 발생했을때 우연히 캐시가 됐다면<br>이후 어플리케이션 서버가 정상으로 돌아와서 정상 응답을 반환하더라도<br>Varnish는 예전에 저장했던 에러 화면을 캐시가 만료될때까지 반환할것이기 때문에<br>이런 상황을 방지하고자 5xx 응답일때는 캐시하지 않도록 설정했습니다</p><h4>backend health check</h4><p>probe 기능으로 html 을 응답하는 어플리케이션 서버의 상태를 주기적으로 체크하도록 설정했습니다</p><pre>probe healthcheck {<br> .url = &quot;/monitor/l7check&quot;;<br> .interval = 3s;<br> .window = 3;<br> .threshold = 2;<br> }<br>backend default {<br> .host = &quot;{{ .Values.backend.host }}&quot;; <br> .port = &quot;80&quot;;<br> .probe = healthcheck;<br> }</pre><p>어플리케이션 서버의 /monitor/l7check url 을 3초에 한번씩 호출해<br>3번중(window) 2번(threshold) 이상 응답이 성공하면 정상적인것으로 판단하고<br>그렇지 않으면 어플리케이션 서버가 문제가 있다고 판단해<br>client 요청에 대해 Varnish가 503 Error 를 바로 반환합니다</p><h3>grace mode</h3><p>Varnish 의 유용한 기능중 하나가 grace 인데요<br>아까 ttl + grace 가 실질적인 cache 시간이라고 했는데 그 이유를 설명드리도록 하겠습니다</p><p>예를들어 초당 100건의 요청이 동시에 들어오는 서비스가 있다고 가정했을때<br>ttl 시간만 10분으로 설정되어 있다면(grace 는 별도 설정이 안되어있음)<br>10분 후에 cache가 만료되어 backend fetch 를 해야하는 경우<br>동시다발적으로 100건의 요청이 backend 서버에 보내지게 됩니다</p><p>이렇게 되면 cache를 적용했음에도 순간적으로 backend 서버에 부담이 전해지게 됩니다<br>특히 연산이 오래 걸리는 페이지의 경우 부담은 더 커지겠죠</p><p>grace mode 기능은 이러한 문제점을 해결할수 있는데요<br>아주 쉽게말하면 async cache update 를 해준다고 생각하시면 됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HgnEdgCJ4AbY-RD_0z_Yng.png" /></figure><p>grace를 설정해두게 되면 ttl 시간이 지나서 cache 가 만료된 상태일때<br>request 가 들어오면 <strong>기존에 cache 된 값을 전달해주면서</strong><br>이와 동시에 1건의 backend fetch 요청을 통해 cache 값을 업데이트합니다</p><p>예를들어 ttl 10분 + grace 30분으로 설정된 경우<br>캐시 생성후 10분이 지났을때 request 가 들어와도<br>grace 가 설정되어 있기 때문에 cache 값을 varnish 에서 바로 전달합니다<br>그리고 동시에 backend 서버에 1건의 요청을 보내 cache를 업데이트 해서<br>이후 요청부터는 새로운 html 이 전달되게 됩니다</p><p>backend 입장에서는 100건의 요청을 동시다발적으로 받지 않고<br>1건의 요청만 받기때문에 순간적인 부하를 줄일 수 있고<br>client 입장에서도 varnish 를 통해 지연없이 캐싱된 html 을 받아볼수 있습니다</p><h3>마무리</h3><p>Varnish 에 적용된 실행 옵션과 VCL 설정값들에 대해 이야기해 보았는데요<br>더 궁금하신 점이 있으시면 <a href="https://varnish-cache.org/docs/7.0/users-guide/">Varnish User Guide</a> 를 참고해주시면 될것같습니다.</p><p>이번 글을 참고하셔서 Varnish 를 요구사항에 맞게 세팅하거나 수정하실수 있기를 바라며<br>다음 글에서는 Varnish 모니터링 방법에 대해 설명드리도록 하겠습니다</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1b82f8d3cd3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/varnish-cache-2-configuration-1b82f8d3cd3">Varnish Cache #2 : Configuration</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Varnish Cache #1 : React Page Cache]]></title>
            <link>https://medium.com/naver-biz-dev/varnish-cache-1-react-page-cache-59c66903ea98?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/59c66903ea98</guid>
            <category><![CDATA[naver]]></category>
            <category><![CDATA[cache]]></category>
            <category><![CDATA[varnish]]></category>
            <category><![CDATA[front-end-development]]></category>
            <category><![CDATA[react]]></category>
            <dc:creator><![CDATA[Hansuk Kim]]></dc:creator>
            <pubDate>Fri, 16 Jun 2023 06:54:48 GMT</pubDate>
            <atom:updated>2023-06-16T06:54:48.612Z</atom:updated>
            <content:encoded><![CDATA[<h3>Varnish Cache #1 : React Page Cache</h3><p>네이버 검색창에서 “OO 항공권&quot; 으로 검색하면 아래와 같이 항공권을 조회할수 있는 화면이 나오는데요. 네이버 통합검색에 노출되는 페이지이다 보니 성능적으로 아래 요구사항들을 충족시켜야 했습니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/403/1*JbJAQVzbyWZiUe8fVP5olA.png" /></figure><ul><li>속도 : 사용자가 항공권 검색을 했을때 1초 미만으로 페이지 노출</li><li>처리량: 사용자들이 몰려도 서비스 안정성 유지</li></ul><p>해당 요구사항들을 충족시티는 방법으로 Cache 를 적용하기로 결정했는데, 여러가지 Cache 솔루션을 검토한 결과 Varnish Cache를 적용하게 되었습니다</p><p>많은 Cache 솔루션중에 왜 Varnish 를 사용하기로 했을까요?</p><p>그전에 Varnish 가 생소하신 분들을 위해 Varnish에 대해 간단히 설명드리도록 하겠습니다</p><h3>Varnish 가 뭘까?</h3><p>한마디로 말하자면 Varnish 는 reverse caching proxy 서버입니다. 개념이 생소하신 분들을 위해 단어별로 나눠서 간단히 설명드리도록 하겠습니다</p><h4>reverse proxy</h4><p>reverse proxy 서버는 유저와 원본서버(ex. React Web App Server) 사이에서 요청,응답을 중계해주며<br>보통 load balancing, caching 같은 추가 기능들을 제공합니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*jUdSWd5-jfQX3gksY--vMA.jpeg" /></figure><p>알고계시는 Apache, Nginx 도 reverse proxy server 라고 할수있습니다</p><h4>cache</h4><p>cache server 로서 무엇을 캐싱할까요? 동적으로 생성된 웹 페이지를 cache 해주는 역할을 합니다.<br>항공권 서비스를 예로들자면, 유저 질의에 대해 React Server 에서 응답으로 전달하는 html 을 캐싱하게 됩니다</p><p>궁금하신 분들을 위해 살짝 짚고 넘어갈 부분이 있는데요<br>Nginx 에서도 캐싱이 가능한데, 항공권 서비스에 있는 Nginx에서는 <strong>정적인 리소스</strong> 를 캐싱합니다. 바꿔말하면 서버에 파일로 존재하는 js,css,html 등의 리소스를 캐시한다고 이해하시면 됩니다</p><p>Nginx가 유저 질의별로 dynamic 하게 web app server에서 생성되는 output(html response) 을 캐싱하는 역할로 사용되고 있지는 않았고,<br>그래서 유저 요청에 대해 동적으로 생성되는 html response 를 캐싱하기 위해 Varnish를 사용하게 되었습니다</p><blockquote>참고로 nginx 에서도 fastcgi 를 사용하면 html response 캐싱이 가능할거라고 판단됩니다</blockquote><h4>Varnish = reverse caching proxy</h4><p>위에서 이야기했던 내용을 바탕으로 정리를 해 보자면<br>유저의 요청에 의해(통합검색 질의 input) 원본서버가 반환한 html 결과물을 캐싱해서 유저에게 전달하는 중계 서버<br>라고 정리할수 있겠습니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/667/1*lQPBn3w4h77sIT183C6D_Q.png" /></figure><h3>FE Cache 를 적용했을때 발생할수 있는 이슈</h3><p>Varnish 에 대해 설명드리기에 앞서<br>Cache 를 적용하게 되는 경우 발생할수 있는 이슈를 먼저 말씀드리고 넘어가려고 합니다</p><p>어떤 Cache 시스템을 사용하던지(ex, Redis), <br>신규 버전 배포후 Cache 에 이전 버전의 값이 남아있어 오류가 발생하는 케이스들이 있는데요<br>구체적으로 어떤 상황인지를 설명드리고, Varnish 로 해당 이슈를 어떻게 해결했는지 말씀드리도록 하겠습니다</p><h4>Cache 를 사용하지 않은 경우 : 문제없음</h4><p>React FE 서버에서 A 라는 요청에 대해<br>아래와 같은 html A 페이지를 만들어서 response 로 보내준다고 해봅시다<br>그리고 html A 에서 사용하는 js, css 파일도 같이 전송합니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/970/1*TdOeR9Kc-6_dT0GyI0KB3A.png" /></figure><blockquote>참고로 React 에서 render 함수를 통해 html 을 동적으로 생성하지만<br>빌드된 js,css 리소스는 어플리케이션 서버에 static 파일로 저장됩니다</blockquote><p>그런데 기능이 추가 개발되어 A 라는 요청에 대해 새로운 html B 페이지를 response 로 보내도록 변경되어 배포가 되었습니다<br>이제 html A 가 아닌 html B 가 전달이 되고<br>html B 페이지와 연관된 새로운 js,css 리소스들이 전달되게 됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/990/1*5AvnWxsXWteH3sL9g7U-Pg.png" /></figure><blockquote>이해를 돕기 위해서 html 자체가 변경되었을 경우를 가정했지만<br>html 이 변경되지 않더라도 rebuild 할때 timestamp suffix 가 달라지면서 js, css 참조경로가 변경되어 앞서 말한것과 같은 상황이 발생합니다</blockquote><blockquote>A js file : main-bundle-933c4c4f.js</blockquote><blockquote>B js file : main-bundle-56sx3g67.js</blockquote><p>중간에 Cache를 설정하지 않은경우에는 배포가 완료되었을때 의도한대로<br>A 라는 요청에 대해 html A 대신 html B를 전달하게 되고 이로 인해 발생하는 이슈는 없습니다</p><h4>Cache 를 사용하게 되는 경우 : 이전 버전 html 을 참조하는 문제</h4><p>하지만 성능향상을 위해서 중간에 Cache 를 도입하게 되는 경우 문제가 조금 복잡해집니다</p><p>처음에 Cache를 도입하게 되면 아래 그림처럼 Cache 시스템이 HTML A 를 메모리에 저장해두고 반환하게 됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*luxBcHUZvixKB-obqtfB1Q.png" /></figure><blockquote>설정된 cache ttl 이 만료되면 다시 갱신해서 저장합니다</blockquote><p>문제는 여기서 A라는 요청에 대해 html B 를 반환하기로 한 새로운 어플리케이션이 배포되었을 경우입니다<br>기대한대로라면 A 라는 요청에 html B 가 반환되어야 하지만<br>중간에 있는 Cache 서버에 있는 값은 아직 갱신되지 않았기 때문에<br>예전버전인 HTML A 를 반환하게 됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VSyh-vUy5dNiAaMMD5-U7A.png" /></figure><p>이렇게 되면 예전 버전의 html 을 반환하는것도 문제가 되지만<br>더 심각한 문제는 html A 가 참조하고 있는 .js, .css 파일이 이제 더이상 서버에 남아있지 않아<br>js,css 리소스를 찾을수 없게 되어 에러가 발생하는 것입니다</p><h3>별도의 리소스 저장소를 통한 해결법</h3><p>지금까지 말씀드렸던 FE 서비스에서 HTML Cache 를 사용할때 문제되는 상황을 요약해보자면<br>1. 애플리케이션을 재배포했을때 캐싱된 이전 버전의 html 결과물을 반환하고<br>2. 예전 html 결과물이 참조하는 js,css 파일은 원본서버에 남아있지 않아<br>3. 필요한 리소스를 찾을수 없어 에러가 난다</p><p>여기서 이런 생각을 해볼수 있습니다.<br>1번은 부분은 어쩔수 없다고 하더라도<br>2번, 즉 ‘이전 html 결과물이 참조하는 js,css 파일은 원본서버에 남아있지 않다’ 라는 부분을 해결해볼수는 없을까?</p><p>새로 배포가 되어도 이전 js,css 결과물들이 남아있도록<br>파일들을 어플리케이션 서버가 아니라, 배포에 영향받지 않는 다른 저장소에 쌓아둔다면?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/848/1*9u9izff-uZcqtswNk0kPcA.png" /></figure><p>그래서 js,css 를 CDN 에 저장하는 방법을 많은곳에서 사용하고 있습니다<br>어플리케이션을 빌드할때 js,css 를 CDN 에 업로드하고<br>어플리케이션에서 생성하는 html 에서는 CDN 에 있는 js,css 를 참조하도록 하는 방식입니다</p><blockquote>CDN : content delivery network, 자세한 설명은 <a href="https://www.ncloud.com/product/contentDelivery/cdn">문서</a> 참조</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Aal1IK5cOvvHxyjEvZ_n3g.png" /></figure><p>이렇게 되면 재배포시 Cache 에서 이전에 있던 html 을 반환하게 되더라도<br>html 에서 참조하는 이전 js,css 파일이 CDN 에 있어 리소스 반환이 가능해지고 에러를 피할 수 있습니다</p><h4>한계점</h4><p>에러상황은 피해갔지만 한계점이 있습니다</p><p>우선 CDN 에 garbage 데이터가 쌓이는걸 관리해줘야합니다<br>앞서 설명했던 예시에서 Html A 와 관련되어있는 js,css 파일은 별도 삭제를 하지 않으면 계속 남아있게 됩니다</p><p>또한 일반적으로 CDN 은 다른 네트워크 리소스에 비해 비용이 비싼 자원이고저렴한 다른 네트워크 리소스로 대체 가능하다면(예를들자면 Nginx)<br>적은 비용으로 같은 성능을 낼 수 있습니다</p><p>그리고 배포후에 CDN 캐시가 만료되기 전까지는 새로운 html 이 노출되지 않고, 이전 html 이 계속 노출된다는 점도 문제입니다<br>결과적으로 Cache 적용후 배포해도 에러가 나지 않도록 했지만<br>신규 버전의 html 을 바로 전달하지 못하는 이슈는 여전히 남아있게 되죠</p><h3>Cache On / Off 를 통한 해결법</h3><p>CDN 보다 저렴한 네트워크 리소스를 사용하면서<br>캐싱을 했음에도 배포시 새로운 html 만 나오게 할수있는 방법이 없을까 고민하다가</p><p>배포시 Cache 를 껐다가 다시 켜면 어떨까? 라는 생각을 해봤습니다<br>즉 다음과 같은 시나리오로 진행하는 방법입니다</p><h4>Cache On</h4><p>Request A 에 대해 Cache 시스템에서 Html A 를 반환합니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*okPrOOOzDF1ox_xFocqhuw.png" /></figure><h4>Cache Off</h4><p>일시적으로 캐시 시스템을 Off 하고, 원본서버 배포를 진행합니다<br>Request A 에 대해 <strong>Cache 시스템이 아닌</strong> 원본서버에서 Html 을 반환하기 때문에<br>맨 처음에 이야기했던것처럼 Cache 가 없을때 신규배포하는것과 동일하게 작동하게 됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*r1YvRayUb-XS-XBGjmSuiw.png" /></figure><h4>Cache On</h4><p>배포가 완료되면 다시 Cache 를 On 해줍니다<br>이때 Cache 시스템은 초기화된 상태로 예전 데이터가 없는 상태이고<br>Request A 에 대해 Html B 응답값을 캐싱하게 됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uEMqXRnuYzo3JJO4Wis_Pw.png" /></figure><h4>구현 세부사항</h4><p>개념만 생각했을때는 간단해보이지만<br>실제 구현을 생각하면 골치아픈 점들이 몇가지가 있습니다</p><ul><li>cache on/off 구현하기</li><li>cache off -&gt; on 으로 다시 활성화했을때 이전 데이터들을 없애고 빈 값으로 초기화 (그래야 새로운 html 이 캐싱됨)</li><li>cache off 상황일때 request 유입이 origin 서버로 가도록 변경하기</li></ul><p>그래서 세부 요구사항들을 구현 가능한 솔루션을 고민하다가<br>Varnish Cache 로 가능하겠다는 판단이 들어서 도입하게 되었습니다</p><h3>Varnish Cache On / Off</h3><p>다음 글에서 자세히 설명드리겠지만 Varnish 는 VCL 파일 설정을 통해서<br>캐시 방식을 다양하게 설정할 수 있습니다<br>그래서 심지어는 Cache 시스템임에도 불구하고 Cache를 하지 않도록 설정할수도 있습니다</p><p>그래서 저는 두 종류의 vcl 파일<br>hit.vcl (Cache On) , pass.vcl (Cache Off) 을 만들고<br>단계별로 Varnish 가 참조하는 vcl 파일을 변경함으로써 Cache On / Off 를 구현했습니다</p><p>좀더 세부적으로 설명드리면</p><h4>Varnish Cache On</h4><p>Varnish 는 hit.vcl 파일을 참조하고, 파일에 설정된 Cache 정책에 따라 html 을 캐싱합니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*7tDbLkvmTkOR1jmAX1DVPg.png" /></figure><h4>Varnish Cache Off</h4><p>어플리케이션 배포전에 Varnish Cache 에서 pass.vcl 파일을 참조하도록 변경해 Cache 기능을 해제시킵니다<br>요청이 기존과 똑같이 Varnish 로 오더라도 Varnish 에서는 아무런 처리를 하지 않고 원본서버로 bypass 시킵니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZiNwDy1uNH1XWSgSNeCMyA.png" /></figure><p>마찬가지로 Varnish Cache 가 Off 되어 있으므로<br>어플리케이션 배포가 완료되면 바로 새로운 html 을 반환하게 됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ACV1fS6dJ0511QWM2vZ4CQ.png" /></figure><h4>Varnish Cache On</h4><p>어플리케이션 배포가 완료되면 다시 Varnish가 hit.vcl 을 참조하도록 변경해<br>Cache 기능을 활성화시켜서 새로운 html 을 Varnish Cache 에서 반환하도록 합니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*txMk_v9zK4j3SUjAB6Foxw.png" /></figure><h4>Cache On / Off 전환방법</h4><p>Varnish Cache On / Off 를 할수 있는 방법을 찾았는데요<br>만약 배포시마다 이걸 수동으로 해줘야 한다면 여간 번거로운 일이 아닐수 없겠죠?</p><p>그래서 Kubernates 사내 플랫폼에 있는 workflow 기능을 사용해 클릭 한번으로 위에 말씀드린 과정을 자동으로 실행하도록 만들었습니다</p><h3>왜 Varnish 인가?</h3><p>지금까지 장황하게 설명드리긴 했지만 요약을 한번 해보자면<br>Varnish cache on / off 기능을 도입하여 아래 장점들을 얻을수 있었습니</p><ul><li>js,css 리소스 파일을 CDN 을 사용 / 관리하지 않고도 사용 가능</li><li>어플리케이션 배포후에도 html 최신본을 보장</li></ul><p>하지만 Varnish 를 택한 이유는 단순히 Cache on / off 를 구현할 수 있기때문만이 아닙니다<br>Redis 와 같이 범용적인 Cache 시스템과 다르게<br>Varnish는 web cache 용도로 특화해서 만들어진 시스템이어서<br>web cache 에서 유용하게 쓰일만한 grace mode, request coalescing 같은 기능을 여럿 갖추고 있습니다<br>또한 탁월한 성능과 풍부한 모니터링, 로깅 기능까지 갖추고 있어서 FE Cache 솔루션으로 Varnish 를 채택하게 되었습니다</p><h3>학습비용 낮추기</h3><p>Varnish가 장점이 많지만, 아무래도 처음 접하는거라 Redis 같이 익숙한 Cache 시스템과 비교했을때<br>낯설게 느껴지시는 부분이 많을수 있다고 생각이 들었습니다. 저도 그랬고요ㅎ</p><p>그래서 학습비용을 조금이나마 줄여드리기 위해<br>추가로 공유드릴 글에서 도움이 될만한 가이드를 드려보려고 합니다</p><p>FE Cache 가 필요한 다른 서비스에서도<br>Varnish 를 활용하실수 있는 계기가 되었으면 좋겠습니다</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=59c66903ea98" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/varnish-cache-1-react-page-cache-59c66903ea98">Varnish Cache #1 : React Page Cache</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Spark 스트리밍과 Session Window 소개]]></title>
            <link>https://medium.com/naver-biz-dev/spark-%EC%8A%A4%ED%8A%B8%EB%A6%AC%EB%B0%8D%EA%B3%BC-session-window-%EC%86%8C%EA%B0%9C-6471b2ffa102?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/6471b2ffa102</guid>
            <dc:creator><![CDATA[Sungmin Baek]]></dc:creator>
            <pubDate>Thu, 18 Nov 2021 10:18:45 GMT</pubDate>
            <atom:updated>2021-11-18T23:19:42.567Z</atom:updated>
            <content:encoded><![CDATA[<ol><li>지난 10월 13일 스파크 3.2.0 버전이 릴리즈 되었습니다.</li></ol><p>스파크 3.1 이 나온 지 불과 넉달만에 새로운 버전이 출시된 셈인데요. 비록 짧은 기간을 두고 발표된 새 버전이지만 Scala 3.1 지원, Rocks DB 기반 State store 제공, ANSI SQL compliance, Pandas API 지원등 중요하고 흥미있는 변경 사항들을 다수 포함하고 있는 것이 이번 버전의 특징이라고 할 수 있습니다.</p><p>이번 글에서는 새로운 스파크 버전에 포함된 다양한 변경 사항중에서 Structured Streaming의 ‘EventTime based sessionization’ 기능에 대해 소개해 보려고 합니다.</p><p>2. 스파크와 Session Window</p><p>사실 세션 윈도우 자체는 새로운 개념이 아니고 flink나 kafka streams 와 같은 일부 제품에서는 이미 제공하고 있던 기능이기 때문에 익숙한 분들이 많을 것입니다.</p><p>Spark 에서 사용하는 세션 윈도우 개념 역시 다른 라이브러리에서 제공하는 것과 크게 다르지 않지만 Structured Streaming의 워터마크(water mark)나 출력모드(output mode)에 따른 제약 사항이 있다는 점에 대해서는 잘 알아둘 필요가 있습니다.</p><p>3. Window<br>시작하기에 앞서 이번 글에서 자주 언급하게될 ‘윈도우(window)’라는 용어에 대해 알아 보도록 하겠습니다.</p><p>먼저, SQL에 익숙하신 분들이라면 select sum(col1) over(order by col2 rows between ….) 과 같은 window 함수에 대해 들어보셨을 텐데요. 스트리밍 시스템에서 윈도우라는 용어는 일정한 시간 간격으로 구분한 데이터 집합을 가리키는 용도로 사용되는 경우가 많습니다.</p><p>뿐만 아니라 SQL의 window 함수는 다소 특별한 집계 방식이 필요한 상황에서만 주로 사용되는데 반해 스트리밍 시스템에서의 window는 거의 대부분의 집계(aggregation) 연산이 필요한 상황에서 사용된다는 점도 그 차이라고 할 수 있습니다.</p><p>4. 이처럼 스트리밍 시스템에서 윈도우 개념이 중요하고 자주 사용되는 이유는 무엇일까요?</p><p>여러가지 이유를 들 수 있겠지만 그 중 하나로 꼽을 수 있는 것은 우리가 사용하고 있는 대부분의 데이터 처리 방법이 특정 시점의 데이터 스냅샷, 즉 변하지 않고 크기가 고정된 데이터를 다루는데 적합한 방식이기 때문입니다.</p><p>우리가 실시간 처리라고 부르는 방법도 실제로는 수많은 작은 데이터 스냅샷에 대한 처리를 다양한 방식으로 반복하면서 수행하는 경우가 대부분이고요</p><p>이런 사례는 (굳이 스트리밍 시스템까지 언급하지 않더라도) 우리 주변에서 쉽게 찾아볼 수 있는데요. 예를 들면 수십 테라바이트에 달하는 대용량 데이터 처리와 같은 경우를 생각해 볼 수 있습니다.</p><p>우리가 이미 잘 알고 있듯이 서버 한 대로 처리할 수 없는 대용량 데이터를 처리하는 가장 평범하면서도 확실한 방법은 전체 데이터를 처리 가능한 작은 단위로 나눈 후 여러번의 소규모 배치를 반복 수행해서 각 그룹의 데이터를 처리하고 그 결과들을 다시 하나로 합쳐서 최종 결과물로 만들어 내는 것입니다. (이 과정에서 파티션이니 셔플이니 하는 개념들도 등장하게 됩니다)</p><p>이와 같은 처리 방식은 스트리밍 처리의 경우에도 예외가 아니어서 처리하는 데이터 스냅샷의 크기(레코드 한 두개도 스냅샷으로 볼 수도 있습니다)와 이를 처리하기 위해 생성되는 배치 프로세스의 갯수, 각 배치를 처리하는데 소요되는 시간의 차이가 있을 뿐 한번에 처리 불가능한 대량의 데이터를 처리 가능한 소규모 그룹으로 나눠서 반복된 배치 처리를 통해 결과를 생성하는 방식은 여전히 동일하다고 볼 수 있습니다.</p><p>5. 하지만 그렇다고 해서 기존 배치처리와 스트리밍 처리 방식이 완전히 동일하다고는 할 수 없습니다.</p><p>그 이유는 데이터를 처리하는 시점(프로세싱 타임)과 데이터가 생성된 시점(이벤트 타임)간의 차이를 다루는 방식이 다르기 때문인데요. 일반적인 배치 처리의 경우 이 두 시각을 엄격하게 구분해서 사용하는 경우가 많지 않지만 스트리밍 처리의 경우는 그 차이를 꼼꼼히 따져봐야 하는 상황이 자주 발생하기 때문입니다.</p><p>대부분의 배치 처리에서 집계 기준으로 사용하는 시각은 데이터 자체에 기록되어 있는 시각, 즉 이벤트 타임(event time)입니다. 일반적인 배치 처리가 다루는 데이터는 대부분 이미 어딘가에 저장된, 변하지 않는 데이터를 처리하기 때문에 데이터를 언제 집계하는가는 결과에 영향을 주지 않게 됩니다.</p><p>예를 들어 날짜별 클릭수 집계 결과를 얘기할때 “11월 17일 시간별 클릭수”라고 하지 “12월 25일 13시 5분 10초에 집계한 11월 17일 시간별 클릭수”라고 언급하지 않는것과 같습니다.</p><p>6. 하지만 스트리밍 처리의 경우는 상황이 달라질 수 있습니다.</p><p>그 이유는 우리가 짧은 주기의 배치(보통 마이크로 배치라고 부릅니다)를 반복 실행시켜서 매 시점마다의 데이터 집합(스냅샷)을 처리한다고 해도 이는 어디까지나 프로세싱 시각을 기준으로 하는 데이터 스냅샷을 처리한 것일 뿐이며 이벤트 시각 관점에서 봤을때는 여전히 변경중인 데이터를 임의의 한 시점에 처리한 셈이 되기 때문입니다.</p><p>7. 예를 들어 온라인 광고 클릭 정보를 실시간으로 수집하고 가공해서 리포트를 발행해주는 시스템이 있다고 가정해 보겠습니다.</p><p>A라는 사용자가 오후 1시 5분에 핸드폰으로 어떤 광고를 클릭 했습니다. 하지만 네트워크에 문제가 생기는 바람에 해당 이벤트 정보가 로그를 기록하는 서버에 전달되지 못했고 이로 인해 약 2시간이 지난 오후 3시 5분이 되어서야 로그에 기록되는 상황이 일어났습니다.</p><p>이때 만약 우리의 스트리밍 시스템이 실제로 클릭을 한 시각을 기준으로 ‘13:00 ~ 14:00 시 동안의 클릭수’ 결과를 집계해서 출력하고 있었다면 어떤 일이 일어날까요?</p><p>해당 시스템이 제공하는 클릭수는 늦게 도착한 A 사용자의 클릭 정보로 인해 3시 5분 이전에 조회한 결과와 3시 5분 이후에 조회한 결과가 달라지는 현상이 나타나게 될 것입니다.</p><p>통합 리포트 서비스에서 여러 개의 리포트가 각각 다른 주기에 따라 스트리밍 시스템과 통신하여 결과를 낸다면, 사용자의 클릭 정보를 3시 5분 이전에 조회 했는지, 그 이후에 조회 했는지에 따라 리포트 수치들이 달라지는 문제가 발생할 수 있습니다.</p><p>이런 이유로 스트리밍 방식으로 데이터를 처리할때는 이벤트 타임과 프로세싱 타임간의 차이에 의해 발생 가능한 여러 이슈들을 주의 깊게 다룰 필요가 있습니다.</p><p>8. 그렇다면 이런 상황에서는 어떻게 처리를 하는 것이 좋을까요?</p><p>이벤트 타임과 프로세싱 타임이 달라지는 것은 어떤 면에서 보면 매우 자연스러운 현상이고 이에 대한 최적의 방법은 보는 관점에 따라 달라질 수 있습니다.</p><p>결국 우리가 할 수 있고 또 해야 할 일은 주어진 업무와 상황에 가장 적합한 방법을 잘 찾아서 선택하는 것일것 같습니다.</p><p>그럼 선택 가능한 방법에는 어떤것들이 있을까요?</p><p>9. 우선 생각해 볼 수 있는 첫번째 방법으로는 클릭수 정보가 항상 변경 가능하다는 것을 인정하고 전체 시스템을 구성하는 방법입니다.</p><p>즉 스트리밍 시스템 자체는 매번 다른 결과(클릭수)를 출력하고 이로 인해 발생 가능한 이슈는 그 데이터를 읽어가서 사용하는 각 클라이언트 시스템들이 알아서 조치하도록 하는 것입니다.</p><p>이렇게 할 경우 데이터 자체는 왜곡 없이 전달할 수 있다는 장점이 있지만 스트리밍 시스템의 출력 결과를 사용하는 시스템 입장에서는 매번 변경 될수도 있는 데이터에 대한 별도 기능 구현이 필요하게 됩니다.</p><p>일단 위 아이디어를 전제로 시스템을 구성 한다고 할때 스트리밍 시스템 입장에서는 아래 3가지 방법중 하나를 선택할 수 있을것 같습니다.</p><p>10. 첫번째는 모든 데이터를 프로세싱 타임 기준으로 처리하는 것입니다.</p><p>이는 가장 직관적인 방법으로 이벤트 타임에 대한 처리는 데이터를 사용하는쪽에 맡겨두고 스트리밍 시스템은 매번 새로 들어오는 데이터만 가공해서 결과를 내는 것입니다</p><p>예를 들어 10초마다 짧은 배치를 수행하여 1시간 간격의 클릭수를 집계하는 A 시스템이 있다고 가정해 보겠습니다.</p><p>15:00:00 에 수행된 배치가 읽어들인 데이터에 오후 2시 클릭이 10건, 오후 3시 클릭이 5건 포함되어 있을 경우 해당 배치의 출력 결과는 14시 10건, 15시 5건이 됩니다.</p><p>다시 10초 후인 15:00:10 에 수행된 배치가 읽어 들인 데이터에 오후 2시 클릭이 10건 들어올 경우 해당 배치의 출력 결과는 14시 10건이 됩니다.</p><p>따라서 3시 30분 배치 결과와 3시 40분 배치 결과를 합쳐서 최종 합계(00시 00건, 01시 00건… 14시 10건, 15시 5건…)를 만드는 것은 이 스트리밍 시스템을 사용하는 다른 시스템측에서 수행해야 합니다</p><p>스파크를 사용해 보신 분들은 스파크가 Spark Streaming과 Structured Streaming 이라는 두 가지 라이브러리를 제공하는 것을 알고 있을텐데요, 이중 Spark Streaming의 처리 방식이 바로 이와 같은 방식이라고 할 수 있습니다.</p><p>11. 두번째는 새로운 데이터가 들어올때마다 전체 결과를 모두 다시 계산해서 출력해주는 방식입니다.</p><p>위에서 말한 A 시스템에 이 방식을 적용한다면 3시 30분 배치의 결과는 00시 00건, 01시 00건, …, 14시 10건, 15시 5건 으로 3시 40분 결과는 00시 00건, 01시 00건… 14시 20건, 15시 5건… 과 같이 출력됩니다</p><p>첫 번째 방식의 경우 2시 데이터가 3시에 들어오게 되면 이전 결과를 찾아서 늦게 들어온 데이터 합계를 이전 합계에 더해주는 과정이 따로 필요 하지만 이 방식을 사용하게 되면 단순히 기존 결과를 모두 지워버리고 새로운 결과로 대체해 넣으면 되기 때문에 스트리밍 시스템을 사용하는 클라이언트 시스템 입장에서는 작업이 조금 더 단순해 질수 있다는 장점을 가질 수 있습니다. (이 방식은 Spark Structured Streaming 을 통해 제공되며 출력 모드를 Complete mode 로 설정하면 됩니다)</p><p>12. 마지막은 새로운 데이터가 들어올때마다 전체 결과를 모두 출력해 주는 대신 변경된 부분만 출력해 주는 방식입니다.</p><p>위에서 말한 A 시스템에 이 방식을 적용한다면 3시 30분 배치의 결과는 14시 10건, 15시 5건 으로 3시 40분 결과는 14시 20건과 같이 출력됩니다</p><p>클라이언트 입장에서는 여전히 업데이트 작업이 필요하지만 스트리밍 시스템 입장에서는 내부에 유지하고 있어야 하는 상태값(데이터의 건수)이 줄어들기 때문에 더 효율적인 방식이라고 할 수 있습니다.<br>(이 방식은 Spark Structured Streaming을 통해 제공되며 Update mode 라고 불립니다)</p><p>13. 하지만 어떤 방식이든 한번 출력된 결과가 변경되는 것 자체가 마음에 들지 않는다면 클릭수 집계를 최종 결과가 나올 때까지 미뤄두는 것도 하나의 대안이 될 수 있습니다.</p><p>위 예제의 경우라면 13:00 ~ 14:00 구간의 클릭수를 하루 또는 이틀이 지난 후에 출력해 줌으로써 뒤늦게 도착하는 데이터의 영향을 최소화 하는 방법입니다.</p><p>하지만 이 방법을 사용할 경우 데이터가 나올때까지 매우 오랜 시간을 기다려야 하는 데다가 아무리 오랜 시간동안 기다린다고 해도 그 후에 과거 데이터가 더 이상 안 들어온다는 보장을 하기도 쉽지 않기 때문에 바로 적용하기는 어렵습니다.</p><p>때문에 ‘얼마동안 기다릴 것인가?’를 정하는 방법이 필요하게 되며 대부분이 스트리밍 시스템은 ‘워터마크(water mark)’라는 개념을 이용하여 이런 유형의 정보를 설정할 수 있도록 지원하고 있습니다.</p><p>(이 방식은 Spark Structured Streaming을 통해 제공되며 Append mode 라고 불립니다. Append 모드를 단순히 ‘출력 결과가 더해지는 모드’라고 이해하기 보다는 ‘한번 출력된 결과가 더 이상 변경되지 않음을 보장 하는 모드’로 기억해 두시는 것이 좋습니다. 단, 현재 최신 버전인 Spark3.2.0 까지는 water mark와 근사한 차이로 도착한 데이터의 경우는 최종 결과에 포함될 가능성이 있으므로(즉 100% 보장되는 것이 아니므로) 이 부분을 주의해야 합니다)</p><p>(append 모드와 함께 워터마크를 소개했지만 워터마크 자체가 append 모드에서만 사용되는 것은 아닙니다. 각 출력모드와 워터마크의 조합은 아래 14번 항목의 도표를 참고해 보시기 바랍니다)</p><p>14. 이처럼 간단한 상황만 생각해 봐도 시간과 관련된 복잡한 이슈가 있다는 것을 쉽게 알 수 있습니다. (실제로는 이 글에서는 언급하지 않은 성능 및 안정성, 상태 관리, 모니터링, 소스나 싱크 타입 별 이슈등 고민해야 할 주제가 많습니다)</p><p>때문에 대부분의 스트리밍 데이터 시스템들은 이런 이슈에 대응하기 위한 적절한 대응 방법을 사용하고 있고 이를 위해 자주 활용되는 대표적인 개념이 바로 앞서 소개한 window 입니다 (놀라실지 모르겠지만 사실 지금까지의 긴 설명은 모두 윈도우에 대한 이 한 줄의 설명을 위한 것이었습니다…)</p><p>15. 앞에서도 설명했지만 spark는 이벤트 타임에 기반한 윈도우(window)와 워터마크(water mark), 출력모드(output mode) 개념을 제공하고 있고 이들의 조합을 통해 앞서 언급한 이슈들에 대한 해결책을 사용자가 원하는 대로 설정할 수 있도록 지원하고 있습니다.</p><p>(아래 그림은 현재 버전(Spark 3.2.0) 기준으로 쿼리 유형과 워터마크, 출력 모드를 어떻게 조합할 수 있는지에 대한 설명입니다. 앞에서는 대표적인 케이스만 설명했지만 실제로는 더 다양한 경우가 많기 때문에 다소 복잡해 보이는데요. 무조건 암기하거나 표만 참고해서 사용하기 보다는 위에 설명한 내용을 토대로 그 이유를 찬찬히 생각해 보면 왜 어떤 조건들은 조합이 되고 어떤 조합들은 안되는지 이해하실 수 있을 것입니다)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*N3wIyIzfN_OIS_DLO-JSWQ.png" /><figcaption><a href="https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#output-modes">https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#output-modes</a></figcaption></figure><p>이후로 소개할 session window 역시 다른 window와 동일하게 워터마크(water mark), 출력모드(output mode)와 조합하여 사용할 수 있습니다.</p><p>16. 그럼 지금부터 예제를 통해 스파크가 제공하는 윈도우 동작을 확인해 보겠습니다. 먼저 테스트를 위한 간단한 코드입니다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5d6fe13d4618963fcc2ad25029c85950/href">https://medium.com/media/5d6fe13d4618963fcc2ad25029c85950/href</a></iframe><p>(아래 그림은 스파크 공식 문서에서 제공하는 window 연산 관련 그림입니다. 이 글의 예제 코드와 세부적인 내용은 다르지만 앞으로 다루고자 하는 내용과 같은 개념을 알기 쉽게 설명하고 있으므로 함께 참고해 보시기 바랍니다)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*79rfRNOsWLvEvo_loz8EaA.png" /><figcaption><a href="https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#window-operations-on-event-time">https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#window-operations-on-event-time</a></figcaption></figure><p>17. 예제에서 사용하는 코드는 스파크가 제공하는 socket 소스를 사용합니다.</p><p>이를 위해서 다음과 같이 간단한 서버를 먼저 실행한 뒤 위 예제 코드를 실행합니다 (소켓 소스의 사용법은 <a href="https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#input-sources">https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#input-sources</a> 을 참고하시기 바랍니다)</p><p>nc -lk 9999</p><p>18. 서버가 준비되면 아래와 같은 데이터를 순서대로 입력하고 출력을 살펴봅니다</p><p>{“prod”:”note”, “price”: 2000, “ts”:”2021–11–14 20:53:08&quot;}</p><pre>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +<br>|window |prod|sum |<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +<br>|{2021–11–14 20:50:00, 2021–11–14 20:55:00}|note|2000|<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +</pre><p>예제 코드에서 window(col(“ts”), “5 minutes”, “5 minutes”) 부분은 이벤트 타임을 나타내는 “ts” 컬럼의 값을 기준으로 매 5분 간격(세번째 파라미터)으로 5분 길이의 윈도우(두번째 파라미터)를 설정하라는 의미입니다.</p><p>코드를 실행하고 결과를 살펴 보면 실제로 이벤트 타임(데이터 자체에 기록된 시각)을 기준으로 window가 설정된 것을 확인할 수 있습니다.</p><p>이번에는 윈도우를 window(col(“ts”), “10 minutes”, “5 minutes”) 으로 변경하고 같은 테스트를 수행해 보겠습니다</p><pre>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +<br>|window |prod|sum |<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +<br>|{2021–11–14 20:45:00, 2021–11–14 20:55:00}|note|2000|<br>|{2021–11–14 20:50:00, 2021–11–14 21:00:00}|note|2000|<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +</pre><p>결과를 보면 5분 간격으로 윈도우를 설정하되 그 길이가 10분으로 늘어난 것을 볼 수 있습니다.</p><p>우리가 입력한 데이터의 이벤트 타임은 20시 53분이기 때문에 45분~55분, 50분~00분 사이의 두 개 윈도우에 모두 속한 것을 알수 있습니다.</p><p>물론 ts 라는 컬럼 값을 이용해 직접 윈도우 컬럼을 추가하고 이 컬럼을 기준으로 groupBy를 수행할 수도 있습니다. 하지만 일반적인 텀블링 윈도우나 슬라이딩 윈도우까지 이런 방식으로 설정하기에는 귀찮은 연산이 더 많이 필요할 수 있어서 제공되는 함수를 사용하는 것을 추천합니다.</p><p>(방금 설명한 윈도우 설정 방법과 텀블링 윈도우, 슬라이딩 윈도우에 대한 자세한 내용은 <a href="https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#window-operations-on-event-time">https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#window-operations-on-event-time</a> 에서 확인하실 수 있습니다)</p><p>19. 기본적인 테스트를 마쳤으니 이번에는 편의상 윈도우를 처음처럼 5분 마다 5분 간격으로 되돌려 두고 데이터를 몇개 더 넣어 보도록 하겠습니다.</p><pre>{“prod”:”note”, “price”: 2000, “ts”:”2021–11–14 20:53:08&quot;}</pre><pre>{“prod”:”note”, “price”: 2000, “ts”:”2021–11–14 20:53:08&quot;}</pre><p>아래 결과는 위와 같이 동일한 데이터를 두번 연속 입력하고 난 후의 결과입니다. 출력된 결과를 보면 알수 있듯이 이전 데이터와 두번째 데이터의 금액이 합쳐진 결과가 출력된 것을 알 수 있습니다</p><pre>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +<br>|window |prod|sum |<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +<br>|{2021–11–14 20:50:00, 2021–11–14 20:55:00}|note|4000|<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +</pre><p>즉 이런 방식으로 데이터를 처리하게 되면 동일 윈도우, 동일 상품(prod)에 속하는 데이터가 들어올때마다 매번 새로 갱신된 데이터가 출력될것을 예상할 수 있습니다.</p><p>Spark에서는 이런 방식을 update 모드라고 하며 이는 앞에서 얘기한 “출력 결과가 항상 변할 수 있음을 가정하고 시스템을 구성하는 방식”을 위한 것이라고 할 수 있습니다.</p><p>20. 하지만 앞에서 언급했듯이 매번 출력 결과가 달라지는 이런 방식을 원치 않을 수 있습니다.</p><p>따라서 두번째 방법인 “데이터가 다 올때까지 결과를 출력하지 않고 기다리는 것” 을 선택할 수 있는데요 문제는 얼마 동안 기다려야 할지를 정하는 것인데 이는 기존 코드의 일부를 다음과 같이 수정해서 처리할 수 있습니다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/52e663cd5944e2e7709781a7bd480661/href">https://medium.com/media/52e663cd5944e2e7709781a7bd480661/href</a></iframe><p>이제 위와 같이 코드를 변경하고 실행 한 후 데이터를 입력해 보겠습니다</p><p>{“prod”:”note”, “price”: 2000, “ts”:”2021–11–14 20:53:08&quot;}</p><p>이번에는 아까와 다르게 데이터를 입력해도 아무런 결과가 나오지 않습니다.</p><pre>+ — — — + — — + — -+<br>|window|prod|sum|<br>+ — — — + — — + — -+<br>+ — — — + — — + — -+</pre><p>대신 콘솔에 아래와 같이 워터마크 값이 변경된것을 확인할 수 있습니다.</p><p>{watermark=2021–11–14T20:43:08.000Z}</p><p>위 결과는 첫번째 데이터 입력으로 워터마크 값이 20시 43분 08초로 설정되었다는 의미입니다. 이게 무슨 의미일까요?</p><p>일단 두번째 데이터를 넣어보겠습니다.</p><p>{“prod”:”note”, “price”: 2000, “ts”:”2021–11–14 20:59:55&quot;}</p><p>결과는 여전히 아무것도 출력되지 않습니다. 하지만 워터마크를 보면 20시 43분이던 시간이 20시 49분으로 변경된것을 볼 수 있습니다.</p><pre><br>+ — — — + — — + — -+<br>|window|prod|sum|<br>+ — — — + — — + — -+<br>+ — — — + — — + — -+</pre><p>{watermark=2021–11–14T20:49:55.000Z}</p><p>그럼 이 상태에서 3번째 데이터를 입력해 보겠습니다.</p><p>{“prod”:”note”, “price”: 2000, “ts”:”2021–11–14 21:09:05&quot;}</p><pre>— — — — — — — — — — — — — — — — — — — — — -<br>Batch: 6<br> — — — — — — — — — — — — — — — — — — — — — -<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +<br>|window |prod|sum |<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +<br>|{2021–11–14 20:50:00, 2021–11–14 20:55:00}|note|2000|<br>+ — — — — — — — — — — — — — — — — — — — — — + — — + — — +</pre><pre>{watermark=2021–11–14T20:59:05.000Z}</pre><p>이번에는 기다리던 결과가 나왔습니다. 설정된 윈도우를 보니 20시 50분 ~ 20:55분 사이로 되어 있습니다.</p><p>그리고 이 구간에 속하는 데이터는 우리가 맨 처음 입력한 20시 53분 데이터라는 것을 알 수 있습니다.</p><p>이런 결과가 나온 이유는 우리가 이번에 채택한 방식이 “데이터가 다 들어올때까지 충분히 기다렸다가 결과를 내어주는 방식”을 선택했기 때문입니다.</p><p>워터마크란 “데이터가 다 들어올때까지 얼마나 기다릴 것인지”를 설정하는 것인데 예제처럼 withWatermark(“ts”, “10 minutes”) 라고 지정하게 되면 현재까지 들어온 데이터중 가장 마지막에 들어온 데이터의 이벤트 타임보다 10분 빠른 시각을 워터마크 값으로 설정하라는 뜻이됩니다.</p><p>즉 맨처음 입력한 데이터가 속하는 구간인 20:50 ~ 20:55분 사이의 데이터가 확정되는 시점은 워터마크가 20:55분을 넘어서는 시점이 되고 워터마크가 그 시점에 도달한 것이 세번째 데이터를 입력했던 시점 (이때 워터마크가 20시 59분 05초로 설정됩니다)이기 때문에 그 시점에 해당 윈도우의 데이터가 출력된 것입니다.</p><p>21. 세션 윈도우</p><p>여기까지 읽으시느라 고생 많으셨습니다. 이제 드디어 오늘의 주제인 세션 윈도우를 소개할 순서가 되었습니다.</p><p>스트리밍 처리가 처음이신 분들은 지금까지의 내용이 많이 어려우실 수도 있는데요. 사실 위 내용만 잘 이해하면 세션 윈도우 처리 자체는 쉽게 이해하실 수 있을 것입니다</p><p>먼저 세션 윈도우 관련 코드를 살펴 보겠습니다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/139ba159d57a211c5eee7683ec7f8a5e/href">https://medium.com/media/139ba159d57a211c5eee7683ec7f8a5e/href</a></iframe><p>코드를 보면 알수 있듯이 지금까지 본것과 거의 동일한 코드를 사용하고 있습니다.</p><p>달라지는 점이라면 앞에서 window 라고 처리했던 부분이 session_window 라는 내용으로 바뀐 정도가 전부입니다.</p><p>변경된 코드의 내용 역시 매우 직관적인데요 session_window($”ts”, when($”age” &lt; 30, “5 minutes”).otherwise(“30 minutes”)) 라고 하면 이벤트 타임을 나타내는 “ts” 라는 컬럼을 기준으로 세션 윈도우를 만들되 age 컬럼의 값이 30보다 작으면 5분 윈도우를 적용하고 그렇지 않으면 30분을 적용하라는 의미입니다</p><p>여기서 기존 윈도우와 다른 점이 있다면 기존 윈도우는 시간 간격이 5분, 10분 등으로 고정되어 있는 반면에 세션 윈도우는 데이터가 들어올때마다 코드에 지정한 시간 만큼 윈도우를 증가시켜 준다는 차이가 있습니다.</p><p>즉 session_window($”ts”, “5 minutes”) 라고 하면 첫번째 데이터가 들어오면 5분짜리 윈도우를 설정했다가 두번째 데이터가 들어오면 그 데이터의 이벤트 시각으로 부터 또 5분을 설정하고 이런식으로 윈도우를 증가시켜가다가 더 이상 데이터가 들어오지 않으면 세션을 닫게 되는 (윈도우 크기를 더 이상 증가시키지 않는) 방식으로 처리를 수행하는 것입니다.</p><figure><img alt="https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#output-modes" src="https://cdn-images-1.medium.com/max/1024/1*LhbVdBX3Dns9jAJbsgYyhg.png" /><figcaption><a href="https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#output-modes">https://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#output-modes</a></figcaption></figure><p>그외 water mark와 출력모드(update, append) 특성은 앞에서 살펴본 것과 동일하게 작용하게 되기 때문에 세션 윈도우로 윈도우의 동적 크기를 설정하고 출력모드와 그에 따른 워터 마크 설정으로 원하는 처리 방식을 결정한다고 이해하면 됩니다.</p><p>그럼 실제 데이터를 입력해서 어떤 식으로 데이터가 출력되는지 살펴 보겠습니다.</p><p>먼저 아래와 같이 3번의 데이터를 연속 입력합니다.</p><pre>{“id”:”user2&quot;, “age”:26, “ts”:”2021–11–14 20:05:00&quot;}<br>{“id”:”user2&quot;, “age”:26, “ts”:”2021–11–14 20:08:00&quot;}<br>{“id”:”user2&quot;, “age”:26, “ts”:”2021–11–14 20:11:00&quot;}</pre><p>그 결과 세션 윈도우는 마지막 데이터 입력 시점이 20:11분으로 부터 5분 후인 20:16분으로 설정되었겠지만 워터마크가 20시 9분으로 설정되어 있기 때문에(20시 9분 이후의 데이터는 여전히 들어올수 있다는 의미) 아무런 데이터도 출력되지 않고 있는 상태가 됩니다.</p><pre>+ — — — — — — — + — -+ — — -+<br>|session_window|id |count|<br>+ — — — — — — — + — -+ — — -+<br>+ — — — — — — — + — -+ — — -+</pre><pre>{watermark=2021–11–14T20:09:00.000Z}</pre><p>이제 이 데이터가 출력될 수 있도록 아래와 같은 데이터를 입력해 보겠습니다.</p><p>{“id”:”user2&quot;, “age”:26, “ts”:”2021–11–14 20:21:00&quot;}</p><p>위 데이터의 입력으로 워터마크가 20시 19분으로 설정되었고 이는 20시 19분 이전의 데이터는 출력해도 된다는 의미가 되므로 아래와 같이 20:16분을 끝으로 하는 세션 윈도우 결과가 출력된 것을 확인 할 수 있습니다</p><pre>+ — — — — — — — — — — — — — — — — — — — — — + — — -+ — — -+<br>|session_window |id |count|<br>+ — — — — — — — — — — — — — — — — — — — — — + — — -+ — — -+<br>|{2021–11–14 20:05:00, 2021–11–14 20:16:00}|user2|3 |<br>+ — — — — — — — — — — — — — — — — — — — — — + — — -+ — — -+</pre><p>{watermark=2021–11–14T20:19:00.000Z}</p><p>22. 지금까지 스파크에 새로 추가된 세션 윈도우에 대해 알아보았습니다.</p><p>아마도 스파크나 스트리밍 처리의 경험이 많지 않으신 분들은 세션 윈도우를 설명한다고 하면서 왜 워터마크나 출력 모드 얘기를 꺼내서 더 혼란스럽게 하느냐고 생각하실 수도 있을것 같은데요, 현재 버전의 세션 윈도우를 제대로 사용하기 위해서는 워터마크와 update를 제외한 출력 모드의 사용이 필수적이기 때문에 어쩔수 없이 함께 다루게 되었습니다. (현재 버전의 세션 위도우는 업데이트 모드를 지원하지 않으며 groupBy 절에는 session_window 컬럼외에 적어도 하나의 컬럼이 더 지정되어야 하는등의 제약이 존재합니다)</p><p>23. 짧은 글을 통해 소개하다보니 내용도 부족하고 많은 부분을 생략하는 바람에 궁금한 점도 많으실것 같습니다.</p><p>사실 이글에서 언급한 스트리밍 시스템의 많은 기존 이슈들은 최근에 주목을 끌고 있는 delta lake(<a href="https://delta.io/">https://delta.io/</a>) 기술을 접목하면 전혀 다른 접근 방식을 통해 문제를 해결할 수 있습니다. 비록 이글에서는 다루지 못했지만 관심있는 분들은 한번쯤 참고해 보실것을 추천드립니다 (현재(2011년 11월 18일) Delta lake 는 Spark 3.2.0 을 공식 지원하지 않고 있지만 github issue를 확인해 보면 곧 새 버전이 릴리즈될 예정이라고 합니다)</p><p>마지막으로 이 글에서 미처 다루지 못한 내용들을 데이터브릭스의 <a href="https://databricks.com/blog/2021/10/12/native-support-of-session-window-in-spark-structured-streaming.html">https://databricks.com/blog/2021/10/12/native-support-of-session-window-in-spark-structured-streaming.html</a>도<br>참고하셔서 함께 살펴보시면 좋을듯 하여 함께 소개해드립니다</p><p>감사합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6471b2ffa102" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/spark-%EC%8A%A4%ED%8A%B8%EB%A6%AC%EB%B0%8D%EA%B3%BC-session-window-%EC%86%8C%EA%B0%9C-6471b2ffa102">Spark 스트리밍과 Session Window 소개</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[스트림 데이터를 SQL로 다룰수 있는 Flink 살펴보기]]></title>
            <link>https://medium.com/naver-biz-dev/%EC%8A%A4%ED%8A%B8%EB%A6%BC-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-sql%EB%A1%9C-%EB%8B%A4%EB%A3%B0%EC%88%98-%EC%9E%88%EB%8A%94-flink-%EC%82%B4%ED%8E%B4%EB%B3%B4%EA%B8%B0-a14b970e4eeb?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/a14b970e4eeb</guid>
            <category><![CDATA[stream]]></category>
            <category><![CDATA[kafka]]></category>
            <category><![CDATA[flink]]></category>
            <category><![CDATA[플링크]]></category>
            <category><![CDATA[sql]]></category>
            <dc:creator><![CDATA[mc.jeong]]></dc:creator>
            <pubDate>Thu, 11 Nov 2021 04:24:22 GMT</pubDate>
            <atom:updated>2021-11-11T04:24:22.633Z</atom:updated>
            <content:encoded><![CDATA[<p>Kafka가 대중화되면서 스트림데이터를 다룰 수 있게 되었지만, 스트림데이터를 다양한 차원과 조건으로 집계 하는 건 쉬운 일이 아닙니다.</p><p>오늘은 저희 조직에서 Kafka에 저장된 광고로그를 Flink 이용해서 SQL 기반으로 쉽고 빠르게 만들어낸 경험을 소개하려고 합니다.</p><h3>들어가기전에</h3><p>사실 우리 팀에서 먼저 도입한 건 <a href="https://kafka.apache.org/documentation/streams/"><strong>Kafka Streams</strong></a><strong> </strong>였습니다. 라이브러리 기반이라 가볍고, 심플하며 훌륭했습니다. 그래서 Kotlin DSL 기반으로 표현하도록 사용성을 개선해서 사용했지만 요구사항은 빠르게 늘어갔고,</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CfNV3tCmjBA2HEAwVQfLDg.png" /><figcaption>KafkaStreams 를 쓰다보면 Schema Registry 와 Kafka Connect 는 사실상 필수</figcaption></figure><p>시스템은 커지면서 스키마를 다루기 위해서는 <strong>Schema Registry</strong> 가 사실상 필수였고, 다양한 스토리지에 저장하기 위해서는 <strong>Kafka Connector</strong> 를 사용하면서 시스템이 복잡해지는 상황이었습니다.</p><p>그래서 오픈소스 중에 SQL 형태로 표현이 가능하고, 다양한 스토리지의 Sink를 지원하는 솔루션 중에서 Flink 가 가장 적합하다고 판단해서 사용해 보았습니다.</p><h3>Flink 의 도입</h3><p><a href="https://flink.apache.org/">Flink</a> 는 스트림 처리를 위한 플랫폼입니다. 다양한 스토리지는 <a href="https://ci.apache.org/projects/flink/flink-docs-master/docs/connectors/table/overview/">Connectors</a>라는 개념으로 라이브러리를 추가하면 연결 가능하고, <a href="https://ci.apache.org/projects/flink/flink-docs-master/docs/dev/table/sqlclient/">SQL Client</a> 를 사용하면 쿼리를 이용해 데이터를 다룰 수 있습니다. (기본은 DataStream API, Table API 를 사용하는 것이 기본이지만 SQL 만으로도 대부분 표현이 가능합니다)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/0*19BBweb4Lf6e84vJ.gif" /></figure><h3>스트림데이터 SQL 로 다루기</h3><p>이 글에서는 얼마나 쉽게 데이터를 다룰 수 있는지에 이야기하고 싶기 때문에 간단한 예시를 들어 설명하고자 합니다. 스트림 데이터를 분석할 때는 윈도우 단위로 집계하고 그 데이터를 저장하는 형태로 많이 사용하기 때문에 쿼리로 쉽게 표현이 어떻게 되는지 알려드리고자 합니다.</p><h4>데이터 SINK 하기 (Kafka to Elasticsearch)</h4><p>Flink는 Connector 라이브러리를 lib 폴더에 미리 복사해두면 바로 테이블로 맵핑해서 데이터를 다룰 수 있습니다.</p><p>예를 들어, Kafka의 스트림 데이터를 분석해보기 위해서 Elasticsearch로 데이터를 옮겨야 한다면 다음과 같이 테이블을 선언하면 손쉽게 데이터를 복사할 수 있습니다.</p><pre>----------------------------------<br>-- SOURCE TABLE:<br>-- KAFKA + AVRO + SCHEMA-REGISTRY<br>----------------------------------<br>CREATE TABLE IF NOT EXISTS KafkaInputLog(<br>   the_kafka_key STRING,<br>   logTime       TIMESTAMP(0),<br>   eventType     STRING,<br>   custId        STRING,   <br>   adId          STRING,<br>   mediaId       STRING,  <br>   schKwd        STRING,</pre><pre>WATERMARK FOR logTime AS logTime - INTERVAL &#39;5&#39; MINUTE<br>) WITH (<br>  &#39;connector&#39; = &#39;kafka&#39;,<br>  &#39;topic&#39; = &#39;ad-log-data&#39;,<br>  &#39;scan.startup.mode&#39; = &#39;earliest-offset&#39;,<br>  &#39;properties.bootstrap.servers&#39; = &#39;test.kafka.domain.com:9092&#39;,<br>  &#39;key.format&#39; = &#39;raw&#39;,<br>  &#39;key.fields&#39; = &#39;the_kafka_key&#39;,<br>  &#39;value.format&#39; = &#39;avro-confluent&#39;,<br>  &#39;value.avro-confluent.schema-registry.url&#39; = &#39;<a href="http://dev.schema.navercorp.com:8081&#39;">http://test.schema.domain.com:8081&#39;</a>,<br>  &#39;value.avro-confluent.schema-registry.subject&#39; = &#39;subject-ad-log-data&#39;,<br>  &#39;value.fields-include&#39; = &#39;EXCEPT_KEY&#39;<br>);</pre><pre>----------------------------------<br>-- SINK TABLE<br>----------------------------------<br>CREATE TABLE IF NOT EXISTS EsInputLog(<br>   logTime       STRING,<br>   eventType     STRING,<br>   custId        STRING,   <br>   adId          STRING,<br>   mediaId       STRING,  <br>   schKwd        STRING<br>) WITH (  <br>   &#39;connector&#39; = &#39;elasticsearch-7&#39;,  <br>   &#39;hosts&#39; = &#39;http://test.es.domain.com:10200&#39;,  <br>   &#39;index&#39; = &#39;ad-log-data-index&#39;<br>);</pre><pre>----------------------------------<br>-- KafkaInputLog -&gt; EsInputLog<br>----------------------------------<br>INSERT INTO EsInputLog<br>SELECT<br>   DATE_FORMAT(logTime, &#39;yyyyMMdd HH:mm:ss&#39;) AS logTime,<br>   eventType,<br>   custId,   <br>   adId,<br>   mediaId,  <br>   schKwd<br>FROM <br>  KafkaInputLog<br>WHERE <br>  eventType in (&#39;AD-VIEW&#39;, &#39;AD-CLICK&#39;)<br>  ;</pre><p>여기서 놀라운 건 INSERT INTO의 SELECT 절에서 WHERE 조건을 추가하거나 함수를 써서 데이터를 가공하거나 필터링을 할 수 있다는 점입니다.</p><p>스트림 데이터는 무한의 데이터를 다루기 때문에 종료되지 않는 특성이 있기 때문에, 이 쿼리는 JOB으로 등록되고 대시보드상에서 진행상황을 확인할 수 있게 됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/845/1*LIBgX8dXp5HTt3MgDoyrAQ.png" /><figcaption>Flink Jobs DashBoard</figcaption></figure><h4>Windowing Aggregate 표현</h4><p>시간은 무한히 흐르지만 하루를 24시간이라는 개념으로 나누듯</p><p>스트림 데이터도 무한히 흐르지만 분석을 위해서 어떤 단위로 나눠서 분석하는 것이 일반적입니다. 그 어떤 단위를 “<strong>윈도우</strong>”라고 부르고 어떻게 형태에 따라 윈도우는 다양한 종류가 존재합니다.</p><h4>텀블링윈도우</h4><p>쉽게 생각해서 1시간 배치를 만든다고 할때 00:00~01:00 / 01:00~02:00 와 같이 동일한 윈도우크기(1시간) 에 시간대가 안겹쳐지는 형태를 의미합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/620/1*CZYiQFjdwwQr7X_vOJxq_w.png" /><figcaption>텀블링 윈도우의 표현</figcaption></figure><p>겹쳐지는 데이터가 없고, 배치에서 사용하는 파티션 전략과 유사하기 때문에 가장 일반적으로 많이 쓰이는 윈도우 종류라고 생각하시면 됩니다.</p><p>flink 에서는 다음과 같이 텀블링 윈도우를 쿼리로 표현하고 요약할 수 있습니다.</p><pre>INSERT INTO esTumbleCust<br>SELECT<br>   custId,<br>   mediaId<br>   SUM(IF(eventType = &#39;AD-VIEW&#39;, 1, 0)) AS viewCnt,<br>   SUM(IF(eventType = &#39;AD-CLICK&#39;, 1, 0)) AS clkCnt,<br>   DATE_FORMAT(window_start, &#39;yyyy-MM-dd&#39;) AS ymd,<br>   DATE_FORMAT(window_start, &#39;HHmm&#39;) AS hh24<br>FROM TABLE(<br>   TUMBLE(<br>     DATA =&gt; TABLE KafkaInputLog, <br>     TIMECOL =&gt; DESCRIPTOR(logTime), <br>     SIZE =&gt; INTERVAL &#39;1&#39; HOUR))<br>group by <br>   window_start, window_end,-- 일종의 예약어 필드<br>   custId, mediaId;</pre><h4>호핑윈도우 (슬라이드윈도우)</h4><p>윈도우 크기는 동일하지만 이동하는 간격시간이 다른 형태를 의미합니다. 창문을 밀어내는 모습과 비슷하다고해서 “슬라이드 윈도우” 라고 더 많이 알려져있습니다.</p><p>윈도우간의 데이터가 겹쳐지기 때문에 최근 1시간 데이터의 최근 데이터를 보고싶은 패턴에서 주로 사용하게 됩니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/640/1*IM3mJltTEaS5MBorRX3Bfw.png" /><figcaption>호핑윈도우(슬라이드윈도우) 는 창문이 밀리는것처럼 일정간격으로 윈도우를 이동하는 형태이다</figcaption></figure><p>Flink 에서 쿼리로 표현할때 “SLIDE” 파라미터가 추가로 있는데 이 값이 “SIZE” 와 같다면 텀블링 윈도우랑 같은 결과를 만들어 냅니다.</p><pre>INSERT INTO esHopCust<br>SELECT<br>   custId,<br>   mediaId<br>   SUM(IF(eventType = &#39;AD-VIEW&#39;, 1, 0)) AS viewCnt,<br>   SUM(IF(eventType = &#39;AD-CLICK&#39;, 1, 0)) AS clkCnt,<br>   DATE_FORMAT(window_start, &#39;yyyy-MM-dd&#39;) AS ymd,<br>   DATE_FORMAT(window_start, &#39;HHmm&#39;) AS hh24<br>FROM TABLE(<br>   HOP(<br>     DATA =&gt; TABLE KafkaInputLog, <br>     TIMECOL =&gt; DESCRIPTOR(logTime), <br>     SLIDE =&gt; INTERVAL &#39;1&#39; MINUTES, -- 윈도우가 옮겨지는 간격시간<br>     SIZE =&gt; INTERVAL &#39;1&#39; HOUR))<br>group by <br>   window_start, window_end,-- 일종의 예약어 필드<br>   custId, mediaId;</pre><h3>마무리</h3><p>과거에는 “빅데이터”를 어떻게 다룰것인가? 이런 문제로 고민하던 시절이 있었습니다. 이 난제는 하둡과 스파크 같은 &lt;분산처리 배치플랫폼&gt;이 나오면서 해결되었습니다. 그리고 Hive 와 Presto 가 같이 쿼리기반으로 더 쉽게 처리가능해 지면서 “빅데이터” 라는 단어는 이제는 촌스러운 과거의 기술단어가 되버린지 오래입니다.</p><p><em>“스트림 데이터”를 어떻게 다룰것인가?</em></p><p>이 문제는 Kafka 가 나오면서 기반을 만들어 놨다고 이야기 할 수 있습니다. 하지만 쉽게 다룰수 있는가? 에 대한 질문에는 대해서는 아직 “예” 라고 대답하기는 어려운 수준이 아닌가 싶습니다.</p><p>역사는 반복되는것 처럼 스트림데이터도 쿼리기반으로 쉽게 처리해야 할 수 있어야 더 대중화 될수 있고, Flink 는 훌륭한 도구가 될 수 있다고 이야기 드릴수 있겠습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a14b970e4eeb" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/%EC%8A%A4%ED%8A%B8%EB%A6%BC-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-sql%EB%A1%9C-%EB%8B%A4%EB%A3%B0%EC%88%98-%EC%9E%88%EB%8A%94-flink-%EC%82%B4%ED%8E%B4%EB%B3%B4%EA%B8%B0-a14b970e4eeb">스트림 데이터를 SQL로 다룰수 있는 Flink 살펴보기</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Druid를 활용한 광고 통계 개발 경험 공유]]></title>
            <link>https://medium.com/naver-biz-dev/druid%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B4%91%EA%B3%A0-%ED%86%B5%EA%B3%84-%EA%B0%9C%EB%B0%9C-%EA%B2%BD%ED%97%98-%EA%B3%B5%EC%9C%A0-825141a77d36?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/825141a77d36</guid>
            <dc:creator><![CDATA[Uicheon Hwang]]></dc:creator>
            <pubDate>Fri, 05 Nov 2021 10:05:29 GMT</pubDate>
            <atom:updated>2021-11-09T01:41:16.477Z</atom:updated>
            <content:encoded><![CDATA[<p>이번 글에서는 네이버의 성과형 Display-Ad Platform(GFA) 에서 경험한 광고 성과 지표 API를 개발한 방법에 대해서 공유를 드려보고자 합니다.</p><h3>시작하면서..</h3><p>저희 팀은 GFA 에서 로그 데이터의 처리를 수집하고, 저장 분석하여 통계 데이터를 제공하는 업무를 담당하고 있습니다.</p><p>기존의 Mysql 기반으로 통계 데이터를 제공하던 구조를 Druid 를 적용하여 개선한 내용에 대해 공유 드리려 합니다.</p><h4>Druid 적용 이전 구성</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1020/1*37cRXg0UjjRtBAhLLhlHnw.png" /></figure><p>위의 구성과 같이 GFA 의 로그는 서버를 통해 Kafka 로 저장이 되고, Kafka 로그를 기반으로 광고 노출,클릭,매출 등의 통계 데이터를 처리하고 있습니다.</p><h4>사용자 제공 통계</h4><p>수천 TPS 이상으로 유입되는 로그를 처리한 통계 데이터를 매번 DB에 저장할 수 없어서 kafka 로그를 Streaming 을 통해 Redis 에 저장하였습니다.</p><p>그리고 Redis 에 저장된 통계 데이터를 10분 주기 배치로 통해 Mysql DB 로 저장하였습니다.</p><p>Unique 이용자 지표를 제공하여야 해서 해당 정보를 streaming 으로 HBase 저장하였고, 저장된 결과에서 배치를 통해 Unique 이용자 수치를 추출하여 Mysql DB 로 저장하였습니다.</p><p>Mysql 에 시계열 데이터 및 누적 통계 데이터를 저장하여, 통계 데이터 제공에 사용하였습니다.</p><h4>내부 운영자 제공 통계</h4><p>내부 운영 통계는 kafka 로그를 es 로 저장하여 kibana 대시보드를 이용하였습니다.</p><p>그리고 kafka 로그를 flume 을 통해 hdfs 로 저장하였고, hive 쿼리를 배치로 수행하여 Mysql 로 저장하였고, 스팟 데이터 추출은 hive, spark sql 을 이용하였습니다.</p><h3>통계 개선 요구사항</h3><p>플랫폼이 고도화 되면서 아래와 같은 요청 사항을 구현을 하여야 했습니다.</p><ul><li>기존에 10분 배치로 통계 데이터가 갱신이 되었는데, Realtime 비딩을 위해 <strong>실시간</strong> 으로 통계 제공</li><li>기존의 통계 테이블의 dimension 4개 였는데, 다차원 분석을 위해 30개 이상의 dimension 을 추가로 저장</li><li>다차원 지표에서 <strong>유니크 이용자</strong> 수 제공</li><li>그래프 위한 매출 상위 N개 광고 (<strong>Approximate Top-N</strong>)</li><li>지표 다운로드 ( excel, csv )</li></ul><h3>Druid 적용 결정</h3><p>요구 사항을 충족하기 위해 검토해본 데이터 저장소 중 druid 가 기존 구조에 바로 적용하기 용이하고, 익숙한 환경을( hadoop-eco, kafka, sql ) 지원하고 있었습니다.</p><p>성능 검증을 위해 파일럿을 진행하였고, 만족할 성능이 확인되어 시계열 데이터의 저장소로 druid 를 사용하기로 하였습니다.</p><p>다만, druid 에서 시계열 데이터 저장만 가능하여, 누적 데이터는 Mysql 을 이용하고 있습니다.</p><h3>적용 후 구조</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/697/1*UQ0ltybaE9U50QVaQ5YXMw.png" /></figure><p>적용 후 변경된 구조를 보시면, 기존과는 kafka 의 원본 로그에 통계 정보나 과금 정보를 추가하여 별도의 통계 로그를 생성하였습니다.</p><p>이렇게 별도의 토픽을 생성한 이유는 druid 에서 제공하는 streaming ingestion 중 kafka indexing service 을 사용하기 위해서 입니다.</p><h3>kafka indexing service</h3><p>druid 에서는 batch ingestion 과 Streaming ingestion 을 지원하는데, 실시간 지표 제공을 위해서는 Streaming ingestion 을 이용하여야 했고, kafka 의 data 를 exactly-once 를 지원하는 kafka index service 가 있어서 사용하였습니다.</p><p>druid 에 저장된 데이터를 일부만 갱신할 수 있는 방법이 없어서, 부분 수정의 경우 가능하다면 보정을 위한 kafka 로그를 이용하여 보정을 진행하였고,</p><p>대규모 수정이나, dimension , matric 추가 등의 이슈는 hadoop 에 저장된 원본 로그 파일을 이용하여 hadoop batch ingestion 을 이용하였습니다.</p><h3>Kafka 로그에 필드 추가</h3><p>streaming ingestion 을 위해 통계 로그를 위해 원본 로그에 필요한 dimension 과 matric 을 추가하였습니다.</p><ul><li>time dimension : druid 에는 시계열 데이터만 저장할 수 있어서 time 값이 필수</li><li>분석 dimension 중 log 에 없는 dimension : streaming 처리를 통해 로그를 추가</li><li>metric 필드 : 대부분의 metric 은 sum 이라 sum 을 위한 수치 추가</li></ul><p>로그 예시</p><pre><em>// 원본 로그</em><br>{&quot;creativeNo&quot;:123, &quot;userNo&quot;:&quot;user123&quot;, &quot;actionType&quot;:&quot;CLICK&quot;}</pre><pre><em>// 통계 로그 - time dim, metric 추가</em><br>{&quot;action_time&quot;:&quot;2019-10-10T00:00:00+0900&quot;,&quot;creativeNo&quot;:123, &quot;userNo&quot;:&quot;user123&quot;,<br>&quot;actionType&quot;:&quot;CLICK&quot;, &quot;clickCount&quot;:1, &quot;spend&quot;:22000, &quot;unpaidSpend&quot;:10000}</pre><h3>데이터 수정</h3><h4>일부 데이터 보정 — 로그 추가</h4><p>Druid 는 부분 수정이 용이하지 않은 구조이고, streaming ingestion 을 사용 하기에 더욱 수정이 용이하지 않았습니다.</p><p>저희의 경우, 대부분의 보정이 수치를 수정하는 것이고, sum 기반의 데이터이기에 집계 데이터 수정을 위해 <strong>마이너스</strong> 로그를 kafka 추가하여 대응하였습니다.</p><p>“API 버그로 100원인 상품을 000원에 판매한 경우라면, 아래와 같이 -900 원 로그를 생성하어 kafka 에 추가하는 방식입니다.</p><pre><em>// 원본 로그를 찾은 뒤</em><br>{&quot;creativeNo&quot;:1004, &quot;spend&quot;:1000, &quot;impCount&quot;:0, &quot;clickCount&quot;:1}<br><em>// -900 원으로 보정해서 통계 로그 토픽에 아래의 로그를 추가</em><br>{&quot;creativeNo&quot;:1004, &quot;spend&quot;:-900, &quot;impCount&quot;:0, &quot;clickCount&quot;:0}</pre><p>누적 데이터를 저장하는 mysql 에 저장하는 streaming 처리도 마이너스 처리를 반영하여, mysql 통계에도 동시에 반영이 가능합니다.</p><h4>대규모 데이터 수정 — 세그먼트 삭제 후 재생성</h4><p>기존에 없던 dimension, matric 추가 삭제나 보정으로는 해결이 안되는 대규모 수정의 경우 HDFS 의 파일을 hadoop mapreduce 를 통해 저장하는 hadoop ingestion 을 사용하였습니다.</p><p>데이터 백업 및 Hive, Spark 연동을 위해 HDFS 에 원본 로그와 통계 로그는 저장을 하고 있어서, 필요한 경우 HDFS 파일에 원하는 수정을 한 뒤 ingestion 을 수행하였습니다.</p><h4>데이터 정합성</h4><p>HDFS 에 저장된 통계 로그가 데이터 수정, 데이터 복구에서 사용이 되고, spot 데이터 추출에서도 사용이 되어 매시간/매일 배치를 통해 druid 와 hdfs 의 수치가 일치하는지 확인하고 있습니다.</p><p>hdfs 의 통계는 spark-sql 로 추출하고, druid 의 데이터를 쿼리를 통해 추출한 뒤 비교를 하여 문제가 있다면 알람을 받아 대응을 하고 있습니다.</p><p>다행히 kafka 장애나 hadoop 장애 상황외에는 druid 가 유실없이 데이터를 잘 저장하고 있어서, 정합성은 문제 없이 유지되고 있습니다.</p><h3>kafka-indexing service 실행</h3><p>위에서 설명한 내용에 대해 실제로 druid 에서 작업을 등록하고 수행하는 과정을 설명드리려 합니다.</p><p>druid 에서는 Rest Api 를 통해 작업을 등록 관리할 수 있고, 아래와 console gui 를 제공하여 작업 등록 수행/ 모니터링 쿼리 수행을 할 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/996/1*mNAq4VbZocGymqtWOc_R5g.png" /></figure><p>Load Data 메뉴를 통해서 Json 으로 작업(Datasource)을 등록할 수 있는데, 그 내용은 아래와 같습니다.</p><ul><li>actionTime 을 Time Dimension 으로 설정</li><li>dimension 과 metric 모두 다른 이름으로 정의 가능</li></ul><pre>&quot;timestampSpec&quot;: {<br>  &quot;column&quot;: &quot;actionTime&quot;,<br>  &quot;format&quot;: &quot;auto&quot;<br>},<br>&quot;dimensionsSpec&quot;: {<br>  &quot;dimensions&quot;: [&quot;campaignNo&quot;, ... &quot;advTimezone&quot;]<br>}</pre><ul><li>metric 컬럼 설정</li><li>Time Dimension 을 시간 단위 까지 조회하기 위해 <strong>queryGranularity</strong> 설정</li></ul><pre>{<br>  &quot;metricsSpec&quot;: [<br>       { &quot;type&quot;: &quot;longSum&quot;, &quot;name&quot;: &quot;impCount&quot;,<br>        &quot;fieldName&quot;: &quot;impCount&quot;, &quot;expression&quot;: null },<br>       ...<br>       { &quot;type&quot;: &quot;hyperUnique&quot;, &quot;name&quot;: &quot;uniqueUserCount&quot;,<br>       &quot;fieldName&quot;: &quot;userId&quot;, &quot;isInputHyperUnique&quot;: false, &quot;round&quot;: false }<br>  ],<br>   &quot;granularitySpec&quot;: {<br>       &quot;type&quot;: &quot;uniform&quot;,<br>        &quot;segmentGranularity&quot;: &quot;DAY&quot;,<br>        &quot;queryGranularity&quot;: &quot;HOUR&quot;,<br>        &quot;rollup&quot;: true,<br>        &quot;intervals&quot;: null<br>    }<br>}</pre><p>등록한 Datasource 는 Supervisor 를 통해 관리가 되고 그 내용은 Ingestion 메뉴에서 확인하실 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oIr91iyOrXF1BEjcfXKEaw.png" /></figure><p>정상적으로 동작하는 데이터는 Query 메뉴에서 실제 쿼리를 수행하여 확인할 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*f8Nh0L5IqLR1-OlJruHq5Q.png" /></figure><h3>데이터 조회</h3><p>Druid 에 저장한 데이터는 NativeQuery 나 Druid Sql 을 통해 조회할 수 있습니다.</p><h4>Native Query</h4><ul><li>Json object 기반의 쿼리로 데이터 조회에 관련 모든 기능 사용 가능</li><li>Multi-dimension value 처리 가능</li><li>Query cancellation. 가능</li></ul><h4>Druid Sql</h4><ul><li>친숙한 SELECT SQL 쿼리</li><li><strong>Rest Api</strong>, <strong>JDBC</strong> 지원</li><li>Druid 내부적으론 Druid Sql 을 <strong>Native Query</strong> 로 치환하여 처리</li><li>EXPLAIN PLAN FOR 로 PLAN 확인 가능</li><li>useApproximateCountDistinct 을 사용할 수 있고, 기본 값이 true, COUNT(DISTINCT ) 를 사용하면 적용됨</li><li>useApproximateTopN 사용가능, 기본값이 true 이고 GROUP BY, LIMIT 를 사용하면</li></ul><h4>Query 사용시 유의점</h4><ul><li>time dimension 이 항상 Where 조건에 필요 (__time)</li><li>timezone 이 default : UTC 로 동작함. gui 에서 timezone 을 세팅해 두거나 jdbc 의 경우 properties 에 , rest api 의 경우엔 header timezone 명시 가능</li></ul><h4>JDBC</h4><ul><li>Apache Calcite Avatica 를 통해 JDBC 지원</li><li>Spring jdbc template, Mybatis 사용 가능</li><li>PreparedStatement 는 사용 불가</li><li>JDBC GUI 툴을 통해 쿼리 가능</li></ul><p>GFA 에서는 기존 SQL 의 익숙함과 기존 코드의 변경 최소화를 위해 Druid Sql 을 JDBC 방식을 통해 사용하였습니다.</p><p>데이터 조회 및 디버깅의 경우 datagrip 이나 dbeaver 에 druid connection 을 생성하여 쿼리를 하였습니다.</p><h4>Distinct Count — useApproximateCountDistinct 사용</h4><p>광고를 본 이용자의 숫자와 같은 unique count 계산을 위해useApproximateCountDistinct 를 적용하였습니다.</p><p>druid 에서 useApproximateCountDistinct 는 HyperLogLog ( 참고: <a href="https://d2.naver.com/helloworld/711301">D2 HyperLogLog</a>) 를 이용하여 구현이 되어 있고, Druid SQL 로는 COUNT(DISTINCT) 를 이용하면 사용이 가능합니다.</p><p>bucket size 를 적용하는 옵션이 없어서 정확도를 조정할 수는 없지만, 실시간으로 아래과 같은 spec 설정으로 바로 사용이 가능합니다.</p><h4>마무리</h4><p>GFA 에서는 앞서 설명드린 것처럼 Druid 를 시계열 데이터 저장소로 선정하여 사용하고 있습니다.</p><p>아직 druid 0.x 버젼으라 많은 트러블 슈팅을 하고 있기는 하지만, 전체적으로 큰 문제 없이 잘 사용하고 있습니다.</p><p>Hadoop eco system 을 위에서 kafka 기반의 데이터를 시계열로 저장해야할 상황에서 고민 중이시라면 druid 를 테스트 후보로 올려 보아도 좋을 것 같습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=825141a77d36" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/druid%EB%A5%BC-%ED%99%9C%EC%9A%A9%ED%95%9C-%EA%B4%91%EA%B3%A0-%ED%86%B5%EA%B3%84-%EA%B0%9C%EB%B0%9C-%EA%B2%BD%ED%97%98-%EA%B3%B5%EC%9C%A0-825141a77d36">Druid를 활용한 광고 통계 개발 경험 공유</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[초당 100만건의 로그를 filebeat -> logstash -> Kafka로 유실 없이전달하기]]></title>
            <link>https://medium.com/naver-biz-dev/%EC%B4%88%EB%8B%B9-100%EB%A7%8C%EA%B1%B4%EC%9D%98-%EB%A1%9C%EA%B7%B8%EB%A5%BC-filebeat-logstash-kafka%EB%A1%9C-%EC%9C%A0%EC%8B%A4-%EC%97%86%EC%9D%B4%EC%A0%84%EB%8B%AC%ED%95%98%EA%B8%B0-daa64f00971e?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/daa64f00971e</guid>
            <category><![CDATA[filebeat]]></category>
            <category><![CDATA[golang]]></category>
            <category><![CDATA[kafka]]></category>
            <category><![CDATA[logstash]]></category>
            <dc:creator><![CDATA[Jongkyun Park]]></dc:creator>
            <pubDate>Thu, 04 Nov 2021 02:04:53 GMT</pubDate>
            <atom:updated>2021-11-06T10:00:32.079Z</atom:updated>
            <content:encoded><![CDATA[<p>안녕하세요, NAVER BIZ CIC의 NDP Dev 입니다. 저희 조직은 네이버 서비스 전통적인 CPM(<strong>cost per 1000 impressions</strong>)배너 광고 플랫폼 역할을 하고 있습니다.</p><p>오늘은 저희 조직의 광고 전송서버를 k8s 기반의 n2c라는 사내 클라우드 플랫폼으로 이전하면서 구성했던 구조를 기반으로 한 대용량 트래픽 처리 테스트 사례를 소개하려고 합니다.</p><h3>목차</h3><blockquote>- 초당 100만건의 트래픽을 처리하는 서버 및 로그 전달 프로세스</blockquote><blockquote>- NDP(Naver Reservation Display AD Platform) 전송 플랫폼</blockquote><blockquote>- 100만/s 처리를 위한 pod 구성</blockquote><blockquote>- 100만/s 트래픽 생성</blockquote><blockquote>- kafka 물리서버 가용량</blockquote><blockquote>- 100만/s 처리 kafka 전달 테스트</blockquote><blockquote>- kafka 물리서버 down 테스트</blockquote><h3>초당 100만건의 트래픽을 처리하는 서버 및 로그 전달 프로세스</h3><p>초당 100만건의 트래픽은 네이버 서비스 지면 거의 대부분의 트래픽을 받고 있는 광고 전송 서버 기준으로도 매우 큰 수치이지만, 다행히도 큰 리소스를 필요로 하지 않은 로깅성 트래픽으로 비교적 적은 수의 서버로도 수용이 가능합니다.</p><p>다만 평소 처리량의 10배가 넘는 100만/s의 이벤트성 트래픽 처리를 위해 구조를 2개로 나누지 않고, 운영의 비효율성을 최소화하는 일반 트래픽과 이벤트성 트래픽 처리를 단일화 하는 구조로 구성하기 위해 100만/s 의 테스트를 진행했습니다.</p><p>트래픽을 받는 서버와 서버에서 수집한 로그를 kafka에 전달하는 구조 2개가 저희 부서에서 다뤘던 프로세스입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1020/1*J8hB1VtiOZZmXAqtGGEwxg.png" /><figcaption>100만/s 가용량 산정의 근거 사례</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/309/1*-EFr8tr_HiG1C08dZSRfkg.png" /><figcaption>네이버 생중계 플레리어의 동접자수</figcaption></figure><h3>NDP(Naver Reservation Display AD Platform) 전송 플랫폼</h3><p>네이버 NDP 광고 전송 플랫폼은 여러 종류의 DA(Display AD) 광고를 송출하고, 그에 상응하는 로그를 수집하고 있습니다. 로그 수집은 광고가 사용자에게 정상적으로 노출되었는지를 광고주에게 보여주기 위한 주요한 절차 입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/459/1*Mxn-gFvJECmpmYymJTVnsw.png" /><figcaption>PC 뉴스홈 우측 배너</figcaption></figure><blockquote>1. 네이버 서비스 지면을 기반으로 광고주가 원하는 광고 선출</blockquote><blockquote>2. 선출된 광고에 대한 노출 여부, 광고의 확장/스크롤 등에 대한 로깅</blockquote><blockquote>3. 사용자가 click 한 내역에 대한 광고주 url redirect</blockquote><p>NDP 전송서버가 하는 역할은 위와 같습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PxuQYjcRp_bRojAV27vl7Q.png" /><figcaption>로그 전달 프로세스</figcaption></figure><blockquote>1. 선출/노출/이벤트/클릭에 대한 로그 로깅</blockquote><blockquote>2. 로깅된 로그를 실시간으로 filebeat -&gt; logstash -&gt; kafka로 전달</blockquote><p>이후 로그 처리 플랫폼까지 전달하기 위해 위와 같은 과정을 거칩니다</p><h3>100만/s 처리를 위한 pod 구성</h3><p>k8s 의 pod은 여러개의 container 들로 구성될 수 있고, container 들은 같은 emptyDir를 공유할 수 있습니다. pod running시에만 보존되는 emptyDir path에 트래픽을 처리하고 로깅하는 container와 저장된 로그를 읽어 전달하는 container로 분리할 수 있으며, 이러한 구조를 통해 물리 서버의 cpu, memory, storage 등의 자원을 좀 더 효율적으로 제약해 사용할 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*H-pd-8OfrnFmtvpIMs0irQ.png" /><figcaption>실제 NDP 광고전송 서버의 n2c 구조</figcaption></figure><p>NDP 전송서버는 nginx와 golang 기반 dndl_go 서버를 통해 100만/s의 트래픽을 처리할 수 있도록 n2c의 pod 개수를 scale 하였으며, 그에 맞는 logstash pod의 개수도 scale 하였습니다. 각 pod는 운영에 필요한 로그를 추가적으로 처리 및 저장합니다.</p><h3>100만/s 트래픽 생성</h3><p>100만/s의 트래픽을 생성하기 위해 기존의 물리 서버 60대를 사용하여 트래픽을 생성하였고, 약 110만/s 수준의 트래픽을 발생시켜 테스트에 활용하였습니다</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1015/1*Pt7xvpDAOId32J4zEzcAtA.png" /><figcaption>물리 장비의 트래픽을 트래픽 테스트에 활용하는 구조</figcaption></figure><p>tcpdump로 물리서버로 유입되는 트래픽을 캡쳐, golang으로 개발된 트래픽 relay app을 통해 json 형태로 저장후 60개의 서버에서 트래픽 relay app을 통해 1대당 1.83만/s의 트래픽을 만들어 약 110만/s의 트래픽을 생성하였습니다.</p><h3><strong>kafka 물리서버 가용량</strong></h3><p>kafka를 설치&amp; 운용하는 서버는 12코어 CPU 2장으로 총 24코어, ssd 8개가 raid 5로 장착된 물리 서버입니다. kafka는 병목이 주로 disk에서 발생하므로 SSD 속도가 주요 성능 지표로 보고 disk 사용량을 주로 모니터링 하였습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/733/1*HTIhAWkLTD4GVL8q5hr2Fg.png" /><figcaption>110만/s 처리시 kafka 서버의 iostat 지표로 약 330MB/s sequential write peak</figcaption></figure><p>위 이미지는 실제 110만/s 의 트래픽 처리시 쓰기 성능에 대한 지표로, 실제 서버 SSD 성능의 1/5 이하로도 처리 가능함을 확인하였습니다.</p><p>kafka broker는 물리서버 10대로 구성하여 4 replication, 2 replicas, retention hour 8, acks all 등으로 설정되어 있습니다. 물리장비 10대 중 2 대까지 down되어도 data 유실 없이 복구가 가능합니다.</p><h3>100만/s 처리 kafka 전달 테스트</h3><p>앞서 구성한 트래픽 relay app을 통해 초당 약 110만 수준의 트래픽을 생성하였고, 광고 전송서버는 수초내 scale up이 어려운 k8s의 HPA를 활용하지 않고, 한계치 부근에서 수용 가능하도록 정확한 용량산정을 통해 pod의 scale을 조정해놓았습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/751/1*sV7E1fOQ8tm7LBdyLZ0I7w.png" /><figcaption>110만/s의 생성된 트래픽을 처리하는 nginx container 지표</figcaption></figure><p>dndl golang app 서버가 처리하는 트래픽의 수준은 111만/s 수준인 그래프와 같고, 처리 시점에 총 3개의 로그가 남게 되어 filebeat -&gt; logstash 까지 330만/s의 로그가 전달되고 logstash -&gt; kafka는 다시 1개만 전달되어 110만/s의 로그가 실시간으로 전달되었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/749/1*xP3ULKk-zA0wtpBiOVL9Ng.png" /><figcaption>filebeat가 전달해준 110만/s의 로그를 kafka로 보내는 지표</figcaption></figure><p>kafka 까지 전달되는 트래픽은 batch_size 설정으로 한번에 여러개의 로그가 전달되는 구조입니다. 그에 따라 connection 등의 네트워크 리소스가 상대적으로 적어지며 빠르고 효율적인 처리가 가능해집니다.</p><h3>kafka 물리서버 down 테스트</h3><p>실제 서비스 중 각종 이슈로 인해 서버가 다운되는 경우가 발생합니다. 해당 상황의 테스트를 위해 kafka 서버를 임의로 kill 하여 로그 지연 전송를 지원하는 filebeat -&gt; logstash의 back-pressure protocol의 동작을 확인하고, 로그 유실이 발생하지 않는지도 확인하였습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/883/1*HAS8oH3uhCtPB0g_9x_jQQ.png" /><figcaption>1대 down시 kafka가 leader 선출 시까지 write이 금지되는 시간(10초) 동안 back-pressure 동작</figcaption></figure><p>110만/s 의 트래픽을 처리중에 kafka 서버가 down 되면, 약 10초간 leader 선출을 위해 kafka에서는 write이 금지되며, 해당 시간 동안 logstash는 kafka에 로그를 전달하지 못하고, filebeat에 해당 상황을 알려 back-pressure protocol이 동작합니다. kafka write이 가능해진 이후 미처리된 트래픽들은 평균 트래픽에 더해져서 전달되며 약 10분 이후 평소 처리 트래픽으로 돌아왔습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/861/1*hvDEoXt9SvGpKrya7tztXA.png" /><figcaption>2대 down 시 처리 트래픽이 상대적으로 적어 약 1분만에 밀린 트래픽 전달 완료</figcaption></figure><p>27만/s의 트래픽을 처리하는 중에 2대의 kafka 서버가 down 되면, 마찬가지로 leader 선출에 약 10초간 write가 금지되고, 그동안 쌓인 로그 처리에 약 1분 정도가 소요되었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/505/1*3A7w_-7uOHxYv5zxMJHZHg.png" /><figcaption>실제 장애 상황에서 filebeat-logstash 간 back-pressure 동작</figcaption></figure><p>위 이미지는 실제 kafka 물리장비가 down되는 상황에서의 filebeat가 logstash의 ack을 받은 그래프로, back-pressure protocol이 동작하고 로그 유실은 발생하지 않는것으로 보여집니다. 약 5분 이내에 복구되었고, 결론적으로 테스트와 실제 상황의 경향성이 거의 비슷함을 확인할 수 있었습니다.</p><h3>마치며</h3><p>대용량 트래픽을 처리하는 것은 서버 개발자에게 요구되는 기본적인 과제이지만 실제 이벤트성 peak 트래픽에 의해 서버가 다운되는 등의 상황이 드물지 않게 발생합니다. 저희 부서에서는 이런 상황에 대비하여 app을 개발하고, 가용량을 정확하게 산정하며 여유있지만 효율적인 서버 운영을 하고 있습니다.</p><p>오늘 포스팅을 통해 새로운 기술을 리서치하고, 테스트와 도입 및 튜닝 후 전체 전환 등의 과제를 통해 안정적인 서비스 운영을 하는 사례를 소개해드렸습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=daa64f00971e" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/%EC%B4%88%EB%8B%B9-100%EB%A7%8C%EA%B1%B4%EC%9D%98-%EB%A1%9C%EA%B7%B8%EB%A5%BC-filebeat-logstash-kafka%EB%A1%9C-%EC%9C%A0%EC%8B%A4-%EC%97%86%EC%9D%B4%EC%A0%84%EB%8B%AC%ED%95%98%EA%B8%B0-daa64f00971e">초당 100만건의 로그를 filebeat -&gt; logstash -&gt; Kafka로 유실 없이전달하기</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Node.js 모니터링 시스템 구축과 트러블 슈팅 사례(Part 1 — 모니터링 환경구축)]]></title>
            <link>https://medium.com/naver-biz-dev/node-js-%EB%AA%A8%EB%8B%88%ED%84%B0%EB%A7%81-%EC%8B%9C%EC%8A%A4%ED%85%9C-%EA%B5%AC%EC%B6%95%EA%B3%BC-%ED%8A%B8%EB%9F%AC%EB%B8%94-%EC%8A%88%ED%8C%85-%EC%82%AC%EB%A1%80-part-1-%EB%AA%A8%EB%8B%88%ED%84%B0%EB%A7%81-%ED%99%98%EA%B2%BD%EA%B5%AC%EC%B6%95-b91246d9977f?source=rss----9c50478ba473---4</link>
            <guid isPermaLink="false">https://medium.com/p/b91246d9977f</guid>
            <category><![CDATA[grafana]]></category>
            <category><![CDATA[naver]]></category>
            <category><![CDATA[biz-cic]]></category>
            <category><![CDATA[prometheus]]></category>
            <category><![CDATA[nodejs]]></category>
            <dc:creator><![CDATA[YulHeon Kim]]></dc:creator>
            <pubDate>Wed, 03 Nov 2021 02:49:20 GMT</pubDate>
            <atom:updated>2021-11-03T02:57:22.582Z</atom:updated>
            <content:encoded><![CDATA[<h3>Node.js 모니터링 시스템 구축과 트러블 슈팅 사례(Part 1 — 모니터링 환경구축)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*lM-fr6Gcf3-Fy-dfTNT3mw.png" /></figure><p>안녕하세요 NAVER BIZ CIC의 Ad Service Dev2 입니다.<br>저희는 네이버/라인 보장형 광고 DSP와 LINE Flyer 서비스를 담당하고 있는 조직입니다.</p><p>저희 팀에서는 여러 서비스를 운영하고 있는데요. 그중에서 오늘 다룰 내용은 Node.js 서버의 모니터링에 대해서 소개하고자 합니다.</p><p>모니터링 관련된 포스트는 총 3편에 걸쳐 다룰 예정입니다.</p><blockquote>1. Node.js 모니터링 환경구축(VM 환경)</blockquote><blockquote>2. Node.js 모니터링 시스템을 활용한 트러블 슈팅</blockquote><blockquote>3. K8S 환경을 위한 추가 가이드</blockquote><p>이 글은 첫 번째 글로, 저희가 운영 중인 LINE Flyer 서비스에서 사용했었던 VM 환경 기반의 Node.js 모니터링 환경 구축에 대해서 다룰 예정입니다.<br>(현재는 K8S로 전환 중이라 세 번째 글에서 K8S 환경에 대한 내용을 다룰 예정입니다.)</p><h3>모니터링 시스템 필요성</h3><p>모니터링(Monitoring)이란 어떤 대상을 감시, 관찰한다는 뜻으로써 IT 서비스에서의 모니터링 시스템이란 운영 중인 서비스를 지속적으로 감시, 관찰하여 예기치 못한 상황과 오류를 대비하고 극복을 하기 위해서 사용합니다.</p><p>모니터링에 대한 종류는 다음과 같이 4가지로 정의 할 수 있습니다.</p><ul><li>알림(Alerting) : 비정상 수치가 측정 될 시 즉시 파악</li><li>디버깅(Debugging) : 비정상 수치 분석을 통한 근본 원인 규명</li><li>추세 파악(Trending) : 시스템이 어떻게 사용되며 시간에 따라 변화가 되는지 확인</li><li>플러밍(Plumbing) : 측정되고 있는 수치를 활용해 다른 플랫폼에서 활용(ex: K8S HPA 기준 수치에 사용)</li></ul><p>이러한 모니터링 종류를 통하여 운영자가 얻을 수 있는 이점은 아래와 같습니다</p><ul><li>사전 분석을 통한 장애 방지</li><li>장애 발생 감지를 통한 다운 타임 감소</li><li>성능 문제 파악을 통한 서비스 최적화</li><li>데이터 기반 분석을 통한 체계적인 관리</li></ul><p>이와 같은 이유로 인해 모니터링 시스템은 꼭 필요하기 때문에 저희가 운영 중인 서비스에도 모니터링 시스템을 적용하게 되었으며, 상단에 설명한 대부분의 기능이 있는 프로메테우스(Prometheus)를 선택하게 되었습니다.</p><h3>프로메테우스(Prometheus)?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*eUrEbb_b9_Yty2_8W6AaPQ.png" /></figure><p>프로메테우스(Prometheus)는 SoundCloud사에서 만든 매트릭 기반의 오픈소스 모니터링 및 알림 시스템입니다.</p><p>프로메테우스가 유일한 모니터링 도구는 아니지만, 프로메테우스는 매트릭 기반 모니터링 기능에 집중되어 있으며, 단순하지만 강력한 데이터 모델과 쿼리 언어(PromQL)가 있어 이를 활용하여 애플리케이션과 인프라 성능을 분석할 수 있습니다.</p><p>프로메테우스는 매트릭을 측정하는 것에 집중하고, 매트릭 이외에 다른 기능(ex: 시각화)은 다른 더 적절한 도구가 처리하도록 남겨 줍니다.</p><p>프로메테우스가 Target System에서 메트릭을 수집하는 방식은 풀링(Pulling) 방식을 사용합니다. 프로메테우스가 주기적으로 Exporter로부터 메트릭 읽어와서 수집하는 방식입니다.</p><p>이글에서는 프로메테우스 설치에 대한 방법을 설명하지 않으며, 프로메테우스가 설치되어있다는 가정하에 Node.js 서버와 연동하는 방법에 대해서 설명하겠습니다.</p><h4>프로메테우스 Architecture</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*0lTu-S8nQHOaKZsB.png" /></figure><h4>프로메테우스 Exporter란?</h4><p>프로메테우스는 풀링(Pulling) 방식을 이용해서 타겟 서버의 메트릭을 수집하기 때문에, 타겟 서버에서는 프로메테우스가 인식할 수 있는 데이터 구조로 변경한 매트릭 수치들을 볼 수 있는 기능을 제공해줘야 합니다.</p><p>Exporter는 이러한 기능을 수행하며, 사용자가 직접 만들 수도 있지만, 대부분은 Third-party Exporter를 사용하며 이글에서는 Node.js와 호환되는 Exporter를 사용할 예정입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/787/1*txBY1YU22-jxpYVnp1-AXw.png" /></figure><h3>프로메테우스 x Node.js</h3><h4>Node.js exporter 소개</h4><p><strong>prom-client (</strong><a href="https://github.com/siimon/prom-client"><strong>https://github.com/siimon/prom-client</strong></a><strong>)</strong></p><ul><li>Node.js에서 Prometheus metric을 생성 및 집계 할 수 있도록 도와주는 라이브러리</li><li>대부분의 Node.js exporter 라이브러리는 해당 라이브러리 기반으로 만들어져있습니다.</li></ul><p><strong>express-prom-bundle (</strong><a href="https://github.com/jochen-schweizer/express-prom-bundle"><strong>https://github.com/jochen-schweizer/express-prom-bundle</strong></a><strong>)</strong></p><ul><li>Express/koaJS 에서 exporter 관련 기능을 쉽게 커스텀 할 수 있도록 기본 Metrics 및 routing 설정이 포함된 라이브러리</li><li>prom-client를 기반을 통해서 만들어져 있습니다.</li></ul><blockquote>이글에서는 상단의 2개의 exporter 중에 <strong>express-prom-bundle</strong> 라이브러리 기반으로 샘플 코드를 작성할 예정입니다.</blockquote><h4>PM2 환경에서 Node.js에 exporter 적용시 문제점</h4><p>Node.js은 Main theread는 싱글 스레드 기반이다 보니 서버에서 Node.js 인스턴스를 띄울 때는 보통 PM2(<a href="https://pm2.keymetrics.io/">https://pm2.keymetrics.io/</a>)라는 Node.js 프로세스 관리툴을 이용해서 cluster mode로 CPU 개수에 맞게끔 Node.js 인스턴스를 띄우는 경우가 많습니다.</p><p>그런데 PM2로 cluster mode 사용 시 Node.js exporter를 사용하게 되면 실제 수치보다 적게 측정이 되는 현상 발생합니다.</p><h4>PM2 cluster mode에서 수치가 적게 측정되는 원인</h4><p>하단의 “PM2 cluster mode를 통해 구성한 Node.js 서버 구성도” 이미지를 보면 프로메테우스 풀링 요청을 PM2에서 로드벨런싱하여 랜덤한 node instace에 전달이 될 수 밖에 없는 구조인 것을 확인할 수 있습니다.</p><figure><img alt="PM2 cluster mode를 통해 구성한 Node.js 서버 구성도" src="https://cdn-images-1.medium.com/max/1024/1*gGfxAOc4-vWYVA_fEDFkmw.png" /></figure><p>따라서 <strong>하단 이미지처럼 서버에서 실행되고 있는 node.js 인스턴스들의 metrics을 집계할 수 있는 기능이 필요합니다.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*y2ie8XoiPVFmdyvYeYlh3Q.png" /></figure><h4>pm2-message</h4><p>PM2 환경에서 Node.js 인스턴스들의 metric들을 수집하려면 직접 구현하거나, 오픈소스 라이브러리를 사용하는 방법이 있을 수 있습니다.</p><p>저희 팀에서는 직접 구현보다는 추후 유지보수를 위해 pm2-message라는 라이브러리를 사용하는 것을 결정하였습니다.</p><p>pm2-message 라이브러리는 PM2 간의 인스턴스 통신(IPC, RPC 사용)을 통해 모든 인스턴스의 metric을 집계하는 기능을 제공하고 있습니다.</p><p>하단의 이미지에서는 pm2-message가 동작하는 방식을 설명하고 있습니다.</p><blockquote>metric 요청을 받은 node.js 인스턴스에서 다른 인스턴스들의 metric 값들과 자신의 metric을 합쳐서 응답</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5l4i0d_aTaeq9u3TQr26MQ.png" /></figure><h4>pm2-message와 express-prom-bundle를 활용한 예제 코드</h4><p>Custom metric 추가와 같은 커스텀 없이 기본 기능을 사용하고자 하는 분들을 위해 기본 샘플 코드를 작성하였습니다. 하단 코드를 통하여 기본기능을 빠르게 적용하실 수 있습니다.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e493adfa1782cbb65b6ad25306b8fcbf/href">https://medium.com/media/e493adfa1782cbb65b6ad25306b8fcbf/href</a></iframe><h4>Prometheus config에 target 서버 설정 추가</h4><p>Exporter 설정이 완료가 되면 프로메테우스 서버에 Exporter 설정이 되어있는 타겟서버를 추가를 해야합니다.</p><p>해당 설정 예제는 VM에 Node.js 배포를 기준으로 작성되었습니다.<strong><br></strong> (K8S는 세번째 글에서 설명 예정입니다)</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/50585a5f2f341ac7aceed685f2d8f71c/href">https://medium.com/media/50585a5f2f341ac7aceed685f2d8f71c/href</a></iframe><h4>Prometheus 연동 완료</h4><p>상단의 흐름대로 작업을 진행하였다면, 프로메테우스 서버와 Node.js 서버의 연동이 완료되었습니다.</p><p>프로메테우스 연동이 완료되셨다면 다음에 이어질 그라파나 시각화 플랫폼 내용을 진행하시면 시각화 그래프까지 보실 수 있습니다.</p><h3>그라파나(Grafana)?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*jpuc8oZrRU7069O9.png" /></figure><p>프로메테우스는 메트릭 이외에 다른 기능은 더 적절한 도구가 처리하도록 남겨 두었기 때문에 시각화 플랫폼은 그라파나 플랫폼이 필요합니다.</p><p>그라파나는 다양한 지표들의 분석을 도와주는 오픈소스 메트릭 데이터 시각화 도구로 메트릭 분석 플랫폼을 지향하고 있습니다.</p><p>이글에서는 그라파나 설치에 대한 방법을 설명하지 않으며, 프로메테우스, 그라파나가 설치되어있다는 가정하에 프로메테우스 서버와 연동하는 방법에 대해서 설명하겠습니다.</p><h3>Grafana x Prometheus</h3><h4>1. Data Source 추가</h4><ul><li>Prometheus URL 입력</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/892/1*SDkCKB28U_PgXutK66jkPw.png" /></figure><h4>2. 패널에 각 metric 대한 설정 추가</h4><ul><li>시각화 하고 싶은 metric을 prometheus query를 이용하여 조합</li></ul><blockquote>Prometheus query에 대한 자세한 설명은 <a href="https://prometheus.io/docs/prometheus/latest/querying/functions/">https://prometheus.io/docs/prometheus/latest/querying/functions/</a> 를 참고</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cq9ABeXdiKO1u26dSDUnEQ.png" /></figure><h4>다른 사용자들이 만든 패널/대시보드 템플릿를 사용하고 싶다면?</h4><ul><li>Grafana dashboard template 사용<a href="https://grafana.com/grafana/dashboards/11159">https://grafana.com/grafana/dashboards/11159</a></li></ul><blockquote>하단의 NodeJS Application Dashboard 템플릿을 사용하면 custom metric을 제외한 대부분의 metric을 시각화해서 보여주기 때문에 처음 사용하는 사용자라면 하단 템플릿 기반으로 작업하기를 추천드립니다.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/861/1*iKJqIvVHEQMfKK6xHyKthA.png" /></figure><p>상단의 과정들을 진행하셨다면 하단과 같은 Node.js 서버 모니터링 시스템 구축이 완료가 되셨을 것으로 보입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*XKj_Ueq5-4qaRbpT" /></figure><h3>마치며</h3><p>이번 글에서는 VM 환경 기반의 pm2 x Node.js 모니터링 환경 구축에 대해서 이야기했습니다.</p><p>다음 글에서는 실제 구축한 모니터링 시스템의 각각의 metric에 대한 설명과 해당 metric 들을 활용하여 Memory Leak 감지, 외부 API 오류 감지 등의 다양한 트러블 슈팅 방법을 이야기 하고자 합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b91246d9977f" width="1" height="1" alt=""><hr><p><a href="https://medium.com/naver-biz-dev/node-js-%EB%AA%A8%EB%8B%88%ED%84%B0%EB%A7%81-%EC%8B%9C%EC%8A%A4%ED%85%9C-%EA%B5%AC%EC%B6%95%EA%B3%BC-%ED%8A%B8%EB%9F%AC%EB%B8%94-%EC%8A%88%ED%8C%85-%EC%82%AC%EB%A1%80-part-1-%EB%AA%A8%EB%8B%88%ED%84%B0%EB%A7%81-%ED%99%98%EA%B2%BD%EA%B5%AC%EC%B6%95-b91246d9977f">Node.js 모니터링 시스템 구축과 트러블 슈팅 사례(Part 1 — 모니터링 환경구축)</a> was originally published in <a href="https://medium.com/naver-biz-dev">네이버 비지니스 플랫폼 개발 블로그</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>