<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Dui Lee on Medium]]></title>
        <description><![CDATA[Stories by Dui Lee on Medium]]></description>
        <link>https://medium.com/@duilee?source=rss-48435317db6b------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*kQyLGVT00N7k-ywPmTSwYg.jpeg</url>
            <title>Stories by Dui Lee on Medium</title>
            <link>https://medium.com/@duilee?source=rss-48435317db6b------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 05:37:30 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@duilee/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[처음부터 ‘딸깍’은 아니다: AI와 함께한 데이터 환경 구축기]]></title>
            <link>https://medium.com/delightroom/%EC%B2%98%EC%9D%8C%EB%B6%80%ED%84%B0-%EB%94%B8%EA%B9%8D%EC%9D%80-%EC%95%84%EB%8B%88%EB%8B%A4-ai%EC%99%80-%ED%95%A8%EA%BB%98%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95%EA%B8%B0-8af094b2cafc?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/8af094b2cafc</guid>
            <category><![CDATA[product]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[business]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[data-analysis]]></category>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Wed, 18 Feb 2026 11:51:17 GMT</pubDate>
            <atom:updated>2026-02-19T01:29:46.469Z</atom:updated>
            <content:encoded><![CDATA[<h3>AI를 뺄래야 뺄수가 없다</h3><p>요즘 링크드인, 뉴스, SNS 등 뭘 틀어도 AI를 안볼래야 안볼수가 없을 정도로 모두의 화두가 되고 있는데 현실인데요. 솔직히 말하면 너무 많은 이야기가 오가고 하루 아침에 바뀌는것도 많아 약간은 어지러운 것도 사실입니다.</p><p>약간의 여담을 덧붙히자면… 개인적으로 약간의 마이너 감성이 있어서 아바타 &amp; 오징어 게임도 안보고, 스타트업(?)에서 일하고 있는데, 몇년 전부터 음지에서 몰래몰래 사람들과 공부하던 Attention, GPT, RL 등이 너무 메이저가 되버려서, 갑자기 유명해진 나만의 인디가수를 바라보는 심경이 약간 들기도 합니다,,,</p><p>본론으로 돌아와서… 이번에 새롭게 딜라이트룸 내부의 DARO 서비스를 위한 분석계를 구축하고, 분석 환경을 운영하는 과정에서 클로드 코드와 함께 고민하고 협업하며 많은 부분 생산성을 올릴수 있었고, 그 과정에서 얻은 것들을 공유해보려 합니다. 좋은 건 알겠는데 사용처를 고민하고 있다면 도움이 되지 않을까하는 바램입니다.</p><h3><strong>다들 바쁘고, 난 계속 운영 데이터를 찌르고 있고,,,</strong></h3><p>딜라이트룸의 광고 솔루션 BM인 <a href="https://daro.so/?gad_source=1&amp;gad_campaignid=22246607970&amp;gbraid=0AAAAAC20tzshbCeFRPYzQP2iri7ZHzat1&amp;gclid=Cj0KCQiA49XMBhDRARIsAOOKJHYzoim6PSSRfelDDZEvEqUJiRw3ORrfZmk5bMjhCaTHn21JYhBDim8aAqK1EALw_wcB">DARO</a>는 25년 런칭 이후 가파른 매출 성장세를 보이고 있는데요. 빠르게 성장하는 제품인만큼 안정적인 데이터 환경 구축의 대한 우선순위가 밀리는게 현실이였고, 데이터를 담당하는 사람으로써도 ‘일단 시장에서 가치를 만들어 내는것이 먼저다’ 라는 생각으로 지표 성장에 많은 집중을 했었습니다.</p><p>그러다보니, 많은 제품 초기 단계의 분석가들이 그렇듯, 자연스럽게 운영 DB에 쿼리를 날리면서 데이터 분석을 하게 되고, 결국엔 한계에 다다르게 됬었는데요.</p><ul><li>운영 DB에 쿼리를 잘못 날려서 이슈가 생길수 있는 리스크를 항상 갖게 되고</li><li>유연한 데이터 파이프라인 및 오케스트레이션이 불가능해, 데이터 마트 구성이 어려울 뿐만 아니라 데이터가 클수록 빠른 쿼리 결과를 얻기도 어렵게 되었습니다.</li></ul><p>결론적으로 데이터와 거리가 점점 생기면서 이곳저곳 데이터를 살펴보기 힘든 상황이 되버렸었는데요.</p><p>데이터 소스가 많아지고, 고객사들도 많아지면서 일별 TB 단위의 데이터를 다루게 되면서 DARO 도메인 또한 이런 이슈들을 무시할수 없게 되어, 분석 환경 구축을 시작하게 되었습니다.</p><h3><strong>기본적인 MDW 구성</strong></h3><p>DARO는 SDK, SSP, CPS 등 굉장히 방대한 여러 데이터를 자체 Kafka &amp; 3rd party Report API 등을 통해 수집 중이었기 때문에 기본적으로 S3를 기반으로 한 Data Lake를 구성하여 그 위에 Athena를 활용하는 구조를 가져갔습니다.</p><p>그에 더해, 기존에 사용 중인 Airflow와 DBT를 통해 Orchestration을 가져오도록 엔지니어분이 1차적인 기반 작업을 해주셨는데요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ye78LgxS-G3Pc-ebJ4yq8g.png" /><figcaption>간단 아키텍쳐 구성</figcaption></figure><p>리소스는 항상 적고, 목이 마른자가 우물을 파기 때문에 이후 실질적인 Data Pipelining &amp; Modeling 과 운영 작업은 직접 진행하게 되었고, 클로드 코드와 함께 많은 부분 효율화 해볼수 있었습니다.</p><h3><strong>데이터 Pipelining &amp; Modeling</strong></h3><p>핵심적으로는 클로드 코드의 skill 기능을 통해 파이프라인 생성과 모델링에서의 반복적인 부분을 자동화 시킬수 있었는데요. 직접 생성/사용한 skill들은 두가지로, source를 연결하는 부분과 그 후 데이터 테이블들을 생성하는 부분을 분리했습니다.</p><pre><strong>/add-dbt-daro-source<br></strong><br>  - S3 데이터를 Athena 외부 테이블로 등록하는 커맨드<br>  - S3 경로 탐색 → 샘플 파일 다운로드 → 스키마(컬럼/타입) 자동 추출<br>  - dbt_project.yml에 partition projection 설정 추가 (dt 파티션 기반)<br>  - AWS Glue에 외부 테이블 생성 (create_external_table 매크로 실행)<br>  - daro_s3.yml에 source 정의 등록 (컬럼 설명 포함)<br>  - Athena 쿼리 + dbt show로 데이터 접근 검증</pre><p>분석 환경 구축의 첫 번째 단계는 S3에 있는 source 파일들을 Athena와 연결해 주는 작업이었는데요. 50개가 넘는 source들에 대한 yaml을 각각 생성해서 연결해 주는 것을 역부족이었습니다.</p><p>일단 첫 연결 프로세스를 skill로 만들어 달라는 주문과 함께 자동화를 시작해 볼 수 있었고, 아래 튜닝을 통해 안정성 및 활용도를 높여 볼 수 있었습니다.</p><ul><li>schema 탐색을 위해 data sample을 받는 경우 json 형태이기 때문에 누락되는 컬럼이 생길수 있어 여러 데이터 샘플을 탐색하도록 설정</li><li>테이블명은 자동 생성이 아닌 유저가 정해주는 테이블 명으로 사용</li><li>dev 환경과 동시에 prod 환경에도 소스 테이블이 연결되도록 설정</li></ul><pre><strong>/add-dbt-daro-model                                                 <br></strong>                                                                                                                                                                                                                    <br>  - dbt 모델 생성 커맨드 (staging / mart / dimension)                 <br>  - 인터랙티브하게 모델 타입, materialization 전략, 소스 테이블, grain, unique key 등을 질문하며 진행<br>  - 답변 기반으로 SQL 파일 + YAML 문서(컬럼 설명, 테스트)를 자동 생성<br>  - 생성 후 dbt compile → dbt run → dbt test까지 검증<br>  - DARO OLAP 원칙 적용: single-partition, partition pruning, on_schema_change=&#39;fail&#39;</pre><p>두번째 단계인 테이블 설계 단계에서는 실제 비지니스 로직들의 모호함을 포함해야하는 현실을 반영해 클로드의 단독 결정이 아닌 최대한 유저와의 소통을 통해 스펙을 결정하는 방식으로 구성했습니다.</p><p>staging / mart / dimension 중 생성하려는 데이터 모델을 정하고, 필요한 컬럼들을 같이 정한 이후에 기존 아키텍처들의 기반 모델링을 실시하게 되며, 이후 compile과 테스트를 실시합니다.</p><ul><li>이 단계에서는 staging 테이블의 특이성(중복 제거, null 컬럼 설정 등)을 따로 주입시켜 주는 것이 필요했고</li><li>기존 사용 중인 쿼리들을 참고해서 스타일을 유지할 수 있도록 하는 것이 주요했습니다.</li></ul><h3><strong>데이터 거버넌스 / 카탈로깅</strong></h3><p>추가적으로 이번 작업을 진행하며 AI의 소중함을 한번 더 느낀 부분은 문서화 부분 이였습니다.</p><p>딜라이트룸의 데이터 그룹 내부에서는 데이터 마트를 구축할때 거버넌스를 챙길수 있도록 미리 정책을 정해두고, 데이터 마트에 대한 설계 문서들을 아카이빙해두어 그룹 내부에서 논의하고 공유하는 프로세스를 가지고 있는데요.</p><p>든든한 프로세스 덕에 보다 정돈된 데이터 환경이 구축되는 것은 맞지만, 마트의 비즈니스 로직, 컬럼 하나하나 모두 문서화하기는 항상 많은 노력이 들어가는 작업이었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*6adedflAD6OC5tELo0Ps1Q.png" /><figcaption>어딘가에서 사용된 정책 소개 슬라이드</figcaption></figure><p>설계된 또는 설계하려는 마트의 구성을 SQL 로직과 함께 정해진 템플릿의 노션 페이지를 생성하는 작업이었기 때문에, 이 또한 AI의 자동화를 통해 80% 이상의 완성도를 가지는 초안을 생성할 수 있도록 Notion mcp를 활용해 skill을 구성했습니다.</p><ul><li>많은 요구사항이 들어간 템플릿인 만큼 기존 문서들을 참고할 수 있는 별도의 reference 파일과</li><li>각 요구사항의 정합성을 확인하는 부분에 중점을 두고 skill을 개선해 나갔습니다.</li></ul><pre><strong>/update-notion-mart-template                                                                                                                                                                                      <br></strong>                                                                                                                                                                                                                    <br>  - dbt mart 모델을 Notion &quot;Data Modeling&quot; DB에 문서화하는 스킬                                                                                                                                                     <br>  - SQL 파일에서 자동 추출: 모델명, 소스 테이블(ref/source), materialization, partition key, unique key, 컬럼 목록                                                                                                  <br>  - YAML 파일에서 테스트 케이스, manifest에서 DAG 스케줄도 자동 추출                                                                                                                                                <br>  - GROUP BY 절 분석으로 grain, dimension/fact 컬럼 자동 분류                                                                                                                                                       <br>  - 코드에서 추출 불가능한 비즈니스 컨텍스트만 사용자에게 질문 (현 상황, 어려움, 모니터링 지표)                                                                                                                     <br>  - 마트 모델링 템플릿 구조로 Notion 페이지 생성/업데이트 (5개 섹션: Business Process → Grain → Dimensions → Facts → Batch Process)<br>  - 기존 페이지 있으면 업데이트, 없으면 새로 생성 (Status = &quot;In Progress&quot;)</pre><p>결과적으로 sql 파일과 몇번의 질의를 거치면 복잡한 노션을 한번에 생성해주는 워크플로우를 만들어볼수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/779/1*W5NsdJF2xSwUgkIsMB3OyQ.png" /><figcaption>생성된 노션 예시</figcaption></figure><h3>처음부터 ‘딸깍&#39;은 아니다,,,</h3><p>많은 부분 AI와 협업하면서 여러 부분 효율화를 통해 홀로 진행한 작업임에도 불구하고 높은 퀄리티와 속도를 가져가 볼 수 있었는데요.</p><p>이번 작업을 통해 AI의 효율성 이외에도 실무자의 역할에 대해서도 고민을 해볼 수 있는 기회였는데요. 단순히 정해진 일만 하는 사람과 계속된 부가가치를 만들어내는 사람 사이에서 존재했던 괴리가 더더욱 벌어지겠다는 생각이 들었습니다.</p><p>그리고, 내 입맛에 맞는 활용처를 만들기 위해서는 어느 정도의 방망이 깍기가 꼭 필요하다고 생각합니다. 이번 공유가 의미 있는 사례 공유가 되었으면 하는 바람이고, 데이터 분야에서도 더 재밌고 신박한 사례들이 더 많이 나오길 기대합니다.</p><p>⏰ 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 🙌</p><figure><a href="https://team.alar.my/?utm_source=medium&amp;utm_medium=dewey&amp;utm_campaign=ai_data_infra"><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*_Vz8Bo7W10PYO0iE.png" /></a></figure><p><a href="https://team.alar.my/?utm_source=medium&amp;utm_medium=dewey&amp;utm_campaign=ai_data_infra"><strong>→ 딜라이트룸 채용 공고 살펴보기</strong> ⏰</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8af094b2cafc" width="1" height="1" alt=""><hr><p><a href="https://medium.com/delightroom/%EC%B2%98%EC%9D%8C%EB%B6%80%ED%84%B0-%EB%94%B8%EA%B9%8D%EC%9D%80-%EC%95%84%EB%8B%88%EB%8B%A4-ai%EC%99%80-%ED%95%A8%EA%BB%98%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95%EA%B8%B0-8af094b2cafc">처음부터 ‘딸깍’은 아니다: AI와 함께한 데이터 환경 구축기</a> was originally published in <a href="https://medium.com/delightroom">DelightRoom</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[새로 출시한 이 기능은 DAU 얼마짜리 기능일까? (Carrying Capacity 적용이 어려울때)]]></title>
            <link>https://medium.com/delightroom/%EC%83%88%EB%A1%9C-%EC%B6%9C%EC%8B%9C%ED%95%9C-%EC%9D%B4-%EA%B8%B0%EB%8A%A5%EC%9D%80-dau-%EC%96%BC%EB%A7%88%EC%A7%9C%EB%A6%AC-%EA%B8%B0%EB%8A%A5%EC%9D%BC%EA%B9%8C-carrying-capacity-%EB%8F%84%EC%9E%85%EC%9D%B4-%EC%96%B4%EB%A0%A4%EC%9A%B8%EB%95%8C-b4f3b2eb5a24?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/b4f3b2eb5a24</guid>
            <category><![CDATA[business]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[product-analytics]]></category>
            <category><![CDATA[personal-growth]]></category>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Sun, 04 Jan 2026 15:21:59 GMT</pubDate>
            <atom:updated>2026-01-23T08:23:31.886Z</atom:updated>
            <content:encoded><![CDATA[<h3>신규 기능 A와 B의 최종 사용자수는?</h3><p>들어가기전 짧은 퀴즈 하나!</p><p>여기 최근 출시된 2개의 피쳐 A 와 B가 있습니다. 오픈 후 데이터를 살펴보니, 피쳐 A는 일 6,700명의 신규유저가 들어오고 D1 리텐션은 7%인 반면, 피쳐 B는 일 600명의 신규유저가 들어오고 D1 리텐션은 35% 를 기록하고 있습니다. 그럼 피쳐 A와 B는 각각 어느정도의 DAU로 수렴할까요? 피쳐 A와 B 중 어느 피쳐가 더 많은 사용자를 확보할 수 있을까요?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sJ5b5Dmh7O9v3BxnWQlOQg.png" /></figure><h3>새로운 기능은 나한테도 새로운데,,,</h3><p>제품 개발 사이클에서는 새로운 먹거리 탐색을 위해 심심치 않게 크고 작은 새로운 피쳐가 선을 보이게 되는데요. 새로운 피쳐일수록 PO, DA 모두 숫자에 대한 감을 잡기는 어렵게 때문에 이 피쳐가 어느 정도 성장할수 있는지, 무엇을 어떻게 하면 더 성장시킬수 있는지는 굉장히 복잡한 질문입니다.</p><p>알라미도 최근 여러 새로운 기능들을 시도해보고 있어 이런 고민들이 예외가 아닌데요. 이렇게 초면인 피쳐들을 분석하는 관점에서 좀 더 쉽게 숫자에 대한 감을 잡고, 전략 방향을 뽑아낼수 있는 방법에 대해 고민해본 내용을 정리해보려합니다.</p><h3>무엇이 중요할까</h3><p>새로운 기능에 대한 capacity을 분석하고 지표 방향을 잡는 과정은 크게 아래 두가지 질문을 답할 수 있어야 하는데요.</p><ul><li><strong>어떤 lever가 얼마나 전체 사용자 수를 움직일수 있는가?</strong></li><li><strong>그 lever들이 선행지표로써 역할을 할 수 있는가? 측정이 너무 오랜 시간이 걸려 액션이 지체되지 않는가?</strong></li></ul><p>예를 들어, 신규유저가 2배가 되어도 리텐션이 너무 낮아 실제 사용자수는 10% 밖에 증가될 수 없는데, 리텐션이 20%만 증가해도 실제 사용자수가 50% 증가 할 수 있다면 리텐션을 올리는 방향이 더 현명한 방법이겠죠.</p><p>그리고, 리텐션에 집중한다고 해도 만약 Monthly 리텐션 수치가 필요하다면 Daily 리텐션에 비해 액션에 대한 결과를 확인하는 기간이 1일 에서 1달로 증가하며 다음 액션에 대한 속도를 늦추게 됩니다.</p><h3>몇 년전 스타트업을 흔들었던 그 공식</h3><p>몇 년전 토스에서 Carrying Capacity 라는 개념을 인용하며 서비스의 Capacity를 가늠할 수 있는 프레임워크가 많은 관심을 받은 적이 있는데요.</p><blockquote><strong>CC = # of new daily(period) customers / % customers you lost each day(period) (</strong><a href="https://playinpap.github.io/advanced-carrying-capacity/"><strong>자료 참고</strong></a><strong>)</strong></blockquote><p>신규 유저 수와 유저의 daily churn을 사용하여 일반적인 등비급수의 합 공식을 통해, 보기에는 굉장히 단순하게 일별 잔존 유저들의 합으로 서비스의 유저수를 가늠해볼수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZUaj7uyjClnvrjbTfv5PiA.png" /><figcaption>등비급수의 합 공식 (일정한 a, 일정한 r)</figcaption></figure><p>하지만, 실제 서비스에 도입해보려 하다보면 이게 맞나..? 싶을때가 생기는데요.</p><p>피쳐 A를 예로 들면, 하루에 6700명이 들어오지만 정작 DAU는 7000 밖에 되지 않는 서비스라는 결론이 나옵니다. (스포: 실제로는 2만이 넘는데도 말이죠.)</p><blockquote><strong>6700 / (1–7%) = 6700 / 0.93 = 7200</strong></blockquote><p>Carrying Capacity 공식의 중요한 가정들은 아래와 같은데요</p><ul><li><strong>Active User에 대한 정의를 실제로 WoW factor 를 경험한 유저로 정의</strong></li><li><strong>이에 따라 낮은 churn rate을 기대하며, Day N에서 Day N+1일의 리텐션이 일정할거라 가정 (매일 똑같은 r을 가정)</strong></li></ul><p>실제로 80%의 리텐션을 가정하고 y = 0.8^x 그래프를 그려보면, 30일이 되는 시점에는 거의 0에 수렴하는걸 볼 수 있어 리텐션 수치가 낮아질수록 생각보다 잔존 유저가 과소 평가되는면이 있다는 점을 볼 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*WMVGeOG16x2aSo7PifD8GQ.png" /></figure><p>하지만, 실제 서비스에서는 일반 방문자 또한 Active 유저에 포함하는 경우가 많고, churn rate 또한 일정하기 떨어지기 보단 일별로 달라지는 경우가 더 일반적이기 때문에 공식과 실제 유저수의 괴리가 생기게 됩니다.</p><h3>보편적인 신규 유저들의 리텐션 커브</h3><p>일반적인 제품에서 신규 유저들은 초반 진입 이후 일수가 증가함에 따라 초반에는 비교적 가파른 이탈율을 보이지만, 시간이 지날수록 이탈이 줄어들며 평평한 리텐션 커브가 형성되게 되는데요.</p><p>이를 보다 잘 대변해주는 리텐션 커브는 y = a * x^b 형식의 power law function 입니다. 아래 이미지와 같이 단순 0으로 수렴이 아닌 리텐션 커브의 기울기가 점점 줄어드며 0 이상의 값으로 수렴하는것을 볼 수 있는데요.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/900/1*DbJe8YNqrEEPTdw8sTSR3g.png" /></figure><p>즉, y = ‘x일 이후의 잔존율’로 보고 y = a * x^b 에서 a (시작점)와 적절한 b(커브의 모양을 결정)를 찾아준다면 y의 누적합을 통해 전체 유저 수를 예측해볼수 있습니다.</p><blockquote><strong>오늘 전체 유저 수 </strong><br>= 오늘 신규 유저 + 어제 신규 중 남은 유저 수 + 엊그제 신규 유저 중 남은 유저수 + … + N일 전 신규 유저 중 남은 유저수<br>= 신규유저수 * y(0) + 신규유저수 * y(1) + … + 신규유저수 * y(N)<br><strong>= 신규유저수 * (y(0) + y(1) + … + y(N))</strong></blockquote><h3>좀 더 ‘딸깍’스러운 공식</h3><p>조금 복잡해보이지만, 약간의 일반화를 거치면 각각의 서비스에 커스텀하게, 하지만 누구나 쉽게 사용할 수 있는 공식을 만들어 볼 수 있습니다.</p><blockquote><strong>오늘 전체 유저 수 <br>= 신규유저수 * (y(0) + y(1) + … + y(N)) <br>= 신규 유저 수 * a * (1^b + 2^b + 3^b + … + N^b)</strong></blockquote><p>여기서 <strong>a는 시작점 이기때문에 D1 리텐션 값</strong>을 사용할 수 있고, <strong>b의 경우 전체적인 리텐션 커브를 결정하는 계수</strong> 인데요.</p><p>실제 기능의 리텐션 커브를 구하기 위해 1~2달을 기다린다면 이런 계산을 하는 이유가 많이 사라집니다. 그래서 좀 더 보편적으로 b를 사용할 수 있도록 생각한 방법은 <strong>서비스 전체 신규 유저에 리텐션 커브를 활용</strong>하는 방법입니다.</p><p>신규 피쳐 또한 결국엔 신규로 들어온 유저들이 사용하게 되고, 리텐션 커브의 모양이 유저의 특성을 대변한다고 생각한다면, 같은 서비스 안에서 유저들의 특성이 크게 변하지 않을거란 가정입니다.</p><p>예시 코드와 같이 파이썬 scipy의 curve_fit을 사용하여, 월별로 Day 1 ~ Day 28 리텐션을 활용하여 b 값을 예측해본후 평균값을 사용해볼수 있습니다.</p><pre>import pandas as pd<br>import numpy as np<br>from scipy.optimize import curve_fit<br><br>def func(x, a, b):<br>    return a * (x**b)  <br><br>df = client.query(query).to_dataframe()<br><br>date_list = [&quot;&#39;2025-07-01&#39;&quot;, &quot;&#39;2025-08-01&#39;&quot;, &quot;&#39;2025-09-01&#39;&quot;, &quot;&#39;2025-10-01&#39;&quot;, &quot;&#39;2025-11-01&#39;&quot;, &quot;&#39;2025-12-01&#39;&quot;]<br>df_constant = pd.DataFrame([], columns=[&#39;basis_month&#39;, &#39;platform&#39;, &#39;a&#39;, &#39;b&#39;])<br><br>platforms = [&#39;ios&#39;, &#39;android&#39;]<br><br>for platform in platforms:<br>  avg_retention= df[df.platform == platform].avg_retention.values<br>  basis_month = df[df.platform == platform].basis_month.values[0]<br><br>  days = np.arange(1, 29)<br><br>  popt, pcov = curve_fit(func, days, avg_retention)<br><br>  retention_days = np.arange(1, 364)<br>  retention_rate = np.concatenate((np.array([1.0]), func(retention_days, *popt)))<br>  print(*popt)<br>  new_row_const = pd.DataFrame([[basis_month, platform, popt[0], popt[1]]], columns=[&#39;basis_month&#39;, &#39;platform&#39;, &#39;a&#39;, &#39;b&#39;])<br>  df_constant = pd.concat([df_constant, new_row_const], ignore_index=True)<br><br>print(&quot;Total b Mean: &quot;, np.mean(df_constant[&#39;b&#39;]))<br>print(&quot;Total Android b Mean: &quot;, np.mean(df_constant[df_constant.platform == &#39;ios&#39;][&#39;b&#39;]))<br>print(&quot;Total iOS b Mean: &quot;, np.mean(df_constant[df_constant.platform == &#39;android&#39;][&#39;b&#39;]))</pre><p>마지막으로 <strong>(1^b + 2^b + 3^b + … + N^b) </strong>계산을 위해 1년을 가정하고, x^b의 누적합을 구해주면</p><pre>baseline = np.array([x**b_mean for x in range(1, 365)])<br>print(b_mean, &#39;: &#39;, np.sum(baseline))</pre><p>간단한 하나의 식에 도달하게 됩니다. 알라미의 경우 평균 b를 대입한 값은 63 정도로 수렴하였습니다.</p><h3>최종 공식</h3><blockquote><strong>신규 피쳐 DAU = 신규 유저 수 *신규 D1 리텐션 * 63</strong></blockquote><h3>퀴즈 정답!</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/816/1*IbjMKfQhSg0jMZXbOjlWMQ.png" /></figure><p>위 공식을 통해 구해본 피쳐 A 와 B의 예측 DAU와 실제 DAU가 기존 CC 방식보단 보다 가까워진것을 확인해볼수 있었는데요.</p><p>물론 이 공식 또한 여러 가정이 있기에 정확한 수치를 예측할수는 없지만, 약간의 수고를 더한다면 우리 서비스에서 출시된 기능의 DAU가 1만이 될지, 5만이 될지, 10만이 될지 쉽게 가늠해보고, 현 수치에서 어떤 레버를 얼만큼 올려야 원하는 DAU를 달성 가능할지 판단하기 쉬워질수 있다고 생각합니다.</p><p>또한, 보다 즉각적인 지표인 신규 유저수와 D1 리텐션 수치를 활용해 비교적 짧은 시간 안에 여러번의 iteration을 가져갈수도 있습니다.</p><h3>팁 요약</h3><p>실제 서비스에 이 방식을 도입해보며 얹은 팁 몇가지는</p><p><strong>&gt; 지표가 어느 정도 안정화 되었을때 수치를 쓰는것이 정확도를 올렸음</strong></p><ul><li>신규 피쳐의 경우 초반 오픈 효과, 배포율 등 초반 지표가 흔들리는 경우가 많아 안정권에 들어온 지표를 쓰는것이 정확도를 올렸습니다</li></ul><p><strong>&gt; 런칭 후 오래된 피쳐의 경우 기존 유저가 쌓여 신규 유저 &amp; 리텐션만으로는 반영이 어려움</strong></p><ul><li>기존에 쌓인 유저를 반영할수 있도록 기존 유저 계수를 추가하여 사용</li></ul><blockquote><strong>DAU = 신규 유저 수 *신규 D1 리텐션 * 기존 계수 + 기존 유저 계수</strong></blockquote><h3>100% 정확할 수는 없지만,,,</h3><p>이 방식 또한 기존 가정들이 어긋나는 상황이라면 예측치들이 또 다시 오류를 범하겠지만, 약간의 수고를 곁들인 추상화를 통해 쉽게 제품을 진단해볼수 있는 방식에 도달하는 과정이 매우 즐거웠습니다. 여기까지 읽어주신 분들의 또 다른 고견들을 기다리겠습니다 :)</p><p>⏰ 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 🙌</p><figure><a href="https://team.alar.my/?utm_source=medium&amp;utm_medium=dewey&amp;utm_campaign=new_feature_dau"><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*XjGCt6ZOyXL8XVEg.png" /></a></figure><p><a href="https://team.alar.my/?utm_source=medium&amp;utm_medium=dewey&amp;utm_campaign=new_feature_dau"><strong>→ 딜라이트룸 채용 공고 살펴보기</strong> ⏰</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b4f3b2eb5a24" width="1" height="1" alt=""><hr><p><a href="https://medium.com/delightroom/%EC%83%88%EB%A1%9C-%EC%B6%9C%EC%8B%9C%ED%95%9C-%EC%9D%B4-%EA%B8%B0%EB%8A%A5%EC%9D%80-dau-%EC%96%BC%EB%A7%88%EC%A7%9C%EB%A6%AC-%EA%B8%B0%EB%8A%A5%EC%9D%BC%EA%B9%8C-carrying-capacity-%EB%8F%84%EC%9E%85%EC%9D%B4-%EC%96%B4%EB%A0%A4%EC%9A%B8%EB%95%8C-b4f3b2eb5a24">새로 출시한 이 기능은 DAU 얼마짜리 기능일까? (Carrying Capacity 적용이 어려울때)</a> was originally published in <a href="https://medium.com/delightroom">DelightRoom</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[프로덕트 개발에서의 ‘unteachable lesson’]]></title>
            <link>https://duilee.medium.com/%ED%94%84%EB%A1%9C%EB%8D%95%ED%8A%B8-%EA%B0%9C%EB%B0%9C%EC%97%90%EC%84%9C%EC%9D%98-unteachable-lesson-7e9f740fd66f?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/7e9f740fd66f</guid>
            <category><![CDATA[product-development]]></category>
            <category><![CDATA[lessons-learned]]></category>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Wed, 08 Oct 2025 09:18:33 GMT</pubDate>
            <atom:updated>2025-10-09T07:28:18.266Z</atom:updated>
            <content:encoded><![CDATA[<blockquote>올해 목표 중 하나였던 나만의 앱을 개발해보기에 대한 짧은 후기</blockquote><p>24년의 끝자락에서 세웠던 목표중 하나는 나만의 앱을 개발해보는 것이었다. 데이터 분석가인 내가 왜 이런 목표를 세우게 됐냐고 한다면…</p><ul><li>스타트업 밥을 먹은지 4년이 넘어가면서, ‘서당개도 3년이면 풍월을 읖는다던데’ 라는 생각과 함께 나만의 제품을 만드는 능력을 키워둬야겠다는 생각이 들었고,</li><li>주변에 사이드 프로젝트를 하는 개발자들에게 약간의 흥미를 표했더니, 언제할거냐 라는 닦달도 한몫했다.</li></ul><p>11월 쯤 부터인가 Udemy의 60시간 짜리 swift 강의를 끊고, 한 2월까지 꾸준히 들으면서 시키는 과제도 꼬박꼬박 따라갔었다. 그리고,책 읽기를 좋아하는 내 취향을 곁들여 다른 사람들도 책을 많이 읽었으면 좋겠다는 마음에 ‘책 읽기 앱’을 목표로 만들기 시작했다. 아, 왜 flutter, RN 이 아닌 swift라고 한다면 닦달했던 개발자들이 할거면 근본부터 하라는 말에 설득이 되었기 때문이다.</p><p>한 1~2달 정도 이것저것 개발을 해보고, 120불짜리 ios developer program도 신청하고, 앱이 배포되었다. (<a href="https://apps.apple.com/kr/app/one-book-a-month/id6744606274">앱스토어 링크</a>)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ejiGt8aaoA2_mGEXLk6DyA.png" /></figure><p>결론부터 말하자면 앱은 실패했다. (쓰는 사람이 없거든요 ㅎㅎ ㅠ ) 그닥 억울할것도 없는게 직접 만든 나조차도 잘 쓰지 않는 앱이 되었다. (무려 여자친구는 책은 기록 안하고 앱으로 내 사진을 찍어 기록한다…)</p><p>Chris Williamson 이라는 외국 팟캐스터의 Modern Wisdom 채널을 좋아하는데, 거기에 ‘unteachable lessons’ 이라는 개념이 나온다. “돈이 행복을 살 수 없다”, “걱정은 시간 낭비다”, “나에게 해가 되는 사람들을 손절해도 된다” 와 같이 다 맞는 말이지만 직접 경험하기 전까지는 얻을 수 없는 교훈들에 대한 이야기다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TEuDn6_sNNxa0co5H3R3Jw.png" /><figcaption><a href="https://x.com/ChrisWillx/status/1876298598700470371?lang=en">https://x.com/ChrisWillx/status/1876298598700470371?lang=en</a></figcaption></figure><p>왜 갑자기 외국 팟캐스터 얘기를 하냐면, 내가 느낀 제품개발에서의 unteachable lesson이 바로 <strong>‘고객의 문제에서 시작해야한다’ </strong>였기 때문이다.</p><p>IT, 그리고 스타트업에서 있다보면 귀에 딱지가 앉아서 피가 철철 흐를 정도로 매일 또는 심지어 1~2시간 마다 한번씩 보고 듣는 문장이다. 그리고, 옆에서 그렇게 잔소리를 들었으면서도 내 앱은 별다른 문제를 푸는 앱은 아니였다.</p><p>앱을 만들겠다, 그리고 쓸만한 기능을 추가하면 사용자들이 생길거란 생각해서 배포를 하고, 기능을 추가하면서 정말 많은 희열을 느꼈다. 아무도 설득할 필요없이 만드는 기능들… 정말 짜릿하다. (스트레스 해소용으로라도 추천한다.) 하지만 결론적으로 아무도 쓰지 않는 앱이 되었고, 아무도 쓰지 않는 서비스는 나의 경험 이외에 남에게 주는 효용가치가 없다.</p><p>그러다가, 오랜만에 펼쳐본 이력서에서 이전 회사 동료와 새벽 3시까지 시간가는줄 모르고 만들었던 ‘오사카 교통패스 찾기’ 가 눈에 들어왔다.</p><p>시작은 오사카 교통패스가 너무 어려워서 물어보는 리뷰가 많다는 사업쪽의 슬랙 쓰레드였고, 실제로 들여다보니 오사카 교통패스는 다 큰 성인이 2일이상 공부해도 헷갈릴만큼 복잡했다. 당시 이걸 구글설문으로 풀어보려는 일본 담당 인턴분을 붙잡고 간단한 로직을 파악하고 개선한 뒤, 코딩애플 React 강의를 하나 듣고 주말에 만나 이틀도 안걸려 개발을 했었다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/974/1*1EFBK0JggteYaQp8CQnXJw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1020/1*3-uTo4VPSHm1KhcSW9X4Ng.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/972/1*t9sy-p1rnLFk6svbXXmFNw.png" /><figcaption>아직 링크가 살아있다,,, <a href="https://passfinder.myrealtrip.com/">https://passfinder.myrealtrip.com/</a></figcaption></figure><p>이 서비스는 결과가 좋았다. 오가닉 트래픽도 꾸준히 생겼었고, 앱 내에서 이 서비스를 통한 상품들의 전환율이 그렇지 않은 상품들보다 현저히 높았다. 총 결제액도 꽤나 쏠쏠한 금액이였다.</p><p>스타트업과 창업 관련 책, 영상에서 수없이 보던 “고객이 겪고 있는 뾰족한 문제에서 시작해야한다” 를 그렇게 많이 듣고도, 심지어 이전에 작은 성공을 겪어보고도, 6개월이 걸려 혼자 제대로 실패를 해보고나서야 이 unteachable lesson의 레슨을 피부로 이해할 수 있었다. (최소한 지금은,,,)</p><p>매일매일 살아가면서 익숙해진 일상에서 문제를 찾는건, 하루하루 살아가기 바쁜 직장인에게 귀찮고도 쉽지 않은 일인건 맞다. 뭐 굳이 안해도 되는 일이기도 하고. 하지만, 취미로 하는 개발이라고 하더라도 나름 스타트업에서 문제에 집중한다고 하는 사람이 아무도 안쓰게 되버린 앱을 만들었다는건 조금 부끄러운 일이였다. 그저 기능개발의 도파민에 취해서… 기능을 개발하면 고객이 쓸거라는 내로남불을 방관해버렸다!</p><p>그래도 결론적으로는 참 웃기면서 큰 깨달음의 순간이였다.</p><p>실패했어도 세상에 새로운 제품을 내본다는 행위는 생각보다 훨씬 많은 도파민이 터지는 행위였고, 앞으로를 더 기대하게 만들어주는 여정이였다.</p><p>며칠전 유투브에서 이런 현상(?)을 설명하는 개발에서의 “학습모드” vs “제품모드” 를 유심히 봤다. 새로운 기술을 써보며 경험이 목적인 학습 모드와 허접한 기술이라도 고객의 문제에 집중하는 제품모드인데, 올해 초에 이걸 봤다면 “또 당연한말 하고 있네” 하고 지나갔을것 같다.</p><p>그리고, 이 글을 보고 “또 당연한 소리하고 있네”라고 생각하는 분들께 나만 즐겁고 아무도 안써버릴 서비스의 출시를 강력 추천한다!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7e9f740fd66f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Machine Learning으로 찾아본 알라미 유저들의 사용패턴]]></title>
            <link>https://medium.com/delightroom/machine-learning%EC%9C%BC%EB%A1%9C-%EC%B0%BE%EC%95%84%EB%B3%B8-%EC%95%8C%EB%9D%BC%EB%AF%B8-%EC%9C%A0%EC%A0%80%EB%93%A4%EC%9D%98-%EC%82%AC%EC%9A%A9%ED%8C%A8%ED%84%B4-0b79f8382a51?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/0b79f8382a51</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[user-segmentation]]></category>
            <category><![CDATA[product]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[business]]></category>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Mon, 03 Mar 2025 10:50:49 GMT</pubDate>
            <atom:updated>2026-01-23T08:43:31.148Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/proxy/0*zM0N_cnIySeSkDsb.jpg" /></figure><h3>우리 유저들은 서비스를 어떻게 쓰고 있지?</h3><p>딜라이트룸에 합류한지 얼마 되지 않은 시점에 <a href="https://medium.com/delightroom/%EC%95%8C%EB%9D%BC%EB%AF%B8%EC%97%90%EC%84%9C-dau%EB%A5%BC-%EB%B6%84%EC%84%9D%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95-e8dee9dd7240">DAU 분석글</a>을 보고, 팀과 이야기하다 이런 궁금증이 생겼었습니다. 유저들이 우리 서비스를 얼마나 사용하는지를 넘어서 ‘어떻게’ 사용하는지를 알아볼 수 있을까? 알라미의 미션은 유저들을 잘 깨우기 위함인데, 과연 우리 유저들은 어떻게 일어나고 있을까? 그리고, 어떻게 일어나냐에 따라서 잔존율에 차이가 생길까?</p><p>우리 유저들이 서비스를 어떻게 사용하는지는 데이터분석가 뿐만 아니라 제품을 다루는 사람이라면 한번쯤을 알고 싶고, 고민해보는 주제입니다. 그동안 해왔던 유저 인터뷰나 경험적인 데이터를 가지고 누구나 가슴속에 품고 있는 유저의 모습은 있지만, 유저 데이터를 사용해서 보다 전체적인 뷰를 만들어본 경험을 짧게나마 공유해보려합니다. 물론, 정답이 없는 주제이긴 하지만 좋은 시작점이 될 수 있는 내용이라고 생각합니다.</p><h3>사용 패턴이 어디서 달라질까?</h3><p>유저의 사용 패턴을 분석하기에 앞서, 선행적으로 필요한건 당연히 유저의 사용 패턴에 대한 요소적 정의입니다. 소위 말하는 Feature Engineering과 같이 어떤 요소들이 유저의 사용 패턴을 정의할 수 있을지에 대한 고민을 먼저 시작했었습니다.</p><p>서비스의 기능을 따라 개별 알람에 추가되는 미션 여부와 개수, 알람이 울릴때 사용되는 스누즈 횟수 등을 기본적으로 추가하되, 기상이라는 도메인의 특성을 살려 단순히 개별 알람에 포함되는 기능 이외에도 총 알람 개수, 전체 기상 시간, 알람간 인터벌, 알람의 평균 시간 등 유저 단위에 Feature들을 추가적으로 발굴하고 정의하였습니다.</p><p>또한, 매일 사용하는 서비스인 만큼, 주중/주말간의 cyclical한 데이터의 노이즈를 제거하기 위해 정의된 Feature들을 주중/주말로 구분하고, 기간 평균을 사용하여 outlier를 최대한 눌러줄수 있도록 설계했습니다.</p><h3>구관이 명관</h3><p>잘 준비된 유저별 Feature들을 어떻게 나눠볼지는 또 다른 고민 포인트였습니다. 단순하게는 각 피쳐당 분포를 살펴보며, 유저들이 각 요소들에 대해 어떤 값을 가지고 있을지 파악해볼수도 있었고, 딥러닝 또는 Prediction 모델을 통해 리텐션이 높게 나오는 요소들을 분리해 유저를 구분해볼수도 있지만, 여러 방식이 머리에 떠오르던 중 채택했던 방식은 KMeans를 통한 클러스터링이였습니다.</p><p>별도의 Label에 대한 Bias가 없이 전체적인 유저의 사용패턴을 살펴보고 싶었고, 한가지 요소가 아닌 전체 요소의 조합에 따라 유저의 패턴을 나눌수 있을까에 대한 고민에 가장 알맞다고 판단했는데요. 그 밖에도, LLM이 각광 받는 시대에서 개인적으로 전통적인 모델들이 충분히 강력하다는걸 스스로에게 한번 더 보여주고 싶었던 마음도 없지 않아 있었습니다. LLM은 강력하지만, 아직 Machine Learning도 죽지 않았다…!</p><h3>KMeans Clustering</h3><p>알고리즘은 Python Scikit-Learn의 KMeans 알고리즘을 사용했고, cluster 개수 선택 방식은 inertia를 활용한 기존 elbow method를 사용했습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EbyCFk9-Byr4Waty_C_PFQ.png" /><figcaption>유저 클러스터 개수 별 inertia</figcaption></figure><p>사실 Elbow Method를 활용한 클러스터 개수 선정은 개인의 판단이 들어갈 수 밖에 없는 부분인데요. 저는 Andrew Ng이 Machine Learning 강의에서 이야기했던, “클러스터 개수는 개인 또는 팀이 감당할수 있을 만큼의 개수를 가져가라” 라는 말을 항상 따르고 있습니다. Inertia를 참고하되, 아무리 10개 이상의 클러스터가 낮은 Inertia를 보여도, 한 개인이 10개의 클러스터를 모두 이해하고 관리하기 어렵다면 개수를 줄이는게 낮다는 의미였는데요. 이를 참고해서 내부적인 커뮤니케이션과 제 이해도를 높히기 위해 저 또한 4개의 클러스터로 개수를 제한하여 모델은 훈련시켰습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zr24TdbtHsjsaZT6RD2VQQ.png" /><figcaption>PCA를 통한 클러스터 시각화</figcaption></figure><h3>Machine Learning에 포장 한스푼</h3><p>Perplexity CEO가 최근 팟캐스트에서 “결국 모든 서비스는 또 다른 서비스의 Wrapper다”. OpenAI도 Nvidia의 Wrapper고, Nvidia도 반도체칩의 Wrapper기 때문에 가치를 만들어내는 Application Layer가 중요하다는 내용이였는데요. KMeans를 통해 얻은 클러스터링 결과도 결국엔 어떤 해석과 인사이트가 붙혀지느냐에 따라 가치가 달라지게 됩니다.</p><p>KMeans의 결과를 가지고 있는 모델에 ._centers_ 를 사용하면 각 클러스터의 중심값을 확인할 수 있고, 직접 피쳐를 만들고 모델을 고민한 데이터 분석가나 과학자에게는 그 자체로도 충분한 인사이트가 될지도 모릅니다. 다만, 만약 다른 이해관계자들이 있다면 단순히 숫자를 보여주는것은 그저 떠다니는 숫자들 중 하나가 되기 쉽습니다.</p><p>한가지 방법은 나의 이해도를 직관적으로 나타내줄수 있는 이름을 각 클러스터에 붙혀주는 방식입니다(마치 유저 페르소나를 정하는것 처럼 말이죠). 조금은 쑥쓰럽고, 낯간지러울수도 있지만 많은 사람들을 숫자보단 글을 더 쉽게 이해하고 상상력을 펼치기 때문에 보다 효과적으로 내가 찾아낸 결과를 전달하는 방식임은 분명합니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yvk3GNYLqAXBrwz9F6xAlw.png" /><figcaption>클러스터 네이밍과 설명에 대한 예시</figcaption></figure><p>좋은 예시라고 단언하진 못하겠지만, 단순히 0번 클러스터가 알람 평균이 2개면서, 인터벌은 5분 간격이고 해제 시간이 5분정도 됩니다~ 라고 말하는것보단 훨씬 직관적인것은 확실합니다.</p><h3>한단계 더 나아가보기</h3><p>이제 유저의 Feature를 정해보고, 의미있는 클러스터링을 통해 유저 페르소나와 유사한 네이밍도 붙혀보았다면, 남은 영역은 보다 무궁무진 합니다. 각 클러스터별로 서비스에 해당하는 핵심 지표들의 현황을 파악해보고, 현재 우리 서비스에 더 도움이 되고 있는 유저 패턴을 정의해볼수 있으며, 각 유저들의 기간별 클러스터 변화에 따른 지표 변화를 보며 자연스러운 유저의 사용 여정을 그려 볼 수도 있습니다.</p><p>알라미의 경우 리텐션이 DAU와 직결되는 지표로, 각 클러스터에 대한 기간별 리텐션을 파악해보고, 클러스터별 자세한 미션 사용패턴, 상태 변화에 따른 리텐션 변화 등을 파악해보며 더 많은 인사이트들을 뽑아볼수 있었습니다.</p><p>추가적인 분석을 위해 모델 자체를 .pkl과 같은 파일로 저장해두고, load()를 사용해서 모델의 일관성을 가져가는것과 각 유저에 Feature와 Cluster Label 또한 별도 저장해두는것을 추천 드립니다.</p><h3>적절한 방식 잘 찾아보기…!</h3><p>현업에서 ChatGPT, Claude, Cursor 등 여러 AI 툴들의 도움을 많이 받으며 생산성을 올리고 있는 데이터 실무자로써, LLM이 주는 breakthrough가 굉장히 신나고 흥미롭습니다. 가까운 미래가 될지 먼 미래가 될지 모르겠지만, 그래도 꼭 LLM이 아닌 전통적인 Machine Learning 방식이나 통계적 분석 방식도 충분히 유의한 분야가 아직있다 생각이 많이 들었던 작업이였습니다. (물론 코드 짤때는 당연히 Claude와 함께함)</p><p>비슷한 고민을 하시는 분이라면 한번쯤 시도해보시길 추천합니다!</p><p>⏰ 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 🙌</p><figure><a href="https://team.alar.my/?utm_source=medium&amp;utm_medium=dewey&amp;utm_campaign=ml_user_pattern"><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*QpVJKfPbjNN_On3K.png" /></a></figure><p><a href="https://team.alar.my/?utm_source=medium&amp;utm_medium=dewey&amp;utm_campaign=ml_user_pattern"><strong>→ 딜라이트룸 채용 공고 살펴보기</strong> ⏰</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=0b79f8382a51" width="1" height="1" alt=""><hr><p><a href="https://medium.com/delightroom/machine-learning%EC%9C%BC%EB%A1%9C-%EC%B0%BE%EC%95%84%EB%B3%B8-%EC%95%8C%EB%9D%BC%EB%AF%B8-%EC%9C%A0%EC%A0%80%EB%93%A4%EC%9D%98-%EC%82%AC%EC%9A%A9%ED%8C%A8%ED%84%B4-0b79f8382a51">Machine Learning으로 찾아본 알라미 유저들의 사용패턴</a> was originally published in <a href="https://medium.com/delightroom">DelightRoom</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[리텐션이 광고 수익화에서 중요한 이유(feat. 광고 LTV) | DARO]]></title>
            <link>https://medium.com/delightroom/%EB%A6%AC%ED%85%90%EC%85%98%EC%9D%B4-%EA%B4%91%EA%B3%A0-%EC%88%98%EC%9D%B5%ED%99%94%EC%97%90%EC%84%9C-%EC%A4%91%EC%9A%94%ED%95%9C-%EC%9D%B4%EC%9C%A0-feat-%EA%B4%91%EA%B3%A0-ltv-daro-3835a58a2729?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/3835a58a2729</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[monetization]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[business]]></category>
            <category><![CDATA[ad-tech-industry]]></category>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Mon, 24 Feb 2025 07:26:19 GMT</pubDate>
            <atom:updated>2025-02-24T09:02:56.845Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*tegbNNByqRgBktSk.png" /></figure><h3>여기에 광고 지면은… 유저에게 너무 안좋은 경험인데요..?</h3><p>올해 매출 목표를 생각하니 지금 가지고 있는 광고 지면으로는 도저히 무리라는 생각이 드는 찰나, 앱을 만지작 만지작 하다보니 여기 밑에 광고 지면 하나만 넣으면 얼마나 좋을까 생각이 듭니다. 그래도 이제 앱을 쓰는 고객들도 꽤 생겼고, 이 정도 지면 넣는다고 정말 고객들이 엄청 싫어할까? 생각이 들죠. 엑셀을 켜놓고 어림잡아 수익 시뮬레이션까지 해보면 아직 있지도 않은 지면이 벌써 내 자식이 된 것 같은 기분이 듭니다. 그렇게, 제품팀과 회의가 시작되고, 예상되는 수익에 대해 열변한 후 돌아오는 말은 “유저에게 너무 좋지 않은 경험이라 다시 고민해볼 수는 없냐”는 이야기입니다.</p><p>편가르기를 조성하는 것은 아니지만, 어느 정도 규모가 있는 회사에서 일하는 분이라면 한번쯤 놓이게 되는 상황입니다. 앞서 작성된 글에서도, UX와 수익에 대한 균형( <a href="https://medium.com/delightroom/%EC%95%B1-%EA%B4%91%EA%B3%A0-%EC%88%98%EC%9D%B5%ED%99%94%EC%9D%98-%EB%94%9C%EB%A0%88%EB%A7%88-ux%EC%99%80-%EA%B4%91%EA%B3%A0-%EC%88%98%EC%9D%B5-%EC%82%AC%EC%9D%B4%EC%9D%98-%EA%B7%A0%ED%98%95-%EC%9E%A1%EA%B8%B0-584c651847e7">앱 광고 수익화의 딜레마: UX와 광고 수익 사이의 균형 잡기</a>)과 알라미 내에서 제품 경험을 지키기 위해 수익을 잠시 포기하는 전략적 선택을 한 사례( <a href="https://medium.com/delightroom/2%EB%B0%B8%EC%9D%98-%EB%A7%A4%EC%B6%9C-%EC%A6%9D%EC%A7%84-%EB%8C%80%EC%8B%A0-%EC%82%AC%EC%9A%A9%EC%84%B1%EC%9D%84-%ED%83%9D%ED%95%9C-%EC%9D%B4%EC%95%BC%EA%B8%B0-31e692d2603b">2배의 매출 증진 대신 사용성을 택한 이야기</a>)를 공유드렸었는데요.</p><p>주로 유저의 여정에서 추가되는 광고에 대한 실험의 지표로 수익과 함께 유저 리텐션을 보면서, 추가된 광고가 유저의 플로우를 해치지는 않는지, 유저가 불편함을 느끼고 실제로 서비스에 돌아오지 않고 있지는 않은지 측정하여 결정하게 됩니다. 오늘은 이 개념을 좀 더 확장하여 <strong>리텐션과 LTV가 왜 광고 수익화에 중요한지, 그리고 어떤 식으로 측정해볼 수 있을지 짚어보려 합니다.</strong></p><p>‍</p><h3>이 유저들 데려와도 될까 말까?</h3><blockquote><strong><em>광고 LTV = Lifetime(일) * 일별 광고 수익(ARPDAU)</em></strong></blockquote><p>LTV는 Lifetime Value(고객생애가치)의 약자로 <strong>고객이 서비스로 유입되어 이탈하기 전까지 만들어내는 수익에 대한 지표</strong>입니다. 광고 LTV를 계산할 때는 유저의 lifetime을 일 단위로 환산하여 일별 광고 수익(ARPDAU)으로 곱하며 측정해볼 수 있는데요.</p><p>이렇게 광고 LTV를 측정하여 광고 수익에 대한 모니터링을 하기 시작하면, 1) <strong>광고 수익과 서비스 사용성의 관계를 한 지표에서 측정</strong>할 수 있고, 2) 유<strong>저 획득에 대한 가치를 보다 정교하게 측정</strong>할 수 있는 이점이 생깁니다.</p><p>광고 실험을 진행하며 수익을 핵심 지표로, 그리고 리텐션을 가드레일 지표로 잡아 실험 결과를 분석할 때 종종 <strong>수익과 리텐션의 tradeoff에서 딜레마</strong>에 빠지게 됩니다. 광고 수익이 오르고, 리텐션이 그대로라면 정말 좋겠지만, 실제로는 광고 수익이 10% 올랐는데 리텐션은 3%p가 빠졌다면, 실험군을 유지해야 할까? 리텐션 1%p 차이가 얼마 정도 수익 상승과 비슷할까? 생각이 들게 되죠.</p><blockquote><strong>Lifetime = SUM(D+N일 Retention)</strong></blockquote><p>LTV는 이런 딜레마를 보다 쉽게 풀어나갈 수 있게 도와줍니다. LTV에서 Lifetime은 평균 생애주기로, 만약 일별 리텐션을 이미 측정하고 있다면, 일별 평균 리텐션의 총합으로 평균 생애주기를 대체할 수 있습니다. 즉 단순 특정 기간의 리텐션이 아니라, 전체 리텐션을 사용하여 Lifetime을 구해 이 차이를 계산할 수 있다면, Lifetime 증분량과 ARPDAU의 증분량을 비교하여, 실제 유저의 LTV가 상승하는지 가늠해볼 수 있습니다.</p><blockquote><strong>ROAS = LTV / CAC</strong></blockquote><p>나아가, 유저의 생애주기 동안 발생하는 광고 매출을 측정하기 시작했다면, 효율적인 User Acquisition 전략 또한 세워볼 수 있습니다. CAC(유저획득비용)을 사용하여, LTV를 나눠준다면 현재 기준으로 한 유저를 데려올 때 손해를 보고 있는지, 이익을 보고 있는지 정량적으로 판단할 수 있게 됩니다. 또한, 이를 채널 또는 국가별로 구분해서 모니터링한다면, 어떤 국가에 집중을 하는 것이 맞을지 또는 어떤 국가에서 일별 광고 수익을 높여보는 액션을 해야 될지 구체적인 가설을 세워볼 수 있게 됩니다.</p><p>예를 들어, ROAS가 높다면 해당 국가에는 유입을 더 많이 만들어내볼 수 있는 액션을, ROAS는 낮지만 CAC도 낮아 비교적 유저 획득이 쉬운 국가라면 보다 공격적인 광고를 통해 LTV를 높혀보는 액션을 취해볼 수 있겠죠.</p><p>‍</p><h3>광고 LTV 그거 어떻게 구하는건데…?</h3><blockquote><strong><em>광고 LTV = Lifetime(일) * 일별 광고 수익(ARPDAU)</em></strong></blockquote><p>광고 LTV에서 측정이 까다로운 부분은 Lifetime(생애주기)인데요. 최대한 측정 주기를 1~2달로 줄여서 본다고 해도, 해당 기간 동안 기다려야 리텐션 지표를 확인할 수 있어 측정이 느려지게 됩니다. 그래서 지표가 actionable하지 못해 후행지표를 보고 있다는 느낌을 지울 수 없어 종종 찝찝한 느낌이 들기도 합니다.</p><p>생애주기를 SUM(D+N일 retention)으로 접근하여 포함되는 기간을 최대한 늘리고, 측정을 위해 기다리는 기간을 최소화하기 위해 추천하는 방식은 retention에 대한 예측값을 구해 사용하는 것입니다. 간단하게는 scipy에서 제공하는 curve_fit 함수나 Linear Regression/Tree-based/Deep Learning 알고리즘을 통해 직접 구현한 모델로 어렵지 않게 구해볼 수 있는데요. 이때, 현재 서비스의 리텐션 커브가 수렴하는 포인트들을 확인하고 해당 포인트들을 최대한 잘 예측해줄 수 있는 함수나 모델을 찾아보는 것이 중요합니다.</p><p>예를 들어, D7까지는 리텐션이 급격히 떨어지다, D14부터 평탄해지면서 D28 이후에는 일관적인 리텐션을 유지하는 서비스를 가지고 있다면, 사용하려는 모델이 D7, D14의 데이터 포인트를 잘 예측하는지, 그리고 D28 이후 리텐션이 flat하게 유지되도록 예측하는지 확인하는 것이 중요합니다.</p><p>모델에 따라 기간이 상이하겠지만, 약간의 고도화를 통해 D7 또는 D14까지만 보고도 D365까지의 합을 꽤나 정확하게 예측해볼 수 있어, 많지 않은 관측수를 가지고 보다 긴 기간의 생애주기를 계산해볼 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Bh53dEjci5Ft9MiJ.png" /></figure><p>추가적으로 제안하는 방식은 리텐션을 측정할 때 코호트로 측정(빨간색)이 아닌 <strong>발생일자를 기준으로 측정(초록색)</strong>하는 방식입니다. 앞서 말한 보다 actionable한 지표를 볼 수 있는 방식이라고 이해해볼 수 있는데요. 만약 코호트 기준으로 7일을 기다려, D7까지의 리텐션을 기준으로 LTV를 측정하게 되면 7일 전 지표를 보게 되는 상황임으로 이미 액션을 하기엔 늦은 것 아닌가? 라는 생각이 들기 마련인데요.</p><p>이 부분을 조금만 바꿔 매일매일 그 날짜에 해당하는 D1~D7 리텐션을 사용하여 LTV를 구하게 되면, 가장 최신 리텐션 지표를 가지고 LTV를 구할 수 있게 되며, LTV 변화가 있을 시 동일하게 각 리텐션별로 차이를 분석하여 변화의 원인을 찾을 수 있습니다. 언뜻 보면 조삼모사, 그게 그거 아닌가… 생각이 들 수도 있는 포인트지만, 지표를 전달하는 관점과 받아들이는 관점에서 최신의 지표를 참고하고 있다고 인지하는 점에서 action으로 이어지는 가설이 나올 확률이 더 높다고 생각합니다.</p><p>‍</p><h3>광고수익과 서비스 사용성</h3><p>앞서 말했듯, 광고 수익과 서비스 사용성은 떼어내고 싶어도 뗄 수 없는 닭과 계란과 같은 존재입니다. 항상 두 요소간의 trade off를 고민해야 되는 상황에서 LTV는 좋은 나침반이 될 수 있는 지표입니다. 언뜻 보면 일정한 계산이 어렵고 주기적인 모니터링을 하기에 까다로워 보이긴 하지만, 한번 힘을 모아 측정을 시작한다면 단순 수익과 사용성 관점 뿐만 아니라 유저 획득에 대한 고민을 더 양질의 고민으로 만들어주고, 선택과 집중을 할 수 있게 해주는 훌륭한 지표라고 말씀드리고 싶습니다.</p><p>‍</p><p>⏰딜라이트룸의 광고수익화 비법이 궁금하다면?</p><figure><a href="https://daro.so/"><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Ul3vk50jSwdwOFcy.png" /></a></figure><p>‍</p><p><em>Originally published at </em><a href="https://daro.so/blog/why-retention-is-important-in-ad-monetization"><em>https://daro.so</em></a><em>.</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3835a58a2729" width="1" height="1" alt=""><hr><p><a href="https://medium.com/delightroom/%EB%A6%AC%ED%85%90%EC%85%98%EC%9D%B4-%EA%B4%91%EA%B3%A0-%EC%88%98%EC%9D%B5%ED%99%94%EC%97%90%EC%84%9C-%EC%A4%91%EC%9A%94%ED%95%9C-%EC%9D%B4%EC%9C%A0-feat-%EA%B4%91%EA%B3%A0-ltv-daro-3835a58a2729">리텐션이 광고 수익화에서 중요한 이유(feat. 광고 LTV) | DARO</a> was originally published in <a href="https://medium.com/delightroom">DelightRoom</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DAU를 늘린다고 무조건 광고 수익이 늘지 않는 이유 | DARO]]></title>
            <link>https://medium.com/delightroom/dau%EB%A5%BC-%EB%8A%98%EB%A6%B0%EB%8B%A4%EA%B3%A0-%EB%AC%B4%EC%A1%B0%EA%B1%B4-%EA%B4%91%EA%B3%A0-%EC%88%98%EC%9D%B5%EC%9D%B4-%EB%8A%98%EC%A7%80-%EC%95%8A%EB%8A%94-%EC%9D%B4%EC%9C%A0-daro-84c6332cb209?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/84c6332cb209</guid>
            <category><![CDATA[business]]></category>
            <category><![CDATA[ad-tech-industry]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[ad-monetization]]></category>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Tue, 11 Feb 2025 04:44:06 GMT</pubDate>
            <atom:updated>2025-02-11T05:04:27.443Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Yvw5FE9_8Fr_M9aO09Nk3A.jpeg" /></figure><h3>광고 시장은 주식 시장?</h3><p>수요와 공급이 급변하는 광고 시장을 보고 있자면, 주식 시장과 비슷하다는 생각이 자주 듭니다. 매일 아침 전날의 주가 변동을 설명하는 증시 동향 리포트를 읽다 보면, ‘아, 그래서 그랬구나’ 하는 깨달음을 얻기도 하지만, 때로는 단순히 해석을 위한 이유를 끼워 맞춘 것이 아닐까 하는 의구심이 들기도 합니다. 하지만 광고 시장은 주식 시장과 달리 변동의 원인을 좀 더 명확하게 들여다볼 수 있다는 특징이 있습니다.</p><p>광고 수익은 기본적으로 노출과 eCPM의 곱으로 이루어지기 때문에, 많은 분들이 처음 광고 수익화를 시작할 때 제품의 DAU 성장에 비례해서 노출량이 늘면서 광고 수익도 그만큼 오르지 않을까 기대하기 쉽습니다. 하지만 세상만사가 우리 마음대로 되지 않듯이, 광고 수익화도 늘 오르는 DAU만큼 수익이 따라오지 않는 경우가 종종 있습니다. 다행히도 그 이유를 조금은 더 명확하게 찾아볼 수 있는데요, 오늘은 그 이야기를 나눠보려 합니다.</p><p>‍</p><h3>DAU는 늘었는데 왜 광고 수익은 그만큼 늘지 않죠?</h3><p>앞서 말했든, 광고 시장도 주식 시장만큼 수많은 요소들의 영향으로 수익 변화가 생겨납니다. 그럼에도 불구하고 DAU와 수익의 관계에서 이해도를 높힐 수 있는 몇 가지를 공유드리려 합니다.</p><p>‍</p><h4>DAV(Daily Ad Viewers)의 볼륨</h4><p>DAV(Daily Ad Viewers)는 일별 몇 명의 유저가 광고에 노출되었는지를 측정하는 지표입니다. 눈치 빠르신 분들은 벌써 알아채셨겠지만, DAU가 늘어난다고 해서 광고에 노출되는 유저가 비례해서 늘어나지 않는 경우가 매우 많습니다.</p><p>대부분의 앱 개발사에서 광고 노출 자체를 유저의 제품 경험을 해치는 요소로 여기는 경우가 많다 보니, 핵심 플로우가 아닌 깊은 단계에 광고를 배치하는 경우가 많은데요. 이런 경우, 신규 유저가 지속적으로 늘어나더라도 핵심 플로우에만 머무는 유저들이 광고가 위치한 화면까지 도달하지 못한다면, DAU는 늘어나지만 실제 광고 노출 유저 수는 정체되면서 노출량 또한 제자리걸음을 하게 됩니다.</p><p>‍</p><h4>늘어난 유저의 Demographics</h4><p>앞서 보셨듯이 광고를 보는 유저들의 수도 중요하지만, 어떤 유저들이 광고를 보는지도 굉장히 중요한 요소입니다. 주식 시장과 비슷하게 광고 시장 또한 국가별로 수요와 공급이 다르고, 해당 국가의 경제 상황 역시 반영되기 때문에 같은 지면이라도 국가별로 측정되는 가격이 달라집니다.</p><p>예를 들어, 인도는 14억이라는 압도적인 인구수로 시장 진입만 성공한다면 엄청난 유저 수를 확보할 수 있지만, 광고 단가는 미국 대비 매우 낮은 수준입니다. 만약 여러분의 서비스가 글로벌로 확장하며 DAU를 키웠는데, 새로 진출한 국가의 광고 단가가 기존 평균보다 낮다면 DAU와 비례하는 수익 성장을 기대하기는 어려울 것입니다.</p><p>이는 국가뿐만 아니라 모바일 OS에 따라서도 차이가 발생하며, 최근 광고 시장에서도 First Party Data의 중요성이 높아지면서 어떤 특성을 가진 유저를 확보하느냐가 수익에 더욱 큰 영향을 미칠 것으로 예상됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*LPJ4Gclf44pVLkO5.jpg" /></figure><p>우리 앱의 유저가 다 같은 유저라고 생각하면 안됩니다.</p><p>‍</p><h4>유저의 활동성 차이</h4><p>유저의 활동성 차이도 중요한 요소입니다. 광고 수익은 결국 eCPM과 노출량으로 구성되는 만큼, 단순히 광고 화면에 유저가 노출되는 것을 넘어서 광고 지면에 얼마나 자주 유저가 방문하느냐 또한 매우 중요합니다. 당연히 하루에도 여러 번 제품을 사용하고, 다양한 화면을 탐색하며 제품을 사용하는 유저가 더 많은 광고 수익을 발생시킬 수 있습니다.</p><p>그러므로 일회성 또는 단기적인 프로모션으로 DAU 상승을 이뤄내고, 프로모션 관련 페이지 외로 유저의 탐색이 이어지지 않는다면, 유저당 노출되는 광고량이 줄어들어 DAU 상승과 비례하는 노출과 수익 상승을 기대하기는 어렵습니다. 그래서 유저당 노출 수, 유저당 탐색하는 화면 수, 화면당 체류시간 등 서비스 사용성을 대변할 수 있는 지표와 함께 광고 수익을 보는 것이 현상을 제대로 이해하기 위해 매우 중요합니다.</p><p>‍</p><h4>eCPM 하락</h4><p>어찌 보면 당연한 이야기일 수 있지만, eCPM도 빼놓을 수 없는 요소입니다. 광고 시장은 주식 시장과 비슷하게 수요와 공급의 법칙을 그대로 따르는데요. 퍼블리셔는 공급자 입장에서 자신의 지면을 비싸게 파는 것이 가장 좋지만, 시장에 갑자기 많은 주식이 풀리면 주가가 떨어지는 것처럼 지면의 노출량이 갑자기 늘어나면 해당 지면에 대한 시장의 매력도가 떨어져 오히려 더 낮은 단가에 거래되는 경우도 발생합니다. (더 자세한 eCPM 내용이 궁금하다면? <a href="https://daro.so/)">https://daro.so/)</a></p><p>‍</p><h3>그럼 어떤 지표를 봐야하나요?</h3><p>광고 수익은 이처럼 다양한 대내외 요소의 영향을 받기 때문에, 모든 것을 관통하는 하나의 지표는 없다고 생각합니다. (알고 계시다면 꼭 연락 부탁드립니다.) 하지만 DAU 변화에 따른 수익 변화를 보다 선명하게 보기 위해 ARPDAU(Average Revenue Per Daily Active User) 지표를 참고해볼 수 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*pBDe5QUWsszJp1WV.png" /></figure><p>ARPDAU는 전체 일별 수익을 DAU로 나누어, DAU 변화에 대한 노이즈를 제거하고 실질적으로 유저당 수익이 어떻게 변하고 있는지를 보여줍니다. 나아가 ARPDAU를 한번 더 쪼개어 유저당 광고 노출 수와 eCPM으로 나누어 보기 시작하면, 현재 일별 수익의 변화가 실제로 광고 단가의 이슈인지, 아니면 유저에게 노출되는 광고 수에 대한 이슈인지 정확하게 파악해볼 수 있게 됩니다.</p><p>‍</p><h3>광고 시장 ≈ 주식 시장</h3><p>결국 주식 시장을 한눈에 파악할 수 없듯이, 광고 시장도 모든 것을 완벽히 이해하려 하기보다는 집중해야 할 영역을 최대한 좁히고 그 안에서 실행 가능한 액션들을 찾아 지속적인 실험을 통해 최적화하는 것이 더 효율적인 방법일 것입니다. 특정 지표에 매몰되기보다는 선제적인 지표 설계를 통한 모니터링으로 현상에 대한 이해도를 높여가는 것을 추천드리며 이 글을 마무리하고자 합니다.‍‍</p><p><em>Originally published at </em><a href="https://daro.so/blog/relationship-between-dau-and-ad-revenue"><em>https://daro.so</em></a><em>.</em></p><p>‍⏰딜라이트룸의 광고수익화 비법이 궁금하다면?</p><figure><a href="https://daro.so/"><img alt="" src="https://cdn-images-1.medium.com/max/700/0*X2zW3nS6iq-Gspgr.png" /></a></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=84c6332cb209" width="1" height="1" alt=""><hr><p><a href="https://medium.com/delightroom/dau%EB%A5%BC-%EB%8A%98%EB%A6%B0%EB%8B%A4%EA%B3%A0-%EB%AC%B4%EC%A1%B0%EA%B1%B4-%EA%B4%91%EA%B3%A0-%EC%88%98%EC%9D%B5%EC%9D%B4-%EB%8A%98%EC%A7%80-%EC%95%8A%EB%8A%94-%EC%9D%B4%EC%9C%A0-daro-84c6332cb209">DAU를 늘린다고 무조건 광고 수익이 늘지 않는 이유 | DARO</a> was originally published in <a href="https://medium.com/delightroom">DelightRoom</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[알라미에서 광고 데이터를 200% 활용하는 방법 | DARO]]></title>
            <link>https://medium.com/delightroom/%EC%95%8C%EB%9D%BC%EB%AF%B8%EC%97%90%EC%84%9C-%EA%B4%91%EA%B3%A0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-200-%ED%99%9C%EC%9A%A9%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95-daro-fff72c031cc3?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/fff72c031cc3</guid>
            <category><![CDATA[data-analytics]]></category>
            <category><![CDATA[app-monetization]]></category>
            <category><![CDATA[business]]></category>
            <category><![CDATA[ad-tech-industry]]></category>
            <category><![CDATA[maximize-ad-performance]]></category>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Wed, 22 Jan 2025 05:35:20 GMT</pubDate>
            <atom:updated>2025-01-22T06:37:39.236Z</atom:updated>
            <content:encoded><![CDATA[<h3>알라미에서 광고 데이터를 200% 활용하는 방법</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/702/0*pcRlXa7JyIIo3Pte.png" /></figure><blockquote>부제 : 데이터팀과 협업하기</blockquote><p>eCPM, Impression, Ad Requests… 광고 수익화를 고민하는 팀이라면 이러한 지표들과 씨름하며 수익 개선을 위해 고민해보셨을 것입니다. 데이터의 중요성은 누구나 알고 있지만, 각 미디에이션과 네트워크의 콘솔을 통해 이미 데이터를 볼 수 있기 때문에 데이터팀과의 직접적인 협업은 생각지도 못한 분들도 있을 것 같습니다. 하지만, 아무리 데이터를 볼 수 있다고 해도, 데이터 팀과의 직접적인 협업은 또 다른 시너지를 만들어 낼 수 있는데요.</p><p>그래서 오늘은 알라미가 데이터팀과의 협업을 통해 어떻게 광고 수익을 고도화해왔는지 공유하고자 합니다.‍</p><h3>광고 수익화 x 데이터팀 = 주체적인 데이터 환경</h3><p>데이터팀과 협업의 첫 시작점은 주체적인 데이터 환경 구축에 있습니다. 앞서 말씀드렸듯, 이미 미디에이션과 네트워크사에서 각각의 대시보드를 통해 데이터를 볼 수 있는 콘솔을 제공하지만, 이 숫자들이 늘어날수록 데이터 트래킹에 들어가는 리소스는 배로 늘어나게 됩니다.</p><p>또한, 이렇게 데이터를 각각 분리된 환경에서 분석하다 보면, 아무래도 잘못된 데이터 분석이나 이를 통한 의사결정이 내려질 수 있죠. 하지만, 수익을 다루다보니 잘못된 의사결정에 대한 사이드 이펙트가 바로 매출에 영향을 미치기 마련입니다.</p><p>이에 대한 해결책으로 딜라이트룸은 이미 데이터 웨어하우스를 구축하여 알라미 프로덕트에 대한 자체적인 데이터 환경을 운영 중이며 (참고: <a href="https://medium.com/delightroom/etl-vs-elt-%EB%8B%B9%EC%8B%A0%EC%9D%98-%EC%84%A0%ED%83%9D%EC%9D%80-3d55ee4c5192">ETL vs ELT, 당신의 선택은?</a>), 각각 흩어진 광고 데이터 또한 별도 파이프라인 구축을 통해 전체적인 데이터 웨어하우스 설계에 포함시켜 관리하고 있습니다.</p><p>이를 통해 흩어진 광고 데이터를 한 곳에 모아 접근성을 높혀 광고 데이터에 대한 오너십을 가져올 수 있게 되었고, 꾸준한 정합성 관리와 유연한 확장성을 통해 변화하는 광고 운영 전략을 안정적으로 지원하고 있습니다.</p><p>‍</p><h3>단순 광고 지표 만으로는 보지 못하는 영역</h3><p>이렇게 잘 구축된 데이터 환경에서 오는 가장 큰 이점은 효율적인 데이터 모니터링입니다. 이미 딜라이트룸에서 다룬 바 있듯이 (참고: <a href="https://medium.com/delightroom/%EC%95%8C%EB%9D%BC%EB%AF%B8%EB%8A%94-%EA%B1%B4%EA%B0%95%EA%B2%80%EC%A7%84%EC%9D%84-%EC%96%BC%EB%A7%88%EB%82%98-%EC%9E%90%EC%A3%BC%ED%95%A0%EA%B9%8C-feat-%EA%B4%91%EA%B3%A0-%EC%A7%80%ED%91%9C-20cd8d00387c">알라미는 건강검진을 얼마나 자주 할까 (feat. 광고 지표)</a>, <a href="https://medium.com/delightroom/%EA%B4%91%EA%B3%A0-%EC%A7%80%ED%91%9C-%EC%AA%BC%EA%B0%9C%EB%B3%B4%EA%B8%B0-e7c53954eb8c">매출이 떨어진 이유 분석하는 방법</a><a href="https://medium.com/delightroom/%EC%95%8C%EB%9D%BC%EB%AF%B8%EB%8A%94-%EA%B1%B4%EA%B0%95%EA%B2%80%EC%A7%84%EC%9D%84-%EC%96%BC%EB%A7%88%EB%82%98-%EC%9E%90%EC%A3%BC%ED%95%A0%EA%B9%8C-feat-%EA%B4%91%EA%B3%A0-%EC%A7%80%ED%91%9C-20cd8d00387c">‍</a>) 중앙화된 데이터 웨어하우스를 통해 광고 지표를 고객사, 국가, 광고 지면 등 원하는 Dimension으로 손쉽게 분석할 수 있게 되었습니다. 또한 과거 데이터에 대한 통계 분석을 통해 보다 적절하고 정확한 모니터링 시스템을 구축할 수 있게 되었죠.</p><p>특히 고무적인 것은 데이터 웨어하우스 운영 기간이 늘어나면서 얻은 변화입니다. 데이터 웨어하우스를 구축한 시간이 축적되면서, 이제는 단순한 주간/월간 사이클 분석을 넘어 연간 사이클까지 파악할 수 있게 되어, 모니터링 프로세스에서 이상치에 대한 판단이 한층 더 정교해졌습니다. 축적된 데이터를 토대로 일별 노이즈를 제거하고, 세분화된 Ad Unit과 Mediation Group 지표에 대해서도 이상치를 판단할 수 있게 되었죠. 이를 통해 실제로 대응이 필요한 이슈와 참고용 이슈를 명확히 구분하여 모니터링할 수 있게 되었습니다.‍</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/519/0*wJ3Zh3Z4uYdp9y_1.png" /><figcaption>알라미 &amp; 고객사 광고 지표 모니터링 리포트</figcaption></figure><p>‍광고 지표의 효율적 분석을 넘어, 또 다른 중요한 이점은 광고 데이터와 서비스/제품 데이터를 유기적으로 연결할 수 있게 된 것입니다. 데이터 웨어하우스를 통해 이 두 영역의 데이터가 한곳에서 통합되면서, 단순한 ARPDAU 지표를 넘어 광고가 실제 서비스에 미치는 영향을 종합적으로 분석할 수 있게 되었습니다. 이는 단순히 두 데이터를 나란히 보는 것이 아니라, 광고 수익과 사용자 경험 사이의 미묘한 균형점을 찾아내는 데 결정적인 도움이 되었습니다.</p><p>예를 들어, “새로 추가된 광고 지면이 유저 리텐션에 부정적 영향을 미치지는 않을까?” 혹은 “특정 광고 지면에 10번 방문하던 유저가 5번으로 줄어드는 것은 아닐까?” 와 같은 심층적인 질문들에 데이터 기반으로 답할 수 있게 되었죠. 나아가 이와 같은 질문들의 지표화를 통해 광고와 제품 양쪽의 데이터 해상도를 함께 높여, 변동사항을 지속적으로 모니터링할 수 있게 되었습니다.</p><p>여기서 한 걸음 더 나아가, 사용자의 행동 로그는 물론 미디에이션/네트워크사에서 제공하지 않는 latency와 같은 데이터까지 자체적으로 로깅하고 적재하게 되었습니다. 이 latency 데이터는 광고 로딩으로 인한 사용자 경험 저하를 최소화하면서도, 수익을 극대화하는 데 핵심적인 역할을 하게 되었습니다. 이렇게 구축된 통합 데이터 웨어하우스는 빈틈없는 데이터 분석 환경을 제공하며, 보다 정교한 의사결정을 가능하게 만들었습니다.</p><p>‍</p><h3>데이터가 알려주는 새로운 시드</h3><p>이렇게 향상된 데이터 해상도는 광고 수익화 전략에 있어 전에 없던 새로운 가능성을 열어주었습니다. 광고 수익화에서 가장 중요한 것은 지속적인 실험을 통한 노하우 축적인데, 이제는 단순한 수익 데이터를 넘어 각 지면의 시즈널리티와 DAU 등 다양한 변수를 복합적으로 고려한 분석이 가능해졌습니다. 이를 통해 각 실험의 실효성을 더욱 정확하게 판단하고, 시기별로 차별화된 수익화 전략을 구사할 수 있게 되었습니다.</p><p>그리고, 이런 통합된 데이터 환경은 자연스럽게 새로운 가설을 발굴하는 토양이 되었습니다. 광고 지면에서 발생하는 다양한 현상들을 광고 데이터와 서비스 데이터 양쪽에서 들여다보며, 더 깊이 있는 해석이 가능해진 것입니다. 예를 들어, Waterfall 설정의 Floor Price를 세분화하여 분석하고 이를 바탕으로 가변적인 가격 Price를 구상해볼 수 있었습니다. 또한 미디에이션 콘솔이 보여주는 직접적인 실험 결과를 넘어, 특정 광고 실험이 전반적인 사용자 경험과 장기적인 수익에 미치는 영향까지 파악할 수 있게 되었습니다. 이러한 심층 분석을 통해 도출된 인사이트들은 자연스럽게 다음 실험의 밑거름이 됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/855/0*br2AUFXL1fsUQAgF.png" /><figcaption>Waterfall 분석 예시</figcaption></figure><p>이렇게 분석에서 시작해 가설을 세우고, 실험을 거쳐 새로운 인사이트를 얻는 과정이 반복되면서 광고 수익화에 대한 노하우가 체계적으로 쌓여갑니다. 이러한 데이터 기반의 선순환 구조는 단기적인 수익 증대뿐만 아니라, 지속 가능하고 안정적인 성장의 원동력이 되고 있습니다.</p><p>‍</p><h3>Up Next…</h3><p>광고 수익화라는 도메인에서 데이터팀과의 협업을 통해 어떤 시너지를 만들어낼수 있는지 조금은 감이 잡히셨나요? 데이터의 중요함은 모두가 알고 있지만, 데이터를 정말 잘 활용하기 위해선 굉장히 많은 리소스와 고민이 필요하다는 말씀도 같이 드리고 싶습니다.</p><p>이제 알라미의 광고 수익화에 대한 사례들이 궁금해지는 시기가 아닐까 싶은데요. 이어지는 글들에서 보다 구체적인 이야기들을 소개해보려 합니다.</p><p>‍<em>Originally published at </em><a href="https://daro.so/blog/maximizing-ad-data-usage"><em>https://daro.so</em></a><em>.</em></p><p>⏰ 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 🙌</p><figure><a href="https://team.alar.my/recruit/?utm_source=medium&amp;utm_medium=dewey&amp;utm_campaign=ad_data_200"><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*GBmtpUB2jyyM_p_U.png" /></a></figure><ul><li><a href="https://team.alar.my/recruit/?utm_source=medium&amp;utm_medium=dewey&amp;utm_campaign=ad_data_200"><strong>딜라이트룸 채용 공고 살펴보기</strong> ⏰</a><br>(+ 여기서 지원하면 입사 축하금 100만원💸)</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fff72c031cc3" width="1" height="1" alt=""><hr><p><a href="https://medium.com/delightroom/%EC%95%8C%EB%9D%BC%EB%AF%B8%EC%97%90%EC%84%9C-%EA%B4%91%EA%B3%A0-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-200-%ED%99%9C%EC%9A%A9%ED%95%98%EB%8A%94-%EB%B0%A9%EB%B2%95-daro-fff72c031cc3">알라미에서 광고 데이터를 200% 활용하는 방법 | DARO</a> was originally published in <a href="https://medium.com/delightroom">DelightRoom</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Sparkify Project — Predicting User Churn]]></title>
            <link>https://duilee.medium.com/sparkify-project-predicting-user-churn-97cf1b1e2fdf?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/97cf1b1e2fdf</guid>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Tue, 21 Sep 2021 15:14:22 GMT</pubDate>
            <atom:updated>2021-09-22T04:50:45.499Z</atom:updated>
            <content:encoded><![CDATA[<h3>Sparkify Project — User Churn Prediction</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*CzdlRYU_CulI81D9.jpg" /></figure><p>When working at a company where you have a service that user interact with, one of the most important metrics you should keep track is the churn rate. You have to make sure that you are in control of users leaving. And if you can predict whether a certain user will leave in the future, it is much more helpful in building your retention strategy.</p><h4>Project Overview</h4><p>The project I have worked on deals with a mini subset of full 12GB log data for our fictional music streaming app, sparkify. The goal of the project is to predict churn for the user.</p><h4><strong>Problem Statement</strong></h4><p>As customer churn is one of the most important factors to manage, this project sought the help out customer retention rate. For this project I have utilized Apache Spark SQL, and ML libraries, along with Pandas and Numpy.</p><p>The main processes are</p><ul><li>Use Apache Spark application to clean up missing user id or session id</li><li>Using SQL syntax on top of spark, explore on users churn</li><li>With SQL query on Spark, extract features for each user</li><li>Train the model</li></ul><h4><strong>Metrics</strong></h4><p>Since my project would be a classification exercise, I have used accuracy and f1-score to determine the validity of my classification model.</p><p>f1-score works well when dataset classes are imbalanced, which isn’t really a case here as the classes (churned vs not churned) is almost 50:50. Hense accuracy would work better. Yet I still kept f1-score for the reference.</p><h4><strong>Data Exploration</strong></h4><p>The dataset has shape of (286500, 18), 286500 rows and 18 columns. The log data came with the following schema, and I used simple Spark context to clean out empty user id and session id</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/351/1*BO7QmgcxEsTkV3Zc-fJoxw.png" /><figcaption>Schema of the giving dataset</figcaption></figure><p>As our data is log history data, there were 20 unique pages the users interact with.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/843/1*qoKstVD0PHhuX-pAyVNfFw.png" /><figcaption>pages in the log</figcaption></figure><p>The statistics of the dataset is as follows.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qx6kT3z0aykE1uLQBbpziA.png" /></figure><p>Looking at the histogram of the columns, we can see that churn rate isn’t so imbalanced, while registration, iteminsession, length looks to be skewed.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/548/1*Fyxnq5m4gOYIQ87bP4sdqg.png" /></figure><h4><strong>Data Visualization</strong></h4><p><strong><em>Churn was defined as having a page log history of ‘Submit Downgrade’ or ‘Cancellation Confirmation’. </em></strong>After establishing such definition, I’ve added column to indicate whether the user was churned.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OzlbuPYA46qTKimo2Zij9Q.png" /><figcaption>Churned column is created</figcaption></figure><p>It showed that gender isn’t really an issue in churning, and so is whether the user is paid or free user. But the churn ratio for free user seem to be a little smaller.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TJE7v3CWR3GsnoxmIPwW2g.png" /></figure><h4><strong>Data Preprocessing</strong></h4><p>As for preprocessing the data, I have removed rows where userId or sessionId is null. And also where userId is an empty string(‘’).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/1*6u_DUwojj52BcgPNdZa-SA.png" /><figcaption>Drop null</figcaption></figure><p>For the modeling purpose, I have created following features</p><ul><li>Thumbs down count</li><li>Thumbs up count</li><li>error count</li><li>add to playlist count</li><li>add friend count</li><li>total song</li></ul><h4><strong>Implementation</strong></h4><p>Feature extraction was performed with SQL query as below on top of Apache Spark Syntax</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1003/1*UU5AYALuMwrgerfViyLI3w.png" /><figcaption>SQL code for feature extraction</figcaption></figure><p>Boxplot of extracted features are as follow,</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*girG_rQUHRPdUMt8nYrUvQ.png" /><figcaption>Extracted features</figcaption></figure><p>Comparing the features…</p><ul><li>Thumbs down count : user who churned has more thumbs down</li><li>Thumbs up count : user who churned has slight more thumbs up</li><li>error count : both user had similar error count</li><li>add to playlist count: user who churned has added to playlist slightly more</li><li>add friend count: user who churned has slightly more friends added</li><li>total song: user who churned has slightly more songs played</li></ul><h4><strong>Refinement</strong></h4><p>To better fit the data and extracted features to the model, I have used VectorAssembler and MinMaxScaler.</p><p>Vector Assembler merges vectors into a single feature vector to feed right into the model. And MinMaxScaler normalized the extracted features for the models to train well on.</p><h4>Model Evaluation and Validation</h4><p>For modeling, I’ve utilized Logistic Regression, Random Forest, Gradient Boost Tree with Pipeline.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jxnMwnba8iHeiVncUyBoRA.png" /><figcaption>Pipeline and modeling example</figcaption></figure><p>For each model, I’ve implemented cross-validation to find the best parameter.</p><p><em>Logistic Regression — regParam of 0.0, 0.1</em></p><ul><li>Initial parameter was set as maxIter=10, regParam=0.0, elasticNetParam=0. After cross-validating the regParam, 0.0 worked the best, which thumbs down count as the highest contributing factor.</li><li>For Logistic Regression, feature importance attribute was not available. Instead, the actual weights of the factor could be used as comparing the importance of features.</li></ul><p><em>Random Forest — number of trees among 3, 5, 10</em></p><ul><li>Initially set with numTrees =5. After cross-validating, numTrees=10 worked the best.</li><li>When using Piepline and spark, finding the best parameter value has some difficulties due to syntax differences. I was able to find the documentation and put the code together (i.e. model_randomforest.bestModel.stages[-1]._java_obj.parent().getNumTrees())</li></ul><p><em>Gradient Boost — MaxIter among 3, 5, 10</em></p><ul><li>For gradient boosting, MaxIter parameter was cross-validated with 5 becoming the best parameter.</li></ul><p>The accuracy and f1 score of the models came out to be…</p><ul><li><strong>Logistic Regression — Accuracy : 64.7%, f1-Score : 63.9</strong></li><li>Random Forest — Accuracy : 61.7%, f1-Score : 62.1</li><li>Gradient Boost — Accuracy : 61.8%, f1-Score : 61.3</li></ul><p>more details can be found <a href="https://github.com/duilee/udacity_DSND/blob/master/projects/Capstone_Project_Sparkify/Sparkify.ipynb">here</a></p><p>Within the Logistic Regression model, thumb down count turned out to be the most important feature.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/482/1*5f-Pfjk3lMMSHJ9265vYlg.png" /><figcaption>Feature coefficients for LR model</figcaption></figure><p>Cross-validating the logistic regression model with 3 folds, the model with regParam = 0.0 gives stable result with f1 score of 61.5% on average.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/852/1*-jPKwsafFs7v1Z0h145Nog.png" /></figure><h4><strong>Justification</strong></h4><p>As for models, I think logistic regression worked the best for the small number of features and simplicity of the data. Whether more features or models would be more efficient is left out for discussion.</p><h4>Reflection</h4><p>For the project…</p><ul><li>I’ve used apache spark application to clean up missing user id or session id</li><li>using SQL syntax on top of spark, I performed data exploration on users churn</li><li>With SQL query on spark, I extracted features for each user. And as for predicting churn, thumbs down count turned out to be more important</li></ul><p>I have to say implementing the algorithm in Spark syntax was the hardest part as I am more used to sklearn libraries when it comes to machine learning.</p><h4><strong>Improvement</strong></h4><p>As the features that get fed into the model are the most important factor, I believe by providing additional features the model can definitely improve. Such features should be a useful information about the user, and I believe if such features as survey results for churned users, or user engagment time of the app, they would’ve been useful</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=97cf1b1e2fdf" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[How climate change is affecting Arctic Sea Ice Concentration — with ML]]></title>
            <link>https://duilee.medium.com/how-climate-change-is-affecting-arctic-sea-ice-concentration-with-ml-db725bea33e5?source=rss-48435317db6b------2</link>
            <guid isPermaLink="false">https://medium.com/p/db725bea33e5</guid>
            <category><![CDATA[arctic-ice-melt]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[climate-change]]></category>
            <dc:creator><![CDATA[Dui Lee]]></dc:creator>
            <pubDate>Sun, 27 Jun 2021 13:37:37 GMT</pubDate>
            <atom:updated>2021-06-29T03:53:27.790Z</atom:updated>
            <content:encoded><![CDATA[<h3>How climate change is affecting Arctic Sea Ice Concentration — with ML</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CuY5YzbsNqzu8w3q1-SuNQ.jpeg" /></figure><p>Every week, I listen to the All-In Podcast[<a href="https://www.allinpodcast.co/">https://www.allinpodcast.co/</a>] featuring Chamath Palihapitiya, Jason Calacanis, and other renowned venture capitalists. In the last week’s podcast, Chamath shouted “Climate change isn’t real!” — of course not in a literal way, but to express the degree of freedom in speech needed in the society.</p><p>Apologies for the deviation, but this got me to remember one of the past ML projects I have done on predicting Arctic Sea Ice Concentration. I will summarize what the project was about and how I tackled the problem.</p><p><strong>Background</strong></p><p>As a result of global warming, various climate change signs had been detected including Earth’s surface temperature change, irregular temperature, and rising sea levels. The ice concentration at the North Pole has also been decreasing.</p><p>The goal of the project was to use the <strong>satellite images of the past North Pole’s ice concentrations</strong> and <strong>predict the ice concentration in the future</strong></p><p><strong>Dataset</strong></p><p>I was given monthly data of 5 satellite images(448 x 304) from Nov. 1978 to Dec. 2018. Each data contained ice concentration(valued between 0~250), blind spot, shoreline, land border, and null value locations.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/429/1*xLp08SBlh4YDaXA7hCcyug.png" /><figcaption>Example of data given</figcaption></figure><p>The goal was to use the data to predict the ice concentration for 2019.</p><p><strong>Questions / Approach</strong></p><ul><li>What’s the general trend of the ice concentration like? does it differ by month? year?</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/394/1*-P8zcWfDs3x6HV_4cLsUig.png" /><figcaption>Average ice concentration by month</figcaption></figure><p>Looking at the average ice concentration by month, the oscillation within the year is evident. The oscillation comes from the temperature difference between summer and winter seasons. Quite obviously, the ice melts more in summer and re-freezes in the winter.</p><ul><li>Is the ice concentration actually decreasing?</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/366/1*OW7Qg_ApLPtHUOQEXCavdA.png" /></figure><p>It is not so evident from above the ice concentration is decreasing. Monthly data is cyclical as the summer season is hotter than winter, so I used 5-year average. Indeed, the data showed that ice concentration was decreasing.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/502/1*2pOjGEXr0Pnze9wY2aAsTQ.png" /><figcaption>Ice concentration of the same month over years</figcaption></figure><p>Looking at the ice concentration of the same month over the year, the general decreasing trend is also evident as we come near 2020.</p><ul><li>What about the blind spot of the satellite images? Is it also decreasing?</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/410/1*Rawv6n1pP0e8jsSo8PLMMw.png" /></figure><p>Also, the blind spot for the satellite image was also decreasing thanks to technological advancement. Blind spot represents the area can not be seen by the satellite. As blind spot decreases, more accurate prediction would be possible.</p><ul><li>How can this project be useful?</li></ul><p>If the model predicts the ice concentration in a fairly accurate range, this would be a good indicator of how much climate change is affecting the arctic ice sea concentration.</p><p><strong>Results / Conclusion</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mSDSyIfwAuHgyY7cuxRtdQ.png" /><figcaption>Performance Summary</figcaption></figure><p>The models performed in very close range with the test data. But the Multi-Head Attention model with self-attention layers worked the best.</p><p>The model contains the decreasing trend as the dataset provided reflects it. Though I wish ML models to be an accurate indicator of the future, for this time I hope this model will be proven wrong from global efforts to stop climate change.</p><p>Details of the project can be found at <a href="https://github.com/duilee/data_projects/tree/master/_00_ice_concentration_AI">https://github.com/duilee/data_projects/tree/master/_00_ice_concentration_AI</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=db725bea33e5" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>