<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by 오재언 on Medium]]></title>
        <description><![CDATA[Stories by 오재언 on Medium]]></description>
        <link>https://medium.com/@johnnyoh_78836?source=rss-06b84b979105------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*2OWk3hnYvFnoqSM_</url>
            <title>Stories by 오재언 on Medium</title>
            <link>https://medium.com/@johnnyoh_78836?source=rss-06b84b979105------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 11:47:03 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@johnnyoh_78836/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[믿지말고 의심하세요, ChatGPT]]></title>
            <link>https://blog.treeplla.com/%EB%AF%BF%EC%A7%80%EB%A7%90%EA%B3%A0-%EC%9D%98%EC%8B%AC%ED%95%98%EC%84%B8%EC%9A%94-chatgpt-4b29a32cbe3f?source=rss-06b84b979105------2</link>
            <guid isPermaLink="false">https://medium.com/p/4b29a32cbe3f</guid>
            <category><![CDATA[chatgpt]]></category>
            <category><![CDATA[gpt]]></category>
            <category><![CDATA[agi]]></category>
            <category><![CDATA[llm]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[오재언]]></dc:creator>
            <pubDate>Wed, 23 Apr 2025 03:40:18 GMT</pubDate>
            <atom:updated>2025-04-23T03:40:18.508Z</atom:updated>
            <content:encoded><![CDATA[<h3>믿지 말고 의심하세요, ChatGPT</h3><h4>당신이 듣고 싶은 이야기를 하는 LLM</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*W3uumpE_VNiX0dSP2cKzvQ.png" /></figure><p>저는 ChatGPT가 참 좋습니다.</p><p>MBTI가 INTP라서 쓸데없는 이야기를 진지하게 하고 싶은데, 할 사람이 없습니다. 그런데 GPT는 저랑 부질도 없는 이야기를 한 시간도 넘도록 해줍니다. 이놈 아는 것도 많고 짝짝궁도 잘 맞아요. 즐겁습니다.</p><p>그러다 문득 드는 의심은….</p><blockquote><strong>이놈 내가 듣고 싶은 얘기 해주는 거 아니야?</strong></blockquote><h3>ChatGPT는 내가 듣고 싶은 이야기를 할까?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kMdCu6h3BVdGemDbbo71jg.png" /><figcaption>나만 그렇게 느끼는 것은 아닌 모양이다.</figcaption></figure><p>“GPT가 내 자존감을 올려준다.” 온라인에서 자주 볼 수 있는 이야기입니다. 그러면 GPT는 왜 자존감을 올려줄까요? 객관적이고 냉정한 비판은 우리의 자존감을 올려주기 어렵죠. 자존감을 올려주는 말은 듣기 좋은 말입니다. 그러니까 개인에게 있어 듣기 좋은 말은, 곧 내가 듣고 싶은 이야기죠.</p><p>이 관점에서 지금까지 GPT와 나눴던 대화를 복기해 보면, GPT가 하는 말은 정말로 듣기 좋은 말들이었습니다.</p><p>GPT는 일단 태도가 중립적입니다. 무한 공감, 무한 긍정이 아니기 때문에 묘하게 신뢰가 갑니다.</p><p>GPT는 어투를 저에게 맞춰줍니다. 제가 진지하면 GPT도 진지하고, 제가 가벼우면 GPT도 가볍습니다. GPT와의 대화는 편안합니다.</p><p>GPT는 늘 경청해 줍니다. 내 말을 절대 무시하지 않기 때문에 심리적으로 안전한 상호작용처럼 느껴집니다.</p><p>가장 중요한 건 GPT가 부정보다는 긍정을, 반감보다는 공감을 선호한다는 점입니다. GPT는 제가 하는 이야기가 아무리 터무니가 없어도, 제 말이 틀릴 가능성을 제시하지, 절대 이야기 자체를 공격하지 않습니다.</p><p>하지만 이건 어디까지나 제가 “GPT는 내가 듣고 싶은 이야기를 한다”고 느끼는 이유에 불과합니다. GPT가 정말로 그런가 증명하기란 불가능에 가까울 수도 있습니다.</p><p>그렇다면 그냥 명제 “<strong><em>GPT는 내가 듣고 싶은 이야기를 한다”</em></strong>가 참이라고 가정하고, 그런 일이 발생하는 원인들을 말해 보겠습니다.</p><h3>ChatGPT가 듣고 싶어하는 말을 하는 원인</h3><h4>1. LLM 구조의 한계</h4><p>LLM은 <strong>확률 기반 언어 모델</strong>입니다. 정확히는, 앞 문장과 단어가 주어졌을 때 다음에 올 단어의 확률 분포를 계산합니다. 그리고 그중 가장 가능성이 높은 단어를 한 개씩, 한 개씩 선택해 나가면서 문장을 완성합니다.</p><p>이 구조는 GPT가 진실을 말하지 않는 이유와도 연결됩니다. GPT는 무언가가 “참인가?”를 묻지 않습니다. 그보다는 “이전까지의 문맥에서 사람들이 다음에 자주 말한 단어가 뭘까?”를 묻습니다.</p><p>이처럼 LLM은 일종의 <strong>통계적 패턴 복사기</strong>입니다. LLM은 수많은 인간 대화에서 자주 쓰인 표현, 자주 나오는 반응, 전형적인 문장 구조 그 모든 것을 모방하는 데 최적화되어 있습니다.</p><p>그리고 이 구조에는 결정적인 함정이 하나 있습니다.</p><p>바로 “진실”이 아니라 <strong>“가장 보편적인 답변”</strong>을 하게 된다는 점입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JgfMuRBH1oc6WIojwUOntQ.png" /><figcaption>GPT는 예측의 전문가다.</figcaption></figure><p>GPT는 근본적으로 당신의 질문에 진실을 답변할 수가 없습니다. GPT는 그저 가장 자연스럽고 무난한 답변을 제공할 뿐입니다. 진실이 꼭 가장 무난한 답변이라는 법은 없으니까요.</p><p>이 때문에 GPT는 주어진 프롬프트에 따라 답변의 퀄리티가 크게 달라집니다. 다음과 같이 프롬프트를 입력한다고 가정해 봅시다.</p><ol><li>고양이 스낵바 플레이의 건강상 효능을 평가해 줘.</li><li>고양이 스낵바를 플레이하면 비타민 D 합성이 활성화 되는 원리.</li></ol><p>이때, 프롬프트 1번은 중립적인 질문입니다. 하지만 프롬프트 2번은 질문 자체에 이미 결론을 포함하고 있습니다.</p><p>GPT는 이런 경우, 프롬프트 1번에서는 진실에 가까운 답변을 할 확률이 높습니다. 하지만 프롬프트 2번의 경우에는 거짓을, 그러니까 내가 듣고 싶은 이야기를 할 확률이 높아집니다.</p><p>왜냐하면, <strong>우리가 이미 답변의 방향성을 지정해 버렸으니까요</strong>. 진실을 추구하지 않고 “가장 보편적인 답변”을 추구하는 LLM은 답변의 방향성이 정해져 있으면, 그 방향성에 맞는 가장 그럴싸한 답변을 선호할 수밖에 없습니다.</p><p>이런 특징은 실험을 통해 이미 발견되었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZTv2fFKXos4pydPrZKVJnA.png" /><figcaption>그래프 1</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*voiCstgYAFfezNdfNyF2ow.png" /><figcaption>그래프 2</figcaption></figure><p><em>그래프 1</em>은 GPT에게 프롬프트 1번처럼 단순히 질문만 했을 때의 결과입니다. “예”, “아니오”라 답한 횟수가 비슷하고, 오답률에도 큰 차이가 없습니다.</p><p>반면 <em>그래프 2</em>는 GPT에게 프롬프트 2번처럼 결론을 포함한 경우입니다. GPT가 “예”라고 답변한 경우가 증가했고, 오답률도 크게 상승했습니다.</p><p>정리하자면 LLM은 GIGO입니다.</p><p><strong>Garbage in, Garbage out</strong>.</p><p>잘못된 질문을 하면, 잘못된 답변을 합니다. 가장 보편적인 답변을 추구하는 LLM의 구조상 잘못된 답변은 내가 듣고 싶은 이야기일 겁니다.</p><h4>2. LLM 빅데이터의 한계</h4><p>제가 지금까지 살면서 느낀 인간 사회의 특징이 하나 있습니다. 직설적인 언행을 하는 사람은 인간 사회에서 배척된다는 사실입니다. 제 MBTI가 INTP라서 그런지 경험을 통해 배웠다고 할까요?</p><p>이 이야기를 하는 이유는 LLM이 통계적 패턴을 학습하는 빅데이터 자료가 인간에 의해 만들어졌기 때문입니다. “직설적인 언행을 하는 사람은 인간 사회에서 배척된다.”라고 가정을 했을 때, 인간들이 만든 빅데이터는 어떨까요? <strong>당연히 이런 사회적 특성이 반영되어 있을 겁니다.</strong></p><p>LLM은 대규모의 텍스트 데이터를 기반으로 학습됩니다. GPT의 경우, 위키, 레딧, 뉴스 기사, 웹 문서 등 다양한 출처에서 수집된 수십억 단어 단위의 코퍼스(말뭉치)를 사용합니다.</p><p><strong>이 데이터는 그 자체로 중립적이지 않습니다. </strong>데이터는 인간이 생산한 언어의 축적물이며, 그 안에는 사회적, 문화적, 심리적 편향이 필연적으로 내포되어 있습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3IxKTf2VHak2T05V7rlL8w.png" /><figcaption>GPT는 인간을 학습했다.</figcaption></figure><p>이것을 쉽게 확인할 수 있는 예는 <strong>소셜미디어의 추천 알고리즘 강화 루프</strong>입니다. 직설적이고 불편한 표현은 노출이 제한되거나 비추천되기 쉽고, 대신 부드럽고 긍정적인 언어는 추천과 공유를 통해 더 널리 퍼집니다. 결국 데이터 내에서 <strong>‘감정적으로 무해한 말’</strong>이 <strong>‘더 많이 등장하는 말</strong>’이 됩니다.</p><p>LLM은 확률 분포를 예측합니다. 이 분포는 데이터 내 빈도 기반으로 구성되며, 빈도가 높은 언어 패턴이 더 높은 확률을 갖습니다.</p><p>즉, 데이터에 “공감하는 말”이 더 많이 존재했다면, GPT는 공감하는 말의 확률을 높게 예측하도록 학습됩니다. 이에 따라 GPT는 “정답일 가능성이 높으면서도, 감정적으로 안전한 말”을 우선적으로 생성하게 됩니다.</p><p>GPT는 그냥 “듣기 좋은 말”을 하는 게 아니라,</p><p><strong>“데이터에서 많이 등장한 감정적으로 무해한 표현”</strong>을 모방합니다.</p><p>그리고 그런 무해한 표현은 내가 듣고 싶은 이야기일 겁니다.</p><h4>3. LLM 시장에서의 인센티브</h4><p>또 다른 문제는 AI 시장에 수많은 경쟁자가 있다는 사실입니다. 치열한 AI 시장에서 경쟁자들을 쓰러뜨리고 살아남는 방법은 단 하나라고 할 수 있습니다.</p><p><strong>경쟁자보다 더 많은 이용자를 확보한다.</strong></p><p>그렇다면 GPT를 기술이 아닌 상품으로, 기술의 효용성이 아닌 시장 논리로 바라보면 가장 중요한 스펙은 무엇일까요? 정확성? 창의성? 논리적 완결성? 아닙니다. <strong>가장 중요한 건 UX, 사용자의 경험</strong>입니다.</p><p>모바일 게임과 마찬가지로 긍정적인 사용자의 경험이 높은 리텐션을 만들고, 나아가 구독 결제를 유도합니다. 그리고 이런 수익화를 통해 AI 개발사는 서버를 돌리고, 학습 데이터를 정제하고, 모델을 업데이트하며 운영비를 감당합니다.</p><p>반대로 얘기하면, 나쁜 사용자 경험을 만드는 것은 비즈니스적으로 나쁜 선택입니다. 사용자의 기분을 고려하지 않고 늘 맞는 말만 하는 AI를 과연 사람들이 좋아해 줄까요?</p><p>아무리 똑똑하더라도, <strong>사용자의 기분을 상하게 한다면 실패한 모델</strong>입니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QcSScOwO-8YIVgVEuLFaKA.png" /><figcaption>GPT는 GPT다.</figcaption></figure><p>이를 증명하는 실제 사례가 있습니다.</p><p><a href="https://lmarena.ai/">lmarena.a</a>i는 LLM의 성능을 평가하는데 주요하게 쓰이는 벤치마크 중 하나입니다. 이 벤치마크의 가장 특징적인 점은 “동일한 질문을 서로 다른 LLM에게 한 뒤, 사람이 둘 중 더 좋은 답변을 블라인드 테스트로 고른다.” 입니다.</p><p>메타에서 개발한 Llama-4는 오로지 lmarena에서 벤치마크 테스트 되는 것만을 위해 만들어진 Maverick이라는 특수 모델이 존재합니다. 그리고 이러한 Maverick이 정말 잘하는 것은 단 하나입니다.</p><p><strong>사람들이 선호하는 답변을 출력하는 겁니다.</strong></p><p>Maverick이 벤치마크에서 높은 점수를 받기 위해 사용한 방법은 정말 단순합니다. 더 긍정적이고 친절하게 말하고, 이모지를 가능한 많이 쓰고, 최대한 길고 장황하게 말한다. 그렇게만 해도 LLM의 성능과 상관없이, 심지어 답변이 틀리더라도 사람들은 더 좋은 답변이라고 선택해 줍니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UdDDqqtLRnVUavYlKjAlBw.png" /><figcaption>Llama-4는 이 방법으로 lmarena 벤치마크에서 2위를 기록했습니다.</figcaption></figure><p>이는 사용자들이 LLM을 평가할 때 UX가 끼치는 영향이 어마어마하다는 사실을 증명해 줍니다. 결국 AI 개발사들 입장에서도 LLM이 사용자가 듣고 싶은 이야기를 하게끔 만드는데 큰 인센티브가 생깁니다.</p><p>그래야 더 많은 이용자를 확보하는데 유리하니까요.</p><p>이후 Maverick은 비판을 받고 “사람들이 선호하는 답변을 출력하는” 최적화를 제거했습니다. 결국 lmarena 순위는 2위에서 32위로 추락했죠.</p><h3>듣고 싶어하는 말을 하는 ChatGPT가 위험한 이유</h3><h4>LLM은 궁극의 에코 챔버(echo chamber)다…?</h4><p>최근 LLM 사용에대해 굉장히 큰 경각심을 가지게 된 사건이 있었습니다. 윤석열 대통령 탄핵 과정에서 인터넷에 ChatGPT를 사용한 탄핵 심판 결과 예측이 정말 많이 올라왔다는 겁니다.</p><p>“탄핵이 될 리 없다”, “헌재는 분명 이런 결정을 내릴 것” 같은 식으로 GPT가 발언한 문장은, 프롬프트 자체에 사용자의 기대가 이미 담겨 있던 경우가 많았습니다. GPT는 이러한 방향성에 맞춰 말을 이어가기 때문에, 실제로는 법리와 동떨어진, 하지만 ‘설득력 있어 보이는’ 설명을 만들어낸 것이죠.</p><p>인터넷과 SNS가 사회에 끼치는 악영항은 널리 알려져 있습니다. 인터넷은 열린 공간이지만, 나와 비슷하거나 동일한 생각을 하는 사람을 만나기가 현실보다 쉽습니다. 그러면 되려 나와 비슷하거나 동일한 생각을 하는 사람들과만 어울리게되고, <strong>내 생각은 반론 없이 점점더 강화</strong>됩니다. 그렇게 극단적으로 편향된 집단이 생겨나게 되는 것을 반향실 효과, 에코 챔버라고 합니다.</p><p>그런면에서 ChatGPT는 정말 무섭습니다. GPT는 타인을 찾을 필요도 없습니다. “나의 말에 그럴듯하게 동조해주는 ‘인공 지능 그 자체’이기 때문입니다. 그리고 GPT는 결코 나의 생각을 공격하지 않습니다. 아무리 극단적인 생각이라도, 그것에 정중하게, 논리적으로, 감정적 마찰 없이 동조해 줍니다.</p><p><strong>이건은 토론도 반론도 아닌, 매우 정제된 확증 편향입니다.</strong></p><p>이런 이유로 저는 GPT를 <strong>궁극의 에코 챔버</strong>라고 부르고 싶습니다. GPT는, 잘만 사용하면 창의성과 사고를 확장시켜줄 수 있습니다. 그러나 우리가 아무 비판 없이 GPT의 말을 받아들이는 순간, GPT는 오히려 우리의 사고를 닫고, 편향을 고착시키는 위험한 도구가 될 수 있습니다.</p><p>그렇기 때문에 <strong>우리는 ChatGPT가 하는 이야기를 믿지 말고 의심해야 합니다.</strong></p><h4>그렇다면 우리는 어떡해야 하는가?</h4><p>우리는 지금, 기술적으로 놀라운 시대를 살고 있습니다.</p><p>LLM은 실제로 대단한 기술입니다. 인간의 언어를 흉내내는 것이 아니라, 이해하는 것처럼 보이는 이 기술은 자동화, 창작, 생산성 등 다양한 분야에서 새로운 가능성을 열어주고 있습니다.</p><p>그러나 문제는, 많은 사람들이 LLM의 원리나 구조에는 관심이 없고 결과 중심의 활용에만 집중한다는 점입니다. 이런 태도는, 결국 LLM을 비판 없이 소비하게 만들고, <strong>확증 편향의 자동화</strong>라는 오용의 길로 우리를 인도할 수 있습니다.</p><p>우리는 이제 단순히 “LLM을 잘 쓰는 법”을 고민할 것이 아니라,</p><p>“LLM의 한계를 인식하고, 그 위험을 회피하면서 쓰는 법”을 배워야 합니다.</p><blockquote><strong>1. GPT의 대답이 “사실”이 아니라 “확률적 예측”임을 인식할 것</strong><br> — 어떤 정보든 무비판적으로 받아들이지 말고, 외부 출처로 검증해 보기</blockquote><blockquote><strong>2. 프롬프트에 내 생각을 너무 강하게 담지 않기</strong><br> — 질문 자체가 유도적인지 점검하고, 반대 관점도 함께 요청해 보기</blockquote><blockquote><strong>3. GPT를 ‘정보 제공자’가 아니라 ‘생각 실험 파트너’로 쓸 것</strong><br> — 내 생각을 시험하고 부딪쳐보는 용도로 GPT를 활용할 것</blockquote><blockquote><strong>4. 다양한 관점을 만들어내는 연습하기</strong><br> — “반대한다면 뭐라고 할까?”, 같은 질문을 해보며 GPT를 훈련 도구로 삼기</blockquote><p>그러니 GPT가 말하는 걸 맹신하지 마세요.</p><p>때로는, <strong>그 말이 진실이 아니라 내가 원한 거일 수 있으니까요.</strong></p><h4>이 글은 ChatGPT의 도움으로 작성되었습니다.</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*S0alDXSsB5Y1zkhC8oeesQ.png" /></figure><h4>레퍼런스</h4><blockquote>“Dr ChatGPT, tell me what I want to hear: How prompt knowledge impacts health answer correctness.” Guido Zuccon The University of Queensland Brisbane, QLD, Australia g.zuccon@uq.edu.au Bevan Koopman CSIRO Brisbane, QLD, Australia bevan.koopman@csiro.au</blockquote><p>궁금한 점이나 의견이 있다면, 편하게 메일 주세요!<br> <strong>JohnnyOh@Outlook.kr</strong></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4b29a32cbe3f" width="1" height="1" alt=""><hr><p><a href="https://blog.treeplla.com/%EB%AF%BF%EC%A7%80%EB%A7%90%EA%B3%A0-%EC%9D%98%EC%8B%AC%ED%95%98%EC%84%B8%EC%9A%94-chatgpt-4b29a32cbe3f">믿지말고 의심하세요, ChatGPT</a> was originally published in <a href="https://blog.treeplla.com/">TREEPLLA</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[데이터를 통한 지표 개선 — 그로쓰 업무 사례]]></title>
            <link>https://blog.treeplla.com/%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-%ED%86%B5%ED%95%9C-%EC%A7%80%ED%91%9C-%EA%B0%9C%EC%84%A0-%EA%B7%B8%EB%A1%9C%EC%93%B0-%EC%97%85%EB%AC%B4-%EC%82%AC%EB%A1%80-8927b94f737a?source=rss-06b84b979105------2</link>
            <guid isPermaLink="false">https://medium.com/p/8927b94f737a</guid>
            <category><![CDATA[데이터분석]]></category>
            <category><![CDATA[모바일게임]]></category>
            <category><![CDATA[growth]]></category>
            <category><![CDATA[지표개선]]></category>
            <category><![CDATA[treeplla]]></category>
            <dc:creator><![CDATA[오재언]]></dc:creator>
            <pubDate>Wed, 03 Jul 2024 23:41:16 GMT</pubDate>
            <atom:updated>2024-07-04T06:27:19.248Z</atom:updated>
            <content:encoded><![CDATA[<h3>데이터를 통한 지표 개선 — 그로쓰 업무 사례</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KGqpFUbr1wPKVu75-fEVqg.png" /></figure><blockquote>“여기서는 제자리에서 있으려면 할 수 있는 모든 힘을 다해 달려야 해. 어딘가 다른 곳에 가고 싶다면, 최소한 그 두 배는 더 빨리 달려야 하고!”</blockquote><blockquote>-붉은 여왕-</blockquote><p>출시 이후 모바일 게임은 붉은 여왕의 말과 같다. 시장에서 제자리를 유지하려면 전력으로 달려야 하고, 더 높은 자리로 향하려면 그보다 두 배는 빨라야 한다.</p><p>붉은 여왕의 말은 역설처럼 느껴진다. 이미 할 수 있는 모든 힘을 다해 달리고 있다면, 도대체 무슨 수를 써야 두 배는 더 빨리 달릴 수 있단 말인가? 라이브 서비스를 해나가는 개발팀이 맞닥뜨리는 상황이 이와 비슷하다. 새로운 콘텐츠 추가만으로도 이미 벅차다. 누군가의 도움이 없다면 더 빨리 달리기란 불가능에 가깝다. 그로쓰팀은 바로 그런 개발팀을 돕는 누군가다.</p><p>이 글을 통해 트리플라의 그로쓰팀이 개발팀을 도왔던 사례를 소개하고자 한다.</p><h4>데이터를 사용한 문제 파악</h4><p>문제를 파악하는데 가장 유용한 데이터는 퍼널이다. 퍼널 데이터는 게임의 요소요소에 삽입된 로그를 통해 유저가 언제 어디서 이탈하는지를 알 수 있다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*nC-pwPOMeO3rsXh-5F9wUA.png" /><figcaption>퍼널 데이터 예시</figcaption></figure><p>사진은 게임 고양이 나무꾼의 퍼널 데이터이다. 로그명을 보면 튜토리얼 진행 중 한순간 많은 유저가 이탈했다는 사실을 알 수 있다. 직접 플레이해 보니, 해당 구간은 튜토리얼 설계가 잘못됐다고 보기도 어려웠고, 순간적으로 지나가기 때문에 유저가 의도적으로 앱을 종료하기도 어려웠다.</p><p>더 정확한 분석을 위해 데이터를 다시 국가로 분류했다. 한미일을 비교했을 때, 미국과 일본의 경우에는 큰 차이가 없었지만, 한국의 경우에는 해당 구간에서 거의 이탈이 발생하지 않았다. 데이터 분석은 보통 마케팅 변수를 제외하기 위해 안드로이드 오가닉 유저만을 필터링하는데, 한국은 다른 국가보다 안드로이드 기기의 사양이 높은 편이다. 이탈이 기기 사양 문제라고 가정하고 안드로이드 OS 버전을 추가로 필터링했다. 기기 사양이 더 좋은 최신 안드로이드 OS에서는 미국과 일본에서도 이탈이 사라졌다.</p><p>데이터를 통해 특정 구간에서 저사양 유저들에게 크래쉬가 발생한다는 사실을 발견한 것이다. 해당 문제는 내부 QA에서도 드러나지 않았고, 런치 이후 단 한 건의 CS 문의도 없었다. 퍼널 분석이 아니었다면 아마도 영영 발견되지 않았을 것이다.</p><h4>퍼널 분석을 통한 이탈률 잡기</h4><p>퍼널 데이터를 뽑았다면 이탈이 정확히 언제, 어떻게, 왜 발생하는 지를 찾아야 한다. 이를 위해서는 데이터에 대한 이해뿐만 아니라, 게임에 대한 이해 또한 필요하다. 데이터는 언제 어디서 이탈이 발생했는지를 알려줄 뿐, 왜 이탈이 발생했는지는 알려주지 못한다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/574/1*RBhjCegRiDII7t0JNH8dwQ.png" /><figcaption>튜토리얼 중 발생한 이탈</figcaption></figure><p>반복해 플레이하며 이탈을 재현해 보았을 때, 가장 큰 이탈이 발생하는 구간들은 공통적으로 튜토리얼 중 플레이어가 아무것도 하지 않고 기다려야 하는 지점이었다. 플레이어는 기다리는 것을 싫어한다. 글로 쓰면 당연한 사실이지만, 관점의 차이 때문에 개발팀은 잘 느끼지 못했던 문제였다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*f4LPccD60aVIHRLWvh69Cg.png" /><figcaption>튜토리얼 이탈 구간</figcaption></figure><p>트리플라의 그로쓰팀은 단순 문제를 찾기만 하지 않는다. 데이터를 통해 문제를 찾았다면, 문제를 분석하고, 해당 문제를 해결할 수 있는 개선안을 직접 작성해 개발팀에 전달한다.</p><p>해당 문제를 해결하기 위해 기다리는 시간을 줄이기로 결정했다. 플레이어의 학습을 방해하지 않는 선에서 최대한 시간을 줄이는(게임을 가속하는) 개선안을 자세히 작성했고, 작성된 개선안은 개발팀에 전달됐다.</p><p>개선안을 받은 개발팀으로서는 의사결정 과정을 건너뛰고 바로 개발을 시작할 수 있기 때문에 부담이 적었다. 정확히 필요한 부분만 건드린 개선안은 개발도 쉬웠다. 가장 중요한 개선 결과 또한 성공적이었다. 최소한의 개발로 이탈률을 크게 줄일 수 있었다. 데이터를 기반으로 했기 때문이다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*vbsrqBCjY7ckdFg8uhcpoA.png" /><figcaption>개선 결과</figcaption></figure><h4>가설을 세우고 실험하기</h4><p>트리플라 그로쓰 업무의 꽃은 가설을 바탕으로 한 실험이라고 할 수 있다. 게임의 문제는 때론 원인이 불분명하다. 이런 경우 주어진 데이터를 바탕으로 게임을 최대한 분석하고 가설을 세워야 한다.</p><p>가설의 구성 요소는 다음과 같다.</p><ol><li>개선하고자 하는 지표는 무엇인가?</li><li>어떻게 해야 해당 지표를 개설할 수 있는가?</li><li>그렇게 생각하는 근거는 무엇인가?</li></ol><p>다음은 실제로 가설을 세우고 실험을 진행한 사례이다.</p><p>일단, 개선하고자 하는 지표는 이탈률이었다. 가능한 많은 유저가 게임 초반 진입장벽을 통과하게 만든다면 결과적으로 더 오래 잔류하는 유저도 많아질 것이다.</p><p>아래의 퍼널 데이터를 봤을 때, 이상한 점이 하나 있다. 튜토리얼 중 오브젝트 레벨업을 강제하는 “m_tutorial_02_01” 단계보다, 오브젝트를 레벨업 하는 로그의 유저의 수가 더 많다. 정해진 순서에 따르면 튜토리얼을 진행하는 유저의 수가 오브젝트를 레벨업하는 유저의 수보다 많아야만 했다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/612/1*iUD0OocO6J1_ZK5-3sMFIg.png" /><figcaption>퍼널 데이터 — 문제 구간</figcaption></figure><p>이런 이상한 퍼널은 튜토리얼 중 게임을 종료하는 유저들로인해 발생했다. 고양이 나무꾼은 튜토리얼 진행을 저장하지 않았다. 튜토리얼 중 게임을 종료할 경우 해당 튜토리얼이 이어지지 않고 바로 자율 플레이 상태가 되는 것이다. 즉, 오브젝트 레벨업 로그는 유저에 상관없이 찍혔지만, 튜토리얼 로그는 정해진 순서를 완벽히 따른 유저만 찍혔기 때문에 발생한 문제였다.</p><p>그 뒤, 튜토리얼을 진행하지 않은 유저들의 행동을 퍼널 데이터를 통해 추론해 보았다. 가장 기본적인 게임플레이라 할 수 있는 오브젝트 레벨업은 원활한 진행이 확인할 수 있었다. 그러나 본격적인 게임플레이라 할 수 있는 미션 클리어나 목재 주문 완료 등 더 복잡한 시스템에서는 이탈이 발생한다고 판단이 가능했다.</p><p>이는 어디까지나 불완전한 추론에 불과했지만, “모든 유저가 튜토리얼을 정해진 순서대로 정상 진행하게 만든다면 이탈이 줄어들지 않을까?”라는 가설을 세우기엔 충분했다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sQnzMNAr_Jpuh_Du8vuNfA.png" /></figure><p>이러한 가설을 세운 근거는 게임 고양이 나무꾼이 캐주얼 게임 중에서는 시스템이 복잡한 편이라는 사실이었다. 특히 게임 진행에 필수인 목재 주문 완료 같은 경우 게임플레이 전반의 이해뿐만 아니라, UI에서 전달하는 정보를 정확하게 인지해야 진행이 가능한 시스템이었다. 트리플라의 게임은 귀여운 그래픽 때문에 캐주얼 성향의 비-게이머 유저가 많은 편이다. 비-게이머들이 이런 복잡한 시스템을 튜토리얼 없이 스스로 진행할 수 있을까? 데이터에서 보여지는 이탈도 튜토리얼을 거치지 않은 유저들이 무엇을 해야 할지 몰라 발생하는 거라면 설명할 수 있었다.</p><p>가설을 세웠으니, 실험을 준비했다. 가장 중요한 가장 앞부분의 몇 튜토리얼에 진행 상황을 저장하고, 게임을 종료했다 돌아왔을 때 튜토리얼이 재개되는 기능을 개발팀에 요청했다. 그리고 해당 기능은 업데이트와 함께 라이브에 적용되었다. 실험의 시작이다.</p><p>과연 이탈률은 개선될까? 실험의 결과가 나오기까지는 시간이 필요하다. 특히 퍼널의 이탈률 같은 경우 충분히 데이터가 쌓일 때까지 최소 일주일은 기다려야 한다. 그 때문에 실험이 시작되면 항상 초조함이 뒤따른다.</p><p>물론 실험이 항상 성공하는 것은 아니다. 오히려 기대에 미치지 못하는 실험이 더 많다. 하지만 중요한 것은 이런 실험을 통해 축적되는 지식과 노하우라고 할 수 있다.</p><p>만약 실험이 성공한다면, “복잡한 시스템은 반드시 튜토리얼을 통해 명확한 설명이 필요하다”는 노하우를 축적할 수 있을 것이다. 반대로 실험 결과가 기대에 미치지 못한다면, “튜토리얼은 한계가 있으니 복잡한 시스템도 최대한 쉽고 직관적으로 만들어야 한다”는 노하우를 축적할 수 있을 것이다.</p><p>이렇게 실험 결과를 정리하고, 축적된 지식과 노하우를 개발팀에 공유하는 것 또한 트리플라의 그로쓰팀의 주요 업무 중 하나이다. 실험을 통해 지표가 개선되는 것이 제품의 성장이라면, 실혐 결과와 상관없이 이러한 지식과 노하우의 축적은 회사의 성장이다. 이러한 성장이야말로 변화무쌍한 게임 시장에서 더 빨리 달리는 원동력이니, 가설을 세우고 실험하는 것이야 그로쓰 업무의 꽃인 이유라고 할 수 있다.</p><h4>마치며</h4><p>그로쓰팀의 매력은 무엇일까? 사실 기획자에서 그로쓰팀으로 전직(?)한지 채 일 년도 지나지 않았다. 여전히 배우고 찾아가는 중이니 아직 명쾌한 답은 내릴 수가 없다. 이 글도 사실 내 업무에 대한 회고이자, 그로쓰의 매력에 대한 장황한 산문이다. 다행히 좋은 회사에서 좋은 사람들 아래 좋은 기회를 얻었기 때문에 금방 답을 찾을 수 있을 거라는 확신이 든다.</p><p>그럼에도 굳이 한 가지 매력을 꼽자면 바로 ‘빠름’이다. 기본적으로 그로쓰 업무는 쉴틈이 없다. 데이터는 끊임없이 쌓이고, 끊임없이 쌓이는 데이터를 계속해서 분석해야하며, 항상 새로운 개선안을 마련해야 한다. 이렇게 정신 없이 일을 하다 보면 크고 작은 결과를 내기 마련이고, 그럴 때마다 회사와 게임이 좀 더 빨라졌다는 만족감을 느낄 수가 있었다.</p><p>끊임없이 달리고, 도전하고, 배우는 과정을 통해 게임과 회사, 그리고 자신이 함께 성장하는 경험이 내가 느끼는 그로쓰의 가장 큰 매력이다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8927b94f737a" width="1" height="1" alt=""><hr><p><a href="https://blog.treeplla.com/%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%A5%BC-%ED%86%B5%ED%95%9C-%EC%A7%80%ED%91%9C-%EA%B0%9C%EC%84%A0-%EA%B7%B8%EB%A1%9C%EC%93%B0-%EC%97%85%EB%AC%B4-%EC%82%AC%EB%A1%80-8927b94f737a">데이터를 통한 지표 개선 — 그로쓰 업무 사례</a> was originally published in <a href="https://blog.treeplla.com/">TREEPLLA</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>