<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by joonyoung yi on Medium]]></title>
        <description><![CDATA[Stories by joonyoung yi on Medium]]></description>
        <link>https://medium.com/@joonyoungyi?source=rss-26592a325f66------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*oDTOVSN-1OLawmgM.</url>
            <title>Stories by joonyoung yi on Medium</title>
            <link>https://medium.com/@joonyoungyi?source=rss-26592a325f66------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 02:32:49 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@joonyoungyi/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Hyperconnect AI가 만드는 팀]]></title>
            <link>https://medium.com/@joonyoungyi/%EB%B2%A1%ED%84%B0-35103e3dbbb4?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/35103e3dbbb4</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Sat, 01 Nov 2025 06:42:06 GMT</pubDate>
            <atom:updated>2025-11-03T20:25:08.030Z</atom:updated>
            <content:encoded><![CDATA[<h3>벡터</h3><p>저는 사람의 능력을 일종의 벡터로 봅니다. 누구나 잘하는 게 있으면 못하는 것도 있습니다. 그건 저도 마찬가지입니다. 능력은 벡터이기 때문에 누가 역량이 더 좋다 나쁘다 이야기 하는 것은 어렵습니다. 벡터는 대소 비교가 불가능하기 때문입니다.</p><p>하지만 성과는 스칼라입니다. 개인과 팀의 성과는 비즈니스 임팩트로 치환해서 스칼라 값으로 만들어낼 수 있고 결국 이는 대소 비교가 가능하다는 것을 의미합니다.</p><p>저는 팀 매니징을 이렇게 봅니다. 팀의 역량도 개인의 역량과 마찬가지로 벡터로 보고, 회사에서 우리 팀에 요구하는 역량도 같은 차원의 벡터로 표현할 수 있다고 간주합니다. 둘의 내적이 비즈니스 임팩트가 된다고 생각하고 이를 더 키울 방법을 고민하는 것이 매니징이라고 봅니다.</p><p>매니징에서 해야하는 것은 두 개 뿐입니다. (1) 회사에서 우리 팀에 요구하는 역량 벡터를 잘 추산하는 것 (2) 팀원이 N명일 때, 각 팀원의 역량을 표현하는 N개의 벡터를 입력으로 받고 출력이 팀의 역량 벡터가 되는 함수 f를 디자인 하는 것</p><p>(1)은 실제 비즈니스 임팩트와 내가 생각하는 내적이 다르면 다를 수록 왜 다른지 생각하고 회사에서 요구하는 역량 벡터를 수정합니다. 많은 이터레이션이 필요하고 급격히 변화하는 AI 산업 트렌드와 채용 시장 변화에 따라 요구하는 역량 벡터는 계속해서 수정이 필요합니다.</p><p>(2) 개개인의 역량을 팀의 역량으로 치환하는 함수 f를 설계하는 일 역시 중요합니다. 함수 f는 단순한 sum operator일 수도 있고, max operator일 수도 있습니다. 그리고 둘도 아닌 임의의 함수일 수도 있습니다. 팀의 리더가 어떤 함수를 설계하느냐에 따라 팀의 결과가 달라집니다. 팀원들과의 1:1 주기, 팀원들의 자리 배치, 프로젝트 별 인력 구성 등 아주 사소한 것들도 함수 f를 변화하게 만듭니다.</p><p>제 경험 중 하나는, 새로운 구성원이 팀에 없는 능력을 가졌을 때 f의 출력이 크게 변화한다는 점이었습니다. 팀의 부족한 역량을 채워주기 때문이기도 하지만, 서로가 서로를 더 존중할 수 있기 때문이기도 합니다. 서로가 서로보다 적어도 하나의 능력은 더 뛰어나다면, 굳이 따로 노력하지 않아도 자연스럽게 서로를 존중하게 됩니다. 그래서 저희는 언제나 우리가 아직 갖고 있지 않은 능력을 가진 분을 우대해서 찾고 있습니다.</p><h3>연차는 중요하지 않습니다</h3><blockquote><em>“저는 이제 N년차니까 이 정도는 해야 하죠.”<br>“아직 N년차밖에 안 돼서 이런 건 좀 이르죠.”</em></blockquote><p>이런 말을 자주 듣습니다. 저는 이런 말을 들을 때마다 조금 불편합니다.</p><p>저는 연차가 설명할 수 있는 것이 제한적이라고 생각합니다. 지난 몇 년간 채용을 활발히 진행하면서 면접과 커피챗 등으로 정말 많은 분들을 만나보았습니다. 그 과정에서 이 생각은 더 확고해졌습니다. 같은 연차라도 성장의 방향과 깊이는 전혀 달랐습니다. 어떤 것을 추구하고, 얼마나 주도적으로 성장하며, 그 결과로 어떤 임팩트를 만들어왔는지가 훨씬 더 중요했습니다. 제가 느끼기에 연차는 그저 숫자일 뿐이었습니다.</p><p>연차가 정말 중요했다면, 97년생인 Alexandr Wang이 Meta의 AI 책임자가 될 수 있었을까요? 20살로 알려진 Diego Pasini가 Grok의 리더 중 한 명으로 임명될 수 있었을까요?</p><p>저는 커리어를 결정짓는 건 연차라는 단순한 숫자가 아니라, 얼마나 비즈니스 임팩트를 낼 수 있는 사람으로 성장했는가라고 생각합니다. 우리가 흔히 말하는 커리어 개발이라는 것도, 결국은 비즈니스 임팩트를 얼마나 잘 낼 수 있을지를 가늠하기 위한 프록시에 가깝습니다. 그런 점에서 N년차에는 무엇을 해야 한다는 통념이 꼭 나쁜 것은 아닐 수도 있습니다. 적어도 하나의 방향을 제시해주니까요. 하지만 그것이 유일한 길은 아닙니다. 그리고 현재 유효한 길이 앞으로도 통할 거라는 보장은 없습니다. AI 툴로 생산성이 폭발하는 시대에 다른 기준을 세워야할 수도 있습니다.</p><blockquote><em>얼마나 비즈니스 임팩트를 낼 수 있는 사람으로 성장했는가?</em></blockquote><p>이 질문에 대한 답이 커리어의 본질이라고 생각합니다. 그래서 Hyperconnect AI에서는 실제로 비즈니스 임팩트를 내본 사람, 임팩트를 내기 위해 필요한 근본적인 하드 스킬을 갖춘 사람, 그리고 짧은 시간 안에 압축 성장을 이룬 사람을 주목하게 됩니다. 여러 번 임팩트를 만들어본 사람은 앞으로도 그럴 가능성이 높습니다. 또, 하드 스킬이 탄탄한 분은 더 빠르게 임팩트를 내는 경향이 있습니다. AI 업무에서 어떤 기술 스택을 써봤는지는 상대적으로 중요하지 않다고 생각합니다. AI 분야는 빠르게 발전하기 때문에 저희가 필요로 하는 기술 스택을 경험해본 사람이 많지 않습니다. 경험해봤다고 하더라도 1–2년 후에면 해당 기술 스택이 중요하지 않아지는 경우도 흔합니다. 중요한 것은 변화하는 기술 환경 속에서도 빠르게 적응하고 결과를 만들어낼 수 있는지, 즉 근본적인 엔지니어링/리서치 실력을 갖추었는가입니다. 또, 짧은 시간 안에 많이 성장한 사람은 앞으로도 빠르게 성장할 가능성이 높다고 볼 수 있습니다.</p><p>Hyperconnect AI는 연차와 관계없이 훌륭한 커리어를 이어나가고 계신 분들을 찾습니다. 본인의 커리어를 스스로 설계하고, 어떻게 하면 더 나아질 수 있을지를 고민하며 움직이는 분들입니다. 저희 조직에서는 시니어 여부를 연차가 아닌 비즈니스 임팩트를 내는 역량으로 판단합니다. 그래서, 연차가 적지만 시니어로 인정받는 분들이 꽤 있습니다. 연차를 뛰어넘어 성장하고, 실력으로 인정받는 문화를 만들어가고 있습니다.</p><h3>창업가 출신</h3><p>저희 AI 조직엔 특별한 점이 있습니다. 창업가 출신이 많습니다. 네 명 중 한 명꼴로 직접 회사를 만들어본 경험이 있죠. 물론, 원래 힘든 창업인 만큼 제대로 된 exit을 한 분은 아쉽게도 없습니다. (저를 포함해서요.)</p><p>그럼에도 저는 창업 경험을 가진 분들을 가치 있게 생각합니다. 하드 스킬이 더 뛰어나냐고 하면 꼭 그렇지만은 않습니다. 그래서 기술 면접을 보면 부족한 부분이 드러날 때도 있습니다.</p><p>하지만 이들에게는 다른 특별함이 있습니다. 바로 극한의 오너십입니다. 본인이 어떤 제품을 처음부터 끝까지 책임져본 경험이 있고, 그 경험이 습관처럼 몸에 각인되어 있습니다.</p><p>이 오너십은 각자 다른 방식으로 드러납니다. 더 나은 의사결정을 하기 위해 끊임없이 회고하고 배우는 분들이 있고, 더 빠르게 실행하기 위해 쉼 없이 계발하는 분들도 있습니다. 때로는 두 가지를 모두 추구하는 놀라운 분들도 계십니다. 각자의 방식으로 더 성장하고 싶어하십니다.</p><p>물론 창업 경험이 없다고 해서 오너십이 부족하다는 뜻은 너무나 당연히 아닙니다. 다만 오너십을 가진 사람들은 또 다른 오너십을 가진 사람들을 만들고, 그것이 팀의 문화가 된다는 것을 경험합니다. 그래서 팀이 움직이는 힘이 됩니다.</p><p>저희 팀은 성공하면 함께 기뻐하고, 실패하면 모두가 자기 일처럼 아파합니다. 그리고 어떻게 하면 더 잘할 수 있을지 치열하게 고민하고 토론합니다. 저는 이런 문화를 가진 저희 조직이 자랑스럽고, 이런 분들과 함께할 수 있다는 것이 늘 감사하고 행운이라고 생각합니다. 스스로 결정하고 책임져본 경험이 남긴 태도는 값집니다.</p><p>저는 창업 경험이 있는 더 많은 분들과 함께하고 싶습니다. 혹시 창업 경험을 가진 분들 중 새로운 도전을 고민하고 계시다면, 꼭 이야기 나눠보고 싶습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=35103e3dbbb4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI 문제를 풀 때 논문을 최소 100편 읽어야 합니다]]></title>
            <link>https://medium.com/@joonyoungyi/ai-%EB%AC%B8%EC%A0%9C%EB%A5%BC-%ED%92%80-%EB%95%8C-%EB%85%BC%EB%AC%B8%EC%9D%84-%EC%B5%9C%EC%86%8C-100%ED%8E%B8-%EC%9D%BD%EC%96%B4%EC%95%BC-%ED%95%A9%EB%8B%88%EB%8B%A4-01f3c57ecd2f?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/01f3c57ecd2f</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Thu, 16 Oct 2025 00:33:10 GMT</pubDate>
            <atom:updated>2025-10-16T00:56:10.383Z</atom:updated>
            <content:encoded><![CDATA[<h3>논문을 읽지 않으면 AI 문제를 제대로 정의할 수 없다</h3><p>문제를 풀 때 가장 중요한 건 ‘문제 정의’입니다. 우리가 문제를 잘 정의했다면 이미 절반은 푼 것이나 다름없습니다. 그래서 빠르게 해결책을 찾는 것보다, 충분한 시간을 들여 문제를 제대로 정의하는 것이 오히려 전체 속도를 높이는 일입니다. AI 연구에서도 마찬가지입니다. 문제 정의가 명확하지 않으면, 이후의 모델링이나 실험은 길을 잃습니다.</p><p>문제 정의를 잘하기 위해서는 논문을 반드시 읽어야 합니다. 한두 편이 아니라, 넓고 다양하게 읽어야 합니다. 단순히 관련 연구를 나열하기 위해서가 아니라, 우리의 문제를 더 깊이 이해하고 제약조건을 구체화하기 위해서입니다.</p><p>예를 들어 새로운 분류기를 만들기 위해 외주로 데이터를 레이블링했는데, 생각보다 잘못된 레이블(noisy label)이 많았다고 가정해보겠습니다. 이때 논문을 읽지 않았다면 단순히 “레이블이 깨끗하지 않다”는 문제로만 인식했을 겁니다. 하지만 여러 논문을 읽다 보면 다양한 접근을 발견하게 됩니다. 어떤 논문은 여러 명에게 같은 데이터를 맡겨 데이터셋을 정제하라고 제안합니다. 그럼 우리는 “추가 레이블링 예산이 가능한가?”를 따져봐야 합니다. 또 다른 논문은 “수백 개의 클린한 데이터만 있어도 학습에 문제가 없다”고 말합니다. 그렇다면 “그 정도의 클린 데이터를 우리가 직접 모을 수 있을까?”라는 현실적인 질문을 던지게 되죠. 어떤 연구는 아예 외주 레이블링의 품질 저하 원인을 분석하기도 합니다. 이런 논문들을 읽으며 우리는 “우리도 같은 문제가 있는 건 아닐까?”를 점검해볼 수 있게 됩니다.</p><p>이처럼 논문을 읽는 것은 우리의 제약조건을 구체적으로 인식하고 문제를 더 정확하게 정의하기 위한 과정입니다. 좋은 문제 정의는 ‘무엇을 할 수 있고 할 수 없는가’를 명확히 아는 데서 시작됩니다. 논문을 다양하게 읽음으로써 우리가 풀고자 하는 문제의 제약 조건을 더 구체화해나갈 수 있고 이를 통해 더 좋은 문제 정의를 할 수 있습니다. 문제가 잘 정의되면 솔루션은 비교적 쉽게 찾아낼 수 있습니다.</p><h3>논문을 읽지 않으면 AI 문제를 빠르게 풀 수 없다</h3><p>어떤 연구자들은 논문을 충분히 읽지 않고, 일단 내 아이디어부터 구현합니다. “이렇게 하면 되지 않을까?” 하고 시도해보죠. 이렇게 해서 문제가 풀릴 수도 있지만, 대부분은 기대만큼의 결과를 얻지 못합니다. 그래서 또 다른 아이디어를 내어 시도하고, 여러 번의 이터레이션을 거치며 괜찮은 방향을 찾아냅니다. 이런 방식이 문제를 해결하지 못할 때도 많지만, 운이 좋아서 해결이 되더라도 나중에 돌아보면 이미 누군가 그 방법을 논문으로 공개해둔 경우가 정말 많습니다. 결국 우리는 시간을 낭비한 셈이죠. 논문만 미리 찾아봤다면 훨씬 더 빨리 그 지점까지 도달할 수 있었을 겁니다.</p><p>Hyperconnect AI에서는 관련 논문들을 가능한 한 폭넓게 찾아봅니다. NeurIPS, ICLR, ICML, CVPR 같은 top-tier 컨퍼런스 논문들을 우선 보지만, workshop이나 arXiv도 가리지 않고 검토합니다. top-tier 논문은 우리의 제약조건과 일치하는 경우가 많지 않지만, workshop 논문에서는 의외로 비슷한 제약과 방향을 가진 시도들을 자주 발견합니다. 그렇게 폭넓게 읽다 보면 시행착오의 폭이 확실히 줄어듭니다.</p><p>AI 조직 안에서 논문을 읽는 건 분명한 ‘일’로 간주되어야 합니다. 이미 누군가 겪은 시행착오의 기록을 통해, 우리 팀의 시행착오를 줄이는 가장 빠른 방법이니까요. 머신러닝은 비싼 기술입니다. 비싼 만큼 시행착오를 줄여야 이터레이션이 개선되고, 우리가 원하는 지점에 더 빠르게 다다를 수 있습니다.</p><h3>어떤 논문을 선택해야 할까?</h3><p>논문을 충분히 다양하게 검토했다면 어떤 논문을 선택해 구현할지 결정해야 합니다. 이때 많은 연구자분들이 SotA에 주목합니다. 하지만 SotA 모델들은 수많은 학습 트릭이 포함된 경우가 많고 하이퍼파라미터에 민감하며, 벤치마크 데이터에서는 잘 작동하더라도 회사의 데이터셋에서는 재현성이 낮은 경우가 적지 않습니다.</p><p>그래서 “좋은” strong baseline을 선정하는 것이 중요합니다. strong baseline을 잘 선정해야 이후 시행착오를 줄여 프로젝트의 성공 가능성을 의미 있게 높일 수 있습니다. 좋은 strong baseline은 아래와 같은 특징을 가지는 경우가 많습니다.</p><p>1/ 좋은 strong baseline은 다양한 데이터에서 일관된 성과를 보입니다. 여러 논문들의 실험 파트에서 반복적으로 등장하고, 각기 다른 방식으로 성능을 리포트하면서도 일관되게 준수한 결과를 보여주는 모델들이 있습니다. 논문마다 결과가 조금씩 다르더라도 평균적으로 안정적인 성능을 보인다면, 이런 모델이 좋은 strong baseline이 될 가능성이 높습니다.</p><p>2/ 성능이 비슷하다면 복잡도가 낮고 유지보수가 쉬운 모델을 strong baseline으로 택하는 것이 좋습니다. 오컴의 면도날처럼 단순한 모델이 오히려 여러 데이터에서 잘 작동할 가능성이 높습니다. 반대로 복잡한 모델은 하이퍼파라미터 튜닝에 많은 시간을 요구하고, 안정적으로 재현하기 어려워 리스크가 있습니다.</p><p>3/ 논문을 다양하게 읽다 보면 비슷한 계열의 아이디어들이 보이고 그중 여러 논문의 뿌리가 되는 논문이 있습니다. 같은 갈래에 속하는 여러 논문들이 뿌리가 되는 논문과의 차이를 설명하려고 애쓰는 경우가 많다면, 그건 좋은 strong baseline일 가능성이 큽니다. 그리고, 이런 논문들이 간단한 경우도 많습니다.</p><p>4/ 또 좋은 strong baseline은 코드가 공개되어있는 경우가 많습니다. 재현성에 대한 자신감이 있기 때문에 코드를 공개한 경우가 많을 것이고 해당 코드를 돌려봄으로써 시행착오를 줄일 수 있습니다. 생각보다 논문에 명시되지 않았던 학습 트릭이 들어있는 경우를 발견하는 경우도 흔합니다.</p><p>물론 우리가 찾은 논문들 중에 위 기준을 모두 만족하는 논문이 없을 수도 있습니다. 하지만, 우리는 찾은 여러 연구들 중에 시행착오를 가장 줄일 확률이 높은 논문을 우선적으로 선정해서 성능을 확인해야 합니다.</p><p>우리가 정한 strong baseline이 충분히 좋은 결과를 보여준다면 정말 행복한 상황입니다. 하지만, 대부분의 경우 우리의 기대치에 못미치는 경우가 많습니다. 그럴 땐 strong baseline의 어떤 점 때문에 성능이 부족한지를 찾고 strong baseline을 어떻게 변형하고 개선할지 고민해야 합니다. strong baseline을 설정하는 과정은 그런 의미에서 실험의 끝이 아니라 시작점에 가깝습니다.</p><p>결국 strong baseline을 세운다는 건 단순히 비교 기준을 만드는 일이 아닙니다. 이후의 모든 연구와 개선이 쌓일 수 있는 토대를 다지는 일입니다. 좋은 연구는 단단한 출발점에서 시작됩니다.</p><h3>AI 문제를 풀기 전에 관련 논문을 100편 읽어야 합니다</h3><p>논문을 읽어야 문제를 잘 정의할 수 있고, 논문을 읽어야 시행착오를 줄여 목표를 더 빠르게 달성할 수 있습니다. 이렇게 논문 읽기는 AI 연구에 있어 중요합니다.</p><p>Hyperconnect AI에서는 “새로운 문제를 시작할 때 저는 최소 100편의 논문을 조사해야 한다”는 원칙을 가지고 일하고 있습니다. 과하다고 생각하실 수도 있지만, 실제로는 그 정도를 봐야 다양한 솔루션을 검토할 수 있습니다. 100편을 보지 않았다는 것은 보통은 충분히 다양한 분야의 논문을 검토하지 않은 경우가 많습니다. 인접 분야를 포함해 이 문제를 풀기 위한 충분한 검토를 하기 위해서는 최소 100편의 연구를 봐야 합니다.</p><p>문제 정의에서의 논문 읽기의 중요성을 역설했 듯, 100편을 모두 꼼꼼히 읽어야 한다는 이야기는 아닙니다. 문제 정의를 할 때에는 다양한 논문을 빠르게 훑는 것이 중요합니다. 초록과 결론 기여부분을 집중적으로 보고 전체적으로 논문을 스키밍하면서 연구들을 본인만의 방식으로 그룹화합니다. 서베이 논문을 읽으면서 여러 논문들을 한번에 파악할 수도 있고, 요즘은 ChatGPT나 Gemini 에 탑재돼있는 연구 기능을 활용해 다양한 논문들의 갈래를 파악하는 것도 도움이 됩니다. 그렇게 논문들을 리스트업하고 주요 논문들에 나와있는 관련 연구(related works)들을 살펴보면서 다른 논문들에 대해서 조금 더 객관적으로 바라보기도 합니다.</p><p>수백편 정도가 아니라 읽어야 할 논문이 수천편 정도로 너무 많다고 생각이 들면, 문제 정의를 조금 더 좁게할 필요가 있습니다. 읽어야 할 논문이 너무 많은 경우는 정의한 문제가 너무 넓은 경우가 많고, 문제 정의가 제대로 안돼있을 가능성이 큽니다. 여러 논문들을 빠르게 스키밍하면서 우리의 제약조건을 제대로 파악하는 과정이 필요합니다.</p><p>문제 정의와 솔루션 선택을 포함해 논문은 최소 100편 이상 조사되어야 합니다. 아직까지 논문 읽기는 연구자들이 해야 하는 고유한 역할로 생각하고 있습니다. 시니어 연구자들에게는 2–3일 내에 끝마칠 것은 주니어 연구자의 경우에는 5일 안에 끝마칠 것을 가이드하고 있습니다.</p><h3>논문 읽는 것이 습관화된 조직이 AI를 잘하는 조직이다</h3><p>논문을 꾸준히 읽는 조직은 문제를 더 잘 풉니다. 각 연구자들이 더 많은 분야의 논문을 이해하고 있을수록, 새로운 논문을 읽는 속도가 빨라지고 문제를 푸는 속도도 빨라집니다. 또, 서로가 다른 배경지식을 가진 연구자들끼리 서로 연구에 대한 피드백을 주고받으면 조직의 문제 풀이 능력은 더 향상됩니다. 하지만, 이런 문화를 유지하는 것은 쉽지 않습니다. 연구자 본인은 스스로 충분히 논문을 탐색했다고 생각할 때가 많다고 느낍니다. 충분히 읽었다고 생각이 들 때 더 읽어야 합니다. 충분히 많은 옵션들을 검토하고 그 중에 최선의 옵션이 무엇인지 생각하는 조직이 되어야 합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=01f3c57ecd2f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[왜 AI 추천인가?]]></title>
            <link>https://medium.com/@joonyoungyi/ai-%EA%B8%B0%EB%B0%98-%EC%B6%94%EC%B2%9C%EC%9D%B4-%ED%95%84%EC%9A%94%ED%95%9C-%EC%9D%B4%EC%9C%A0-3a08859c51a8?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/3a08859c51a8</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Mon, 13 Oct 2025 03:31:12 GMT</pubDate>
            <atom:updated>2025-11-01T09:44:11.555Z</atom:updated>
            <content:encoded><![CDATA[<p>새로운 시장을 키워 나가기 위해서는 마케팅, 제품, AI 로직 등 여러 요소가 하나의 팀처럼 유기적으로 움직여야 합니다. 그중에서도 AI 기반 추천 시스템은 새로운 시장을 침투(penetration)하는 데 있어 인프라와 같은 핵심 역할을 담당합니다.</p><h3>랜덤 추천은 제품을 성장시킬 수 없습니다.</h3><p>작은 사고 실험을 해보겠습니다.</p><p>예를 들어 A 국가 사용자가 전체의 90%, B 국가는 10%인 상황을 가정해봅시다. 두 집단은 언어와 문화가 다르며, 컨텐츠나 상품의 취향 또한 완전히 다릅니다. 그런데 추천이 완전히 랜덤이라면, B 국가 사용자는 대부분 A 국가에서 인기 있는 컨텐츠만 보게 됩니다. 흥미를 느끼지 못하고 금세 떠나버리겠죠. 결국 제품에는 A 국가 사용자만 남게 되고, 신규 시장 확장은 불가능해집니다.</p><blockquote><em>그럼 국가별로 컨텐츠 풀(pool)을 나누면 되지 않을까?</em></blockquote><p>좋은 사용자 경험은 단순히 국가로 결정되지 않습니다. 언어, 관심사, 행동 패턴 등 수많은 요인이 얽혀 있습니다. 이런 맥락에서 AI 추천 시스템의 고도화는 선택이 아니라 필수입니다. 서비스 내에서 비율이 크지 않은 사용자에게도 좋은 경험을 주는 시스템만이, 결국 새로운 시장을 개척하고 이를 통해 제품을 성장시킬 수 있습니다.</p><h3>휴리스틱 추천의 문제점</h3><p>위에서 이야기한 것처럼, 랜덤 추천으로는 다양성을 확보할 수 없습니다. 다수를 구성하는 유저 그룹에게만 유리하고 소수의 유저 그룹은 계속 패널티를 받습니다. 그래서 대부분의 추천 시스템은 처음엔 휴리스틱 방식을 택합니다. 랜덤 추천은 답이 아니니까요.</p><p>휴리스틱은 사람이 직접 규칙을 만들어 추천에 반영하는 방식입니다. 예를 들어,<br>- 같은 국가의 컨텐츠라면 +10점<br>- 컨텐츠가 좋아요를 10개 이상이면 +1점<br>- 컨텐츠의 클릭률이 2% 이상이면 +2점<br>이처럼 단순하고 빠르게 시작할 수 있습니다. Google이 공개한 <a href="https://developers.google.com/machine-learning/guides/rules-of-ml">rules-of-ml</a>에서도 휴리스틱을 두려워하지 말라고 조언하듯, 초기에 제품을 개선하기에 유리합니다.</p><p>하지만 규칙이 쌓이고 수정되면서 시스템은 점점 복잡해집니다. 그리고 한 지표를 개선하려 추가한 규칙이 다른 지표를 악화시키는 문제가 발생합니다. 예를 들어, 업로드된 지 일주일이 안 된 컨텐츠의 노출을 늘리기 위해 +3점을 주는 규칙을 추가했다고 가정해봅시다. 이 경우, 좋아요 수나 클릭률이 떨어질 가능성이 높습니다. 결과적으로 보정 규칙이 계속 추가되며, 시스템은 점점 관리하기 어려워집니다.</p><p>또한 추천에 고려해야 하는 인자는 너무나도 많고 서로 얽혀 있습니다. 현재 휴리스틱으로 구선된 추천의 문제를 진단하고 어떤 인자를 부스팅하면, 상관관계가 있는 다른 인자들도 함께 영향을 받습니다. 추천에 반영해야 하는 인자가 n개라면 우리가 고려해야 하는 조합은 n이 증가함에 따라 지수적으로 증가(O(exp(n)))합니다. 사람이 이 모든 조합을 고려하는 것은 불가능에 가깝습니다.</p><p>하지만, AI 추천은 입력과 출력만 관리하면 되기 때문에 복잡도를 선형적으로(O(n)) 관리할 수 있습니다. 모델의 입력에 새로운 인자를 추가하거나 학습에 사용되는 손실 함수를 변경하는 방식으로 주로 개선이 이뤄지기 때문에, 시스템의 확장성과 유지보수가 훨씬 용이합니다.</p><p>마지막으로, 휴리스틱은 개선해도 제자리걸음인 경우가 많습니다. A/B 테스트를 반복하며 더 나은 규칙을 찾아도 실질적인 개선은 일어나지 않는 경우가 많습니다. 환경이 바뀌면 휴리스틱으로 만든 규칙의 효과는 금세 사라질 수 있기 때문입니다. 예를 들어, 여름에 만든 휴리스틱이 겨울에는 잘 작동하지 않을 수 있습니다. 마케팅으로 유저 연령이 낮아지거나 트래픽 패턴, 사용자 구성, 시즌별 행동이 달라지면 변화된 유저 분포에 최적화된 규칙이 바뀌고 이를 반영해 다시 규칙을 만들어야 합니다. 결국 휴리스틱은 ‘끊임없이 손이 닿아야 유지되는 시스템’이 되어, 담당자가 바뀌거나 관심이 줄면 금세 낙후됩니다. 겉으론 계속 개선되는 것처럼 보여도, 실제로는 시스템만 복잡해지고 근본적인 개선은 일어나지 않을 가능성이 큽니다.</p><p>물론 AI 추천도 한계가 있을 수 있지만, 본질적으로는 다릅니다. 모델은 주기적으로 학습(continuous training)되며 타깃 지표를 향해 업데이트되기 때문에, 환경이 변해도 점진적으로 적응합니다. 복잡한 구조가 아니어도 괜찮습니다. 단일 지표를 학습하는 간단한 모델조차 휴리스틱보다 일관된 방향으로 목표에 수렴하고, 변화에도 유연하게 대응합니다. 결국 차이는 ‘지속성’입니다. 휴리스틱은 사람이 떠나면 금세 낙후되지만, 모델은 데이터 변화에 따라 스스로 갱신됩니다.</p><p>그래서 저희는 “휴리스틱을 최소화하고, 모델만을 사용해서 추천하자”는 방향으로 전환하고 있습니다. 완벽하다고는 할 수 없지만, 분명 더 나은 길이라고 믿습니다. 사람이 만드는 규칙 대신, 데이터로부터 직접 규칙을 배우는 모델을 사용하는 것이 결국 더 단순하고, 더 강한 시스템을 만든다고 생각합니다.</p><h3>AI 추천이 실패하는 이유</h3><p>“AI 추천을 써봤는데 잘 안 되더라”는 말을 종종 듣습니다. 대부분의 실패는 기술의 문제가 아니라, 추천 시스템의 명확한 목표가 없는 것에서 비롯됩니다. 즉, 추천 시스템이 개선해야 하는 단일한 지표가 없기 때문인 경우가 많습니다. 이건, AI 추천이 성공하기 힘든 상황입니다.</p><p>어떤 지표가 제일 중요한지 모르기 때문에 시행착오를 겪으면서 지표를 하나씩 추가하고, 결국 수십개의 지표를 모니터링하게 됩니다. 그리고 각 지표들을 모두 중요하게 봅니다. 하지만, 모든 지표가 중요하다고 하면, 사실상 어떤 지표도 중요하지 않게 됩니다. 어느 정도 추천 시스템이 성숙해지면, 개선을 위해서 수정할 때마다 분명 어떤 지표는 떨어지고 어떤 지표는 올라갑니다. 그럼 수십개의 지표를 깔아두고 의사결정권자들이 판단을 하죠. 새 알고리즘에서 이 지표들은 올라가고 저 지표들은 내려갔는데, 이 지표들이 내려가는 것에 비해서 저 지표들이 올라간 것이 더 이득이라고 판단하니까 새 알고리즘을 배포하자는 결정을 내리곤합니다. 이런 방식은 지표의 문제가 아니라 가치 판단의 문제가 되는 경우가 많습니다. 이런 상황에서는 AI 추천이 휴리스틱 추천보다 나아지기 어렵습니다. 나아진다는 것의 정의가 제대로 되지 았기 때문이죠. <a href="https://brunch.co.kr/@joonyoungyi/13">어떤 시스템을 개선하려면 지표가 한 개여야 합니다</a>. 여러 지표를 함께 고려해야 한다면, 이를 묶어 새로운 합성 지표를 설계해야 합니다.</p><blockquote><em>그럼 어떻게 해야 할까요?</em></blockquote><p>많은 추천 시스템의 목표는 리텐션을 최대화 하는 것입니다. 물론 서비스 특성에 따라 리텐션이 설명하지 못하는 다른 지표들도 같이 봐야 하는 경우들이 있습니다. <a href="https://andrewchen.com/retention-is-king/">하지만 좋은 추천은 “제품에 남고 싶은 경험”으로 프록시 되기에 리텐션이 가장 중요합니다</a>.</p><p><a href="https://hyperconnect.github.io/2024/04/26/azar-aha-moment.html">아자르에서는 ‘아하 모먼트(Aha Moment)’ 프레임워크를 통해 리텐션에 가장 큰 영향을 미치는 1차 지표를 찾아냈고, 해당 지표를 집중적으로 부스팅하여 리텐션을 꾸준히 개선해왔습니다</a>. 운이 좋게도 이 1차 지표가 리텐션과 강한 인과관계를 가지는 지표였습니다.</p><p>하지만 어느 순간, 이 지표만을 극단적으로 부스팅하면 다른 지표들이 떨어지면서 리텐션이 오히려 오르지 않는 현상을 발견했습니다. 우리가 찾았던 1차 지표가 리텐션에 가장 큰 기여를 하고 있는 것이 맞지만, 다른 지표들도 유의미하게 영향을 준다는 것을 발견했습니다.</p><p>이 문제를 해결하려면 결국, “이 유저에게 이 컨텐츠를 노출했을 때 리텐션이 얼마나 상승할 것인가?” 를 직접 모델링해야 합니다. 즉, 추천 점수를 리텐션 uplift에 연결(pegging)해야 하며, 이는 인과 추론이나 오프라인 강화 학습을 활용해 가능합니다. 이렇게 직접적으로 리텐션 업리프트를 예측하는 알고리즘을 만드는 것은 휴리스틱으로는 절대 달성할 수 없습니다.</p><h3>마치며</h3><p>이런 방향으로의 전환은 단순한 기술 혁신이 아니라, 서비스가 성장하는 방식을 바꾸는 일입니다. 그리고 이 노력의 결과로 하이퍼커넥트의 <a href="https://platum.kr/archives/271428">아자르가 아시아를 넘어 유럽에서도 빠르게 성장</a>하고 있습니다. 3개월 단위로 두 자릿수 성장을 기록하며, 새로운 시장에서 의미 있는 변화를 만들어가고 있습니다. 뿐만 아니라, 추천 시스템의 개선이 YoY로 매출을 30% 성장시키기도 했습니다.</p><p>하이퍼커넥트 AI는 사람이 만든 규칙이 아닌, 데이터가 스스로 배우는 세상을 만들고 있습니다. 이 여정에 함께하고 싶은 분들을 기다리고 있습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=3a08859c51a8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI 문제에서 최적화하고자 하는 지표는 하나여야 합니다]]></title>
            <link>https://medium.com/@joonyoungyi/ai-%EB%AC%B8%EC%A0%9C%EC%97%90%EC%84%9C-%EC%B5%9C%EC%A0%81%ED%99%94%ED%95%98%EA%B3%A0%EC%9E%90-%ED%95%98%EB%8A%94-%EC%A7%80%ED%91%9C%EB%8A%94-%ED%95%98%EB%82%98%EC%97%AC%EC%95%BC-%ED%95%A9%EB%8B%88%EB%8B%A4-f4043ad6d3e9?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/f4043ad6d3e9</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Mon, 13 Oct 2025 03:30:47 GMT</pubDate>
            <atom:updated>2025-11-01T10:07:20.390Z</atom:updated>
            <content:encoded><![CDATA[<h3>어떻게 AI 문제를 풀어야 하는가?</h3><p>현실에서 AI로 비즈니스 문제를 풀다보면, X와 Y 두 지표를 동시에 올려야 하는 상황을 흔하게 마주합니다. 실험군은 X 지표에서 100, Y 지표에서 90을 나타냈고, 대조군은 X에서 90, Y에서 100이 관측되었다고 해봅시다. 우리는 실험군을 배포해야 할까요? 말아야 할까요?</p><p>지표가 2개인 상황에서 결정하는 문제는 어렵습니다. 우리는 토론을 통해 결정을 내리기도 하고 이 과정에서 가치판단이 개입되기도 합니다. 일종의 기준을 새로 세우기도 하죠. 하지만, vNM 기대효용 이론에 기반해 생각해보면 이 문제는 결국 f(X, Y) ∈ ℝ라는 효용 함수를 정의하고, 함수 f를 최대화하는 문제로 치환됩니다. 우리는 의사결정을 하기 위해 결국 스칼라로 목표를 재정의하고, 재정의된 문제를 풀게 됩니다.</p><p>제약조건이 있는 경우도 마찬가지입니다. 예를 들어 Z ≤ K라는 제약이 주어졌다면, 우리는 KKT 조건 아래에서 primal 문제를 dual로 바꾸는 것처럼 결국 또 다른 최적화 함수를 설계해야 합니다. 즉, 제약조건조차 스칼라(f(X, Y, Z) ∈ ℝ)로 목표를 재정의 하는 문제로 환원됩니다.</p><p>지표가 2개 이상인 경우 최적화 문제가 어려워집니다. 하지만, 그렇다고 해서 비즈니스를 담당하는 팀에 “지표를 하나로 정리해 주세요”라고 요청하는 것은 적절하지 않습니다. 비즈니스 상황에서는 여러 복잡한 제약사항들을 고려해 지표가 2개 이상인 것이 매우 자연스럽기 때문입니다. 목표를 스칼라로 환원하는 일은 AI 엔지니어의 역할입니다. 새로운 효용 함수 f는 AI 엔지니어가 비 AI 전문가와의 커뮤니케이션을 통해 설계해야 합니다.</p><p>효용함수를 설계하는 것은 쉬운 작업이 아닙니다. Hyperconnect AI는 이러한 과정을 통해 복잡한 문제를 스칼라 지표를 목표로 하는 문제로 환원하고, 그것을 최적화해 비즈니스 임팩트를 만들어냅니다.</p><h3>샷건 디버깅</h3><p><a href="https://en.wikipedia.org/wiki/Shotgun_debugging](https://en.wikipedia.org/wiki/Shotgun_debugging">위키피디아</a>에 따르면 샷건 디버깅은 원인을 정확히 파악하지 않고, 여기저기 고쳐보면서 문제가 해결되기를 바라는 방식을 뜻합니다.</p><p><strong>저는 이 방식이 AI 연구에서도 자주 나타나는 실수라고 생각합니다.</strong></p><p>모델 성능이 원하는 만큼 나오지 않을 때, 아키텍처를 더 좋은 것으로 바꿔보면 해결되지 않을까 하고 시도하는 경우가 많습니다. 하지만 성능이 안 나오는 이유를 먼저 파악하지 않으면 근본적인 해결이 어렵습니다. 어떤 샘플에서 모델이 실패하는지를 확인해야 문제의 원인을 제대로 짚을 수 있습니다.</p><p>데이터 레이블을 더 늘리면 해결될 거라는 기대도 흔합니다. 물론 데이터가 많을수록 보통은 좋아집니다. 하지만 그렇다면 데이터의 일부만 사용했을 때 성능이 실제로 떨어지는지도 함께 확인해야 합니다. 데이터를 10%, 20%, … 100%까지 늘려가며 성능 변화를 보면 이미 성능이 포화 상태인지, 더 늘리면 개선될 여지가 있는지 알 수 있습니다. 의외로 데이터가 수천 개 수준으로 부족하더라도 추가 레이블링이 성능 개선에 거의 영향을 주지 않는 경우도 흔합니다.</p><p>학습 도중 NaN이 터졌을 때 gradient clipping이나 learning rate 조절 같은 방법을 바로 쓰는 것도 비슷합니다. 급한 상황에서는 필요할 수 있지만, 결국은 샷건 디버깅에 가깝습니다. 근본적인 원인을 찾는 게 중요합니다. 많은 경우 우리가 설계한 손실 함수에 문제가 있을 때가 많습니다.</p><p>저는 ML 모델도 충분히 principled way로 디버깅할 수 있다고 믿습니다. 물론 소프트웨어 디버깅과는 달리 확률적인 성격이 있어서 똑같진 않지만, 원인을 추적하고 검증하는 과정은 똑같이 필요합니다. 샷건 디버깅은 당장은 쉬워 보여도 장기적으로는 오히려 더 느린 길이 될 수 있습니다.</p><p>샷건 디버깅을 지양합시다.</p><h3>No Shotgun Treatment</h3><blockquote><em>‘산탄처방(shotgun treatment)’이라는 말을 들어보셨나요?</em></blockquote><p>의료 분야에서 환자의 병의 원인이 불분명할 때, 가능한 치료를 한꺼번에 시도해보는 방식입니다. 마치 산탄총을 쏘듯 여러 방향으로 동시에 접근하는 것이죠. 급한 상황에서는 이런 방법이 환자를 빠르게 안정시키는 데 도움이 되기도 합니다. 하지만 원인을 정확히 찾아 장기적으로 치료해야 하는 경우라면, 산탄처방은 효과적인 방법이 아니라고 사람들은 말합니다. 무엇이 효과를 냈는지, 혹은 우연히 나아진 것인지 알 수 없기 때문입니다. 저는 이 개념을 수의사인 아내에게서 처음 들었습니다. 흥미로웠던 점은, 이 아이디어가 AI 문제 해결에도 동일하게 적용할 수 있다는 점이었습니다.</p><p>저는 KPI(혹은 메트릭)를 최적화하는 과정을 산을 오르는 것에 비유하곤 합니다. AI를 하시는 분들께는 이미 ‘loss landscape’이라는 개념이 익숙하시겠죠. 산의 아래에 있을 때는 어느 방향으로 가도 산을 올라갈 수 있기 때문에, 눈을 감고 아무쪽으로나 가도 성과가 납니다. 이 시기에는 산탄처방식 접근으로도 충분히 성장할 수 있습니다. 하지만 아자르는 출시된 지 10년이 넘은 제품입니다. 눈감고 아무쪽으로나 한 발자국 내딛는다고 해서 더 높이 오르지 않습니다. 이제는 눈을 떠야 합니다. 정상으로 가는 방향이 어딘지, 그리고 우리가 오르려는 산이 맞는지도 봐야 합니다.</p><p>이럴 때 A/B 테스팅은 당연히 가장 좋은 방법이지만, A/B 테스트가 어렵다면 의료 분야에서 말하는 ‘치료적 진단(therapeutic diagnosis)’이 좋은 접근이 될 수 있습니다. 가능한 원인을 나열하고, 그중 가장 유력한 하나를 선택해 실험적으로 치료를 시도합니다. 증상이 호전되면 가설이 맞았다고 잠정 결론을 내립니다. 중요한 건, 여러 치료법을 동시에 적용하지 않는 것입니다. 그래야 어떤 방법이 효과를 냈는지 알 수 있습니다. 그리고 우연히 나아진 건 아닌지도 반드시 확인해야 합니다.</p><p>AI 문제도 마찬가지입니다. 산탄처방처럼 여러 시도를 동시에 하는 대신, 가설을 세우고 하나씩 검증하며 도메인지식을 쌓아가야 합니다. 처음엔 느려 보여도, 결국 더 빠르고 정확하게 정상에 도달할 수 있다고 믿습니다. Ablation study를 하듯이, principled way로 문제를 풀어야 합니다.</p><p><strong>산탄처방은 하지 맙시다. A/B테스트나 치료적 진단처럼 신중하고 원칙적으로 접근합시다.</strong></p><h3>선형 모델도 때로는 충분합니다</h3><p>요즘은 복잡한 모델이 아니면 뭔가 부족해 보일 때가 있습니다. 하지만 선형 모델만으로도 충분히 의미 있는 성과를 낼 수 있습니다. Hyperconnect AI에서는 제품의 다양한 피쳐에서 단순한 선형 모델로도 20~30%의 지표 향상을 이뤄본 경험이 있습니다.</p><p>AI가 제품에 기여하는 과정을 보면, 우리가 참여하기 전 이미 만들어져 있는 휴리스틱 로직이 있는 경우가 많습니다. “A 조건을 만족하면 +10, B 조건을 만족하면 -5” 같은 규칙들이죠. 이런 로직은 대부분 PM이나 도메인 전문가의 직관에서 출발합니다.</p><p>저희가 처음 해야 할 일은 그 로직이 목표로 하는 1차 지표, 예를 들어 클릭률이나 체류 시간을 명확히 정하고, 그 휴리스틱에서 사용한 피쳐들로 아주 간단한 선형 모델을 학습하는 것입니다.</p><p>이 모델의 목적은 휴리스틱의 숫자들을 데이터 기반으로 다시 정렬해주는 일입니다. 직관이 정했던 +10, -5 같은 가중치 값들을 실제 데이터를 통해 찾아내는 거죠. 이 과정은 오래 걸리지 않습니다. Google Colab이나 로컬 노트북에서도 1시간이면 충분히 끝납니다. 간단한 스크립트를 통해 얻은 가중치를 휴리스틱을 실제로 구현한 소프트웨어 엔지니어에게 전달하면 됩니다. 선형 모델은 기존 로직의 틀을 유지한 채 파라미터만 바꾸면 되기 때문에 구현 난이도가 매우 낮습니다. 피쳐 정규화나 간단한 튜닝을 고려해도 일주일이면 충분합니다.</p><p>이렇게 간단히 시도해보면, “이 피쳐에 AI를 넣는 것이 정말 중요한가?”를 빠르게 가늠할 수 있습니다. 클릭률이나 체류 시간이 몇 퍼센트 늘어났는지를 보고, 더 큰 모델을 썼을 때 얼마나 더 개선될지, 그리고 그 변화가 매출이나 리텐션에 어떤 영향을 줄지를 가늠해볼 수 있습니다.</p><p>딥러닝을 잘한다고 해서 모든 문제를 딥러닝으로 푸는 건 낭비일 때가 많습니다. 문제의 크기에 맞는 모델을 선택하고, 그 문제가 정말 중요한지 다시 평가하고, 중요하다면 그때 리소스를 집중하는 이터레이션이 필요하다고 생각합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f4043ad6d3e9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[AI 추천을 잘하려면 UI 도 알아야 합니다]]></title>
            <link>https://medium.com/@joonyoungyi/ai-%EC%B6%94%EC%B2%9C%EC%9D%84-%EC%9E%98%ED%95%98%EB%A0%A4%EB%A9%B4-ui-%EB%8F%84-%EC%95%8C%EC%95%84%EC%95%BC-%ED%95%A9%EB%8B%88%EB%8B%A4-818746911db8?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/818746911db8</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Sun, 12 Oct 2025 00:01:44 GMT</pubDate>
            <atom:updated>2025-10-12T00:01:44.752Z</atom:updated>
            <content:encoded><![CDATA[<p>혹시 알고 계셨나요?</p><blockquote><em>인스타그램 앱의 첫 번째 탭(홈)과 두 번째 탭(탐색)은 스크롤 방식이 다릅니다.</em></blockquote><p>홈 탭은 손가락을 움직이는 만큼 화면이 따라 내려가지만, 탐색 탭(상세 게시글 누른 후)은 스크롤 후 손을 떼면 자동으로 특정 게시물이 화면 상단에 맞춰지도록 동작합니다. 직접 해보시면 두 탭의 차이를 확실히 느낄 수 있습니다.</p><blockquote><em>왜 이런 차이가 있을까요?</em></blockquote><p>전 이런 UI가 추천 알고리즘을 고도화 하기 위한 전략이라고 봅니다. 추천 시스템의 발전 과정에서 중요한 전환점 중 하나는 사용자의 체류시간을 핵심 시그널 중 하나로 활용하기 시작했다는 점입니다. 특정 콘텐츠에서 얼마나 오래 머무르는가는 단순 클릭보다 유저에 대한 훨씬 많은 이해를 제공합니다. 구매나 좋아요 같은 액션은 드물게 발생하고 사람마다 발생 빈도가 달라 최적화하기 어렵지만, 시간은 누구나에게 꽤 공평하기에 체류시간은 모든 사용자에게서 일관되게 얻을 수 있는 신호입니다.</p><p>체류시간을 정확히 측정하려면 사용자가 화면 속 여러 콘텐츠 중 무엇을 보고 있는지 알아야 합니다. 이를 통해 좋아하는 콘텐츠뿐 아니라 관심이 없는 콘텐츠도 식별할 수 있습니다. 하지만 전통적인 그리드나 리스트 뷰에서는 사용자가 선택하지 않은 이유를 알기 어렵습니다. 더 좋은 것이 있어서 클릭하지 않은 것인지, 아예 관심이 없어서 클릭하지 않은 것인지 구분하기 힘듭니다. 이 한계를 극복하기 위해 한 번에 하나의 콘텐츠만 보여주고 체류시간을 정확히 잼으로써 추천 알고리즘의 성능을 높이는 방식이 제안되었습니다. 그리고 여러 숏폼 영상들은 정확하게 이 UI를 채택함으로써 유저가 원하는 영상을 빠르면 3분 이내에 알아내고 있습니다.</p><p>이런 UI는 틱톡을 운영하는 바이트댄스가 처음 제안했다고 알려져있습니다. 이 사례로 볼 때, AI가 큰 임팩트를 내기 위해서는 단순히 모델만 신경쓰면 되는 것이 아니라 UI까지 고민해 제품과 유기적으로 연결되어야 합니다. 틱톡은 AI를 이해하는 사람이 제품 설계 단계부터 깊이 관여했기에 성공할 수 있었다고 보고 있습니다. 따라서, 큰 임팩트를 내기 위해서 연구자는 단순히 모델링에만 머무르지 않고, 제품 설계와 의사결정 과정에도 참여할 수 있어야 합니다.</p><p>학계에서도 비슷한 시도들을 쉽게 관찰할 수 있습니다. 추천 시스템을 연구해본 분들이라면 MovieLens 데이터셋을 아실 겁니다. 정말 많은 추천 연구들에 벤치마크 데이터로 사용되고 있죠. 이 데이터 셋은 미네소타 대학 GroupLens 연구진이 만들었는데요, GroupLens 연구진은 추천 AI 연구 뿐만 아니라 HCI 연구도 활발하게 진행하고 있습니다. 단순히 모델 개선에 그치지 않고 사용자 경험을 더 좋게 하려면 어떤 UI를 통해 유저에게 제공해야 하는가까지 고민합니다.</p><p>AI로 제품에 큰 임팩트를 내려면 알고리즘만이 아니라 제품 자체에도 깊은 관심이 필요합니다. 우리 제품뿐만 아니라 경쟁사 서비스, 나아가 IT 생태계 전반에 대한 호기심과 이해가 뒷받침되어야 합니다. 저는 이것이 좋은 AI 연구자 혹은 AI PM이 갖추어야 할 중요한 태도라고 생각합니다.</p><p>참고) 인스타그램 두 탭의 스크롤 방식이 다르다고 한 것은 최신 iOS 인스타그램 앱 기준입니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=818746911db8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[실험이 우리를 자유케 하리라: 하이퍼커넥트 AI의 A/B 테스트]]></title>
            <link>https://medium.com/@joonyoungyi/%EC%A4%91%EC%B2%A9-%EC%8B%A4%ED%97%98%EC%9D%84-%EB%91%90%EB%A0%A4%EC%9B%8C%ED%95%98%EC%A7%80-%EB%A7%99%EC%8B%9C%EB%8B%A4-2df08cfda7e2?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/2df08cfda7e2</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Thu, 09 Oct 2025 13:12:10 GMT</pubDate>
            <atom:updated>2025-10-27T06:19:04.971Z</atom:updated>
            <content:encoded><![CDATA[<h3>A/B 테스트가 없이는 ‘개선’을 측정할 수 없다</h3><p>AI 조직에서는 매일, 그리고 매주 새로운 모델이 만들어집니다. 하지만 새로운 모델이 정말 더 좋은 모델일까요?</p><p>많은 AI 연구자들은 오프라인 메트릭의 향상으로 모델의 성능을 판단합니다. 하지만 이는 충분하지 않습니다. 오프라인에서 성능이 향상된 모델이 실제 서비스에 올라갔을 때 오히려 지표가 떨어지는 경우도 적지 않습니다. 그 이유는 명확합니다. 모델을 배포하는 순간 데이터의 분포가 바뀌기 때문입니다. 오프라인에서는 유리했던 환경이, 온라인에서는 전혀 다르게 작용할 수 있습니다. 결국 온라인에서 실제로 지표가 좋아지지 않는다면, 아무리 오프라인에서 잘 작동하더라도 그것은 좋은 모델이라 할 수 없습니다.</p><p>그렇다면 온라인에서는 어떻게 ‘좋아졌다’를 검증할 수 있을까요? 가장 단순한 방법은 시계열을 관찰하는 것입니다. 모델을 배포한 뒤 리텐션이나 매출 같은 주요 지표의 변화를 시간에 따라 추적하는 것이죠(<a href="https://hyperconnect.github.io/2021/06/07/regression-discontinuity-in-time.html">예시</a>). 하지만 이 방식은 해석이 어렵습니다. 지표의 변화가 모델 때문인지, 아니면 트래픽 변동, 마케팅, 계절성, 신규 유입 등 외부 요인 때문인지 구분하기 어렵기 때문입니다. 아주 큰 변화가 있었다면 시계열만으로도 구분할 수 있지만, 대부분의 경우 그렇지 않습니다.</p><p>이 문제를 해결하는 가장 확실한 방법이 A/B 테스트입니다. 모델의 변경(처치, treatment) 외에도 결과에 영향을 줄 수 있는 수많은 요인들인 혼란 변수(confounder)를 통제하기 위한 실험 설계죠. A/B 테스트는 모델의 변경이 실제로 어떤 변화를 일으켰는지를 명확히 구분해줍니다.</p><p>A/B 테스트는 단순히 “이 모델이 좋은가 나쁜가”를 가르는 절차가 아닙니다. 어떤 요인이 지표를 바꿨는지를 해부하고, 거기서 얻은 통찰을 다음 개선으로 연결하기 위한 방법입니다. 모델을 더 잘 만드는 기술적인 방법은 다양하지만, A/B 테스트는 그 변화의 ‘진짜 이유’를 찾아내는 과정입니다. 실험을 통해 쌓인 데이터와 도메인 지식이 결국 더 나은 모델을 만듭니다.</p><p>마이크로소프트 등 여러 연구에서도 이런 도메인 지식의 축적을 매우 중요하게 다룹니다. A/B 테스트로부터 얻은 학습이 쌓이면, 어느 순간 큰 성장을 만들어내는 전환점이 온다는 여러 보고가 있습니다. A/B 테스트의 교과서 격인 <a href="https://product.kyobobook.co.kr/detail/S000060625360">하마책</a>에서도 이런 사례들을 다루고 있죠. 저희도 비슷한 경험을 하고 있습니다. 그런 성장은 ‘운 좋은 한방’이 아니라, 수많은 실험과 검증이 만들어낸 누적된 결과입니다. “무엇이 변화를 만들었는가”를 명확히 구분해, 가설의 신뢰도를 점진적으로 높여가는 것이 중요합니다.</p><p>A/B 테스트는 결국 우리가 진실에 더 가까워지도록 돕는 도구입니다.</p><h3>실험은 빠르게, 위험은 작게: 쉐도우 테스트와 1% A/B 테스트</h3><p>새로운 모델을 만들었을 때 가장 먼저 떠오르는 질문은 “이걸 바로 A/B 테스트해도 될까?”입니다. 특히 사용자에게 직접적인 영향을 미치는 AI 시스템이라면, 검증은 반드시 신중해야 합니다. 문제의 중요도가 높을수록 실험의 리스크도 커집니다. 아무리 좋은 아이디어라도 실제 환경에서는 의도와 다르게 작동할 수 있고, 그 결과가 사용자 경험을 크게 해칠 수도 있습니다.</p><p>그래서 저희는 A/B 테스트에 들어가기 전에 항상 <a href="https://microsoft.github.io/code-with-engineering-playbook/automated-testing/shadow-testing/">쉐도우 테스트</a>부터 시작합니다. 쉐도우 테스트는 유저에게는 전혀 영향을 주지 않고, ‘그림자 속에서’ 새로운 모델을 검증하는 방식입니다. 프로덕션과 동일한 트래픽을 새로운 모델에도 흘려보내어 결과를 비교하는 것이죠. 이렇게 하면 사용자에게는 아무런 변화가 없지만, 우리는 두 모델의 추론 결과를 동시에 기록해 성능을 확인할 수 있습니다. 이 방식의 가장 큰 장점은 리스크가 없다는 점입니다. 유저 경험을 전혀 해치지 않으면서도 버그나 문제를 조기에 발견할 수 있습니다. 오프라인 평가와 비교했을 때 메트릭이 일관되게 개선되는지 확인하는 과정으로, 만약 여기서 차이가 크다면 A/B 테스트로 넘어가기 전에 엔지니어링이나 모델 자체에 문제가 없는지를 먼저 점검해야 합니다.</p><p>쉐도우 테스트에서 개선 신호가 명확히 확인되면, 그다음 단계로 1% A/B 테스트를 진행합니다. 전체 트래픽의 약 1%만 새로운 모델에 노출해 안정성과 성능을 함께 검증하는 단계입니다. 이 테스트에서는 “확실히 좋아졌다”를 증명하기보다는 “명확히 나쁘지 않다”를 확인하는 데 초점을 둡니다. 모델이 안전하게 동작한다고 판단되면 트래픽을 5%, 20%, 50%로 점진적으로 확장하면서 지표의 변화를 관찰합니다. 이런 과정을 거치면 사용자 경험을 크게 해치지 않으면서도, 새로운 모델이 실제로 긍정적인 변화를 만들어내는지를 빠르고 안정적으로 검증할 수 있습니다. 구조적으로 카나리 테스트와 유사하지만, 단순한 안정성 검증을 넘어 지표가 실제로 나빠지지 않는지를 함께 관찰한다는 점에서 조금 다릅니다.</p><p>실험은 언제나 리스크를 동반하지만, 실험을 미루면 배움의 기회를 잃습니다. 쉐도우 테스트와 1% A/B 테스트는 그 사이에서 균형을 잡아줍니다. 빠르게 시도하고, 안전하게 실패하며, 다시 배우는 구조를 만들어줍니다. 저희는 이 과정을 통해 꽤 과감한 실험도 두려워하지 않고 진행할 수 있습니다. 빠르게 움직이되, 무모하지 않게 움직이는 것. 그것이 저희 AI 조직이 실험을 대하는 방식입니다.</p><h3>A/B 테스트를 제대로 설계한다는 것</h3><p>A/B 테스트는 모델이 실제로 가치를 주는지를 검증하는 가장 강력한 방법입니다. 하지만 잘못 설계된 실험은 오히려 혼란을 만듭니다. 데이터를 기반으로 올바른 의사결정을 하려면, 실험 자체를 신뢰할 수 있어야 합니다. 그래서 저희는 모델을 개선할 때만큼이나, 실험을 설계할 때에도 신중함을 유지하려 합니다.</p><p>A/B 테스트 전에 A/A 테스트는 필수입니다. A/A 테스트는 A/B 테스트가 올바르게 작동하는지 확인하는, 말 그대로 ‘실험의 실험’입니다. 실험군과 대조군에 완전히 동일한 모델과 환경을 배포한 뒤, 양쪽의 주요 지표 분포가 통계적으로 유사한지를 검증합니다. 평균 전환율, 세션 길이, 클릭률 등 핵심 지표를 비교했을 때 유의미한 차이가 없어야 합니다. 만약 A/A 테스트에서조차 실험군이 대조군보다 특정 지표가 일관되게 높게 나타난다면, 플랫폼의 랜덤 배정 로직이나 트래픽 분할 방식에 편향이 있을 가능성이 높습니다. 혹은 표본 크기가 너무 작아 유의성을 검정하기 어려운 경우일 수도 있습니다. 이런 검증을 건너뛰면 이후의 모든 A/B 테스트 결과를 신뢰하기 어렵습니다.</p><p>실험군과 대조군의 독립성도 매우 중요합니다. 한쪽의 변화가 다른 쪽에 영향을 미치면 결과가 왜곡됩니다. 서비스의 특성상 완전한 독립을 보장하기 어려운 경우가 종종 있지만, 설계 단계에서 그 영향을 최소화해야 합니다. 실험 단위를 사용자 단위로 잡을지, 세션 단위로 잡을지, 혹은 지역 단위로 잡을지를 명확히 정의하는 것도 이런 이유에서입니다.</p><p>Carry-over effect도 주의해야 합니다. 예를 들어 유저 아이디를 단순히 홀짝으로 나눠 홀수 유저 아이디를 실험군, 짝수 유저 아이디를 대조군으로 설정한다고 해봅시다. 그리고 다음 실험도 동일한 방식으로 실험군과 대조군을 할당한다고 해봅시다. 이렇게 하면 다음 실험에서도 같은 사용자가 동일한 그룹에 반복 배정될 수 있습니다. 이전 실험의 잔여 효과가 다음 실험 결과에 섞이게 되는 것이죠. 이런 문제를 해결하기 위해서는 유저 아이디에 해시 함수를 적용해 매 실험이 독립되도록 설계합니다. 이렇게 하면 실험마다 다른 분포로 유저가 배정되어, 이전 실험의 영향을 최소화할 수 있습니다. 이런 편향은 A/A 테스트 단계에서 미리 감지할 수도 있습니다.</p><p>실험은 충분히 긴 시간 동안 유지되어야 합니다. 하루이틀의 결과만 보고 결론을 내리면, 새 모델을 처음 본 사용자들이 일시적으로 반응한 효과를 개선으로 착각할 수 있습니다. 또, A/B 테스트는 특정 기간 동안 혼란 변수(confounder)를 통제할 뿐, 그 결과가 다른 시기에도 동일하게 재현된다는 보장은 없습니다. 따라서 최소 일주일 이상 실험을 유지하며, 평일과 주말이 모두 포함된 데이터를 관찰하는 것이 좋습니다. 물론 이런다고 모든 문제가 해결되는 것은 아닙니다. 예를 들어 긴 추석 연휴 기간에 얻은 결과가 추석 이후에도 그대로 유지되리란 보장은 없습니다.</p><p>실험 기간과 트래픽 비율은 사전에 명확히 정해야 합니다. “원하는 결과가 나왔을 때 실험을 멈추는 것”은 흔한 실수지만, 이는 p-hacking으로 간주됩니다. 표본 수를 늘려가며 원하는 결과가 나올 때 실험을 종료하면, 우연한 결과를 ‘유의미한 발견’으로 착각할 수 있습니다. 실험 시작 전에 몇 퍼센트의 트래픽을 얼마나 오랜 기간 관찰할지를 정해두는 이유가 바로 여기에 있습니다. 실험의 기대 개선 폭을 설정하면 필요한 샘플 크기가 계산되고, 그에 따라 실험 기간과 노출 비율, 타깃 세그먼트를 결정할 수 있습니다.</p><p>검정 방식을 중간에 바꾸는 것도 절대 피해야 합니다. 예를 들어 처음에는 t-test를 사용하다가, p-value가 기대한 수준으로 나오지 않자 다른 검정(예: odds ratio test, Welch test 등)을 반복 적용하는 방식은 타당하지 않습니다. 이런 접근은 “결과가 잘 나올 때까지 시도한다”는 것과 다르지 않으며, 결국 p-value의 의미를 무너뜨립니다. 하나의 실험에서는 하나의 검정 방식을 고정하고, 그 결과를 있는 그대로 해석해야 합니다.</p><p>한 번의 실험에서 너무 많은 요인을 동시에 바꾸는 것도 피해야 합니다. 여러 개선안을 한꺼번에 적용하면, 어떤 변화가 결과를 만들었는지 알 수 없습니다. 실험의 본질은 “변화의 원인을 분리하는 것”이기 때문에, 단일 변수를 다루는 것이 원칙입니다. A/B 테스트의 목적은 좋은 모델을 한 번 선택하는 데 있지 않습니다. 어떤 처치가 어떤 결과를 만들어내는지를 학습하고, 매 실험마다 지식을 쌓는 것이 진짜 목적입니다.</p><p>A/B 테스트는 결국 “데이터로부터 진실을 드러내는 과정”입니다. 숫자 그 자체보다, 그 숫자를 신뢰할 수 있는 실험을 만드는 일이 더 중요합니다. 그리고 여기서 언급한 주의사항 외에도 실험이 실패하거나 왜곡되는 이유는 훨씬 더 많습니다. 저희는 더 나은 모델을 만드는 만큼, 더 나은 실험을 설계하기 위해서도 계속 고민하고 있습니다.</p><h3>실험을 더 많이 그리고 안전하게: 중첩 실험(Overlapping Experiments)을 두려워할 필요는 없습니다</h3><blockquote><em>Q. 한 번에 한개의 A/B 테스트만 해야 하지 않나요?</em></blockquote><p>하이퍼커넥트가 매치 그룹에 인수되기 전에 입사해, 회사에 벌써 6년째 재직하면서 여러 데이터/PM 직군 분들과 협업해왔습니다. 이 과정에서 종종 A/B 테스트를 한번에 하나만 해야 한다고 주장하시는 분들을 종종 만나왔습니다. 그 분들의 레셔널이 무엇인지 잘 알지만, 저는 항상 동시에 여러 실험을 돌려야 한다고 주장해왔습니다. 특히, 아자르 같이 MAU가 큰 서비스에서는 더더욱 동시에 여러 실험들을 돌려야 합니다.</p><p>우리는 더 많은 실험을 통해 더 유저를 잘 이해할 수 있습니다. 유저를 더 잘 이해해야 유저에게 더 좋은 경험을 줄 수 있고 이게 장기 매출로 이어집니다. 더 많은 실험을 하기 위해, 동시에 여러 실험이 돌아가는 중첩 실험은 필수적입니다.</p><p>이 <a href="https://research.google/pubs/overlapping-experiment-infrastructure-more-better-faster-experimentation/?fbclid=IwY2xjawNRondleHRuA2FlbQIxMABicmlkETFTNFViRHNXb3R5QldnQ0plAR5IqtUbkueMOKXp6Eal1p4aL2_M-A0bdtSaPBoHKJNYv6QCMwBemFsLzlw8Xw_aem_xTL0B3VPCiZx14CKO9Q1mw">논문</a>은 Google이 중첩 실험을 어떻게 하고 있는지를 말한 2010년 논문입니다. UI Layer, Search Layer, Ads Layer와 같이 독립일 것으로 추정되는 요소들끼리 Layering을 잘하면 되고, 이렇게 Layering을 잘하고나서 실험 수가 폭발적으로 증가했다고 합니다. 너무나 당연하게도 Google 뿐만 아니라, <a href="https://exp-platform.com/Documents/2013%20controlledExperimentsAtScale.pdf">Microsoft</a>, Booking.com도 여러 중첩 실험을 진행하고 있습니다. 이 외 다른 회사들의 사례도 충분히 쉽게 찾을 수 있습니다.</p><blockquote><em>왜 많은 빅테크 회사들은 중첩 실험을 열심히 할까요?</em></blockquote><p>사실 중첩 실험을 할 때 각 실험끼리 독립이라는 가정이 깨지면, 당연히 실험에 문제가 생깁니다. 한번에 실험을 하나만 돌려야 한다고 주장하시는 분들이 보통 이 점을 지적하십니다. 이론적으로 옳은 지적입니다. 하지만, <a href="https://www.microsoft.com/en-us/research/articles/a-b-interactions-a-call-to-relax/">Microsoft</a>, <a href="https://medium.com/@zhavzharovmikhail/interactions-in-overlapping-a-b-tests-meta-review-of-industry-practices-b4dd99ea75b8">Google</a>, <a href="https://blog.statsig.com/embracing-overlapping-a-b-tests-and-the-danger-of-isolating-experiments-cb0a69e09d3">Statsig</a>를 포함해 많은 회사들에서 실무적으로 중첩되는 대부분의 A/B 테스트는 서로 영향을 주지 않는다고 관찰되어왔습니다. 즉, 독립이란 거죠.</p><p>하지만, 당연히 여러 실험들이 항상 서로 독립인 것은 당연히 아닙니다. 독립이 아닌 경우에는 실험 해석에 문제가 당연히 생깁니다. 그렇다고 중첩 실험을 하지 않는 것은 답이 아닙니다. 실험 수를 줄이게 되면, 우리는 실험을 더 많이 할 수록 더 많은 지식을 쌓을 수 있고 제품에 대한 이해를 넓힐 수 있는데 이 기회를 날리게 되는 것이기에 다른 방향의 접근이 필요합니다.</p><p>중첩 실험을 하면서 실험끼리 독립이 아닌 경우를 체크하기 위해 Google, Bing 등 여러 회사는 <a href="https://medium.com/@zhavzharovmikhail/interactions-in-overlapping-a-b-tests-meta-review-of-industry-practices-b4dd99ea75b8">모니터링 시스템</a>을 구축했습니다. 독립 여부를 판단하는 모니터링 알고리즘은 각기 다르지만요. 혹은 <a href="https://easychair.org/publications/preprint/6mF9/open">Tencent</a>는 독립을 좀 더 잘 보장할 수 있는 assignment 방법론을 운영한다고 발표하기도 했습니다.</p><p>이 외에도 중첩 실험을 할 때 주의해야 할 점은 몇 가지 더 있습니다. A/B 테스트의 교과서로 불리는 <a href="https://product.kyobobook.co.kr/detail/S000060625360">하마 책</a>에도 중첩 실험의 기본 원칙과 주의점이 소개되어있습니다. 각 회사의 상황에 맞는 best practice는 각자의 상황에서 연구될 필요가 있습니다. 하지만, 실무적으로 중첩 실험을 두려워할 이유는 없습니다. 아주 극단적으로 “모니터링 없이 중첩 실험하기 vs 한 유저에게 단 하나의 실험만 하기” 둘 중 하나 선택하라면 저는 망설이지 않고 전자를 택할겁니다.</p><p>하이퍼커넥트 AI는 이와 같은 철학으로 실험 환경을 발전시켜 왔습니다. 저희는 “빠른 실험”과 “안전한 실험”을 동시에 가능하게 하는 플랫폼을 직접 구축했습니다. 실험 설정과 리뷰에 걸리던 시간을 97% 단축한 <a href="https://hyperconnect.github.io/2025/08/26/azar-recsys-experiment-framework.html">프레임워크</a>를 통해, 누구나 빠르게 실험을 제안하고 결과를 검증할 수 있게 되었습니다. 실험이 중첩되고 복잡해질수록 각 실험이 충돌 가능성이 높아지지만, 그 위험을 줄이는 건 실험을 멈추는 게 아니라 실험과 실험 플랫폼을 더 잘 설계하는 것이라고 믿습니다.</p><h3>실험 결과를 해석한다는 것</h3><p>A/B 테스트의 결과를 해석하는 일은 단순히 숫자를 비교하는 것보다 훨씬 어렵습니다. 같은 실험이라도 세그먼트에 따라 전혀 다른 결과가 나올 수 있고, 평균값만 보고 판단하면 오히려 잘못된 결론을 내릴 수 있습니다. 저희는 실험 결과를 볼 때 항상 “어디에서 차이가 생겼는가”를 먼저 확인합니다. 특정 국가나 OS, 혹은 성별에서 기대와 다른 방향으로 움직였다면, 그 이유를 데이터로 검증하고 새로운 가설을 세웁니다. 실험이 모든 사용자 그룹에 고르게 작동하지 않는다면, 그 결과를 단순히 ‘실패’로 보지 않고, 개선의 단서를 찾는 기회로 봅니다.</p><p>무엇보다 중요한 것은 불확실성을 감으로 판단하지 않는 일입니다. 지표의 평균값이 조금 높거나 낮아졌다고 해서 곧바로 개선이라고 결론 내릴 수는 없습니다. 지표의 분산(variance)과 표본의 크기를 함께 봐야 그 차이가 우연인지, 실제 변화인지 알 수 있습니다. 데이터는 언제나 불확실성을 동반합니다. 그렇기 때문에 실험 결과를 신뢰하기 위해서는 그 불확실성을 정량적으로 확인해야 합니다. 단순히 숫자를 비교하기보다, 지표의 “분포”와 변동성을 함께 이해하는 것이 훨씬 중요합니다.</p><p>많은 분들이 “p-value가 낮으니 개선됐다”고 말하지만, p-value는 단지 관측된 차이가 우연일 가능성을 보여줄 뿐입니다. p-value가 낮다고 해서 반드시 의미 있는 개선이라고 볼 수는 없습니다. 효과 크기, 분산, 그리고 장기적인 추세를 함께 살펴야 합니다. 특히 효과의 크기가 미미하다면, p-value가 낮아도 그 실험은 실질적인 가치가 없을 수 있습니다. 이런 경우에는 A/A 테스트 결과를 함께 참고하는 것이 큰 도움이 됩니다.</p><p>실험에서 자주 마주치는 상황이 있습니다. 어떤 지표는 올랐지만, 다른 지표는 오히려 떨어지는 경우입니다. 예를 들어 1차 지표(클릭률 혹은 전환율)는 개선되었지만, 최종적으로 우리가 올리고자 하는 핵심 지표(리텐션이나 매출)는 변화가 없을 때가 있습니다. 이런 경우엔 단순히 결과를 좋다 나쁘다로 판단하지 않고, 퍼널(funnel) 단계별로 어디에서 변화가 일어났는지를 추적합니다. 그 이유에 대한 가설을 세우고, 이를 확인하기 위한 다음 실험을 설계합니다.</p><p>결국 실험 결과를 분석한다는 것은 숫자 뒤의 맥락을 읽는 일입니다. 단순히 승패를 판단하는 것이 아니라, 왜 그런 결과가 나왔는지를 탐구하는 과정입니다. 저희는 모델의 개선뿐 아니라, 그 개선이 사용자 경험과 서비스 목표에 어떤 영향을 주는지를 꾸준히 관찰합니다. 실험은 데이터를 해석하는 도구이자, 우리가 세상을 더 정직하게 이해하기 위한 방법이라고 믿습니다.</p><h3>실험을 문화로 만든다는 것</h3><p>하이퍼커넥트 AI 조직은 실험을 하나의 문화로 보고 있습니다. 모델을 개선하는 일은 결국 세상을 관찰하는 일이라고 믿기 때문입니다. 실험이 성공하든 실패하든, 그 안에서 배우는 것이 진짜 진전이라고 생각합니다. 실패한 실험도 낭비가 아니라, 다음 시도를 위한 단서가 됩니다.</p><p>A/B 테스트는 단순히 더 나은 모델을 선택하기 위한 절차가 아닙니다. 우리가 더 나은 제품을 만들고, 더 좋은 사용자 경험을 제공하기 위한 과정입니다. 실험을 통해 우리는 “이게 정말 더 나은가?”를 데이터로 확인하고, 그 답을 기반으로 다음 개선을 이어갑니다.</p><p>AI가 서비스의 중심이 되어갈수록, 실험은 기술 검증을 넘어 조직의 태도가 되어야 한다고 생각합니다. 좋은 모델을 만드는 것보다 중요한 것은, 그 모델이 세상에서 실제로 어떻게 작동하는지를 끝까지 관찰하는 일입니다. 데이터를 통해 진실을 확인하고, 그 배움을 다음 도전으로 이어가는 것. 그것이 저희가 AI를 다루는 방식입니다.</p><p>저희는 더 나은 모델을 만드는 것보다, 더 정확한 세상을 이해하는 데에 가치를 둡니다. 실체적 진실에 다가가는 일. 그것이 결국 더 나은 기술을, 그리고 더 나은 제품을 만들어준다고 믿습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2df08cfda7e2" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[정렬(alignment)과 스케일링(scaling)]]></title>
            <link>https://medium.com/@joonyoungyi/%EC%A0%95%EB%A0%AC%EA%B3%BC-%EC%8A%A4%EC%BC%80%EC%9D%BC%EB%A7%81-4214d4955a0d?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/4214d4955a0d</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Thu, 09 Oct 2025 13:11:55 GMT</pubDate>
            <atom:updated>2025-11-01T02:19:51.539Z</atom:updated>
            <content:encoded><![CDATA[<p>저는 조직의 AI 업무를 크게 두 가지로 봅니다. 바로 정렬과 스케일링입니다. 이런 관점은 LLM에만 국한되는 이야기가 아닙니다. 저는 추천 업무에서도, Trust &amp; Safety 업무에서도 똑같이 정렬과 스케일링의 관점으로 접근합니다.</p><p>정렬이란, 우리가 만드는 모델이 실제 비즈니스 지표와 연결되게 만드는 과정을 의미합니다. 추천 시스템을 이야기할 때, 클릭률 예측기의 loss를 줄여도 비즈니스 지표인 리텐션이 개선되지 않는다고 말하는 사람들이 많습니다. 그럴 수 있습니다. 클릭률 예측기의 loss가 줄어드는 것과 리텐션이 올라가는 것이 정렬되지 않았기 때문입니다. 리텐션을 올리고 싶다면 어떤 loss 함수를 설계해야 하는지 깊이있게 고민해야 합니다. 저희는 이를 정렬 과정이라고 부릅니다. 저희 과거 <a href="https://hyperconnect.github.io/.../26/azar-aha-moment.html">테크 블로그</a>를 보시면 3년 전에 primitive한 방식으로 정렬을 시도했던 흔적을 확인하실 수 있고, 저희가 5년 전에 <a href="https://arxiv.org/abs/2012.00321">CVPR에 냈던 논문</a>에서도 비슷한 시도를 확인하실 수 있습니다.</p><p>정렬이 제대로 되었다면 그 다음 단계는 스케일링입니다. 모델의 loss는 (몇 가지 가정 아래) 크게 세 가지 요소로 나눌 수 있습니다: bias, variance, 그리고 irreducible error 입니다. 데이터 사이즈를 키우면 variance를 줄일 수 있고, 모델 사이즈를 키우면 bias를 줄일 수 있습니다. irreducible error는 더 많은 feature를 모델의 입력에 포함시켜 줄일 수 있습니다. 데이터와 모델 사이즈를 키우고 더 많은 feature를 모델의 입력에 포함시키는 것을 우리는 스케일링이라고 부릅니다. 모델이 잘 정렬되었다면 스케일링이 직접적으로 비즈니스 임팩트로 직결됩니다.</p><p>물론 정렬은 매우 어려운 과정입니다. 저는 제품에 기여하는 AI 연구에서 가장 어려운 점이 정렬이라고 생각합니다. 스케일링은 외부 연구들에서 힌트를 많이 얻을 수 있지만, 정렬은 그렇지 못한 경우가 많습니다. 회사마다 다른 제품을 다루기에 다른 제약 조건이 생깁니다. 제약 조건 때문에 문제가 어려워지기도 하고 때론 쉬워지기도 합니다. 정렬 문제는 오롯이 그 회사가 풀어야 하기에 어렵습니다.</p><p>예를 들면, 추천 업무에서의 Hyperconnect AI의 목표는 추천 모델의 출력이 “이 유저에게 이 아이템을 추천했을 때 회사의 장기 매출이 얼마나 늘어날지”가 되도록 정렬하는 것입니다. 이렇게만 된다면 우리가 모델의 loss를 N% 개선할 때마다 장기 매출이 M% 증가하는 구조를 만들 수 있습니다. 하지만, 이 방향으로의 정렬은 강화학습 혹은 인과 추론이 필요한데 탐색(exploration)이 충분히 되어야 하면서도 제품의 현재 비즈니스 지표에 영향을 최대한 주지 않아야 하기에 쉽지는 않습니다.</p><p>AI 조직이 비즈니스 성과를 내려면 결국 정렬에서 스케일링으로 이어지는 구조를 만들어야 합니다. Hyperconnect AI 조직은 저희 조직이 만들고 운영하는 수십 개의 모델들을 더 잘 정렬하고, 잘 정렬된 모델은 스케일링하는 데 집중하고 있습니다.</p><h3>머신 러닝 모델의 정렬(alignment)</h3><h4>머신 러닝 모델은 본 것만 잘합니다.</h4><p>모델은 학습 과정에서 본 것만 잘합니다. 보지 못한 걸 못하는 건 당연한 일이고, 만약 본 적 없는 것을 잘한다면 오히려 신기한 일입니다. (요즘은 emergent abilities라는 용어도 있죠.) 그래서 모델이 학습하지 않은 데이터를 추론에 쓸 때는 반드시 주의가 필요합니다. 제품에서의 AI 연구에서 이 부분이 자주 간과되곤 합니다.</p><p>웹에서 수집한 데이터로 학습된 모델이 있다고 가정해봅시다.</p><blockquote><em>이 모델이 우리 서비스에서 그대로 잘 동작할까요?</em></blockquote><p>하나에 베팅해야 한다면, “아니다”에 베팅하는 게 맞습니다. 결국 우리 서비스에 가장 잘 맞는 모델은 우리 서비스에서 수집된 데이터로 학습한 모델입니다. 물론 서비스 데이터가 없을 때 외부 데이터를 초반에 활용하는 건 자연스러운 일이지만요.</p><p>다른 예시들도 많습니다. PNG로만 학습된 모델이 JPG로 압축된 이미지를 받으면 성능이 떨어집니다. 포맷이 달라지면 반드시 신경 써야 합니다. 프로필 이미지로 학습된 모델을 화상 채팅에 그대로 쓴다면 동작하지 않는다고 가정해야 합니다. 운이 좋아서 잘 되면 다행이지만요. 또, Imbalanced 데이터에서 binary classification 문제를 푼다고 해봅시다. 이 경우에 몇몇 연구자들은 무조건 업샘플링이나 다운샘플링을 하기도 합니다. 하지만 우리가 추론해야 하는 상황과 올리고자 하는 지표를 고려하면, 오히려 원래 분포 그대로 학습하는 것이 더 나을 때도 있습니다.</p><p>추천 문제는 이 문제가 더 심합니다. short-form 영상 추천에서 시청 시간을 예측해 가장 오래 볼 영상을 딱 하나 추천하는 문제를 푼다고 해봅시다. 우리가 가진 데이터는 추천으로 노출된 영상에 대해서만 수집된 것입니다. 하지만 추론은 전체 영상에 대해서 합니다. 이 괴리를 줄이려면 이상적으로는 랜덤으로 추천한 데이터로만 학습한 모델을 써야 하지만, 현실적으로는 쉽지 않습니다. 랜덤 추천으로 인해 추천 품질이 극도로 떨어질 수 있기 때문입니다. 그래서 결국 학습과 추론 분포 차이를 줄이는 다양한 방법을 고민해야 하고, 만약 어렵다면 최소한 그 차이를 체크해야 합니다.</p><p>학습과 추론의 분포가 다르면 모델이 제대로 동작하지 않을 수 있다는 가정을 항상 가져야 합니다. 모든 상황에서 완벽히 맞출 수는 없지만, 그 차이를 의식하고 적어도 모니터링해야 합니다.</p><h4>정렬(alignment)되지 않은 모델은 제품에 사용하지 않습니다.</h4><p>비지도 학습(unsupervised learning)이나 자기지도학습(self-supervised learning)은 매력적으로 보입니다. 레이블이나 목표를 따로 주지 않아도 데이터 속 패턴을 스스로 찾아내고, 우리가 원하는 태스크를 수행하는 것이 신기하기도 하고 때로는 효율적으로 느껴지기도 하니까요.</p><p>하지만 Hyperconnect AI에서는 목표에 정렬(alignment)되지 않은 모델은 제품에 사용하지 않는다는 원칙을 가지고 있습니다.</p><p>그 이유는 단순합니다. 모델이 우리가 정의한 목표로 학습되지 않았다면, 겉보기엔 잘 작동하는 것 같아도 실제로는 엉뚱한 방향으로 갈 수 있기 때문입니다.</p><p>모델을 목표에 정렬시키는 가장 확실한 방법은 supervision을 주는 것입니다. 지도 학습(supervised learning)은 입력과 출력이 명확히 짝지어져 있어서, 모델이 우리가 원하는 방향으로 학습되도록 직접 제어할 수 있습니다.</p><p>예를 들어 어떤 아이템의 상세 페이지 하단에 ‘유사한 아이템’을 추천한다고 해봅시다. 많은 엔지니어/PM들은 이런 시도를 할 가능성이 높습니다. 협업 필터링(collaborative filtering)이나 다른 추천 알고리즘으로 아이템 임베딩을 만든 뒤, 코사인 유사도가 높은 아이템을 노출하는 로직을 짤겁니다. 하지만, 이 방법은 우리가 기대한 ‘비슷한 아이템’이 잘 나오지 않는 경우가 많습니다.</p><p>이유는 명확합니다. 우리가 진짜로 원하는 건 ‘비슷한 아이템’이 아니라 ‘유저가 다음으로 클릭할 가능성이 높은 아이템’인 경우가 많기 때문입니다. 하지만, 이 목표가 모델에 명확히 주어지지 않았던 거죠. Hyperconnect AI에서는 이런 경우 “모델을 목표에 어떻게 정렬할 수 있을까?”를 먼저 고민합니다.</p><p>그럼 “아직 기능을 출시하지도 않았는데 어떻게 지도학습을 하냐”는 질문이 나올 수 있습니다. 하지만 데이터가 없다고 해서 목표 정렬을 만들 수 없는 건 아닙니다. 우리가 원하는 입력과 출력을 명확히 정의하고, 그에 맞는 데이터를 만들면 됩니다. 유저가 입력해준 데이터 없어도 직접 엔지니어/PM들이 데이터를 레이블링해서 지도 학습을 할 수 있습니다. 이렇게 만들어진 모델이 충분히 좋지 않다고 판단하면, 필요한 데이터를 더 만들어주면 됩니다. 이렇게 하면 기능을 출시하기 전이라도 꽤 괜찮은 모델을 만들 수 있습니다.</p><p>Hyperconnect AI는 모델에 목표를 주지 않은 채 무작정 튜닝하는 데 시간을 쓰기보다는, 목표를 명확히 정의하고 정렬 구조를 설계하는 데 더 많은 시간을 씁니다. 이것이 우리가 추구하는 principled approach입니다.</p><p>이 원칙은 LLM을 사용할 때도 동일하게 적용됩니다. LLM은 우리가 달성하려는 목표로 학습된 모델이 아니기 때문에, 우리의 목표에 맞는 프롬프트를 작성하는 것이 정렬을 시도하는 간단한 방법 중 하나입니다. 프롬프트를 짜고 우리가 원하는 입력에 대해 괜찮은 출력이 나오는지를 확인하기 보다는, 현실적으로 가능한 입력과 그에 대응하는 출력을 미리 정해두고, 프롬프트를 이에 맞게 변경하는 방식으로 일하는 것이 principled approach입니다.</p><p>결국 중요한 건 같습니다. 모델은 본 것만 잘합니다. 우리가 명확히 보여주지 않은 목표는 스스로 찾지 못합니다. 그래서 Hyperconnect AI는 언제나 모델이 정렬되어 사용될 수 있도록 ML 시스템을 설계합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4214d4955a0d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[제품에 기여하는 AI조직에 대한 오해]]></title>
            <link>https://medium.com/@joonyoungyi/%EC%A0%9C%ED%92%88%EC%97%90-%EA%B8%B0%EC%97%AC%ED%95%98%EB%8A%94-ai%EC%A1%B0%EC%A7%81%EC%97%90-%EB%8C%80%ED%95%9C-%EC%98%A4%ED%95%B4-bb8f11c4bc80?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/bb8f11c4bc80</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Wed, 08 Oct 2025 10:41:25 GMT</pubDate>
            <atom:updated>2025-10-08T10:41:25.964Z</atom:updated>
            <content:encoded><![CDATA[<blockquote><em>제품에 기여하는 AI 조직은 연구 안하지 않나요?</em></blockquote><p>이런 질문, 정말 자주 듣습니다. 왜 이런 말씀하시는 지 이해도 됩니다. 하지만, 저희 조직에서는 반드시 연구가 필요합니다. 솔직히 연구 없이 비즈니스에 기여할 수 있다면 그렇게 하고 싶습니다. 효율적이니까요. 하지만, 연구 없이는 제품에서 임팩트 내기가 어렵습니다. 처음 한 두번은 운이 좋아서 임팩트가 날 수 있지만, 지속적으로 임팩트를 내는 조직을 만들기는 참 어렵습니다.</p><blockquote><em>연구란 무엇일까요?</em></blockquote><p>학계에서는 연구의 내용을 다른 사람에게 전달할 때 논문이라는 형식을 사용합니다. 저는 논문이 가이드하는 형식이 연구의 전체 과정을 아주 잘 설명한다고 생각합니다.</p><ol><li>Introduction</li><li>Related works</li><li>Solution</li><li>Results</li><li>Conclusion</li></ol><p>Introduction에서는 어떤 문제를 풀 지, 그 문제가 왜 중요한지를 이야기합니다. 저는 ‘왜 이 문제가 중요한가’를 동료 리뷰어들에게 설득할 수 있는 게 연구의 핵심이라고 생각합니다. 회사에서도 이건 다르지 않습니다. 회사에서 풀어야 하는 문제는 정말 많습니다. 그 중에 왜 지금 이 문제를 푸는 것이 중요한지, 혹은 왜 AI 기술을 왜 이 기능에 도입하는 것이 최선인지 연구자 스스로 설명하고 동료들에게 설득할 수 있어야 합니다. 학계에서는 익명의 리뷰어/AC만 설득하면 됐다면, 회사에서는 실명의 주요 의사결정권자들을 설득할 수 있어야 합니다. 설득의 대상이 명확하기 때문에 오히려 학계에서의 설득보다 쉬워질 수도 있지만, 회사의 복합적인 상황을 이해해야 하기 때문에 설득이 학계에서보다 더 어려울 수도 있습니다. 대학원에서는 연구 주제, 즉 풀어야 하는 문제를 스스로 찾기도 하지만 박사 고년차 학생이나 교수님이 주기도 합니다. 회사에서도 마찬가지입니다. 신규 입사하면 회사에서 중요한 문제가 무엇인지 바로 파악하기 어렵기 때문에, 연구 주제를 받는 경우가 흔합니다. 하지만, 회사 내에서의 레벨이 올라갈수록 스스로 중요한 문제를 정의하고 풀기를 기대받습니다.</p><p>풀어야할 문제가 설정되었다면 기존 연구들을 찾습니다. 기존 연구들은 학계에서는 다른 사람들이 쓴 연구들일 겁니다. 하지만, 제품에 기여하는 것을 목적으로 하는 AI 조직에서는 기존 연구의 범위가 더 넓어집니다. 당연히 다른 연구 그룹이 출판한 논문은 포함되어야하고, 회사 내에서 했던 시도들, 타 회사의 테크블로그 등도 고려되어야 합니다. 학계에서는 피어 리뷰가 끝나지 않은 연구들은 related works에서 제외하기도 하지만, 제품에 기여하는 AI 조직에서는 이 역시 모두 포함해 종합적으로 검토 되어야 합니다.</p><p>조사한 related works 중에서 우리의 문제를 잘 풀 수 있는 솔루션이 있다면 사용하면 됩니다. 하지만, 현실은 그렇게 만만하지 않습니다. 우리의 문제를 가장 잘 풀 수 있는 솔루션을 깊이있게 고민하다보면 나와 있는 연구들도 풀리지 않는 경우가 매우 많습니다. 비슷한 문제라고 하더라도 우리 회사에서 갖고 있는 제약조건과 공개된 연구 결과물들의 제약 조건이 매우 다르기 때문에 솔루션이 달라집니다. 적당한 솔루션을 골라 빠르게 풀어버리고 넘어가도 괜찮다면, 중요한 문제를 잡지 못한 것입니다. 중요한 문제를 설정했다면(비즈니스와 잘 정렬된 문제를 찾았다면) 성능을 0.01% 올리는 것이 중요해야합니다. 회사의 경영진이든, 연구자든 아래와 같은 질문을 하시는 분들이 종종 있습니다.</p><blockquote><em>제품에 기여하는 AI 조직에서는 한 문제를 깊이 있게 고민할 시간은 부족한 것 아닌가요? 빠르게 되는 방법론 하나 찾아서 적용하고 다음 문제로 넘어가는 게 중요할 것 같아서요.</em></blockquote><p>비즈니스와 잘 정렬된 AI 문제를 찾지 못했기 때문에 이런 말씀을 하시는 것이라 생각합니다. 비즈니스와 잘 정렬된 중요한 문제를 찾지 못했다면 문제 정의부터 제대로 해야 합니다.</p><p>솔루션을 만들어냈다면 그 이후엔 결과를 봐야합니다. 학계에서는 벤치마크 데이터 셋에서의 결과를 주로 보지만, 회사에서는 회사의 데이터 셋에서의 오프라인 결과와 새 모델을 실제로 올렸을 때 변화하는 온라인 지표 2가지를 봅니다. 벤치마크 데이터 셋에서의 결과물은 저희 조직에서는 중요하게 생각하지 않습니다.</p><p>새 모델을 제품에 올려서 좋은 결과를 만들어 냈다면, 이 모델을 올리면서 진행한 실험을 통해 어떤 도메인 지식을 얻었는지 회고하고 다음 액션은 무엇을 할 지 논의합니다. 이 과정은 결론에 대한 토론과 미래 연구 방향을 제시하는 논문의 파트와 정확히 일치합니다.</p><p>Hyperconnect AI 조직은 연구의 전 과정을 테크 스펙의 형태로 기록하고 있습니다. 테크 스펙이 완성되면 이 연구의 결과물을 논문, 특허, 혹은 테크 블로그 등 어떠한 형태로 공개할지 결정합니다. (저희 팀에서 공개하기로 결정된 연구들은 많지만 아직 공개하지 못한 것들이 많습니다.) 당연히 모든 연구가 공개되는 것은 아닙니다. 공개하지 않는 것이 매치그룹에 이득이라고 판단하면 공개하지 않기도 합니다. 혹은 공개하는 파트를 결정해서 일부만 공개하기도 합니다. 회사의 AI 관점에서의 해자는 기술보다는 제품 그 자체나 데이터인 경우가 많기에 제품의 유저들이 역이용할 가능성이 있거나 법적인 문제가 있는게 아니면 적극적으로 공개하는 것을 장려하고 있습니다.</p><p>제품에 기여하는 AI 조직에서는 연구가 반드시 필요합니다. 특히, 업계를 리딩하는 제품을 운영하는 회사라면 벤치마크할 회사가 없기 때문에 더 깊이 있는 연구가 필요합니다. 비즈니스와 잘 정렬된 문제를 찾았다면 성능을 극한으로 끌어올리기 위해 연구를 해야 하고, 아직 비즈니스와 잘 정렬된 문제를 못찾았다면 비즈니스와 정렬된 문제를 찾기 위해 연구를 하거나 직관을 통해 좋은 문제를 찾아야 합니다. AI 조직이 성숙해질수록 연구의 비중이 늘어나야 합니다. 현재 Hyperconnect AI 조직은 이 관점에서는 꽤 성숙한 조직이라고 판단합니다. 깊이 있게 문제를 풀고 창의적인 솔루션을 내며 비즈니스 임팩트를 내고 싶은 분들을 모시고 있습니다. 연락주세요!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bb8f11c4bc80" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[어떤 우선순위로 일해야 하는가]]></title>
            <link>https://medium.com/@joonyoungyi/pessimism-vs-optimism-856e7edeba64?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/856e7edeba64</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Wed, 08 Oct 2025 10:40:12 GMT</pubDate>
            <atom:updated>2025-11-01T02:23:43.687Z</atom:updated>
            <content:encoded><![CDATA[<h3>Pessimism vs Optimism</h3><p>여러 액션들 중 현재 어떤 액션을 먼저 실행해야 할지 고민일 때, 이론적으로는 UCB(Upper Confidence Bound) 전략으로 선택하는 것이 최적에 가깝다는 이야기를 많이 합니다. 액션마다 얻을 수 있는 gain의 불확실성을 평가하고 upside가 높은 액션일수록 먼저 수행하는 전략입니다. Optimist 전략이라고 하기도 합니다. 린스타트업에서 말하는 “업사이드가 높고 불확실한 가설부터 검증하라“는 이야기도 이 전략과 저는 궤를 같이한다고 봅니다. (더 궁금하신 분들은 Leap of Faith Assumptions, Riskiest Assumption Test를 찾아보시면 됩니다.)</p><p>이 전략에서의 핵심은 빠른 이터레이션입니다. 빠르게 실행하면서 각 액션의 upside를 다시 추정해야 합니다. 빠른 실행은 단순히 빠르게 만든다는 것을 의미하지 않습니다. 빠르게 이터레이션을 돌면서 불확실성을 줄여나가고 계속해서 프로젝트의 upside를 다시 access하면서 이 프로젝트에 얼마나 많은 자원을 투입할지를 결정해나가야 합니다.</p><p>해본 적이 거의 없는 종류의 액션은 gain의 불확실성이 매우 높기 때문에 upside가 매우 높게 책정될 수 있습니다. 이런 액션의 경우 작은 실험을 해보면서 불확실성을 더 정교하게 모델링함으로써 upside를 다시 추정하고 이에 따라 얼마의 자원을 추가로 투입할지 결정해야 합니다.</p><p>UCB의 regret bound에 대한 증명을 이해하실 수 있는 분들은 이런 증명을 한번 해보실 수도 있습니다.</p><blockquote>LCB(lower confidence bound)가 높은 순서대로 액션하면 regret bound가 어떻게 될까?</blockquote><p>UCB가 optimist 였다면 LCB는 pessimist 입니다. 안전한 선택을 계속해서 하는 거죠. 증명해보면 pessimist 전략은 우리가 좋은 기회들을 많이 놓칠 수밖에 없다는 것을 알 수 있습니다. 좋은 기회가 있음에도 탐색과 실행을 해보지 않아서 그 기회를 놓치는 거죠.</p><p>우리가 데일리로 업무하다보면 관성으로 안전한 선택만 하게 되는 경우가 자주 있습니다. 저도 당연히 여기에서 예외일 수 없고요. 나중에 지나고 나서야 제가 관성으로 업무 했다는 걸 깨달았을 때가 적지 않습니다. 의식적으로 upside가 높은 업무가 뭔지 그리고 업무의 불확실성을 값싸게 줄이기 위해 어떤 실험과 액션을 해야 하는지 고민해야 합니다.</p><p>전 Github CEO인 Nat Friedman이 했다고 알려진 (하지만 최초는 누구인지 모르는) 문장 하나를 인용하며 이 글을 마칩니다.</p><blockquote>Pessimists sound smart, optimists make money</blockquote><h3>빨간 버튼과 파란 버튼</h3><p>파란 버튼과 빨간 버튼이 있습니다. 우리는 두 버튼 중 하나를 반드시 눌러야 한다고 가정해봅시다. 비용은 Y원이고, 파란 버튼을 누르면 100% 확률로 X원을 받을 수 있습니다. 반면, 빨간 버튼은 10% 확률로 10배인 10X원을 받을 수 있습니다.</p><blockquote><em>무슨 버튼을 눌러야 할까요?</em></blockquote><p>두 상황의 기댓값은 똑같습니다. 그래서, 어떤 사람들은 이 문제를 사람들의 ‘손실 회피 성향’을 이야기할 때 예로 듭니다. 하지만 이런 선택의 문제는 실제로 제품에 기여하는 AI 조직에서도 자주 마주하게 됩니다.</p><p>예를 들어, X가 Y보다 충분히 크고 우리는 손실을 피해야 하는 상황이라면 당연히 확실한 수익이 보장되는 선택을 해야 합니다.</p><p>하지만 X가 Y보다 작은 상황이라면요? 그때도 여전히 안정적으로 손해를 보는 옵션을 택해야 할까요?</p><p>또 이런 상황도 있습니다. 우리가 큰 이익(10X — Y)을 내지 못하면 프로젝트가 접히는 상황이라면요? 그래도 안정적으로 작은 이득을 취해야 할까요?</p><p>제품에 기여하는 AI조직에선 회사의 맥락을 고려한 의사결정이 되어야합니다. 그리고 이런 의사결정은 비단 리더뿐만 아니라 실무진들도 내릴 수 있어야 합니다. 그래서 저는 회사의 현재 상황을 투명하게 공유해주려 합니다. 그래야 조직이 더 일을 잘하고 제품에 임팩트를 내는 팀원들을 만들어진다고 믿습니다.</p><p>저는 팀에 “하루에 한 명당 Z원이 든다고 가정하자”고 이야기합니다. 이 말을 들은 몇몇 팀원들은 처음엔 놀랍니다. 하지만 연봉, 클라우드 비용, 학습비용 등을 모두 합치면 실제로 크게 벗어나지 않습니다. 오히려 비용을 약간 높게 생각하는 편이 낫습니다. 그래야 우리의 선택이 얼마나 ‘비싼 선택’인지 체감할 수 있기 때문입니다.</p><p>이런 구체적인 감각이 있을 때, 우리는 더 현명하게 선택할 수 있습니다. 결국 AI 조직의 목표는 회사와 정렬해, 회사의 미션을 함께 달성하는 데 있다고 생각합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=856e7edeba64" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Hyperconnect AI 채용에 대한 FAQ]]></title>
            <link>https://medium.com/@joonyoungyi/hyperconnect-ai-%EC%B1%84%EC%9A%A9%EC%97%90-%EB%8C%80%ED%95%9C-faq-903fa611630a?source=rss-26592a325f66------2</link>
            <guid isPermaLink="false">https://medium.com/p/903fa611630a</guid>
            <dc:creator><![CDATA[joonyoung yi]]></dc:creator>
            <pubDate>Wed, 08 Oct 2025 10:34:12 GMT</pubDate>
            <atom:updated>2025-10-20T13:55:34.618Z</atom:updated>
            <content:encoded><![CDATA[<h3>Q. 저는 NLP밖에 안 해봤는데(혹은 vision밖에 안 해봤는데), Hyperconnect AI에서 좋은 성과를 낼 수 있을까요?</h3><p>커피챗이나 면접 자리에서 종종 받는 질문입니다. 제가 늘 드리는 대답은 이렇습니다.</p><blockquote><em>“충분히 가능합니다”</em></blockquote><p>Hyperconnect AI에서는 지금까지 어떤 분야를 해왔는지는 크게 중요하게 보지 않습니다. 그것보다는 지금까지 경험으로 보았을 때, 우리가 회사에서 풀어야 하는 문제를 풀 수 있는 역량이 갖췄는 지를 더 중요하게 봅니다.</p><p>더 구체적으로 말씀드리면, Hyperconnect AI는 적어도 한 개의 ML 분야를 깊이있게 파 본 경험이 있는지를 매우 중요하게 봅니다. 아주 좁은 분야라도 깊이 파본 경험은 새로운 분야에 대해서도 깊이 있게 다룰 수 있다는 강력한 신호라고 보기 때문입니다. Hyperconnect AI의 업무 특성 상, 외부에서 누군가 공개한 솔루션으로 해결되지 않는 문제들을 다뤄야 하는 경우가 대부분입니다. 해결하기 버거워보이는 장애물을 만났을 때 그 어려움을 해결해본 경험이 있는지, 해결하기 위해 어떤 시도와 노력을 해보셨는지를 매우 중요하게 보고 있고, 이 경험을 가지신 분들이 회사에 오셔서 좋은 성과를 내시는 경우가 많았습니다.</p><p>이런 맥락에서, 박사 과정을 밟은 분들이 상대적으로 유리한 점이 있습니다. 박사 과정은 보통 한 분야를 오랫동안 깊이 파야 하니까요. 하지만 꼭 박사일 필요는 없습니다. Hyperconnect AI에는 박사가 아닌 분들도 많고, 심지어 대학 학위 없이도 탁월한 성과를 내는 경우를 자주 목격했습니다.</p><p>저희 Hyperconnect AI에서는 프로덕트 조직과 함께 YoY 매출 30% 개선이라는 큰 성과를 낸 적이 있고, 그 이후로도 여러 비즈니스 성과를 내고 있는데요. 추천을 담당하는 리서쳐 중 단 한 분도 저희 회사 이전에 추천 경험을 갖고 계시지 않습니다. 결국 중요한 건, 후보자께서 다룬 분야가 무엇이었느냐가 아니라 얼마나 깊이 있게 파봤느냐입니다.</p><h3>Q. Hyperconnect는 GPU가 충분한가요? GPU 많다고 하더라도 막상 제가 가면 못쓰는거 아닌가요?</h3><p>연구자 입장에서 가장 중요한 인프라 중 하나는 GPU입니다. 빠른 이터레이션과 대규모 모델 학습을 위해서는 강력하고 안정적인 계산 자원이 필수적이죠. Hyperconnect는 A100, H100을 비롯해 수백 대의 GPU를 on-prem에서 직접 운영하고 있습니다. 저희는 그간의 탄탄한 비즈니스 임팩트를 바탕으로, 계산 자원에 대한 예측에 따라 적절한 투자를 집행해 왔습니다. 뿐만 아니라, GPU가 추가적으로 더 필요할 경우 클라우드에서도 사용할 수 있기 때문에 실제 연구자가 활용할 수 있는 GPU 자원은 더욱 풍부합니다.</p><p>저희 Hyperconnect AI의 연구 조직은 1팀으로 구성되어있을 정도로 크지 않기에 연구자 1인당 활용 가능한 계산 자원이 충분히 여유롭습니다. Hyperconnect AI에서는 GPU 활용을 위한 별도 결재 프로세스는 필요하지 않습니다. 연구자는 바로 연구에 몰입할 수 있습니다. 연구자들 간 GPU 수요에 혹시라도 충돌이 생기면 회사 차원의 우선순위를 보고 조정하거나 앞서 말씀드린 대로 클라우드를 사용하는 방향으로 연구자의 생산성을 극대화하기 위한 노력을 아끼지 않고 있습니다.</p><p>또한, GPU를 운영하는 ML Platform 팀이 별도로 존재하고 연구자들의 생산성을 높이기 위한 여러 작업들 지원들도 같이 이 팀에서 병행하고 있습니다. 연구에 몰입할 수 있는 환경을 제공하는 것이 저희가 가장 중요하게 생각하는 부분 중 하나고, 연구자의 생산성이 곧 서비스와 기술 경쟁력으로 이어지기 때문입니다.</p><p>저희 Hyperconnect AI는 풍부한 계산 자원에서 비즈니스에 임팩을 내는 AI 연구를 하고 싶은 분들을 적극적으로 찾고 있습니다!</p><h3>Q. 연구와 엔지니어링의 비중은 몇 대 몇인가요?</h3><p>하이퍼커넥트 AI에서 ML Research Engineer를 모집할 때 가장 많이 받는 질문 중 하나입니다. 이 질문은 특히 대학원 경험이 있는 분들이 자주 하십니다. 사실 저도 대학원에 가기 전에 비슷한 질문을 했습니다. 연구실에 지원하기 전에 “이 연구실은 논문 작성과 과제의 비중이 몇 대 몇인가요?”라고 선배들에게 물어보곤 했거든요. ‘과제’라는 단어만 ‘엔지니어링’으로 바뀐 것이 지금의 이 질문이라고 생각합니다.</p><blockquote><em>그럼 왜 이런 질문을 할까요?</em></blockquote><p>돌아보면, 저 역시 그렇게 질문했던 이유는 단순했습니다. 과제를 잡일로 치부했기 때문입니다. 대학원을 졸업하려면 논문을 작성해야 하기에 대학원 생활에서 집중해야 하는 일은 논문 작성인데 반해, 과제는 월급을 받기 위해 어쩔 수 없이 해야 하는 일이었고, 내 졸업에 직접 도움이 되지 않는다고 여겼기 때문입니다. 그래서 저 역시도 자연스럽게 과제가 적은 연구실을 선택했고요.</p><blockquote><em>그런데 왜 과제를 하기 싫었을까?</em></blockquote><p>저는 리서쳐라면 누구나 문제를 스스로 정의하고, 그것을 가장 잘 풀 수 있는 방법으로 해결하고 싶어 한다고 생각합니다. 그런데 대학원에서의 기업/국가 과제는 제가 느끼기엔 주어진 문제를 적당히 풀고 넘어가면 되는 경우가 많아 보였습니다. 혹은 문제가 충분히 챌린징하더라도 그 안의 여러 제약 조건들이 잘 납득되지 않아 동기 부여가 쉽지 않아 보이기도 했습니다.</p><p>다시 돌아와서, “연구와 엔지니어링의 비중은 몇 대 몇인가요?”라는 질문을 생각해보겠습니다. 저는 이게 right question이 아니라고 생각합니다.</p><p>연구와 엔지니어링은 본질적으로 나눌 수 있는 것이 아닙니다. 연구란 곧 문제를 푸는 과정이고, ML Research Engineer의 모든 업무는 문제를 푸는 전 과정입니다. 문제를 풀기 위해 엔지니어링이 필요하다면 엔지니어링을 해야 합니다. 어떤 경우에는 다른 리서처나 소프트웨어 엔지니어에게 맡길 수도 있겠죠. 중요한 것은 상황에 맞게 문제 해결을 위해 가장 필요한 것을 하는 것입니다.</p><p>결국 본질은, 문제를 푸는 사람이라면 주어진 순간에 무엇이 문제 해결에 가장 중요하고 효과적인지를 고민하고 실행해야 한다는 것입니다. Hyperconnect AI에서는 문제를 스스로 정의하고 가장 최적의 방식으로 해결하는 역량을 ML Research Engineer의가장 중요한 역량으로 보고 있습니다.</p><h3>Q. 소프트웨어 엔지니어링에 자신이 없는데 ML Research Engineer로 좋은 성과를 낼 수 있을까요?</h3><p>CS 전공이 아니신 분들이 종종 제게 이런 질문을 하곤 합니다. 저 역시 전자과 출신이라 그 고민이 낯설지 않습니다. 실제로 엔지니어링 역량은 저희 회사 내에서도 연구자마다 편차가 크고, 해가 갈수록 면접을 보는 연구자 후보자들의 엔지니어링 역량이 약해지는 것도 관찰하고 있습니다.</p><p>하지만 Hyperconnect AI에는 이런 환경을 보완해주는 ML Software Engineer들이 따로 있습니다. 모델 서빙, 데이터 파이프라이닝, 모델 최적화 등을 담당해주시는 직군이며 연구 생산성에 문제가 생기면 도와주시기도 합니다. 제품에 ML을 제대로 쓰다보면 고민할 수 밖에 없는 feature store 등도 MLSE 분들이 만들고 이를 통해 ML Research Engineer들은 생산성을 올립니다.</p><p>ML Research Engineer는 엔지니어링을 A-Z로 할 필요가 없습니다. 저는 더 중요한 것은 소프트웨어 엔지니어링 역량을 높이 갖춘 MLSE들과 협업할 수 있을 정도의 엔지니어링 이해도라고 생각합니다. 예를 들어, 추천 모델의 레이턴시가 문제가 된다고 해봅시다. 연구자가 너무 엔지니어링을 모르면 단순히 모델 사이즈를 줄이는 방향과 Quantization 등만 생각하게 됩니다. 하지만, 연구자가 문제를 해결할 수 있을 정도로 엔지니어링을 이해하고 있다면 추천에서는 이미 표준과 같이 되어버린 투타워 구조를 제안하고 오래 걸리는 연산과 빠르게 되는 연산을 나눌 수 있어야 합니다. 이런 수준의 엔지니어링 역량은 연구자에게 반드시 요구됩니다.</p><p>시스템 프로그래밍을 깊이 알 필요는 없습니다. 하지만 모델링을 시스템의 제약 조건과 연결 지어 사고할 수 있는 능력은 필수적입니다. 결국, 좋은 성과는 “내가 다 한다”가 아니라 “동료와 함께 문제를 풀 수 있는가”에서 시작합니다. 결론적으로, 엔지니어링 역량에 완벽한 자신이 없어도 괜찮습니다. 협업할 만큼의 이해도와 열린 태도가 있다면 충분히 좋은 성과를 낼 수 있습니다. 저희 팀에도 처음 오실 때는 엔지니어링에 자신이 별로 없으셨지만, 높은 커뮤니케이션 역량과 추상화된 사고로 좋은 성과를 내시는 연구자분들이 많이 계십니다.</p><h3>Q. Hyperconnect AI 조직에서는 채용 시에 논문 실적을 얼마나 중요하게 보나요?</h3><p>Hyperconnect AI 조직에서는 후보자의 논문 실적을 사실상 거의 보지 않습니다. 이 부분이 AI 리서치 포지션을 준비하시는 분들과 가장 큰 간극이라고 생각합니다. 많은 분들이 논문 실적이 중요한 평가 기준일 거라 생각하시지만 실제로는 그렇지 않습니다.</p><p>물론 전혀 의미가 없는 것은 아닙니다. 지원자가 어떤 사람인지 알 수 있는 단서가 전혀 없을 때 참고할 순 있습니다. 예를 들어 석사 과정 중 다른 지원자들 대비해서 많은 수의 논문을 썼다면 성실함을 엿볼 수 있고, NeurIPS, ICLR, ICML 같은 학회 논문은 후보자의 이론적 역량을 짐작할 수 있으며, CVPR을 비롯한 몇몇 학회들의 논문이 있다면 후보자가 성능 좋은 모델을 만들 수 있음(SotA를 어떻게든 찍을 수 있음)을 추정할 수 있습니다. 다양한 사람들과 공동 1저자로의 논문 작성 경험이 많다면, 협업의 경험이 많으니 협업을 잘할 것으로 예상해볼 수도 있습니다.</p><p>하지만 대학원을 마치고 회사에서 업무 경험이 있으신 분이라면 상황이 달라집니다. 그때부터는 어떤 일을 했는지, 그 일이 회사 비즈니스와 어떻게 연결되는지를 아는지, 만들어내신 솔루션이 정말 최선의 접근이었는지가 더 중요해집니다. 회사에서 논문을 쓴 경험이 있다면, 더 깊이 있게 여쭤보게 됩니다. 논문이 회사 제품에 어떻게 연결이 되는지, 논문 쓰는 과정은 어땠는지 등이 평가 포인트로 추가되고요.</p><p>결국 중요한 것은</p><ol><li>회사의 비즈니스에 가장 큰 임팩트를 줄 수 있는 문제를 정의할 수 있는지 (여러 문제들 중에 그 문제가 중요함을 설득할 수 있는지)</li><li>그 문제를 풀 수 있는 다양한 솔루션들 중에 가장 최선의 솔루션을 디자인할 수 있는지</li></ol><p>입니다. 이 두 가지 역량은 꼭 논문으로만 볼 수 있는 건 아닙니다. Kaggle과 같은 AI Competition 수상경력이나 사이드 프로젝트 경험 등으로도 이런 역량들을 엿볼 수 있습니다.</p><p>만약 후보자님께서 논문만 가지고 계시다면, 저희는 그 논문에서 푸는 문제를 어떻게 발견했고 진짜 중요한 문제인지를 체크합니다. 그리고 그 문제를 풀 수 있는 다양한 방법들 중에 제시한 방향이 합리적이라고 설득력 있게 이야기할 수 있는지를 봅니다. 이런 능력을 갖고 있으면 회사에서 중요한 비즈니스 문제를 찾고 해결책을 내는 능력을 갖고 있다고 볼 수 있기 때문입니다.</p><p>저는 저희 조직에 오고 싶은 분이라면 논문 실적에 신경쓰기보다는 회사에 비즈니스적으로 어떤 기여를 할 수 있는지 고민하시기를 권장드립니다. 본인의 만든 결과물이 회사에 어떤 임팩트를 가져왔는지를 정량적으로 설명할 수 있어야 합니다. 당연히 가정이 많이 들어갈 겁니다. 하지만 결과물을 비즈니스 지표로 치환하는 과정은 반드시 필요합니다.</p><p>다시한번 강조하자면, 저희는 논문 실적을 그리 중요하게 보지 않습니다. 스스로 중요한 문제를 찾아내고, 여러 방법을 고민해본 뒤 최선의 방법으로 풀어낸 경험이 있는지입니다. 저희는 그 확률이 높은 분을 뽑고 싶습니다.</p><h3>Q. Hyperconnect AI는 제품에 기여하는 AI 조직인데, 연구를 하나요?</h3><p>제품에 기여하는 AI 조직에서는 연구가 반드시 필요합니다. 특히, 업계를 리딩하는 제품을 운영하는 회사라면 벤치마크할 회사가 없기 때문에 더 깊이 있는 연구가 필요합니다. 비즈니스와 잘 정렬된 문제를 찾았다면 성능을 극한으로 끌어올리기 위해 연구를 해야 하고, 아직 비즈니스와 잘 정렬된 문제를 못찾았다면 비즈니스와 정렬된 문제를 찾기 위해 연구를 하거나 직관을 통해 좋은 문제를 찾아야 합니다. AI 조직이 성숙해질수록 연구의 비중이 늘어나야 합니다. 현재 Hyperconnect AI 조직은 이 관점에서는 꽤 성숙한 조직이라고 판단합니다. 깊이 있게 문제를 풀고 창의적인 솔루션을 내며 비즈니스 임팩트를 내고 싶은 분들을 모시고 있습니다. 연구에 대한 자세한 제 관점이 궁금하시다면, <a href="https://medium.com/@joonyoungyi/%EC%A0%9C%ED%92%88%EC%97%90-%EA%B8%B0%EC%97%AC%ED%95%98%EB%8A%94-ai%EC%A1%B0%EC%A7%81%EC%97%90-%EB%8C%80%ED%95%9C-%EC%98%A4%ED%95%B4-bb8f11c4bc80">이 글</a>을 참고해주세요.</p><h3>Q. 채용 바가 높아 입사하기가 어렵다는 이야기를 들었습니다. 사실인가요?</h3><p>탁월한 성과는 탁월한 조직에서 나온다고 믿습니다. 그래서 저는 늘 최고의 인재를 모으는 데 관심이 많습니다.</p><p>아쉽게도 채용 프로세스는 너무 짧습니다. 몇 시간 안에 후보자가 우리 팀에 적절한지 아닌지 판단해내야 하죠. 불확실성이 높은 선택일 수 밖에 없고, 따라서 저는 채용 결정을 프리시전과 리콜 관점에서 생각하게 됩니다.</p><p>리콜을 올리면 채용이 비교적 쉽습니다. 하지만, 저희 팀은 프리시전을 더 중요하게 여깁니다. 판단하기 애매하면 항상 채용하지 않는 쪽으로 결정해왔습니다. 그렇기에 돌아보면 좋은 분들을 아쉽게 놓쳐왔다고 생각합니다.</p><p>하지만, 그럼에도 불구하고 현재 채용 기조를 변경할 생각은 전혀 없습니다.</p><p>쉽게 팀에 들어온 사람과 일하고 싶어하는 탁월한 인재는 거의 없습니다. 우리가 리콜을 올리기 위해 바를 낮추면 기존에 팀에 있던 탁월한 인재들의 리텐션에 문제가 생깁니다. 인재밀도가 낮아지고, 낮아진 인재밀도는 의도치 않은 문화를 만듭니다. 좋은 분을 모시는 것보다 기존에 팀에 있는 좋은 분들이 오래 회사에 만족하며 다니시는 것은 더 중요하기에 사람을 채용하는 데 항상 신중하게 됩니다.</p><p>당장의 인력 부족으로, 급하단 이유로 프리시전을 희생하지 않습니다. 일이 많으면 현재 어떤 일을 미룰 수 있는지 의사 결정하고 일을 줄입니다. 분명 조직엔 미뤄도 되는 일들이 꽤 있습니다. 매니저는 팀에 부하가 커지면 적극적으로 이런 일들의 우선순위를 낮춰 채용에서 팀이 프리시전을 희생하지 않게 합니다.</p><p>저희 조직은 채용 바를 계속 올리고 있습니다. 기존 팀원들이 팀에서 역량이 향상되는 만큼 새로이 들어오는 팀원들도 그에 맞는 역량을 갖춰야 합니다. 저희 면접관들은 입을 모아 말합니다.</p><blockquote><em>지금 내가 면접을 보면 통과할 수 있을까?</em></blockquote><p>좋은 현상입니다. 지속적으로 바가 올라가야 탁월한 인재들로 구성된 팀이 되고, 그래야 탁월한 인재들이 오고 싶어하는 팀이 되는 선순환 구조를 만들 수 있습니다.</p><p>Hyperconnect AI는 탁월한 팀원들이 모인 탁월한 조직을 지향합니다. 이 여정에 함께할 분들을 기다리고 있습니다.</p><h3>Q. Hyperconnect AI는 딥러닝이라는 표현을 잘 안쓰고 머신러닝으로 표현하는데요. 딥러닝 안하나요?</h3><p>당연히 딥러닝을 주로 다룹니다.</p><p>그렇지만 Hyperconnect AI에서는 딥러닝이란 표현보다는 머신러닝 이라는 표현을 주로 사용하고 있습니다. 다들 아시는 것처럼 머신러닝이라는 큰 범주 안에 딥러닝이 포함되죠.</p><p>저희가 주로 딥러닝을 주로 다루고는 있지만, 리서처라면 필요에 따라서 딥러닝이 아닌 머신러닝 모델들을 다룰 줄 알아야 합니다. 딥러닝은 비싼 도구입니다. 강력하지만 그만큼 비용이 높고, 많은 데이터를 필요로 합니다. 그런데 현실적으로 항상 충분한 데이터가 있는 것은 아니죠. 문제에 따라 딥러닝이 오버엔지니어링일 수도 있습니다.</p><p>그래서 중요한 건 ‘딥러닝을 쓰느냐’보다 ‘문제를 어떻게 풀 것이냐’입니다. 상황에 따라 고전적인 머신러닝 모델이나 다른 접근이 딥러닝보다 훨씬 효율적일 수도 있습니다. 때로는 first-order logic 같은 전통적인 AI 기법이 도움이 될 때도 있고요. 적어도 어떤 툴들이 있는지는 알아두고 당장은 다룰줄 모르더라도 필요할 때 배워서 쓸 수 있는 역량은 갖추어 두어야 합니다.</p><p>딥러닝만 다룰줄 알면 모든 문제를 딥러닝으로 보고 풀게됩니다. 내가 망치를 들고 있으니 모든 문제가 못으로 보이는거죠. 그러면 안됩니다. 문제와 맥락에 맞는 모델을 구현해서 비즈니스 임팩트를 내는 것이 리서처의 책무입니다.</p><h3>Q. “적어도 하나의 깊이 있는 경험”이 뭔가요?</h3><p>저희 팀에서는 적어도 하나의 깊이 있는 경험을 하신 분들을 모시고 있습니다. 어떤 문제를 깊이 있게 파본 경험이 있다면 다른 문제에 대해서도 깊이 있게 팔 수 있다고 가정할 수 있다고 생각하기 때문입니다. 하이퍼커넥트는 업계를 리딩하고 있는 제품을 만들고 있습니다. 그러다보니 저희가 참고할 수 있는 회사가 거의 없습니다. 매칭이라는 관점에서는 게임의 매칭 시스템을 조사하고 힌트를 얻기도 하고, 추천시스템이라는 관점에서는 타 회사의 추천 시스템들에 대한 결과들을 엿보면서 저희 시스템을 만들어나가고 있습니다만, 결국 우리 문제는 우리만의 문제이기 때문에 외부 솔루션만 단순히 적용하다보면 분명 한계를 만날 수 밖에 없습니다. 그래서, 문제를 깊이 있게 파서 해결하실 수 있는 분을 찾고 있습니다.</p><p>면접 과정 중에 후보자께서 깊이 있는 경험을 했는지는 판단하기 참 어렵습니다. 사람의 시간은 유한하기 때문에 여러 프로젝트들 모두에서 깊이 있는 경험을 해보셨을 가능성은 적기 때문입니다. 하지만, 적어도 하나의 깊이 있는 경험은 필요합니다. 저희는 면접 과정 중에 후보자께서 가장 깊이 있게 고민하고 실행했던 프로젝트에서 어떤 고민을 하고 어떤 공부를 했으며 어떤 의사결정을 하셨는지 듣고 싶어합니다.</p><p>조금 더 구체적인 예시를 들어보면서 저희가 생각하는 깊이 있는 경험에 대해서 말씀드려보고자 합니다.</p><p>한 때 후보자분들 중에 본인 논문에 LoRA를 쓰신 분들이 굉장히 많았습니다. 그럼 왜 내 논문에서 LoRA를 쓸 수 있는지 일단 설명할 수 있어야 합니다. 이런 설명을 하려면 필연적으로 LoRA 외에도 후속으로 비슷한 역할을 하는 방법들이 꽤 많이 있는데, 이 방법들보다 LoRA를 써야 하는 이유를 설명할 수 있어야 합니다. ‘해봤더니 LoRA가 제일 좋았다’ 도 나쁘진 않은 답변이라고 생각합니다. 하지만, 그럼 왜 내가 풀려는 문제에는 LoRA의 성능이 경험적으로 제일 좋았을지에 대해서도 생각해보았어야 하고 논리적 근거(rationale)가 있어야 합니다.</p><p>또, LoRA라는 method의 이름에는 rank라는 단어가 들어갑니다. 그럼 rank가 뭘지도 생각해봤어야 합니다. rank의 정의와 성질을 공부하고 m x n 행렬이 m x k 와 k x n 의 행렬로 decompose 되는 것과 rank가 어떻게 관계되는지도 알아봤어야 합니다. 그럼 low-rank로 우리가 가정하는 것이 얼마나 현실세계에서 합리적인 가정인지 생각해보고, 합리적인 가정이 아니라면 어떤 가정을 넣어야 조금 더 현실적인 가정으로 바뀌는지도 생각해봐야 합니다.</p><p>LoRA의 학습 속도가 빠르다고들 합니다. 그럼 왜 빠를까요? 파라미터가 늘어나는데 말이죠. 학습에 사용되는 파라미터는 줄어드니까 빨라지나요? 그럼 어떤 원리로 빨라지나요? low-rank가 아닌 high-rank로 방법론을 적용하면 오히려 계산량이 늘어나는 것 아닌가요? 그럼 계산량이 역전되는 rank k는 어떻게 찾을 수 있나요? LoRA는 파라미터가 늘어나는데 그럼 추론 시에는 더 많은 계산량을 써야 합니다. 그럼 학습 속도 이점을 보기 위해서 추론 시에는 손해를 봐야 하는 상황인 것 아닌가요? 또 이런 질문도 해볼 수 있습니다. rank k는 꼭 아키텍쳐마다 같게 설정해야 하나요? 행렬마다 다르게 설정하고 하이퍼파라미터 튜닝하면 스코어를 더 찍을 수 있지 않을까요?</p><p>LoRA가 내가 ML에서 가장 자신 있게 설명할 수 있는 개념이라면, 이런 질문들을 스스로에게 던져보고 답을 찾아보셨어야 한다고 생각합니다. 이게 저희가 생각하는 깊이 있는 경험입니다. 본인이 했던 모든 프로젝트에서 이런 깊이 있는 경험을 하신 분을 찾고 싶지만, 적어도 본인이 진심을 가지고 풀었던 프로젝트에서는 이런 고민을 해봤어야 한다고 생각하고, 면접과정에서 후보자분께 질문을 하다보면 LoRA 케이스에 대해서도 여기 예시로 나온 것 말고도 더 깊이 있는 질문들을 드리게 되는 경우가 흔합니다.</p><p>소프트웨어 엔지니어 후보자분들께도 비슷한 질문들을 드리게 됩니다. 만약 이전 회사에서 피쳐스토어를 다뤄봤던 분이고 본인의 가장 깊이있는 프로젝트가 피쳐스토어라면, 피쳐스토어는 왜 필요한지? 없으면 어떤 문제가 생기는지? 그냥 RDB에서 다 처리하면 정말 안되는건지? 만약 피쳐스토어를 직접 내부에서 구축해서 쓰는 조직이었다면 외부 솔루션과는 어떤 차이점들 때문에 내부에서 구축했었어야 했는지? 외부 솔루션들의 구현은 어떤 방식으로 이뤄지고 있고 구축한 방식에서는 어떤 방식을 선택했는지? 혹은 새로운 방식을 만들어내고 구현했는지? 피쳐 스토어가 단순 캐시와는 어떻게 다른지? 캐시를 구성했다면 invalidation과 consistency를 어떻게 보장할지, 트래픽 패턴에 따라 어떤 정책을 써야 하는지? 이런 의사결정을 만약했다면 어떤 방식으로 했을지? 이해관계자(stakeholders)의 합의는 이끌어냈는지? 이끌어 냈다면 대상이 누구고 어떤 방식이었는지?</p><p>“적어도 하나의 깊이 있는 경험”이란, 무언가를 많이 해봤다는 뜻이 아닙니다. 단 한 가지라도 문제를 집요하게 파본 경험을 의미합니다. 단순히 잘 동작하게 만들고 끝내는 것이 아니라, ‘왜 그렇게 되는가’를 이해하려는 태도가 필요하고 어떤 부분은 호기심도 많이 필요하다고 생각합니다. 요즘처럼 프레임워크와 도구가 너무 잘 되어 있는 시대에는, 돌려봤다 혹은 다뤄봤다는 경험만으로는 깊이를 말하기는 어렵습니다. 더 잘하고 싶은 사람은 결국 끝없이 고민하게 된다고 믿습니다. “이게 정말 최선일까?”, “다른 방법은 없을까?” 같은 질문을 스스로 던지는 사람과 함께하고 싶습니다. 그 질문이 깊이를 만듭니다.</p><h3>Q. 하이퍼커넥트 AI에 가면 논문 쓸 수 있나요?</h3><p>결론부터 말씀드리면, 네. 쓸 수 있고 실제로 씁니다. 저희는 리서처로 구성된 팀이 크지 않지만, 지금까지 CVPR, ICCV, ECCV, AAAI, EMNLP, NAACL, ICASSP, INTERSPEECH 등 다양한 top-tier 학회에 논문을 발표해 왔습니다. 워크숍 논문까지 포함하면 훨씬 더 많은 연구들이 공개되어 왔고, 여러 차례 best paper로도 선정되었습니다. 실제로 저희 조직에서 논문 지도를 이끌었던 장부루님께서는 고려대 교수로 몇 년전 임명되시기도 하셨습니다.</p><p>하지만 저희가 논문을 쓰기 위해 일하는 것은 “절대” 아닙니다. 하이퍼커넥트 AI 조직의 가장 중요한 목표는 회사의 비즈니스에 기여하는 것입니다. 그래서 회사의 성과와 직접적으로 연결되는 중요한 문제를 정의하고 해결합니다. 이 문제들은 해결했을 때 비즈니스 임팩트가 큰 일들입니다. 실제 제품의 성능을 좌우하고, 사용자 경험을 바꾸는 일들인 경우가 많습니다.</p><p>이런 문제는 대충 풀 수 없습니다. 중요한 문제이기에 대충 해결하면 결국 얼마 지나지 않아 다시 손봐야 하기 때문입니다. 저희가 5년 전 발표했던 논문 중 일부가 여전히 state-of-the-art로 인용되는 이유도, 그때 문제를 최선의 해결책을 고민하며 제대로 풀었기 때문입니다. 이렇게 깊이 있는 연구를 하다보면 저희의 연구 결과는 top-tier 학회에 제출할 만한 수준이 됩니다. 자세한 내용은 이전에 공개한 <a href="https://hyperconnect.github.io/2024/10/09/behind-the-paper.html">테크 블로그</a>를 참고하셔도 좋습니다.</p><p>논문화는 연구의 결과이지 목표가 아닙니다. 연구는 문제를 해결하는 과정에서 우리의 지식을 확장해 나가는 일입니다. 따라서 논문 작성은 연구의 아주 일부일 뿐이며, 하이퍼커넥트 AI에서는 이를 KPI로 두지 않습니다. 실제 업무 과정에서 만들어진 기술을 기반으로, 본인이 논문으로 정리하고 싶을 때 자발적으로 진행합니다. 팀원 중 논문을 쓰고 싶은 사람이 없으면 그 시기에는 논문이 나오지 않을 수도 있습니다. 하지만 연구는 계속되고, 그 결과가 언제든 논문이 될 수 있습니다.</p><p>하이퍼커넥트 AI는 논문이 목표가 아니라, 비즈니스에 기여하는 것이 목표입니다. 그리고 그 가치를 만들어내는 과정에서 자연스럽게 논문이 따라옵니다.</p><h3>Q. 2–3일 내에 literature review 100편이 가능한가요?</h3><p>신규 입사자가 들어오면 꽤 자주 이런 질문을 받습니다. 결론부터 말씀드리면, 시니어의 경우 가능합니다.</p><p>제가 6년 전 처음 하이퍼커넥트에 입사했을 때에도 같은 가이드가 존재했습니다. 그리고 현재도 유지되고 있죠. 처음 제가 이 가이드를 받았을 때 들었던 생각은 저도 비슷했습니다. 가능해보이지 않았거든요. 그래서 이 질문을 하시는 분들이 어떤 마음으로 질문하시는 지 저도 나름대로 이해할 수 있습니다.</p><p>하지만, 그 질문에 대한 답을 얻기까지 그리 오리걸리지 않았습니다. 우연히도 입사 첫 주 목요일과 금요일 양일동안 저희 AI 조직에서 워크샵을 갔습니다. 리서쳐들끼리 논문읽고 요즘 기술이 어떤 것들이 발전하고 있으니 어떤 일을 1년 동안 하는게 좋을지 이야기하는 시간이었는데요. 그 과정에서 동료 리서쳐들을 보면서 저렇게 하면 논문을 100편 빠른 시간안에 읽을 수 있구나를 많이 느꼈습니다. 놀라웠던 것이 다들 하시더라고요. 심지어 연구실 경험이 없으신 분들도 어렵지 않게 하시는 것을 보고 많은 생각이 들었습니다. 그리고 그 다음부터는 저도 그 기준을 맞추기 위해 노력했고요.</p><p>비슷하게, 제 공동 지도 교수님께서는 뉴립스 논문도 1주일이면 충분하단 이야기를 종종 하셨습니다. 그러니까 끝까지 포기하지 말라고 말씀하셨죠. 처음에는 그냥 용기를 북돋아주시기 위한 말씀이라고만 생각했는데, 연구실에서 동료들이 실제로 1주일동안 논문을 꽤 괜찮은 퀄리티로 제출하는 것을 보면서 많은 생각이 들었습니다. 그리고, 하이퍼커넥트에서 저와 같은 교수님께 공동 지도를 받은 팀원이 있었는데 그 팀원과 3일만에 논문 작성해서 제출했었던 적도 있었고요. (물론, 회사 연구를 위해서 모든 작업은 다 해둔 상황이었고 벤치마크 실험과 writing과 같은 논문화 작업만 남은 상황이긴 했었습니다. 그리고, 뉴립스에 당시엔 떨어졌고 몇번 이터레이션 돌다가 다른 venue에 붙었지만요.)</p><p>처음 듣기에 어려워보이는 일들도 팀에 좋은 모범이 되는 분들이 많으면 충분히 가능한 일인적이 꽤 많습니다. 논문 100편이라고 하면 너무 많다고 느껴지지만, 논문은 읽다보면 빨라집니다. 그리고 그 배경지식 덕분에 다른 논문들을 더 많이 읽게 되고 시간이 지나면서 논문 읽는데 걸리는 시간은 계속 줄어듭니다. 그래서 평소에도 자주 그리고 많이 읽는게 중요합니다. 그리고 이런 기준을 서로 공유할 수 있는 사람들과 함께해야 합니다.</p><p>이렇게 팀에 좋은 모범을 보이고 가능하단 걸 보여주시는 분들이 있으면 해당 역량들이 전체적으로 팀에서 올라갑니다. 사람마다 잘하는 분야는 당연히 다릅니다. 저희는 한 분야에서 우리 팀에 역량을 끌어올려주실 분들을 우선해서 찾고 있고, 서로 자극받으면서 성장하는 조직을 만들기 위해 노력하고 있습니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=903fa611630a" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>