<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Dachelin on Medium]]></title>
        <description><![CDATA[Stories by Dachelin on Medium]]></description>
        <link>https://medium.com/@scarletds-kim?source=rss-ce07ce82e4bd------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*M4aFhPF8f_TRnUE-v9RCzA.jpeg</url>
            <title>Stories by Dachelin on Medium</title>
            <link>https://medium.com/@scarletds-kim?source=rss-ce07ce82e4bd------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 09:53:15 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@scarletds-kim/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[[후기] 문과생 데이터분석가의 7개월 간의 재취준 회고 : 27전 2승 25패]]></title>
            <link>https://scarletds-kim.medium.com/%ED%9B%84%EA%B8%B0-%EB%AC%B8%EA%B3%BC%EC%83%9D-%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D%EA%B0%80%EC%9D%98-7%EA%B0%9C%EC%9B%94-%EA%B0%84%EC%9D%98-%EC%9E%AC%EC%B7%A8%EC%A4%80-%ED%9A%8C%EA%B3%A0-27%EC%A0%84-2%EC%8A%B9-25%ED%8C%A8-7bcbec28fb88?source=rss-ce07ce82e4bd------2</link>
            <guid isPermaLink="false">https://medium.com/p/7bcbec28fb88</guid>
            <category><![CDATA[취준후기]]></category>
            <category><![CDATA[후기]]></category>
            <category><![CDATA[데이터분석가]]></category>
            <dc:creator><![CDATA[Dachelin]]></dc:creator>
            <pubDate>Fri, 06 Aug 2021 06:57:17 GMT</pubDate>
            <atom:updated>2025-03-09T10:02:05.382Z</atom:updated>
            <content:encoded><![CDATA[<h3>[후기] 문과생 데이터분석가의 7개월 간의 재취준 회고 : 27전 2승 25패</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*BLG9F-LpDbOX1SFt.jpg" /></figure><p>이 글이 꽤 오래 사랑받고 있는 것을 보고, 지금의 블로그로 옮겼습니다. <br>아래 루트에서 확인하실 수 있습니다 :)</p><p><a href="https://blog.naver.com/rookies_journey/223789803053">https://blog.naver.com/rookies_journey/223789803053</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7bcbec28fb88" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[5 Python Pandas Skills for EDA — The Most Googled Questions I’ve Ever Made.]]></title>
            <link>https://scarletds-kim.medium.com/5-python-pandas-skills-for-eda-the-most-googled-questions-ive-ever-made-61b6a684d879?source=rss-ce07ce82e4bd------2</link>
            <guid isPermaLink="false">https://medium.com/p/61b6a684d879</guid>
            <category><![CDATA[pandas]]></category>
            <category><![CDATA[tidy-data]]></category>
            <category><![CDATA[missing-data]]></category>
            <category><![CDATA[lambda]]></category>
            <category><![CDATA[dataframes]]></category>
            <dc:creator><![CDATA[Dachelin]]></dc:creator>
            <pubDate>Wed, 07 Apr 2021 18:12:37 GMT</pubDate>
            <atom:updated>2021-04-13T01:55:27.720Z</atom:updated>
            <content:encoded><![CDATA[<h3>5 Python Pandas Skills for EDA — The Most Googled Questions I’ve Ever Made.</h3><h4>(*This article is focused on the beginner-level audience.)</h4><p>There were couple of troubles when I tried to perform EDA(Exploratory Data Analysis), especially handling data set. I knew <strong>what</strong> to solve, and I knew I already googled <strong>how</strong> to figure it out, but some ways are always on the tip of my tongue : <em>Finally, I googled it again (*100..)</em></p><p>So in this posting, I deal with the most googled questions I’ve ever made for handling dataset, especially DataFrame with Pandas.</p><ol><li>Filling/dropping missing values(or duplicated values)</li><li>Replacing value with lambda</li><li>Reshaping DataFrame with melt/pivot_table/crosstab</li></ol><h3>Filling/dropping missing values(or duplicated values)</h3><ol><li><strong>Filling missing values depend on the type of data AT ONCE.</strong></li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/492/1*ztkVJqH6cyAWMsl-bLKXqA.png" /><figcaption>&lt;figure 1.1&gt; df</figcaption></figure><p>Making a DataFrame on &lt;figure 1.1&gt;, please use code below :</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2BRXx0aseng7-MTsGsRWhg.png" /></figure><p>There are lots of way to fill missing value, for example, fillna/interpolate/replace and so on. Almost can use only single data type. <br>If you want to replace missing value depends on the type of data, then you might use for loop or if statement.</p><p>Here’ s a short code using ‘dtype.kind’, &lt;figure 1.2&gt; is the result of this code. It could be nicer when you handle missing data at once.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t4Fb_Jf_GQyzU41E6zOGDA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/491/1*xoSD8xebByCIpSClq9IVuA.png" /><figcaption>&lt;figure 1.2&gt; Filled df’s missing value by the type of data</figcaption></figure><p><a href="https://pandas.pydata.org/pandas-docs/stable/user_guide/missing_data.html">Working with missing data - pandas 2.3.3 documentation</a></p><p><strong>2. Dropping duplicated values and keeping a part</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1004/1*HscH38247wkZxe3dYBUKDA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*PtkgLNMKvnZ0zSxRbqC0fg.png" /><figcaption>&lt;figure 2.1&gt; Adding ‘date’ feature on DataFrame — df</figcaption></figure><p>If you try approaching Nosql based DB or handling nested data set to Pandas DataFrame, then there might be duplicated rows. You can drop it based on feature, and keep a part first/last. (<em>Please be careful typing duplicate</em><strong><em>s</em></strong><em>.</em>) It’s useful when you sort DataFrame by time series column, and keep only ‘primary or latest’ value between duplicated rows.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/613/1*nz-fgidX6Zj3LNRd4hXY_Q.png" /><figcaption>&lt;figure 2.2&gt; Cases about dropping duplicated feature by parameter ‘keep’ — first : Drop duplicates except for the first occurrence. - last : Drop duplicates except for the last occurrence.</figcaption></figure><h3>Replacing value with lambda</h3><p><strong>3. Replacing values based on conditions.</strong></p><p>Using apply() method with lambda is pretty useful, especially replacing variables with conditions.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/697/1*bLA8422NEZA4t-jt90cm8A.png" /><figcaption>&lt;figure 3.1&gt; Applying ‘apply()’ method with lambda</figcaption></figure><p>Or you can use lambda with numpy array like below:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/620/1*cYYydGrI9IZnk-5_Ra6kEQ.png" /><figcaption>&lt;figure 3.2&gt; Using lambda with numpy array</figcaption></figure><h3>Reshaping DataFrame with melt, pivot_table, and crosstab</h3><p><strong>4. Converting some columns into rows.</strong></p><p>If you used to calculating each columns with Pandas DataFrame, then you might feel comfortable with ‘Wide DataFrame’. Meanwhile, if you used to visualizing data, then ‘Tidy DataFrame’ might be familiar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/714/1*bDipklOEnb0xpVgHUoNE8g.png" /><figcaption>&lt;figure 4.1&gt; Example of Wide DataFrame</figcaption></figure><p>Trying ‘melt()’ function can reshape a wide dataframe to tidy dataframe. Thus, You can transform DataFrame’s shape easily with keeping identifiers. Likewise, ‘pivot_table()’ function can reshape a tidy to wide dataframe.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/982/1*bexsZtJMxS9MNrosYhZtnQ.png" /><figcaption>&lt;figure 4.2&gt; Reshape from wide to tidy dataframe using melt() function.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/888/1*CKibPUNHJhOervYu64Pd9A.png" /><figcaption>&lt;figure 4.3&gt; Reshape from tidy to wide dataframe using pivot_table() function.</figcaption></figure><p><strong>5. Frequency table with crosstab()</strong></p><p>To find frequency between variables, you can use crosstab(). It can be applied chi-squared contingency table or clever ways to perform EDA.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/619/1*Giw4tcsmlRq8ivwd3pAu3A.png" /><figcaption>&lt;figure 5.1&gt; Adding ‘region’ feature into Pandas DataFrame.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/685/1*t2rrXyUjDfYXMlT2525fOA.png" /><figcaption>&lt;figure 5.2&gt; Trying crosstab() function. If parameter ‘margins’ is True, add row/column margins (subtotals).</figcaption></figure><ul><li>코딩을 전혀 모르던 시절부터 지금까지를 돌아보면서, 지금은 쉬워도 손에 익기까지 꽤 오랜시간이 걸렸던 기초적인 EDA 방법을 나누고 싶었습니다. 부족한 영어실력으로 더듬더듬 글을 썼는데 틀린 내용, 부자연스러운 문법 등 언제든지 피드백을 환영합니다!</li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=61b6a684d879" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[#들어가며 : 내가 AI 부트캠프를 등록할 줄은 몰랐다.]]></title>
            <link>https://scarletds-kim.medium.com/%EB%93%A4%EC%96%B4%EA%B0%80%EB%A9%B0-%EB%82%B4%EA%B0%80-ai-%EB%B6%80%ED%8A%B8%EC%BA%A0%ED%94%84%EB%A5%BC-%EB%93%B1%EB%A1%9D%ED%95%A0-%EC%A4%84%EC%9D%80-%EB%AA%B0%EB%9E%90%EB%8B%A4-a7ebbe8997af?source=rss-ce07ce82e4bd------2</link>
            <guid isPermaLink="false">https://medium.com/p/a7ebbe8997af</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[data-scientist]]></category>
            <category><![CDATA[부트캠프]]></category>
            <category><![CDATA[코드스테이츠]]></category>
            <category><![CDATA[data-science-courses]]></category>
            <dc:creator><![CDATA[Dachelin]]></dc:creator>
            <pubDate>Wed, 10 Mar 2021 17:06:08 GMT</pubDate>
            <atom:updated>2021-08-19T17:02:54.805Z</atom:updated>
            <content:encoded><![CDATA[<h3>#들어가며 : 내가 AI 부트캠프를 등록할 줄은 몰랐다.</h3><p>주의 : 시작하게 된 계기부터 4개월이 지난 지금의 후기까지, 다소 직설적인 표현들이 많습니다. 후기가 궁금한 분은 4번으로 바로가세요.</p><h3>1. 퇴사 후 ~ 등록 전까지의 프롤로그</h3><p>최종 스탯을 Data Analyst로 찍게 해준 회사를 원치 않게 그만두고, PM으로 야심차게 입사한 회사는 한 달만에 휘뚜루 마뚜루 사표를 쓰고 나왔다. 왜 좋은 회사 잘 다니다 그만뒀냐 물으면 ‘저랑 안맞는 옷을 입고 있는 것 같아서요’ 로 뭉뚱그려 말하긴 했지만 사실 가장 큰 이유는 “(숫자 감각이 없는데)어떻게 데이터 분석가가 되려고 하셨어요?” 라고 물었던 사수분의 팩폭 덕분이었다.</p><p>살면서 코딩은 전혀 접할 일도 없었고, 수학은 늘 발목을 잡는 과목이었다. 그럼에도 가장 즐거우면서도 고통스러웠고, 가장 폭발적인 성장을 했으며, 가장 집요해질 수 있던 순간은 데이터를 직접 핸들링한 때였다. 분석가 타이틀을 달고 일한 지난 1년이 너무 뿌듯해서 스스로를 꽉 안아주고 싶을 정도니까.</p><h3>2. 나는 뭘 못하는 인간인가?</h3><p><strong>그리고 뿌듯함에 겨워, 나는 내게 부족한 부분을 외면하고 있었다. </strong>사실 컴공, 통계, 수학등 관련 출신이 아니라는 이유로 ‘비전공자의 비애’, ‘유리천장’ 등을 사용해대며 마치 억울한 듯이 말해왔지만, 사실 나는 답을 알고 있었는데 안한 것일 뿐이다.</p><p>- 파이썬 코딩 실력이 어느 순간 정체되어있다.</p><p>- 통계와 수학은 여태까지 그래왔고 앞으로도 어려울 것이다.</p><p>- ‘SQL 실력은 어느정도세요?’ 이 질문의 답변이 반 년 전과, 반 년 후가 같다.</p><p>-내 인사이트는 실력이 아니라, 지난 날들이 만들어준 도메인 지식때문이다.</p><p>퇴사 후 분석가 포지션에 여러 번 인터뷰를 봤고 항상 끝무렵에는 [분석가로서 잘 성장하고 싶은데, 내 커리어에 어떤 부분을 보완하면 좋을지] 업계선배로서 조언을 부탁드렸다. 몇 몇 기억에 남는 분들은 너무 진심어린 조언을 해주셔서, 내가 뭐라고 이 소중한 시간에 이런 꿀 같은 말씀들을 해주시나 싶어 눈물이 핑 돌기도 했다.</p><p>리뷰의 핵심은, <strong>경험에 비해서 분석가로서의 기초지식이 부족하다는 것과 내가 진짜 데이터를 좋아하는 소위 ‘데이터 빠돌이’가 맞는지 의심스럽다는 것이었다. </strong>위를 바탕으로 내가 당시 깊게 고민했던 내용은 크게 세 가지였다.</p><ol><li><strong>내가 봐도 경험은 많은 것 같은데, 전문성에 스스로 의심이 들 때가 있다. → 전문성을 어떻게 키워야 하는 가?</strong></li><li><strong>시야가 좁아서 분석 방법에 한계를 느낄 때가 있다.<br>→ 시야를 어떻게 넓힐 수 있는가?</strong></li><li><strong>조직 내 여러 팀과 소통할 때는 어려움이 없었지만, 데이터팀 내에서의 커뮤니케이션은 깊이가 부족하다. <br>→ 팀 내 소통이 원활하려면, 무엇을 해야 하는가?</strong></li></ol><h3>3. 단점을 보완하기 위해 무엇을 했는가?</h3><p>지식의 부족함을 메우기 위해 별의 별 인강을 다 신청했다. 내가 듣는 수업이 많아지면 내 실력도 저절로 부풀어오르는 것 같은 착각이 들었다. 급한 마음으로 달려들수록 현타는 씨-게 왔고 어느새 인강 방문 리텐션도 급격히 떨어졌으며, 그럴수록 하기 싫었다. 매일 같이 미디엄은 양질의 아티클을 보여주고 있었지만 구독료가 아까울 정도로 공부를 안했다. 그냥 Python, Pandas, Dataframe, Visualization 이런 키워드가 보이면 일부러 외면했다. 난 쉬고 싶다면서, 쉴땐 좀 쉬면 안돼? 같은 억지도 부렸다.</p><h3>4. 왜 코드스테이츠 AI 부트캠프를 신청했는가? 그리고 해보니 어떤가?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/575/1*W-znf2bPcN_MSa0Tp3y4JA.png" /></figure><p>(1) 이미지 : 사실 코드스테이츠는 내가 구직공고를 보고 지원하고 싶었던 곳이라 학생으로 들어간다는게 좀 이상야리꾸리하긴 했지만, 내 주변에 비전공자인데 좋은 개발자로 성장하는 분들중 코드스테이츠 출신이 많아서 일단 브랜딩이 잘 되어있었다. 물론 구글에 ‘코드스테이츠’만 쳐도 뒤에 ‘비추&#39;가 따라오는 검색어들이 있는걸로 보아, 그 후기들을 읽어본 적은 없지만 모든 세션을 다 마친 지금 생각해보니 무엇을 말하려 하는 지는 알 것 같다. 다만 그런 것들은 나의 학습성향과 크게 관계없기에 중요한 기준이 아니었다.</p><p>(2) 비용 : 시세를 모르는 나로서는 주변에서 비싸단 얘길 많이 했는데, 내가 듣는 AI코스는 K디지털 트레이닝 코스로 국비 100%다. <strong>국비에 대한 편견이 분명히 있었는데, 전반적으로 편견이 사라질만큼 잘 짜인 코스들이 있었고, 퀄리티도 너무 좋아서 일부 섹션은 내 돈 내고 들으라고 해도 들을 것 같다</strong>.</p><p>+ 좋다고 느꼈던 특정 영역을 언급하면 언급되지 않은 영역이 부족했다고 여길까봐 기술하진 않겠다.</p><p>(3) 커리큘럼 : 제일 중요하게 생각했던 부분. <strong>국비 100%로 데이터 관련 클래스를 찾게되면, 100% 데이터관련 내용만 다루는 커리큘럼은 거의 없다.</strong> 아무래도 국비교육의 기대효과 =&gt; 실업률 낮춤 =&gt; 취업이 잘되어야함 이다보니, 타 학원의 여러 커리큘럼에는 취업률이 높은 js기반 프론트 엔지니어링 과정이 그득 그득 포함되어있었다. 뭐 당연히 포트폴리오를 만드는데에 있어서 서버 구축하고, 웹페이지까지 만들어서 띄우면 나이스하지만 데이터로 승부볼 수 없다면 웹개발자로라도 취업시키겠다는 마인드는 내가 공감하기 어려웠다. 고로 내겐 코드스테이츠 부트캠프 커리큘럼이 가장 마음에 들었고, DS 엔트리급을 목표로 전 과정을 학습하므로, 마다할 이유가 없었다.<br>그러나 모든 과정을 마친 지금, 정말 모든 과정이 필요했었는지 스스로에게 물었을때 자신있게 대답할 수 없게 되었다. 모든 영역을 다 베이스를 깔아두되, 본인이 잘 맞다고 느껴지는 세션을 따로 집요하게 파는 것을 추천한다.</p><p>(4) 수업방식 : 고등교육과정을 마친지가 어언 1n년이 지났는데 8시간 내내 수업을 ‘듣기만’ 하는 건 이제 못하는 뇌가 되었다. AI부트캠프에서 지식을 배우는 모든 과정은 <strong>티칭이 아니라 코칭으로 이루어진다. </strong>보통 오전에 1–2시간 정도를 warm up자료로 뇌를 깨우고, 점심 전까지 짧게 lecture 영상을 보거나 코치님이 lecture 내용을 설명해주신다. 그리고 나머지 시간은 무한 과제…와 자기주도적 학습시간의 연속. 과제 제출 전엔 모두 Q&amp;A를 진행하는데, 이게 또 대환장파티다. 내 동기분들의 이전 경험, 코딩 실력, 데이터관련 스킬의 갭이 천차만별이기 때문에 과제의 난이도를 체감하는 정도도 엄청나게 다르다.</p><p>(5) 수업 후 만족도 : 지금 3개월 째 수강중이고, 두 번의 프로젝트를 끝내고 Section 3을 진행중인데 한 번도 후회한 적이 없다. 지인들도 나의 만족도가 꽤나 높다고 잘 들어간 케이스라고 했다. <strong>동료들이 힘들어하는 부분은 크게 두 가지인 것 같은데, 매일 새로운걸 다량으로 머리에 집어넣어야 하는 것과(그래서 하루만 놓쳐도 한 주를 망칠 수 있다.) 어찌보면 방목이라고 여길 수 있는 코칭이 익숙하지 않아서 </strong>그런 것 같다. 하지만 현업경험이 없으면 만들 수 없는 lecture note들부터 처음 접하는 분들껜 쉽게, 유경험자에겐 본인을 리뷰해볼 수 있게 만드는 warm up 자료들, Q&amp;A 세션에 가끔씩 아는만큼 알아들을 수 있는 꿀팁을 던져주고 공감해주고 멘탈을 관리해주는 코치님들까지 있어서, 나로선 구석 구석 가려운 부분들을 잘 채워줄 수 있는 잘 짜인 코스라 생각이 든다. 내 학습성향은 완전 혼자서는 텐션유지가 어렵지만, 공동의 목표로 학습하는 공동체가 있으면 그안에서 어느정도 autonomy를 보장받으면서 긴장감이 흐르는 걸 즐기는 타입이라 이 방식이 아주아주 마음에 든다.</p><p>+모든 세션 수강 후, 추가한 만족도(2021.8.20 기준)<br>만족도를 1~10까지 척도를 세운다면 수강 초반에는 9였고, 지금은 6정도로 떨어졌다. 만족하지 못한 세션들이 분명히 있었고, 그 이유는 아래와 같다. <br> — 학비로 나가는 세금과 내 시간이 아깝다고 느껴진 경우<br> — 준비 과정에서 미흡한 부분들이 대량으로 발견되는 경우<br>이런 이유들은 신설과정에서 겪는 성장통같은거니까, 보완해 가면 된다고 생각했다. 하지만 한편으론 내 차례가 이미 지나간 후에 보완한 노트가 나에게 무슨 소용인가? 같은 생각을 버릴 수 없었다. 후배 기수들을 위해 필요한 작업이지만 정작 나는 마루타가 되었다는 생각이 들 때가 종종 있었기때문이다. 어쨌든 여러 루트를 통해 어떤 강의들은 빠르게 피드백을 받아 촘촘하게 바꿔나가는 모습을 볼 수 있었고, 어떤 강의들은 최근에 다시 봤을때도 제자리 걸음이었다. <br> — 강의 외의 방식들은 뭔가 올드하다고 느껴지는 것 <br>본인 스스로의 성장을 위한 회고를 공개적으로 공유하고 의견을 주고 받길래, 오픈된 분위기 속에서 피드백을 중요시 여기는 문화라 생각했지만 정작 수강생이 강의 리뷰를 할 수 있는 장치는 없다고 느껴졌다. 뭔가 건의하고 싶다면 이슈셰어링으로 남겨야 하는 불편한 방식이었기에, 열린 문화인듯 보이지만 정작 불편한 이야기를 해야 할 때는 비공개적인 채널로 이야기를 하도록 장치가 마련되어 있는 기분이었다. 이 외에도 뭔가 교육 외적인 문제로 질문이 있으면, 누군가에게 어떤 루트로 물어봐야되는가는 알 수 없고 수강생이 적극적으로 아무 크루나 붙잡고 물어보든가, 무조건 이슈셰어링 채널 하나로 다 통합해야 하는 것이 생각보다 올드하다고 느껴졌다. 실력 좋으신 분들이 많이 계시니까, 점점 더 발전해 나갈 것이라고 믿는다.</p><p>(6) 혹시 지원을 고민하는 분들께 해주고 싶은 뼈때리는 말: 기간에 대한 고민을 하고 계신다면 이 정도 기간도 투자 안하고 이 세계에 발을 들이려고 하는 것 부터가 잘못되었다고 말해주고 싶다. 그리고 단순히 데이터가 요즘 뜨니까 AI가 미래를 바꿔놓는다고 하니까 얕은 호기심으로 들어오려고 하는 것도 조금은 위험하다고 말해주고 싶다. 목표가 뚜렷한 분들도 매일 강도높은 학습을 하면서 내가 뭐하고 있는거지 하는 생각이 자주 드는 곳이 부트캠프다. 어 ? 해보니까 나랑 잘맞는데~? 하고 이 분야를 더 파는 케이스는 너무 드물다. 이탈하는 사람들은 이미 Section1때 어느정도 탈주한 것 같고, 그 외의 동료분들은 지금까지 묵묵하게 잘 견뎌오고 있다. 탈주하는 분들을 보면 크게 3가지로 나눠지는 것 같은데, 취업을 해버렸거나, 이런 교육방식이 너무 맞지 않거나, 아니면 본인이 생각한 빅데이터는 이런게 아니었기 때문일 것 같다. <strong>7개월은 누군가에겐 짧지만 쉽게 도전하기엔 긴 기간이다.</strong> 7개월만 고생하면 취업시켜주겠지! 하는 생각도 내려놓고 오시길 바란다. 지원할때 자소서 문항에도 들어있겠지만, 본인이 앞으로 무엇을 하고 싶은지 꼭 고민해보고, 방향이 구체적인 분들이 이 커리큘럼과 맞는다고 생각하면 대환영이다.</p><p>(7) 지원중이거나, 지원하기로 결심한 분들께 : 맥북 안사도 괜찮고,<strong> </strong>실제로 절반 이상이 윈도우쓴다. 대신 본인 컴 RAM이 8기가 이상인지 꼭 확인하길 바란다. (난 예전에 엄마가 쓰던 사무용 4기가짜리 써서 Colab Pro에서 안돌아가고 뻑나는 노트가 하나 있었다.) 몰라도 괜찮다는 강인한 멘탈, 스트레스 받을 때 먹는거 말고 풀 수 있는 다른 취미(운동 이즈 베스트…), 남과 비교하지 말고 예전의 나와 비교하는 마인드를 준비하시면 좋다. 무엇보다도 본인이 어떤 도메인에 관심이 있는지는 미리 미리 스스로를 알고 오면 더더욱 좋다. 나는 실제로 부동산, 자율주행, 스포츠경기에 전.혀. 관심이 없는 사람으로서 이런 데이터를 마주했을때 매우 당황스러웠고, 의무감에 하긴 했는데 재미는 없었다. 그런데 내가 좋아하는 데이터를 만질때는 정말 날라다녔다. 혹시라도 관심있는 도메인이 없다면, 이곳에 와서 찾으셔도 된다. 다양한 분야에 있던 동료분들이 모이는 자리이기에, 서로 관심있어 하는 주제가 달라 프로젝트 발표영상 보는 재미가 쏠쏠하다.</p><p>(8) 부트캠프를 통해 내가 배운 ‘스킬’ 외의 것 : 질문을 잘 하는 방법, 피드백을 잘 주는 방법과 그를 통해 나도 받는사람도 성장하는 방법, 장기전에서 멘탈을 관리하는 방법, 보는 사람을 배려해서 코드와 주석을 작성하는 법 등. 중요한건 이 모든건 직접 알려주지 않는다. 그저 판을 깔아줄 뿐…</p><p>부트캠프의 장점이자 단점은 [내가 모른다는 사실을 알아차리고, 수강 후 내가 모르는걸 얼만큼 알게되었는지 아는 것] 에 있다. 주변에 일부 3–5년차 시니어를 보면서 저렇게 되고 싶지 않다는 생각을 한 적이 있다. 모른다는 사실을 인정하는 것부터가 사실 어렵다. 생각보다 얼렁뚱땅 넘어가는 것들이 쌓이고 쌓이면, 아마 나처럼 경험에 비해 기초가 부족한 Bad case로 성장하게 될텐데 이 경우에 최악은 모르는걸 들키기 싫어서 아는 척하는 인간이 된다는 것이다. 난 크고 많은 목표가 없다. 다만 부트캠프가 끝나면, 내가 이미 알고 있는 ‘부족한 나’가 얼만큼 스스로 만족스러워졌는지, 얼만큼 나아졌는지를 확인하고 싶을 뿐이다. &lt;끝&gt;</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a7ebbe8997af" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[띵동 데이터 대시보드 만들기 with Google Data Studio]]></title>
            <link>https://medium.com/honeybees-engineering/%EB%9D%B5%EB%8F%99-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%8C%80%EC%8B%9C%EB%B3%B4%EB%93%9C-%EB%A7%8C%EB%93%A4%EA%B8%B0-with-google-data-studio-4c76596000a4?source=rss-ce07ce82e4bd------2</link>
            <guid isPermaLink="false">https://medium.com/p/4c76596000a4</guid>
            <dc:creator><![CDATA[Dachelin]]></dc:creator>
            <pubDate>Sat, 28 Mar 2020 18:49:39 GMT</pubDate>
            <atom:updated>2021-12-05T03:01:03.682Z</atom:updated>
            <content:encoded><![CDATA[<p>[+추가]</p><p>이 글을 쓴 지 2년이 다 되어가지만, 아직도 꾸준히 유입이 많은 글이라는게 신기합니다. 아마 이 글을 읽으시는 분들은 무언가에 갈증을 느껴 시도하려고 하지만 사내 인프라가 뒷받침이 잘 안되어있거나, 아직 무엇을 써야 할 지 잘 몰라 탐색중인 분들이시겠죠. 결론부터 말씀드리면 저는 Google Data Studio 에서 Redash로, 이후 Tableau로 옮겨왔습니다.</p><p>지금 생각해도 구글 데이터스튜디오는 가볍게 접근하기 좋은 툴인 것 같습니다. 그러나 안정적인 서빙, 보안이슈, 범용성을 생각하면 많은 회사가 태블로를 쓰는 이유가 있는 것 같아요.</p><p>프로토타입으로 만들어보시려 하거나 간단한 추이등을 확인하기엔 접근성이 좋고 UI 가 직관적이라는 장점이 있으니, 대시보드 제작 목적과 상황에 따라 선택하시길 추천드릴게요.</p><p>찾아주신 분들 다시 한 번 감사드립니다.</p><p>먼저, 기술블로그와 어울리진 않지만 이 글은 대시보드를 만들기 위한 the Best way는 아닙니다. 대부분이 [김밥 만드는 법] 을 포스팅 했다면, 이 글은 [ 가난한 자취생이 있어보이는 김밥 만드는 썰] 에 가깝습니다.</p><p>1편에서는 <br>- 띵동 데이터팀이 ‘왜’ 구글 데이터 스튜디오로 대시보드를 만들게 되었는가? <br>- ‘어떤’ 문제가 있었고 어떤 삽질들로 해결했는가?</p><p>2편에서는<br>- ‘어떻게 ’ 해야 비즈니스 인사이트를 도출하기 쉽게 만드는가? <br>고민했던 과정들을 풀어나갑니다. 물론 삽질은 나를 강력하게 만들지만, 회사는 나를 기다려 줄 시간이 없거든요… 테크니컬한 부분까지 고려된 화려한 대시보드를 원하신다면 시중에 많은 솔루션이 있으니, 검색을 추천드립니다. (준비물 : 비용을 듣고 놀라지 않을 넉넉한 자본)</p><h3>[대시보드 =데이터팀의 숙원사업]</h3><p>데이터팀에 있으면, 아래와 같은 무한 루프를 돌게 됩니다.</p><p>&gt; 뫄뫄님, 2019년도 솨솨솨 데이터좀 추출해주세요. <br>&gt; 아 이거 2017년부터 뽑을 수 있나요? <br>&gt; 이거 데이터 양이 너무 많아서 피벗 돌리면 엑셀이 뻗어요 피벗좀..<br>&gt; 매번 기간마다 요청드리기 좀 그런데, 필터 걸어서 다운받게 해주세요<br>&gt; 필터에 이것도 추가해주세요<br>&gt; 데이터가 많아서 한 눈에 보기 힘드네~ 그래프 있으면 좋을 거 같은데?</p><p><strong>그리고 여러 부서의 요청을 받으면서, 아래와 같은 문제점을 발견했습니다.</strong></p><ol><li>생각보다 많은 사람들이 매일 반복적인 엑셀작업에 시간을 할애한다.</li><li>raw-data받아서 함수 돌리다보면 나중에서야 깜빡한 컬럼이 생각난다.</li><li>요청자 본인도 정작 어떤 데이터가 필요한지 잘 모른다.</li><li>A라는 데이터는 재무팀도 필요하고 영업팀도 필요하다. 그런데 형태가 조금씩 달라서 두 팀 다 같은 데이터로 다른 작업을 하고 있다.</li><li>시각화의 힘은 생각보다 강력하다. 하지만 대부분 숫자로 보는 데에 만족한다.</li></ol><p>띵동은 이미 빵빵한 raw data를 다운받을 수 있는 웹페이지가 있지만 1,2,3,4의 문제를 해결해주진 못했습니다. 더군다나 비개발자에게 ‘DB에 read only 권한을 드릴게요 직접 쿼리날리세요’ 했을 때는, ‘ 쿼…리?’ 같은 류의 대화가 오갔기 때문에(…) 권한이 있다면 누구나 볼 수 있고, 누구나 다운로드가 쉬운 무언가를 만들어야 했습니다. <br> 이에 정기적으로 요청받은 데이터들을 모아 구글 스프레드 시트에 자동으로 업데이트 해주고, 다운로드 할 수 있게 만들었습니다. (이 방법은 편리하긴 했지만, 엑셀의 최대 행 갯수가 정해져있듯 임시 방편에 불과하고, 누군가는 월별추이를 원하지만 누군가는 일별 추이를 원하는 상황이었기에 모두를 만족시키기 어려웠습니다. )</p><h3>“왜” 구글 데이터 스튜디오(Google data studio) 로 만들었는가?</h3><p>프론트엔드 개발자분들의 도움을 받아 시각화를 할 수도 있었지만 [High speed, Low cost] 를 위해서는 데이터를 바로 붙여서 테스트 할 수 있는 솔루션이 필요했습니다. 바로 쓸 수 있는 샘플데이터는 빅쿼리(Big query), GA, 스프레드시트, MySQL 에 있었는데, 마침 이 모든 연결을 가능하게 하는 녀석이 구글 데이터 스튜디오였습니다. 당시 데이터는 최소 일별 추이를 보기 위한 요청이 대부분이어서, 무료임을 감안하면 15분부터 1시간까지 생각보다 빠른 데이터 업데이트 빈도가 매력적이었습니다. 또, 차트를 만들때 쓰인 데이터는 엑셀로 다운로드 받을 수도 있습니다. 게다가 데이터 스튜디오에는 기본적인 그래프 뿐만 아니라, 커뮤니티 시각화 (=제3자 개발자가 개발한 그래프) 라는 예쁘고 효과적인 툴도 사용할 수 있었기 때문에 기본적인 수치를 표현하는 데 부족한 점이 없었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/977/1*fGPVS6kBKr3625Y9GfFwLA.png" /><figcaption>야심차게 시작했던 띵동 대시보드 초안 1</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*l80J2MgvDTJ6P2GT266cOA.png" /><figcaption>야심차게 시작했던 띵동 대시보드 초안 2</figcaption></figure><h3>“어떤” 문제가 있었고 어떤 삽질들로 해결했는가?</h3><p>솔루션을 리서치할 때, 특히 한글로 된 플랫폼을 사용하신다면 ‘ 약간의 지식만 있다면 Mysql도 쉽게 연결할 수 있더라구요~^^! ’ 같은 글을 대량으로 접하게 됩니다. 하지만 ‘이제부터 각종 에러를 만나게 될테니 마음의 준비를 하시오’ 를 먼저 발견한 사람이 몇이나 될까요? 그동안 마주한 에러만 100개가 넘는 거 같은데, 그 중 <strong>문제 해결에 가장 시간을 많이 들인 다섯 가지</strong>를 추렸습니다.</p><blockquote><strong><em>1. 2020.03.20(금) 과 2020.03.27(금)은 같은 금요일이 아니다.</em></strong></blockquote><p>띵동의 주문 기반 데이터는 (“YYYY-mm-dd HH:mm:ss”) 같은 datetime을 반드시 갖고있습니다. 이 컬럼 1개로, 일/주/월/연도별 분석 뿐만 아니라 시간, 요일별 분석등에도 활용합니다. 주의할 점은 데이터 소스를 만들때부터 date 필드를 복제해 요일, 시간, 월 같은 필드를 추가하셔야 한다는 겁니다. <br> 예를 들어 [YYYY–mm–dd] 형태의 date필드에, 2020년 3월 20일과 2020년 3월 27일 데이터가 1개씩 존재한다고 가정합니다. 데이터 소스를 만들때부터 date를 카피한 뒤 유형을 ‘요일’로 바꾸시면 3월 20일도, 3월 27일도 같은 ‘금요일’로 인식해서 금요일의 데이터가 2개로 count 됩니다. 그런데 이를 무시하고, date만 가져와서 나중에 date의 측정기준을 ‘요일’로 바꾸시면 이때 요일은 20200320 1개 , 20200327 1개를 뱉습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/833/1*kvPdMkB8QuIhjC3qhCgmSw.png" /><figcaption>date의 유형을 시간으로 바꾸면 벌어지는 일</figcaption></figure><p>뿐만 아니라 DB에서 굳이 weekday를 분리하여 저장했다면, weekday 컬럼을 가져오실 필요가 없습니다.(아니 안돼 하지마세요) 여러분이 Node.js로 weekday를 가공하셨다면 일요일부터 0,1,2,3..을 출력하겠지만, 파이썬의 weekday function은 월요일부터 0,1,2,3..을 출력합니다. (구글 데이터 스튜디오는 일요일이 0입니다.) 이쯤 되면 별거 아닌데 헷갈리기 시작합니다.</p><blockquote><strong><em>2. 한국인은 한글 데이터를 1개쯤은 갖고 있다.</em></strong></blockquote><p>제가 영어를 하나도 모르는데, 미국에 여행을 갔습니다. 쇼핑을 합니다. 여행 영어책을 보고 한글발음으로 써진 ‘하우 머치?’ 말할 수는 있는데, 상점 주인이 ‘two hundreds’ 라고 하면 저는 못알아 들을겁니다. <br> 마찬가지로 대시보드를 열었는데 꿹띍딃땳뛝 을 보고 싶지 않다면, 인코딩 문제를 짚고 넘어가야 합니다. (이 문제는 여러분이 연결할 데이터가 Google 스프레드시트에 있을때는 생기지 않습니다. ) <br> 얼마 전, 스프레드시트에 저장한 지역주문 데이터가 대시보드에 잘 붙는지 확인한 뒤, MySQL로 그대로 옮겼습니다. 그리고 필터에서 ‘경기도’ 만 선택해 검색했습니다. 어떻게 됐을까요?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*PcdXMAbfCDmTKU7D8i-jPg.png" /><figcaption>공허한 내 마음처럼 텅 빈 그래프(…)</figcaption></figure><p>데이터 스튜디오는 MySQL에 있는 한글 value를 못읽습니다. 아니 정확히 말하면 필터가 없다면 읽기는 해서 보여는 줍니다만, ‘경기도’에서 발생한 데이터만 가져와~ 하면 ‘경..기…도? 아몰랑!’ 하는 거죠. 이 문제는 테이블의 캐릭터셋을 바꾼다고 해결되지 않았습니다. 덕분에 저 뿐만 아니라 CJK 유저들(중국어,일본어,한국어) 과 전 세계 각국의 친구들이 공통적으로 유리멘탈이 되는 포인트로 남아있죠. <br> 남의 집 불구경 1&gt;&gt; <a href="https://issuetracker.google.com/issues/133865285">Accents and Latin Characters in Google Data Studio</a><br> 남의 집 불구경 2 &gt;&gt; <a href="https://support.google.com/datastudio/thread/21322916?hl=en">Filter control doesn’t work when I use data in another language instead of English.</a></p><p>이 문제는 데이터팀에 전다정팀장님이 간단히 해결해 주셨는데, 바로 ‘데이터 혼합’입니다. 데이터를 전처리 할 때 테이블끼리 join을 하는 것 처럼, 스프레드시트에 기본적인 한글 index를 넣어놓고 MySQL에 있는 value를 읽을 수 있도록 같은 key로 혼합을 해주는거죠. 스프레드시트의 힘을 빌려야 했지만, 이 방법은 죽어가는 저를 수렁에서 건져준 획기적인 아이디어였습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/649/1*tr-sGy6Gfmqaep2H6Pj1-w.png" /><figcaption>유레카를 외친 데이터 혼합기능</figcaption></figure><blockquote><strong><em>3. 모바일, 외부환경에서 볼 거라면 커뮤니티 시각화는 쳐다보지도 말자</em></strong></blockquote><p>매번 링크를 타고 대시보드를 확인할 수는 없기에, 완성된 대시보드는 전 사원이 접속하는 TMS(transport management system,배송관리시스템) 에서 확인할 수 있도록 프론드 엔드 개발자님께 요청드렸습니다. 그런데 조심스레 저에게 오셔서 한 마디 하시기를,</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/904/1*OlIXnYhWBmUiHice-hcBiw.png" /><figcaption><strong><em>“다솔님! 다 했는데, 커뮤니티 시각화는 삽입된 보고서에 표시할 수 없대요ㅎㅎ”</em></strong></figcaption></figure><p>뿐만 아니라, 전달된 링크를 모바일에서 클릭하면 커뮤니티 시각화 도구로 만든 그래프도 마찬가지로 보이지 않았습니다. 이 도구를 잘 이용하면 Gantt chart부터 Heat map, Hexbin map, Radar chart 까지 효과적인 전달(이라 쓰고 ‘간지나게’ 라고 읽음) 이 가능합니다만, 보고서를 외부 환경에 삽입하거나 모바일에서 볼 경우는 확인이 되지 않습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/931/1*jdaOqJxXJqUCpS3YkgX5RQ.png" /><figcaption>아직도 너무나 아까운 Hexbin map…. [<a href="https://datastudio.google.com/u/0/reporting/09fd83d4-4e99-41bb-853a-30e720a716dc/page/Zhpz">출처 : DSCV Hexbin Map — Usage Guide]</a></figcaption></figure><blockquote><strong><em>4. 이 중에 네가 쓰는 DB가 무엇이냐?</em></strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bczu90ggA-Ik8wKR7nvuaw.png" /><figcaption>데이터 소스를 만들기 위한 Google 커넥터</figcaption></figure><p>띵동의 메인 데이터는 대부분 Amazon S3, MongoDB 에 들어있습니다. 하지만 둘 다 구글 데이터 스튜디오에서 연결을 지원하지 않습니다. 결국 MySQL에 있는 데이터를 연결하는게 아니라, 대시보드를 위한 데이터 웨어하우스로 MySQL을 사용하는 상황이 되어버렸습니다. 이 때 멈췄어야 할까요? 이 부분은 아직도 의견이 분분합니다. 자체 개발을 하게 되었을 때 들어갈 프론트 개발자님들과 데이터팀의 공수를 생각하면 지금도 이 방법을 선택한게 더 잘 한 일 같고, 좀 더 테크니컬하게 풀어간다면 누군가는 왜 DB 연결도 안되는 구글 데이터 스튜디오를 써야 해? 라고 생각할 수도 있기 때문입니다.</p><blockquote><strong><em>5. 당신의 직무를 고르시오. (1) 개발자 (2) 디자이너 (3) 분석가</em></strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5C83wThAxtd0bqxa-vD6eQ.png" /></figure><p>보통 분석가가 ‘중요한 데이터를 어떻게 효과적으로 보여줄 건가?’ 에 집중한다면, 대부분의 뷰어들은 ‘이쁘냐?’에 집중합니다. 실제로 -컬러가 너무 강하니 파스텔톤을 톤온톤 해서 쓰면 좋겠다-는 피드백을 받고 수정했을 때, 영업팀에서는 -점주님들께 문의가 오면 빨간색이 뭐고, 파란색이 뭔지 안내를 해야하는데 색이 같은 톤이라 설명하기 어렵다-는 피드백이 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/470/0*T15y_2zPwUFCcFT3" /><figcaption><a href="https://m.blog.naver.com/river-b/220710504829">출처 : 블로그 — 네이버</a></figcaption></figure><p>‘예쁜’ 과 ‘효과적’ 은 이렇게 거리가 먼 단어입니다. 심지어 예쁜 기준은 보는 사람마다 매우 다릅니다. 따라서 대시보드를 만드신다면 처음부터 컬러에 공을 들이지 않기를 추천합니다. (어차피 바꾸게 되어있습니다..) <br> 주요 타겟뷰어가 누구인지를 설정하고, 그 타겟이 알아보기 쉬운 컬러를 사용해 표현하는 데 중점을 두시는 것이 좋습니다.</p><p>컬러에 대한 감을 잡기 어려우실 때에는 아래를 활용하시면 좋습니다. (클릭하면 링크로 이동합니다) <br>- <a href="http://labs.tineye.com/color/">이미지를 넣으면 컬러팔레트를 추출해주는 TinEye</a> <br>- <a href="https://www.pinterest.co.kr/search/pins/?rs=ac&amp;len=2&amp;q=color%20palette&amp;eq=color&amp;etslf=4714&amp;term_meta[]=color%7Cautocomplete%7C0&amp;term_meta[]=palette%7Cautocomplete%7C0">다양한 컬러 팔레트를 보유하고 있는 pinterest</a><br>- 구글데이터스튜디오 ‘이미지에서 테마 추출’ 기능 사용하기</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/709/1*_Vvmo2TWuFwlCpfTKXT_ww.png" /><figcaption>원하는 이미지를 넣으면, 테마를 추출해줍니다</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ghBffh0f2nrYMONUPpKphQ.jpeg" /></figure><h3>[ ‘어떻게 ’ 해야 비즈니스 인사이트를 도출하기 쉬울까? ]</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/324/1*_t4ODHzjzhTrn8PFWo2SHA.png" /><figcaption>아이디어 스케치를 하면 생기는 일.png</figcaption></figure><ul><li><strong>막막했던 아이디어 스케치를 <br>효과적으로 끝냈던 방법</strong></li><li><strong>팀리더 피드백 미팅에서 <br>가장 많이 나왔던 요구사항</strong></li><li><strong>차트를 보기쉽고 전달력있게 <br>개선했던 경험</strong></li></ul><p>등은 2편에서 이어집니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4c76596000a4" width="1" height="1" alt=""><hr><p><a href="https://medium.com/honeybees-engineering/%EB%9D%B5%EB%8F%99-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EB%8C%80%EC%8B%9C%EB%B3%B4%EB%93%9C-%EB%A7%8C%EB%93%A4%EA%B8%B0-with-google-data-studio-4c76596000a4">띵동 데이터 대시보드 만들기 with Google Data Studio</a> was originally published in <a href="https://medium.com/honeybees-engineering">띵동 딜리버리 엔지니어링</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>