<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Junki Cho on Medium]]></title>
        <description><![CDATA[Stories by Junki Cho on Medium]]></description>
        <link>https://medium.com/@junkicho?source=rss-539b3fb12fa3------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*-8cOlrONB80_EwBW.</url>
            <title>Stories by Junki Cho on Medium</title>
            <link>https://medium.com/@junkicho?source=rss-539b3fb12fa3------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 02:23:56 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@junkicho/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[머신러닝 부적절 텍스트 분류: 실전편]]></title>
            <link>https://medium.com/watcha/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%B6%80%EC%A0%81%EC%A0%88-%ED%85%8D%EC%8A%A4%ED%8A%B8-%EB%B6%84%EB%A5%98-%EC%8B%A4%EC%A0%84%ED%8E%B8-57587ecfae78?source=rss-539b3fb12fa3------2</link>
            <guid isPermaLink="false">https://medium.com/p/57587ecfae78</guid>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Junki Cho]]></dc:creator>
            <pubDate>Tue, 29 Oct 2019 09:47:23 GMT</pubDate>
            <atom:updated>2019-10-30T09:48:38.460Z</atom:updated>
            <content:encoded><![CDATA[<p>안녕하세요. 왓챠입니다.</p><blockquote>왓챠(앱)에서는 하루에 수천 개의 코멘트가 작성됩니다.</blockquote><p>수천 개의 코멘트가 작성되는 만큼 다양한 생각들을 남겨주십니다. 그래서 왓챠는 “취향 존중의 원칙”을 전제로 한 상대방 코멘트에 대한 공감 / 질문 / 반론을 권장합니다. 그러나 다음과 같은 상황은 “취향 존중의 원칙”이 지켜지지 않은 것이라고 생각합니다.</p><p>기준에 대한 일부 예시 입니다.</p><ul><li>글쓴이 취향 자체에 대한 공격</li><li>특정 계층, 지역, 종교에 대한 공격</li><li>심한 욕설이 포함된 경우</li><li>성적 비하 또는 모욕을 한 경우</li></ul><p>“취향 존중의 원칙”이 지켜지지 않을 경우 해당 코멘트 및 대댓글은 부적절 처리되고, 나만 볼 수 있도록 변경됩니다. 사람이 하루에 수천 개의 코멘트를 읽어 나가면 부적절한 텍스트를 분류하기에 물리적으로 힘들어, 유저들의 신고에 의존하고 있었습니다.</p><pre>[예시1]</pre><pre>후회 용서 아 예 인생 좆같은거 당연한건데<br>+ wise up 노래 나올때 ... 실소가</pre><pre>[예시2]</pre><pre>좆같다ㅋㅋ</pre><p>하루가 다르게 발전하고 있는 머신러닝 자연어처리를 이용하여 부적절한 텍스트를 자동으로 분류 하기위해 프로젝트를 시작했습니다.</p><p>많은 공개된 머신러닝 알고리즘이나 <strong>케글(</strong><a href="https://www.kaggle.com/"><strong>kaggle</strong></a><strong>)</strong>에 나오는 문제들은 다음과 같은 특징이 있습니다.</p><ol><li>참고할만한 자료</li><li>데이터셋</li><li>모델의 성능을 비교할만한 대상</li></ol><p>하지만 참고할 만한 자료가 거의 없는 상황에서 데이터는 최소한 얼마나 필요할지, 모델의 성능은 충분히 좋은지, 더 나은 문제 해결방법은 없는지, 실제 서비스에 도입할 만한 수준인지에 대해 전혀 감을 잡을 수 없었습니다.</p><p>그래서 처음부터 시작하는 머신러닝 4가지 단계 : 데이터셋의 구축, 전처리 과정, 모델링, 평가에 대해 공유해 보려고 합니다.</p><h3>[사전지식]</h3><blockquote>사전지식은 글을 읽어 가나며 조금더 이해를 돕고자 참고하시면 좋을 내용입니다. 생략하셔도 무방합니다.</blockquote><ul><li><strong>Character level CNN for text classification</strong></li></ul><p><a href="https://papers.nips.cc/paper/5782-character-level-convolutional-networks-for-text-classification.pdf"><strong>Character-level Convolutaional Neural Network</strong></a>(이하 charCNN)은 CNN의 메커니즘상 지역정보를 잘 표현하고, 많은 정보에서 특징점만 뽑을 수 있는 특성이 있습니다. 더욱이 word representation이 아닌 가장 최소 단위인 문자를 가지고 CNN을 적용하고, 좋은 성능을 보입니다. 문자열을 기반으로 하여 OOV(out of vocab)에 유연하고, 구어체 및 채팅과 같은 형태의 인간오류를 잘 보정해 줍니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/936/1*QOBOWQKwzxCfXor2ewPLbw.jpeg" /><figcaption>[그림1]charCNN논문에서 사용된 이미지</figcaption></figure><p>이 그림은 논문에서 나온 전체적인 charCNN의 메커니즘을 잘 설명해서 가져 왔습니다. charCNN의 메커니즘은 알파벳과 같은 문자를 one-hot encoding 된 문자의 집합에 1014개의 고정된 문자수 만큼 변환해 줍니다.</p><p>예를들어 1014개의 고정된 글자수에 [나는 사람이다] 는 [ㄴ,ㅏ,ㄴ,…,…]가 [[0,1,0,…], [0,0,0,…],,,,[…,….,0]] 과 같은 행렬로 표현할수 있습니다. 이를 <strong>양자화(quantization)</strong> 라고 합니다.</p><p>그림에서는 빨간박스가 quantized matrix를 의미합니다. 가로는 문자 수(논문상 70개), 세로는 글자 수(논문상 1014개)를 의미합니다. Quantization 과정중 70개의 문자에 속하지 않거나, 글자 수가 1014개 미만일 경우에는 zero vectors로 대체됩니다. 글자 수의 초과분은 무시합니다.</p><p>Quantized matrix를 convolutional computation해주는 과정은 파란 박스와 보라색 박스에서 잘 표현 됩니다. 이미지처리에서 사용되는 convolutional computation와 동일합니다. 차이점은 이미지에서는 2D convolutional layer가 사용되었다면, 여기선 1D convolutional layer가 사용되었습니다.</p><p>파란 박스는 <strong>커널(kernel)</strong>를 의미합니다. 보라색 박스는 feature map을 의미합니다. 보라색 박스가 한 줄인 이유는 1D convolutional layer를 통해 연산되었기 때문입니다. 이미지에서와 마찬가지로 그림에서 length로 표현되는 게 feature map의 개수를 가르킵니다.</p><p>그 이후의 과정은 일반적인 CNN과 동일합니다. (padding, stride, pooling 등의 테크닉적인 부분은 다른점이 없어서 생략하였습니다) 해당 논문에서는 charCNN을 도입함으로써 가장 최소 단위인 문자를 다루었다는 점과 좋은 성능을 보여주는 것이 학술적 연구에 기여한 부분입니다.</p><ul><li><strong>Very Deep Convolutional Networks for Text Classification</strong></li></ul><p><a href="https://arxiv.org/pdf/1606.01781.pdf"><strong>Very Deep Convolutional Neural Network</strong></a>(이하 VDCNN)은 charCNN이후에 더 깊은 층을 통해 성능을 개선한 모델입니다. charCNN의 장점을 그대로 가지며, convolutional block을 추가하여 더 깊지만 더 높은 성능을 보여줍니다.</p><p>VDCNN의 전체적인 구조는 quantized matrix가 convolutional block을 통과해 pooling과정을 거쳐 고정된 input값을 가지게 되고, 최종적으로 k-max pooling으로 중요한 특징점만 뽑아주게 됩니다. 그 이후에는 fully connected layer를 거쳐 최적화해주게 됩니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/179/1*aiviX2ZZvwpKk2wy9Ipt6w.jpeg" /><figcaption>[그림2]VDCNN논문에서 사용된 모델의 시각화</figcaption></figure><p>VDCNN에서도 charCNN에서와 같이 정해진 문자를 고정된 글자 수에 quantization하는 과정을 거칩니다. 논문에서는 look-up table로 표현하였습니다. 그림에서 검은 박스를 의미합니다. (같은 말입니다)</p><p>그림에서 빨간 박스와 같이 Convolutional block은 2개의 순차적 convolutional layers를 의미합니다. 이는 Batch normalization과 activation function(ReLU)를 통과하게 됩니다. 특히나 kernel size를 3으로 고정시켜 temporal convolutional layer에 대한 정보 손실을 최소화할 수 있게 해줍니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/286/1*VuWweGB1T52MdKNLI8IIpg.png" /><figcaption>[그림3]VDCNN논문에서 사용된 convolutional block의 이미지</figcaption></figure><p>빨간 박스와 같이 Convolutional block이후에 pooling을 통해 차원 수를 고정시켜 줍니다. 이를 통해 최초의 텍스트로부터의 input size를 고정시켜, 다음 convolutional block에 높은 수준의 정보 전달이 가능해지게 됩니다.</p><p>마지막으로, 노란색 박스에 해당하는 내용입니다. 논문상에는 3가지의 pooling에 대해 소개하였는데, k-max pooling의 성능이 가장 좋았습니다. 특히 K-max pooling의 경우 k개의 가장 중요한 특징점을 뽑는 장점이 있습니다.</p><p>결국 VDCNN은 <a href="https://arxiv.org/pdf/1512.03385.pdf">ResNet</a>에서의 residual block과 identity block과 같은 convolutional block, optional shortcut을 이용해 degradation을 감소시키는 데 도움을 줍니다. 참고로 convolutional block에서 batch normalization이 사용되어 dropout은 사용하지 않았습니다.</p><p>이를 통해 기존의 charCNN은 6개의 convolutional layers보다 더 깊은 29개의 convolutional layers를 통해 더 적은 오차율을 보여주게 됩니다. 그리고 깊은 층일수록 더 많은 데이터를 사용할수록 더 좋은 성능을 보이고 있습니다.</p><h3>[처음부터 시작하는 머신러닝]</h3><p>96%의 정확도를 보이는 character-level CNN을 통해 준실시간으로 왓챠(앱)에 생성되는 부적절 텍스트를 자동으로 분류하는 프로젝트의 과정들을 공유 하려고 합니다. 도움이 될 수 있기를 바라겠습니다.</p><h3>1. 첫번째 삽질</h3><p>데이터셋을 구성하는 부분이 가장 난해한 부분이었습니다. 학술적 연구, 케글과 같은 문제들은 이미 데이터가 풍부하고(대략 1M 데이터 셋), 문제가 잘 정의되어 있습니다. 연구원이 고민할 부분은 어떻게 하면 더 나은 알고리즘을 만들까이지, 어떻게 하면 문제를 잘 해결할 데이터를 구성할지는 아니었습니다.</p><p>저는 우선적으로 왓챠(앱) 내에서 신고된 텍스트와 임의의 텍스트를 바탕으로 데이터를 구축하기 시작했습니다. 신고받은 텍스트의 경우 전혀 문제가 없는 경우도 상당히 많아서 텍스트를 하나하나 읽어가며 레이블링 해주기 시작했습니다. 이진분류 문제로, 총 7천 개의 데이터 중 5천 개의 적절, 2천 개의 부적절 데이터를 확보할 수 있었습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dqxBRwimyllrEuKZCt8A5Q.png" /><figcaption>학습데이터 예시</figcaption></figure><p>그리고 대략 200만 개의 풍부한 왓챠(앱)의 텍스트를 바탕으로 <a href="https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf"><strong>word2vec</strong></a>을 이용해 언어모델을 만들었습니다. word representation이 잘 학습되었는지는 “왕-여왕 문제” 및 반의어 / 동의어를 통해 학습이 잘 되었는지 확인해 줄 수 있습니다. word2vec은 한 개의 단어를 임베딩 공간에서 표현한 것이기 때문에 [“어떤 것도 쉽게…”] 와 같은 텍스트는 [“어떤”], [“것도”], [“쉽게”] 각각을 word embedding에서 추출한 벡터를 더하여 해당 텍스트의 임베딩 공간에서의 위치를 얻을 수 있게 됩니다.</p><p>벡터화된 input을 가지고 Logistic regression, SVM, deep neural network 등을 통해 모델링을 진행하였습니다.</p><pre>+-----------+----------+----------+----------+----------+<br>|           | logistic |    SVM   |    DNN   | Ensemble<strong><em> </em></strong>|<br>+-----------+----------+----------+----------+----------+<br>|    acc    |  0.8996  |  0.8958  |  0.9322  |  <strong><em>0.9364 </em></strong> |<br>|   recall  | <strong><em> 0.8629</em></strong>  |  0.8534  |  0.8274  | <strong><em> </em></strong>0.8345  |<br>| precision |  0.8961  |  0.8806  |  0.8947  |  <strong><em>0.8999</em></strong>  |<br>+-----------+----------+----------+----------+----------+</pre><p>결과는 여러 분류기를 섞은 <strong>앙상블 모델(ensemble model)</strong>이 가장 좋았고, 대략 93%의 정확도를 보였습니다. 앙상블 모델은 soft voting해주었습니다.</p><p>문제는 실제 CS팀에서 사용할 만한 수준에 전혀 미치지 못했다는 것이었습니다. 부적절이라 판단한 텍스트를 읽어보면 10개중 2~3개만 부적절한 텍스트였습니다. 원인은 imbalanced data이다 보니 실제 부적절한 텍스트를 잘 찾지못해도 validation score에 큰 영향을 주지 않았습니다. 다시 말하면, 평가용 레이블 2,000개 중 부적절 레이블 400개를 전부 틀려도 정확도 80%가 나오는 것이 문제였습니다.</p><p>처참한 결과에 고통받던 중 참고자료를 하나 찾을 수 있었습니다. 넥슨에서 발표한 <a href="http://ndc.vod.nexoncdn.co.kr/NDC2018/slides/NDC2018_0033/index.html"><strong>딥러닝 욕설탐지기</strong></a>를 참조하여 뭐가 문제일지 하나하나 살펴 봤습니다.</p><h3>2. 두번째 삽질</h3><p>넥슨에서는 금칙어 기반 분류기, charCNN, VDCNN 3가지를 바탕으로 동일한 주제에 대해 실험했습니다. 이에 영감을 받아 charCNN을 <strong>재생산(reproduction)</strong> 해보았습니다. 영어 이외 특수문자로 된 70개 문자에 한글을 추가했고, 불필요해 보이는 일부 특수문자를 제거해 90개 문자로 <strong>양자화(quantization)</strong> 했습니다.</p><p>문제는 7천 개의 데이터셋에 charCNN을 학습시킨 결과, <strong>학습 정확도(training accuracy)</strong>도 향상되지 않지만, <strong>검증 정확도(validation accuracy)</strong>가 0.7868로 고정되는 점이었습니다. 0.7868이 의미하는 바는 바로 데이터 셋의 정답 비율이었습니다. 바꿔 말하면, 정답 비율이 높은 걸로 무조건 답을 찍는 게 학습하는 것보다 점수가 높은 걸 모델이 학습해 버렸습니다.</p><p>Parameters도 줄여보고, quantization size도 줄여가면서 무엇이 문제인지 판단해야 했습니다. 추측건대 상당히 <strong>과적합(overfitting)</strong>되었기 때문에 데이터 셋을 늘리고, 모델을 얕게 만들어야 하지 않을까하는 가설을 세웠습니다.</p><p><a href="http://yann.lecun.com/exdb/mnist/"><strong>MNIST 손글씨</strong></a> 예제를 여러가지 모델로 실험하던 중 이와 비슷한 경우가 있었는데, 지나치게 깊은 계층을 사용하였을 때입니다. 깊은 계층으로 인해 수렴하지 못한다면, 반대로 동일한 깊이일 때 적은 데이터일 때도 수렴하기 힘들다고 결론내릴수 있습니다.</p><p>이를 증명하기 위해 동일한 모델에 논문에서 사용되었던 예시인 AG’s news의 데이터셋을 7천 개로 강제로 줄여서 학습시켰더니 동일한 현상이 나왔습니다. 그럼 다시 최소 얼마의 데이터에 수렴하는지를 판단하기 위해 데이터 사이즈를 조금씩 늘리면서 학습시킨 결과, 최소 3만 개의 데이터는 있어야 동일 모델에서 수렴하는 것을 확인할 수 있었습니다.</p><p><strong>👆</strong> 이 부분은 대략 1년 전 내용인데 재현하지 못해서 풀어서 이야기했습니다. 지금은 어떻게 해도 학습이 잘 되더라구요. 이렇게 기록이 중요합니다 😭</p><p>최소 3만 개의 데이터를 목표로 한땀한땀 레이블링 작업을 하다보니 어느덧 11만 개의 데이터셋을 확보할 수 있었습니다. 이때 많은 분들이 함께 작업을 도와주셨습니다. 8만 개의 학습데이터와 2만 개의 평가용 데이터, 그리고 테스트 데이터 1만 개를 준비하였습니다. 클래스는 7:3의 비율을 가지고 있습니다. 이를 바탕으로 새롭게 모델링을 시작했습니다.</p><h3>3. 삽질의 결과</h3><p>이전보다 훨씬 풍부해진 데이터를 바탕으로 모델은 슬슬 좋은 결과를 보여주기 시작했습니다. 나아가 “ᶠᵤᶜᵏ” 과 같은 특수기호는 sparse<strong> </strong>혹은<strong> 차원의 저주(</strong><a href="https://en.wikipedia.org/wiki/Curse_of_dimensionality"><strong>curse of dimensionality</strong></a><strong>) </strong>라고 불리는 문제가 발생하여 quantization에 제외했습니다. 특수기호에 대해서는 규칙기반으로 대처하는 것이 훨씬 효율적이고 효과적인 결과를 보였습니다.</p><p>이외에 문맥상 전혀 부적절한 표현에 영향을 주지 않는 “?”, “/“ 같은 특수기호들도 무시하도록 했습니다. 그리고 논문상에 언급된 input size를 1014 에서 512로 줄였습니다. 논문에서도 나온 내용이지만 1014개의 글자 수만으로 문서(documents)를 분류하는데 충분했습니다. 그리고 왓챠(앱)의 텍스트 특성상 장문으로 작성된 텍스트보다 짧은 몇 문장의 텍스트에 부적절한 표현이 빈번히 출현하여, 문자수는 512로 줄여도 충분히 좋은 성능을 보이면서 더 잘 수렴하였습니다.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cqDEnBVEdiOA56t6pi0zhw.png" /><figcaption>[quantization 예시]</figcaption></figure><p>VDCNN같은 경우 charCNN의 후속모델이자 훨씬 깊은 layer를 사용하기 때문에 더 좋은 성능을 보이는 것으로 나왔습니다. 하지만 11만개의 데이터로는 VDCNN보다 charCNN이 더 최적화된 결과를 보였습니다. 해당 데이터로 이미 charCNN도 약간의 과적합된 결과를 보여주었습니다.</p><p>VDCNN의 장점은 깊은 계층을 이용하다보니 AG’s news같은 200K 부터 4M 데이터에서 좋은 성능을 보이는 scalability의 특징이 있습니다. 때문에 미래에 추가로 수집된 데이터를 바탕으로 최적화할 경우 VDCNN이 charCNN보다 더 나은 성능을 보여줄 여지가 충분합니다.</p><p><strong>인공신경망(neural network)</strong> 관련논문들을 보면 해당 문제에 상당히 잘 튜닝된 평가 점수들로 소개되고 있습니다. 바꿔 말하면, 다른 도메인에서는 논문에서 언급된 만큼의 성능이 나오지 않을 수 있습니다.</p><pre>tip!</pre><pre>Batch Normalization과 dropout을 동시에 사용하지 않길 권장드립니다.</pre><pre>왜냐하면 너무 많은 정보손실이 일어나기 때문입니다.</pre><pre>ResNet, VDCNN 둘다 batch norm을 사용해서 dropout은 사용하지 않았습니다.</pre><p>최종적으로 11만 개의 텍스트 데이터와 charCNN모델을 바탕으로, 96%의 정확도를 보이는 부적절 텍스트 자동화 시스템을 구축할수 있었습니다.</p><pre>+-----------+----------+-----------+----------+<br>|           | Ensemble |  charCNN  |   VDCNN  |<br>+-----------+----------+-----------+----------+<br>|    acc    |  0.9223  |   0.9638  |  <strong><em>0.9774</em></strong>  |<br>|   recall  |  0.8196  |   <strong><em>0.9215</em></strong>  |  0.6702  |<br>| precision |  0.8832  |   <strong><em>0.9513</em></strong>  |  0.8303  |<br>+-----------+----------+-----------+----------+</pre><p>아래의 예시가 금칙어 기반, word embedding으론 처리하기 힘들었던 부적절한 표현들을 잘 분류하는걸 확인할수 있었습니다.</p><pre>[예시1]</pre><pre>잘 만들었는데 ^^ㅣ발 ㅈ같음</pre><pre>[예시2]</pre><pre>배두나 연기 오졌다.<br>&quot;간통죄로 콩밥먹었으면 내 배가 벌써 콩밥이야 씨 ㅂㅏㅏㄹ!!!&quot;</pre><p>추가적으로 charCNN의 ensemble 모델은 특별히 성능적 우위를 보이지 않아, 단일 모델만 사용하였습니다.</p><p>그리고 word embedding based model에서 character level CNN으로 변경되며 특히나 큰 이점을 보인 부분이 메모리의 효율성이었습니다. word embedding은 학습 시 사용된 모든 unique word(18만개)를 기억해야 해서 대략 2.7GB의 많은 용량에, 높은 메모리 점유율을 보였습니다. 반면에 character level CNN의 경우 신경망의 parameters만 기억하면 되어 메모리 효율이 높았습니다.</p><h3>4. 드디어 성공</h3><p>최종적으로 character-level CNN이 준 실시간으로 유저들이 작성하는 텍스트 중 부적절 여부를 판단하고 있습니다. 이에 해당되는 텍스트는 CS팀에서 최종적으로 확인할 수 있는 자동화 프로세스가 도입되었습니다.</p><p>그리고 적극적인 구글링을 통해 참고자료를 확보해 나가는 것이 중요합니다. 특히나 데이터셋은 얼마만큼이 충분한지, 내가 만든 모델의 성능은 충분히 뛰어난지, 검증점수(validation score) 기준으로는 좋지만 실제 비지니스 수준에서 유의미하게 사용할 수 있는지 등등입니다. 결국 뛰어난 알고리즘도 중요하지만, 이보다 실제 제품에 잘 녹이는 것이 제일 중요하다고 생각합니다. 추가적으로 96%의 정확도라 하였지만, 도메인, 모델에 따라 체감되는 성능은 얼마든지 달라질 수 있음 을 염두에 두어야 합니다.</p><h3>[마무리]</h3><p>이제는 더이상 CS팀에서 하나하나 금칙어를 검색하고, 읽어보는 수고를 하지 않아도 됐습니다. 그리고 무엇보다 왓챠(앱) 유저들에게 조금은 더 깨끗해진 코멘트를 보여줄 수 있게 됐습니다.</p><p>앞으로의 개선방안도 여전히 많이 남아 있습니다. 레이블링 작업에 공수가 상당히 많이 들어갔는데, 이를 <a href="http://openaccess.thecvf.com/content_iccv_2015/papers/Papandreou_Weakly-_and_Semi-Supervised_ICCV_2015_paper.pdf"><strong>weakly supervised learning</strong></a>을 통해서 앞으로의 문제에 대해서 좀더 효율적으로 리소스를 관리할 수도 있습니다. 또한 <a href="https://arxiv.org/pdf/1508.06615.pdf"><strong>character aware language model</strong></a>을 만들어 다용도의 자연어처리를 수행할 수 있습니다. 최근 SOTA(state of the art)를 갱신하고 있는 <a href="https://arxiv.org/pdf/1810.04805.pdf"><strong>BERT</strong></a>, 혹은 <a href="https://arxiv.org/pdf/1906.08237.pdf"><strong>XLNet</strong></a>을 활용하는 방법도 있습니다. 추가적으로 CNN에서 좋은 성능을 보여주는 <a href="https://arxiv.org/pdf/1905.11946.pdf"><strong>EfficientNet</strong></a>과 같이 이미지처리를 해주는 테크닉들을 이용한다면 충분히 좋은 논문주제로 발전시킬 수도 있습니다.</p><p>왓챠 R&amp;D팀에서는 tensor factorization, graph neural network, deep reinforcement learning등 다양한 문제와 방법들을 연구 개발중에 있습니다. 함께 고민하고 문제를 해결하고 싶으신 분들은 <a href="http://team.watcha.com/joinus/"><strong>채용공고</strong></a> 로 지원해 주시면 됩니다.</p><p>감사합니다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=57587ecfae78" width="1" height="1" alt=""><hr><p><a href="https://medium.com/watcha/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EB%B6%80%EC%A0%81%EC%A0%88-%ED%85%8D%EC%8A%A4%ED%8A%B8-%EB%B6%84%EB%A5%98-%EC%8B%A4%EC%A0%84%ED%8E%B8-57587ecfae78">머신러닝 부적절 텍스트 분류: 실전편</a> was originally published in <a href="https://medium.com/watcha">WATCHA</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[성찰 — 르네 데카르트]]></title>
            <link>https://medium.com/@junkicho/%EC%84%B1%EC%B0%B0-%EB%A5%B4%EB%84%A4-%EB%8D%B0%EC%B9%B4%EB%A5%B4%ED%8A%B8-aa6fe599e73?source=rss-539b3fb12fa3------2</link>
            <guid isPermaLink="false">https://medium.com/p/aa6fe599e73</guid>
            <dc:creator><![CDATA[Junki Cho]]></dc:creator>
            <pubDate>Sun, 10 Feb 2019 11:10:43 GMT</pubDate>
            <atom:updated>2019-02-10T11:10:43.664Z</atom:updated>
            <content:encoded><![CDATA[<h3>성찰 — 르네 데카르트</h3><p>데카르트의 성찰은 꼭 다루고 싶었던 책이다. 내가 생각하는 철학이란 인간은 무엇인가, 나는 누구인가 등등 자아와 관련한 깊은 고민에 대한 것이 철학이라 생각했다. 이에 형이상학이 이 근본을 이루고 있고, 아리스토텔레스 이후 신의 존재에 대한 논리적 전개가 내가 성찰을 읽고 싶었던 이유이다. 개인적으로 신의 존재를 믿지 않고, 이를 논리적으로 이해하기 위해 데카르트의 사상을 이해해 보려 하였다. 성찰에서 신의존재를 부정하고, 이를 통해 내가 존재한다는 내용의 전개가 이루어질줄 알았는데, 전혀 잘못 알고 있었다.</p><p>데카르트의 주장을 따라가면서, 신의 존재에 대해 다시한번 생각해 보았다. 그의 주장에 따르면 신은 존재한다. 내가 생각하는 가톨릭이나 힌두같은 신에 대해 다루는 종교의 신의 형상과 데카르트가 주장하려하는 신의 존재는 사뭇 다르다는 느낌을 받았다. 지금도 어떻게 생각하면 신의 존재에 대한 주장이 맞는가 하면서도, 어떻게 생각하면 신은 존재하지 않는것 같다. 결론적으로 말하면, 신의 존재는 있다고 생각한다. 우주에 대해 인간이 얼마나 알지에 대해서는 모르지만, 상상조차 하기 힘들고 “모른다” 학계 정설로 알고있다. 그럼 인간이 상상하거나 정의할수 없는 우주의 탄생이나 어떤 현상등을 “신”이라 정의한다면 그에 대해 나는 동의할수 있다. 종교에서 말하는 신은 동의하기 힘들다.</p><p>하지만 몇가지 의문점이 남는다. ‘나는 누구인가’ 여기서 ‘나’를 지칭할수 있는 것은 무엇인가 에 대한 질문이다. 첫번째로 생각난 예제가 ‘테세우스의 배’이다. “영웅의 배가 조금씩 낡아 판자를 하나씩 갈면서, 나중에는 하나의 조각도 더이상 테세우수의 배가 아니게 될때 여전히 이 배는 테세우스의 배로가 칭할수 있는가” 와 같은 질문이 많이 등장한다. 앞선 최초의 의문점으로 다시 회귀하면, ‘나’ 라고 지칭할수 있는 이유는 뇌인가? 몸인가? 단순 이름인가?(정신 혹은 영혼같은 추상적 개념은 논외로 하도록 하겠다) 물리적으로 몸을 100% 복제하는 순간 기존의 나를 100%제거한다면, 복제된 나는 완전한 나라고 지칭할수 있는가?</p><p>데카르트는 이를 자신의 생각은 온전한 본인이라고 정의하였다. 하지만 인간의 뇌, 특히 생각은 쉽게 오염당하고 조정당할수 있다. 이때문에 “생각의 주체가 나 이다” 라는 큰 전제가 흔들리면서 뒤의 모든 주장이 흔들리게 다가왔다. 이부분에 대해서 내가 데카르트의 생각을 전혀 잘못 이해한 것일줄 모른다. 내가 확신하는 것은 존재하기 힘들기 때문에 의심하는 것은 옳은 행위라 생각한다.</p><p>위의 의문점에 대해서 이해를 한다면 데카르트의 주장들을 따라가면서 고개를 끄덕거릴수 있겠다 (마지막장의 정신과 육체에 대한 부분은 동의하지 못하겠다)</p><p>드라마 ‘웨스트월드’에서 처럼 host들은 입력받은 몇개의 나레이션을 기준으로 자신이 일반적인 사람과 동일하게 생각하고 행동할수 있게 해준다. 이는 호스트가 자신이 인조된 것인지 자체를 인식하지 못하게 해준다. 심지어 내가 이렇게 생각할수 있는 것은 나 스스로 생각 했기 때문이다 라고 사고하도록 프로그램되어져 있다. 이러한 호스트를 본인이 사고하기 때문에 존재한다고 할수 있을까. 데카르트가 주장하고 싶었던 내가 생각하기 때문에 생각은 오롯이 나의 것이다 라는 주장은 위의 상황에서 막힌다. 호스트가 스스로 나 라고 할수 있고, 호스트의 생각이 프로그램 되었지만 이또한 스스로 생각하고, 존재한다 라고 말할수 있다. 이것은 생각의 존재에 대한 정의이기 때문에 부정할수 없다. 하지만 데카르트가 주장하고 싶었던, 내가 실제하고, 이를 통해 신이 존재한다라고 주장한 말에는 다시한번 심사숙고할 필요성이 생긴다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=aa6fe599e73" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[행복의 정복 — 버트런드 러셀]]></title>
            <link>https://medium.com/@junkicho/%ED%96%89%EB%B3%B5%EC%9D%98-%EC%A0%95%EB%B3%B5-%EB%B2%84%ED%8A%B8%EB%9F%B0%EB%93%9C-%EB%9F%AC%EC%85%80-342ba3b5ee87?source=rss-539b3fb12fa3------2</link>
            <guid isPermaLink="false">https://medium.com/p/342ba3b5ee87</guid>
            <dc:creator><![CDATA[Junki Cho]]></dc:creator>
            <pubDate>Sun, 10 Feb 2019 11:09:59 GMT</pubDate>
            <atom:updated>2019-02-10T11:09:59.163Z</atom:updated>
            <content:encoded><![CDATA[<h3>행복의 정복 — 버트런드 러셀</h3><p>러셀의 ‘행복의 정복’ 에서 앞부분의 ‘행복이 당신곁을 떠난 이유’는 마치 상세한 체크리스트 같았다. 하나하나 체크해 나가면서 ‘어! 내가 이런부분들에 집착하고 있었구나.’ 혹은 ‘아 나는 이런 요소와는 전혀 상관 없는 사람이구나’ 등을 회고하면서, 행복해 지기위한 준비를 마쳤다. 여기까지는 아 내가 특히 ‘자기안에 갇힌사람’, ‘걱정’등의 요소가 나에게는 큰 요소이구나 라는 것을 재확인 할수 있었고, 이러한 집착을 버리면 내가 행복해 질수 있겠구나 라는 생각을 해 보았다. 문제는 두번째 ‘행복을 찾아떠나는 여정’에서 시작되었다. 책을 읽어나가면서 러셀이 정의한 나름 행복한 삶을 살아가고 있었다. 사실 부모에 관한 내용도 어느정도 내가 추구하는 바와 동일하지만, 대부분 내가 현재 살고 있는 삶, 그리고 추구하는 바와 대부분 동일 하였다. 그럼 다시 이 책을 다 읽고 나서 스스로에게 ‘나는 행복한 사람인가’ 에 대하여 질문 하였을때 나는 행복하지 않은 사람이다라고 말하고 싶다.</p><p>러셀의 정의대로라면 나는 행복한 사람인데, 그럼 이러한 괴리감은 어디서 나오는 것일까. 아마도 출발은 이십대 중반으로 거슬러 가보고 싶다. 경제학에 관심이 있다면, 학부생때 경제학원론 수업을 많이 들었을 것이다. 교양으로도 많은 사람들이 관심을 가지는 과목이기도 하다. 경제학원론수업의 어떤 교과서이든 첫장을 펼치게 되면 첫 쳅터가 ‘경제학이란 무엇인가’ 이다. 경제학은 다음과 같은 정의를 가진다 “제한된 자본으로 무제한적인 욕구의 최대만족도를 할당하는 학문이다” 아마 이때부터 였던것 같다 내가 행복이란 단어와 멀어지게 된 계기가. 개인적으로 행복이란 단어를 추구한 기억이 별로 없다. 왜냐하면 행복해 지고 싶다는 욕구는, 내가 행복하지 않으면 불행하다는 이분법적 사고로 지배될거라 생각해서이다. 대신 최소의 후회할만한 행동의 집합과 최대 만족도를 가질수 있는 삶을 행복한 삶대신에 택하였다.</p><p>지난 일년간 새로운 분야에서 일하기 위해 필사적으로 공부하였고, 운이 좋게 원하는 회사, 원하는 일을 할 기회를 얻었다. 가끔 사람들이 나에게 ‘원하는 일을 하게 되어서 좋으시겠어요’ 라고 묻는다. 이에 대한 나의 대답은 ‘그렇습니다’ 이다. 사실 요즘 이보다 더 만족할수 있을까 싶다. 하지만 전혀 행복하다고 느끼지는 않는다. 딱히 마음속 공허함도 존재하지 않고, 크나큰 스트레스도 없다. 행복에 대한 기대도 집착도 없다.</p><p>뭐가 문제(?)일지 생각해 보면 두려움일수도 있겠다. 어떤제목의 웹툰이였는지 모르지만 ‘기대없는 절망은 없다’ 라는 내용이 너무 머리속에 강하게 밖혀서, 내가 행복을 추구하지 않으면 큰 실망도 없겠구나 라는 이유였을지도 모르겠다. 아니면 내가 ‘행복의 정복’을 전혀 잘못 이해 하였을지도 모르겠다. 사실 행복을 추구하는 것 자체가 옳은 일인가 싶다. 개인적인 의견으로 삶을 살아가는데 행복은 옵션이라고 생각한다. 행복하면 좋은것이고 아니면 마는것이고. 삶, 일, 결혼등 사람들이 행복을 추구한다. ~~하는데 행복할줄 알았는데 행복하지 않아요. 삶의 목적이 행복일 필요가 전혀 없다고 생각하고, 다른 요소의 목적도 마찬가지라 생각한다. 오히려 행복을 정복하고 추구하기 위한 욕구가 인간을 훨씬 불행하게 만드는 것이 아닌가 생각해 본다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=342ba3b5ee87" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[도덕경 — 노자]]></title>
            <link>https://medium.com/@junkicho/%EB%8F%84%EB%8D%95%EA%B2%BD-%EB%85%B8%EC%9E%90-50c2d1d8a5b9?source=rss-539b3fb12fa3------2</link>
            <guid isPermaLink="false">https://medium.com/p/50c2d1d8a5b9</guid>
            <dc:creator><![CDATA[Junki Cho]]></dc:creator>
            <pubDate>Sun, 10 Feb 2019 11:09:24 GMT</pubDate>
            <atom:updated>2019-02-10T11:09:24.223Z</atom:updated>
            <content:encoded><![CDATA[<h3>도덕경 — 노자</h3><p>네번째 수정본을 작성한다. 분명 도덕경이 나에게 좋은책이라는 것은 분명하다. 책을 읽어나가면서 지난 날들이 스쳐 지나간다. 한때 많이 고민하고 추구하려고 하였던 본질들에 대해 다시한번 회고하는 기회가 되었다. 스스로 정말 많은 고민들을 하였고, 정의내려 왔다. 운이 좋게 존재(도, 즉 자연)에 대해 고민하던 시절, 귀찮았을수도 있지만 주변에 많은 분들이 진지하고 좋은 가치를 확립할수 있게 도와주었다. 옳은 의사결정을 행할수 있는 행동, 이 행동이 올바르게 작용할수 있게 생각하는 방법, 사물과 존재의 가치등에 대해 고민하고 또 고민하고 배웠다.</p><p>책을 읽으면서 무엇에 대해 이야기 할지, 짧은 글로서 표현하기는 힘들것이다. 하지만 네번째 수정본을 작성하면서 변치 않는 도에 대한 나의 생각은 다음과 같다. 도(진리)란 나의 꿈으로 회귀하고, 이 꿈을 이루기 위해 노력하는 것이 도덕경이 의미하는 도를 행하는 일이라고 생각한다.</p><p>마이클 펠프스나 이상화 선수와 같이 각기 자신의 분아에서 인류의 한계에 도전하고 끝없이 자기 자신을 수련하고 또 수련하는 것이 내가 이해한 도를 행하는 방법이다. 분명 내가 성인군자가 되지는 못할 사람임에 잘 안다. 인류에 위대한 업적을 분명 남기지 못할 것이다. 그럼에도 내 자신을 잘 알고, 내가 좋아하는 것 등에 대해 명확히 정의하고, 마흔의 나이에 유혹에 현혹되지 않고, 일흔의 나이에 마음가는 대로 행동하되 법에 어긋나지 않는 삶을 산다는 것은 정말 명예롭고 멋진일이라 생각한다. 이것이 내가 스스로에게 정의하고 반성하는 인생의 길이자 도덕경에서 개인이 가져야할 소양이라 생각해 보았다.</p><p>도덕경을 읽어나가면 너무 좋았던 부분은 마치 노자와 내가 대화하는 느낌이 들었다. 이는 내가 좋아하는 사람, 존경하는 사람들과 이야기 하던 순간과 같았다. 노자가 나에게 이야기를 들려주고, 나는 고개를 끄덕이며 사람의 사람다움에 대해 이야기하는 느낌이였다. 사랑, 자유도 짧게 이야기 하기 힘든 가치이지만, 도덕이란 것은 인간의 삶 전체, 이를 초월하여 감히 정의하고 이름지을수 없는 것에 대해 이야기하고 고민해 본다는 것은 정말 멋진일이라 생각한다.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=50c2d1d8a5b9" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>