2022년도 많이 힘들었다. 2021년의 힘들었던 일들이 2022년까지 계속 이어졌기에 마음이 무너질 것 같은 순간들이 많았다. 상황 그 자체보다의 어려움도 있지만, 앞으로도 계속 그리할 것 같다는 미래에 대한 걱정과 암담함이 더 힘들게 할 때가 많은 것 같다. 외부적으로도 경제상황이 급속히 악화되면서 고용도 불안정해지고 미래에 대한 예측을 하기가 힘들어졌다. 수석 연구원으로 승진했다는 기쁨이 있긴 했지만, 사실상 새로운 팀에 와서 새로운 직책을 맡게 되면서 스스로가 어떤 역할을 해야 할 지 혼란스러워하며 2022년 내내를 보냈다. 그렇지만 그 과정에서 정말 많은 사람들이 나를 믿고 도움을 주었다. 나 자신을 믿고 좀 더 해봐야겠다는 힘을 주는건, 역시 늘 좋은 사람들인 것 같다.

내년의 공개적인 목표는 내가 만족할 수 있는 논문 한 편을 써보는 것이다. 한 해에 수십편씩 논문을 쓰는 분들 앞에서 이런 소박한 목표를 얘기하기 부끄럽지만, 내가 생각하기에 이 정도면 괜찮다 싶은 논문 한 편을 제출이라도 하고 2023년을 마무리지으면 기분이 썩 나쁘지 않을 것 같다. 숫자를 2편, 4편, 8편으로 늘려가는건 그 다음에 생각해보면 되겠지.

대체로 커리어가 발전함에 따라서 점점 “급하지 않지만 중요한 일"에 시간을 쓰는 것이 더욱 어려워진다. 직급이 높아질수록 점점 더 많은 사람들이 내 결정에 의존하게 되고, 예상치 못하게 급한 요청을 받는 경우들도 빈번해진다. 그러다 보면 내 시간을 자기 주도적으로 계획하기가 어렵다. 나를 비롯해 많은 사람들이 처음 시니어가 되면서 주위에서 쏟아지는 요청들을 야근까지 하면서 정신없이 처리하다가, 결국 한참동안 굵직한 일들은 하나도 제대로 처리하지 못하고 좌절하고 결국은 번아웃되는 경우들을 보게 된다.

이런 번아웃을 막기 위해서는 필요한 거절을 잘 해야 한다는 조언은 자주 들었고 크게 공감했지만, 그것을 실행하는 측면에서는 어려움을 느꼈다. 예를 들어 내가 방금 받은 이 승진 문서 심사 요청을 수락한다면 요청한 사람에게는 분명히 큰 도움이 될 것이다. 그런데 과연 이 일은 다른 어떤 일과 트레이드 오프 관계에 있는 것인가? 를 고민하면, 내가 하고 있는 일이 한두가지가 아니기 때문에 분명한 트레이드 오프가 보이지 않는다. 일 뿐만 아니라 건강이나 가족과의 관계 등 까지 포함해서 생각하면 더욱 어렵고. 기회 비용이 분명하지 않으니 결국 웬만하면 수락하게 된다.

이런 저런 시행착오를 계속해오다, 최근에는 “최소 조건"들 중심으로 자신을 관리하는 것이 이런 고민을 해결하는 데 상당히 도움이 된다고 느끼게 되었다. 대단한 것은 아니고, “정말 이것을 최소한 며칠에 한번 얼마 만큼은 꼭 해야 한다"는 기준들을 몇개라도 세우는 것이다. 예를 들면 내 경우에는 하루에 논문 1편을 읽기, 하루에 코딩처럼 기술적인 일을 하는 시간을 1시간 이상 갖기, 일주일에 3번 30분 이상 운동하기, 금요일 밤에는 영화를 보기, 뭐 이런 것들을 최소 조건으로 두고 있다. 그리고 앞의 두개처럼 업무의 일부인 것들은 회사 캘린더에 가능한 일찍 미팅을 잡을 수 없는 “바쁜 시간"으로 설정해 둔다.

조금 부끄럽지만 보다시피 대단하다고 할 수 있는 기준들은 아니다. 그렇지만 내 경우 이 만큼도 흔들림 없이 꾸준히 계속하는 것은 상당히 쉽지 않다고 느낀다. 매일 일기를 쓰면서 각 조건들을 얼마나 만족시켰는지 적고, 매 주가 끝날 때마다 그 주에 적어놓은 것들을 보면서 어떤 목표가 너무 낮거나 (그런 경우는 없다) 너무 높은지 확인해 본다.

최소 조건 중심으로 자신을 관리할 때의 장점은 자신이 어떤 상태에 있는지 비교적 명확하게 확인할 수 있다는 점이다. 예를 들어 며칠째 지속적으로 “하루에 논문 1편을 읽기" 조건을 만족시키지 못하고 있다면, 일단 이 목표가 내게 정말 필요한지 돌아볼 필요가 있다. 그리고 내 커리어라든지 자기만족을 위해 이 조건은 정말 양보할 수 없는 것이라면, 내게 어떤 환경적인 변화가 필요한 시점임을 분명하게 인식할 수 있다. 애석하지만 많은 경우 “더 이상 이 조건은 지속 가능하지 못하다"라고 포기하는 것이 불가피하다. 그러나 최소 조건들을 관리하다 보면 명시적으로 우선순위를 고민하게 되고, 이런 고민 후에 포기하는 것이, 별 생각 없이 하다 말다 하다가 유야무야 그만두게 되는 것 보다는 자기관리에 도움이 될 것이다. 육아를 시작하면서 부터는 몇 달마다 자기관리에 쓸 수 있는 여력에 큰 변화가 찾아왔기 때문에 이렇게 최소조건들 관리를 통해 현재의 상태를 재확인하고 하나씩 인생의 목표들을 줄여나가는 것이 도움이 되었다. 그렇지만 눈물이 흐르네요…

최소 조건들이 유용한 또다른 이유는 많은 종류의 기술 계발에 있어서 조금씩이라도 꾸준히 하는 것이 정말 중요하기 때문이다. (내가 잘 하고 있는 것은 아니지만) 언어나 악기 연주의 경우 아주 많은 시간을 쓰지 않더라도 오랫동안 계속하면 장기적으로는 누적되는 측면들이 있다고 생각한다. 그리고 그 이상으로 중요한 것이 의욕의 관리에 도움이 된다는 점이다. 의욕이란 화초와 같아서, 꾸준히 유지가 될 때는 마치 영원히 내 삶과 함께할 것 같지만 두세달만 방치해도 의외로 더이상 찾아오지 않는 경험을 많이들 하게 된다. 아무리 못해도 일주일에 하루라도 기타를 한 시간은 치자- 라는 다짐을 지속하다 보면, 특별히 실력을 늘리기에는 터무니없이 작은 시간이더라도, 이번에 치는 곡을 마무리하고 나면 다음엔 뭘 할 지 생각해 본다거나 유튜브 보며 빈둥거리는 시간에도 연습법들을 찾아보게 된다거나 하며 태도가 아예 치지 않을 때와는 상당히 달라진다는 것을 느꼈다.

물론 많은 방법론들이 그렇듯 단점들도 있다. 가장 치명적이라고 느끼는 부분은 이런 식으로 자신을 관리해서는 어떤 일에 충분히 몰입하기가 쉽지 않다는 것이다. 내 경우 아주 테크니컬한 새로운 연구 분야에 진입하려고 지속적으로 노력 중인데, 이런 식으로 최소한의 시간만 써서는 좀처럼 발전을 이루기가 어렵다고 느끼고 있다. 20대까지는 다른 것들을 돌보지 않고 하나에 몰입해서 많은 시간을 쓰고 나면 크게 성장해 있는 자신을 느꼈는데, 더이상 그런 기회를 만들어내지 못해 많이 아쉽다. 그러나 이제 내가 회사에서나 가정에서나 내게 의존하는 사람들이 있고 또 내가 의존하는 사람들이 있는 만큼 그런 방식의 성장은 이제 포기하거나, 아니면 커리어를 완전히 틀어야 할 것 같다.

글을 이렇게 쓰긴 했지만 이런 조건들을 아주 엄밀하게 지키는 것은 아니고, 그냥 시간을 어떻게 쓸 지 고민할 때 가이드라인이 되는 생각의 프레임워크 정도로 쓴다. 특히 일을 하다 보면 발등에 정말 불이 떨어지는 순간들이 있는데, 그런 때는 과감하게 당분간 포기한다. 그러면 무슨 최소 조건이냐고 얘기할 수도 있겠지만… 이런 형태의 자기관리를 계속 하다 보니 한 번 흐트러져도 다시 리듬을 회복할 수 있다는 자신감을 얻게 되었다.

그리고 좀 곁가지지만 개인적으로 어떤 사람의 개성과 능력은 상당 부분 “최소한 XX는 해야지!”의 XX가 무엇인지에 따라 정해진다고 생각한다. “내가 프리젠테이션을 하는데 최소한 말 더듬는 모습은 보이고 싶지 않다" “탑티어 학회에 논문을 내지는 못하더라도 최소한 실험 설계는 깔끔하게 되어 있는 논문을 쓰겠다" 같은 최소한-들이 남들이 포기하고 그만두는 시점에 조금 더 힘을 내게 만드는 것 같다. 그래서 “나를 정의하는 최소한-들은 무엇인가?”를 평소에 고민하는 편이다 보니, 자기 관리도 이런 측면에서 접근하게 되는 것 같다.

이 글도 최근에 뭔가 글을 써 본지 너무 오래 됐다는 생각에, 최소한 몇 달에 한 번은 뭔가를 써야지! 하면서 쓰게 되었다… 하지만 곧 포기하게 될 목표가 아닐지…

일단 소프트웨어 엔지니어 입장에서 기계학습이 정말 싫은건 언제 작동하고 언제 작동하지 않는다는 명확한 약속을 해주지 않는다는 점이다. 현대의 소프트웨어 시스템은 정말 많은 요소들로 구성되어 있는데, 이렇게 책임감이 부족한(?) 녀석이 하나라도 중간에 끼어 있으면 시스템의 신뢰도가 많이 낮아진다. 여러 기계학습 컴포넌트들이 상호작용하는 시스템이라면 말 할 것도 없고. 좋은 소프트웨어 엔지니어들은 시스템의 강건성에 집착과도 같은 주의를 기울이기 때문에 많은 이들이 기계학습을 좋아하지 않는다.

최근에 좀 복잡한 데이터 구조와 알고리즘을 구현했는데, 여기에 unit test를 붙이고 돌리면서 내가 구현한 이 알고리즘이 임의의 데이터에 대해서 작동을 보장할 수 있다는 점이 정말 신기하게 느껴졌다. 하도 기계학습만 하다 보니 “한 99% 정도만 돌아가도 대단한 것 아닌가?” 싶은 느낌. 복잡한 리팩토링을 하는 와중에도 unit test들은 내가 contract를 깨지 않았다는 확신을 주었다. 이런 확신이 있기에 더 복잡한 구조를 쌓아올릴 용기도 얻을 수 있다.

그렇지만 기계학습을 정말로 좋아하는 소프트웨어 엔지니어들도 있다. 딱히 수학이나 통계 혹은 인공지능 자체에 대한 관심을 갖고 있어서가 아니라, 순수히 소프트웨어 시스템을 만드는 것을 좋아하는 사람인데도 기계학습을 좋아하곤 한다. 그 전형적인 이유는 이들이 시스템적인 강건함 뿐만 아니라 로직의 강건함도 추구하기 때문이다. 검색 시스템 같은 것을 만드려다가 “고양이”라고 검색하면 “야옹이”가 들어간 문서는 찾을 수 없는 한계에 좌절하던 엔지니어들은 기계학습 흑마술에 관심을 갖게 된다. ㅎㅎ 수단과 방법을 가리지 않고 어떻게든 쓸만한 결과물을 만들어내는 걸 좋아하는 종류의 엔지니어들이 이쪽 길로 많이 빠지게 되는 것 같다.

사실 내 독창적인 생각은 아니고 내가 정말 존경하는 연구자인 Leon Bottou 같은 분이 2015 ICML keynote에서 훨씬 잘 설명하셨으니 기술적인 측면에 관심있는 분들은 강연을 보시는 것이 좋겠다. https://leon.bottou.org/talks/2challenges 딱히 나만의 새로운 얘기를 해보려고 글을 적은 것은 아니고, 그냥 기계학습 응용을 하는 사람으로서 엔지니어들과 교류하며 이런 생각을 할 때가 많아서 개인적인 감상을 적어보고 싶었다.

자본주의는 인간을 피폐하게 소모시킨다. 이 영화는 우리가 소모되지 않기 위해서 찾아야 할 가치들에 대해서 이야기하고 있다.

주인공 제이콥은 뛰어난 병아리 감별사로 캘리포니아와 시애틀에서 10년 넘게 일해온 베테랑이다. 병아리 감별사는 어두운 방에서 하루종일 병아리를 들여다보고 기계적으로 성별을 판단해야 하는 전형적인 자본주의의 톱니바퀴 같은 직업이다. 분업화된 시스템 내에서 영화 속의 병아리 감별사들은 생명에 대한 별다른 죄책감 없이 작업의 속도만을 신경쓴다. 이런 병아리들의 처지와 병아리 감별사들의 처지는 별반 다르지 않다. 제이콥은 아들 데이빗에게 왜 숫놈 병아리들을 폐기하는지 설명하며 쓸쓸한 표정으로 “우리는 쓸모가 있어야 되는거야"라고 말한다. 끊임없이 쓸모를 증명하지 못하면 제이콥 역시 이내 폐기될 운명인 것이다. 어린 아들 데이빗 역시 벌써 이런 세상의 이치를 이해하고 있다. “캘리포니아에서 우린 어땠지?”라는 아빠의 질문에 데이빗은 “아무것도 없었어요"라고 대답한다.

제이콥은 오랜 시간 동안 자본주의 시스템 내에서의 자신의 역할을 훌륭하게 수행해 왔다. 그렇지만 그는 더이상 이렇게 버틸 수 없다고 느끼고, 더이상 “아무것도 없는" 무산 계급이 아닌 자본가가 되기로 마음먹는다. 제이콥은 가족들에게 양해도 구하지 않고 아칸소로 이주를 결정한 후 농장을 시작한다. 딸에게 매년 미국으로 이민오는 한국인이 몇이나 되는지 아느냐며 통계를 들이밀고, 전통적인 방식으로 수원을 찾는 미국인들을 무시하며 한국인은 머리를 쓴다고 강조하는 제이콥은 벌써 합리적인 자본가가 다 된 듯 하다. 자본가로서의 그는 거만하고 독선적이기도 하다. 영화의 말미, 거만하게 의자에 앉아 너를 위해 기도해줘도 되겠냐는 폴의 제안에 쓸데없는 소리 하지 말고 내일 일찍 출근이나 하라고 윽박지르는 장면에서는 나는 아무리 사업이 어려워도 너와는 계급이 다른 자본가라는 말을 하려는 것처럼 보인다. 제이콥은 미나리를 심을 만한 좋은 장소를 찾았다는 장모의 말조차 “생각해 볼게요”라며 시큰둥하게 반응한다.

그러나 제이콥의 이런 얼마 안되는 자본가로서의 성취는 오로지 가족의 희생을 통해서 얻어진 것이다. 아내 모니카는 이사 온 첫 날 “이게 그 시작이면 우린 가망이 없어"라며 절망한다. 제이콥은 점차 많은 빚을 지기 시작하더니 종국에는 집에서 쓸 물까지 농장에 가져다 써서 집에 물이 나오지 않게 된다. 또 제이콥의 자본가로서의 위상은 매우 위태로운 것이다. 댈러스의 “진짜” 자본가들은 손쉽게 제이콥을 폐기하고 캘리포니아의 농장을 택한다.

이런 절망스러운 제이콥의 집에 희망으로 등장하는 것은 아내 모니카의 친정 엄마인 할머니다. 할머니는 전형적인 한국 노인이라고 생각하기에도 좀 엉뚱하다. 아들 데이빗의 기대처럼 쿠키를 구워줄 수 없는 것은 그렇다 치더라도 딸의 집에 와서 당최 아무것도 하지 않으며 종일 티비만 보고 아이들과 고스톱이나 치려 한다. 미국 자본주의의 굴레로부터 벗어나 있는 할머니에게서는 이상한 “한국 냄새”가 난다. 자본주의의 톱니바퀴로서 자신을 체화하고 이제는 자본가로서의 길을 걸으려 하는 아버지를 보면서 자란 데이빗에게 이런 할머니는 도무지 이해할 수 없는 대상이다. 부자든 가난한 사람이든 아무 음식에나 다 넣어먹는, 힘겨운 노동을 필요로 하지 않는 미나리처럼 할머니는 자본주의의 굴레 바깥에 있다.

그러나 할머니조차 잔인한 현실로부터 자유로울 수는 없다. 죽음을 두려워하는 데이빗을 보며 할머니는 가족을 지켜야 한다는 의무감을 느끼기 시작한다. 이런 의무감에 짓눌리는 인성은 뇌졸중으로 표현된다. 사지가 멀쩡할 때에도 하루종일 레슬링이나 보던 할머니는 이제 몸을 가누기 힘든데도 하루종일 집안일을 하고 농장 일을 도우려다가 마침내 불을 지르는 사단을 낸다. 할머니는 더이상의 무게를 견디지 못하고 집에서 도망친다.

이런 절망적인 상황에 놓인 가족을 구할 수 있는 것은 오로지 돈 뿐인 것일까? 제이콥은 “난 다 잃는 한이 있어도 끝을 봐야겠어"라며 가족조차 포기하려 한다. 아내 모니카는 이를 부정한다. “우리는 서로를 구하지 못하지만 돈은 할 수 있어?”라며 사업이 잘 풀린다고 가족의 모든 일이 다 해결된 것 처럼 구는 제이콥에게 이별을 선언한다. 모니카가 이런 독립을 선언할 수 있는 것은 이제 캘리포니아에서도 병아리 감별사로 일할 수 있을 만큼 실력이 좋아졌기 때문이라는 것, 즉 자본주의의 톱니바퀴로 기능할 수 있는 능력을 갖췄기 때문이라는 점이 아이러니하다. 이 결정은 할머니가 한국에서 가져다 준 돈 덕분이기도 하고. 결국 모니카를 구원할 수 있는 것도 돈 뿐처럼 보인다.

조금 통속적일 지 모르나 결국 주인공들은 가족 안에서 구원을 찾는다. 불타는 창고 안에서 미친듯이 농작물들을 옮기던 제이콥은 자신을 위해 같이 뛰어든 모니카를 보고 그제서야 가족의 소중함을 깨달았는지 애타게 아내를 찾기 시작한다. 그리고 제이콥은 마침내 농작물을 버리고 모니카와 피신한다. 할머니를 제외한 네 식구는 이사온 첫날 제이콥이 제안했던 대로 다정하게 한 방에서 함께 밤을 보낸다. 그리고 그들은 아마도 할머니가 모니카에게 줬던 돈으로 새로운 출발을 한다. 제이콥이 독단적으로 미국인들의 전통적인 수원을 찾는 방식을 무시했던 영화 초반의 장면과는 달리, 이번에는 제이콥과 가족을 상징하는 모니카, (신성한!) 노동자를 상징하는 폴이 다함께 수원을 찾는다.

하지만 사이좋게 잠든 네 식구를 바라보는 할머니의 표정은 묘하게 우울하다. 할머니는 이런 노력조차 잔인한 자본주의의 현실 앞에서 결국 소용 없음을 내다보고 있는지도 모르겠다. 그러나 영화는 제이콥이 “미나리는 알아서 잘 자라네, 할머니가 잘 골랐다"며 미나리를 캐는 장면으로 다소 밝게 끝난다. 할머니가 물려준 노동 없이 잘 자라는 미나리처럼 전통적인 가족의 가치는 자본주의의 굴레 바깥에 있으며, 우리가 자본주의 사회 안에서 인간성을 잃지 않고 버텨낼 힘을 준다.

결국 DAgger 공부 https://hyokunyun.medium.com/dagger-ross-et-al-aistats-2011-9d8b54faa838 하면서 읽고 싶어졌던 Kakade and Shalev-Shwartz (2008) 논문을 읽어봤다. 이 논문 역시 별다른 사전 지식을 필요로 하지 않으며 논문 내에서 대부분의 내용을 설명해줘, 쉽고 재미있게 읽을 수 있었다. 증명이 매우 간단하고 아름답다. 여기 나온 증명들 정도는 외워두는게 좋을 것 같아서 Anki에 추가해 놓았다. 앞서 DAgger 글에는 나같이 수학 못하는 사람이 굳이 읽을 필요가 있을까 고민했는데 이 시절 최적화 논문은 딱히 수학적 기반을 많이 필요로 하지는 않았던 것 같다. 수학 잘 하는 사람들이 들어와서 머신러닝 최적화 연구의 분위기를 바꾼 건 2010년대 초였던 것 같다.

논문의 주요 공헌은 Follow-the-leader 알고리즘을 Dual을 갖고 분석한 후, 이 분석이 좀 더 일반적인 dual variable update에 적용될 수 있음에 착안, 새로운 algorithmic framework을 제시한 것이다. 아래의 pseudo-code가 그것인데, FTL, gradient descent 외에도 이 논문에서 새로 제시하는 online coordinate dual ascent, 즉 다른 dual variable들은 그대로 두고 새 variable만 최적화하는 알고리즘이 이 framework로 설명된다.

이 논문에는 실험이 전혀 없다. 요새 이렇게 논문을 썼으면 절대 억셉될 수가 없었을 것이다. 확실히 이 시기 논문들은 좀 더 가벼운 마음으로 논문을 쓴 것이 느껴지고, 지적인 발견에 대한 기쁨이 전해진다. 오늘날은 논문 억셉 확률을 공학적으로 최적화하기 때문에 요즘 논문들을 읽는 것은 예전 논문들을 읽을 때와 같은 지적인 즐거움이 없다.

—

DAgger 논문 https://www.ri.cmu.edu/pub_files/2011/4/Ross-AISTATS11-NoRegret.pdf 을 처음 읽은지는 몇 년 된 것 같은데, 당시에는 imitation learning이란 개념 자체를 처음으로 배우는 단계였으므로 이 논문에 특별한 인상은 없었다. 뭐 알고리즘적으로는 당연히 이렇게 해야 하는 것 아닌가? 정도의 생각이 들었는데, literature에 비슷한 시도들이 적잖이 있었고 DAgger만큼 성공적이지 않았던 것을 생각하면, 역시 좋은 아이디어는 나중에 보기엔 간단해 보여도 떠올리는 것은 쉽지 않은 것 같다.

다시 읽어보니 굉장히 좋은 논문이다. 이론적인 결과도 재미있고, 요즘 논문(?)들처럼 이것저것 결과를 많이 내고 증명은 다 appendix로 보내지 않고 본문 내에서 상당히 self-contained한 증명을 하고 있다. 직접 증명하지 않고 가져오는 결과는 Follow-the-Leader algorithm의 no-regret guarantee 정도인 것 같다. 당시의 RL 연구 수준이 어떤지는 모르지만 두 개의 게임과 structured prediction task까지 꽤 퀄리티 좋은 실험을 했다. 궁극적으로 향후 application들에 많이 사용되기까지 했으니 말 그대로 할 건 다 한(?) 연구 같다. 이렇게 훌륭한 논문을 쓴 사람은 뭘 하고 있을까 찾아보니 Google/Waymo의 senior staff software engineer다. https://www.linkedin.com/in/stephane-ross-080796109/ 2013년 박사 졸업한 사람인데 벌써 이렇게까지 승진을… 하지만 질투를 하기엔 너무 넘사벽이다.

논문 얘기 조금. Optimal Policy에서 한 번이라도 벗어났을 때 얼마나 cost가 증가하는 지를 bound 해야 하는데, 이를 위해 다음 theorem의 조건을 가정한다. 여기에 대한 justification은 간단하게 주어져 있긴 하지만 깊이 다루고 있지는 않다. 주석에 달린 MDP의 mixing speed를 이용한 argument가 재미있는 것 같은데 왜 본문에 안 넣고 주석에 달았는지 모르겠다. 좀 더 깊이 생각해 보면 이 역시 hand-wavy 해서 그랬을까. 여튼 이런 가정 하에, optimal policy와의 0–1 loss를 갖고 cost를 bound 할 수 있으니 일반적으로 꽤 유용할 theorem이다.

핵심 결과는 다음 theorem. 일반적인 \beta_n 에 대해서 증명해서 \ell_max term들이 지저분하게 주렁주렁 달리긴 하지만 사실 이론적으로나 실험적으로나 두번째 값부터는 바로 0으로 세팅해도 되기 때문에 사실 큰 의미는 없다. 논문이 아니라 강연을 하는 거면 그냥 빼버렸어도 되었을 것 같다. 핵심 아이디어는 Leader의 loss를 이제까지 policy 들의 loss의 평균으로 bound 하고, 그 다음에 이 loss의 평균은 Follow-the-Leader 알고리즘의 best loss in hindsight + regret으로 쓰여질 수 있다는 것이다.

처음 읽었을 땐 그냥 이런 알고리즘이구나 하고 던져 버렸었는데, 이번엔 theorem들을 찬찬히 살펴보니 논문 내용만 읽고서도 쉽게 이해할 수 있도록 논문 구성이나 증명의 presentation을 잘 했다는 점이 인상적으로 들어왔고, 훨씬 건진게 많은 느낌이다. Kakade and Tewari의 Follow-the-Leader 논문을 읽어보지 않았는데 이 정도는 찾아서 읽어줘야 하지 않을까 vs. 수알못이 이런걸 알아서 뭐하나 하는 고민이 든다. 그래도 Ross는 Follow-the-Leader를 잘 이해하고 있었으니 이런 발상을 할 수 있었겠지.

일에 있어서는 리더쉽 기회가 많이 요구되는 한 해였는데, 딱히 그걸 잘 해낸 것도 아니면서도 거기에 집중력이 많이 분산돼서 한 명의 연구원으로서의 기술적인 기여도 만족스럽지 못했다. 사실 기계학습에 갑자기 스포트라이트가 쏟아지면서 젊은 나이에 빠르게 높은 지위로 올라가 큰 규모의 리더쉽을 펼치는 사람들이 생겼고, 나는 질투하는 마음에 속으로 내게 기회가 주어진다면 저런 사람들보다 더 잘 할 수 있다며 불평하곤 했었다. 그런데 막상 조금의 기회가 주어지니 여러 사람을 이끌어 결과를 낸다는 것이 정말 어렵다는 것을 실감할 수 있었고, 높은 지위에서 활약하는 사람들이 내게 없는 좋은 장점들을 많이 갖고 있다는 것을 깨달았다.

일이 잘 풀리지 않으니 학문적인 연구에도 시간을 할애하기 어려워서 이렇다할 성취 없이 한 해를 흘려보내 버렸다. 그나마 기초 중의 기초라고 여겨지는 Convex Optimization 책을 끈기 있게 조금씩이라도 계속 붙잡아서 완독한 것이 성과라면 성과이다. 독서도 활발하게 하지 못했고, 그나마 재미를 붙이던 Weight Training도 코로나 바이러스로 체육관에 나가지 않기 시작하면서 맥이 끊겨버렸다.

이렇게 돌아보고 나니 생각보다도 더 초라한 2020년이었다는 생각이 들고 더욱 우울해진다. 그래도 긍정적인 면이 있다면, 코로나 바이러스로 인해 전면 재택근무를 시작하면서 딸과 보내는 시간이 길어진 것이다. 육아나 집안일에 있어서 다른 사람이나 기관의 도움을 받기가 불가능해져서 힘들기는 했지만, 그래도 출퇴근을 할 때에 비해서는 좀 더 붙어 지내며 관계가 두터워졌다. 한 해 동안 아이가 많이 성장했는데 그 모습을 가까이에서 지켜볼 수 있었다는 것이 기쁘다.

2021년은 ‘평정심'을 키워드로 살아보려고 한다. 2020년의 어려움들이 2021년으로 대부분 이어지게 되어 쉽지 않은 한 해가 예상되지만, 이런 어려움에 감정적으로 동요하며 무의미한 고통을 받기보다는, 매 순간 지금 상황에서 내가 할 수 있는 최선의 선택이 무엇인지 침착하게 생각하며 하나씩 해야 할 일들을 해나가 보려고 한다. 가족을 비롯한 주위 사람들에게 내 정신적인 고통을 전파하지 않으려는 노력도 더 힘을 기울여야 할 것 같고.

육아

2019년에는 딸 별이(불특정 다수에게 공개하는 자리에서는 태명으로만 딸을 지칭하고 있다)가 한 살 반에서 두 살 반으로 성장했다. 생후 첫 일년은 하루가 다르게 모습이 달라졌던 반면, 지금 1월달 사진을 보니 의외로 외연은 지금과 생각보다 큰 차이가 없다. 그러나 사고 능력은 그동안 폭발적으로 성장했다. 1월 13일 일기를 보니 별이에게 달을 가리키며 “달"이라고 가르쳐 주었더니 바로 이해하고는 “달! 달!” 하면서 좋아해서 손가락이 아닌 달을 이해했노라고 신기해한 이야기가 나오는데, 당시에는 그런 간단한 단어들만 수십개 알고 있었던 반면 지금은 알고 있는 단어의 수를 세기 어려울 정도이고, 이제는 대개 완결된 문장을 말하며, 최근에는 억양을 잘 살려서 말하는 것으로 보아 문장의 구조에 대해서도 본능적으로 이해하기 시작한 것으로 보인다. 그런 성장의 과정에서 아이의 발달된 사고만큼 강해진 아이의 욕망과 고집을 받아주느라 부모가 정말 많은 고생을 했다. 정말 너무 힘들다. 이제는 시간이 해결해줄 거라는 희망도 거의 버렸다. 그래도 나는 별이와 좀 더 고차원적인 소통을 하게 되는 만큼 육아의 보람도 더 많이 느끼는 것 같아, 내년에는 별이가 더 성장하고 더 많은 것들을 함께 할 수 있을 것이 기대가 된다. 특히 프리스쿨에 들어가서 수업을 듣고 다른 아이들과 어울려 지낼 생각을 하면 벌써부터 마음이 흐뭇하다.

일

아무리 내가 육아로 고생했다 해도, 이것들은 별이의 성취이지 내 성취는 아니다… 스스로 이룬 것이 없어 자식의 성취에 기대는 사람은 되지 않겠다는 생각을 오래 전부터 해왔는데, 대부분의 시간과 에너지를 아이에게 쏟으면서 과연 그럴 수 있는가 하는 생각이 든다. 그래도 2019년 한 해 동안 아둥바둥 한 것이 아주 없지는 않다.

회사에서는 마음먹은 만큼 성과를 내지 못해 상당히 힘든 한 해를 보냈다. 중요하지만 그만큼 모호하고 불확실성이 큰 문제를 풀고 있는 와중에, 정말 여러가지 이유로 내 욕심만큼의 지원을 받지는 못했고, 내 힘으로 어떻게든 헤쳐나가느라 내가 가장 잘 하는 일에 집중하며 효율적으로 일하기는 어려웠다. 이전까지 회사에서 이룬 내 성취는 나를 위한 판이 잘 차려져 있었던 덕분이었구나 하는 생각을 뒤늦게 하게 되었다. 그렇지만 느리게나마 이제까지 해온 일들이 조금씩 성과로 돌아오기 시작하고 있어서, 2020년에는 “2019년을 잘 버텨내서 다행이었다"라고 생각할 수 있지 않을까 희망을 가져보고 있다.

그 와중에 힘든 트레이닝 과정을 거쳐 Bar Raiser라는 타이틀을 달게 된 것 만큼은 제법 뿌듯하다. Bar Raiser는 Amazon의 독특한 채용 문화에서 핵심적인 역할을 하는 보직인데, 회사 공식 블로그에서 간단히 소개하고 있고 좀 더 자세한 설명을 원하면 인터넷에 좋은 글이 많으니 찾아보면 될 것 같다. 내가 특정 문서를 링크하지 않는 것은 혹시나 추천하는 글에 내가 완전히 동의하기는 어려운 내용이 있을 것이 걱정되어서이니 양해를 부탁드린다. 어쨌든 Bar Raiser가 되면 정말 다양한 직군과 조직의 채용 결정을 위해서 밖으로는 채용 후보를 만나 인터뷰를 하고 안으로는 여러 사람들의 의견을 조율해야 하며 이를 위한 권한도 상당히 주어지기 때문에, 어떤 사람이 Bar Raiser라는 얘기를 들으면 그 사람의 소통 능력에 높은 기대감을 갖는 분위기이다. 어려서부터 다소 내성적이었으며 말주변이 없는데다가, 미국에 와서는 영어가 능숙치 않은 것 때문에 더욱 커뮤니케이션 능력에 대한 자격지심을 갖고 있었는데, 정해진 기간이 없는 Bar Raiser 트레이닝 프로그램을 빠르게 졸업하면서 조금은 자신감을 얻게 되었다.

2019년 중순에 입사 5년차 기념으로 노란 테두리 뱃지를 받았는데, 아직도 시니어로서의 역할에 대한 고민이 많아 늘 뱃지가 부끄럽다.

운동

2018년 후반에 별이가 낮잠 횟수를 줄이고 일찍 일어나기 시작하면서 새벽에 운동 수업을 들을 수 없게 되었다. 혼자서 어떻게 운동을 해야 할지 고민하던 와중에 StrongLifts 5x5라는 프로그램을 소개받아 2019년부터 본격적으로 시작했다. 바벨을 이용한 스쿼트, 벤치 프레스, 바벨 로우, 오버헤드 프레스, 데드리프트에 집중해서 5세트 5회 반복(5x5)으로 근력을 키우는데 집중하는 프로그램인데, 링크한 웹사이트가 초보자 입장에서 친절하게 운동을 설명하고 있어 운동을 시작하는데 큰 도움이 되었고, 이런 핵심적인 동작들은 유튜브에 좋은 자료들이 너무너무 많기 때문에 거기서도 정말 많이 배웠으며 지금도 시간 날 때마다 참고하고 있다.

밑의 그래프는 내 스쿼트 5x5 중량이 일년동안 어떻게 변화했는지를 나타낸 것이다. 45파운드 올림픽 바벨에 양쪽 10파운드씩만 달고 시작해서 한번에 딱 5파운드씩만 중량을 올렸고, 조금이라도 자세에 대한 불안감이 있거나 일이 바빠 운동을 쉬었을 때는 확실하게 10%씩 디로드했다. 65파운드는 당시의 나에게도 너무 가벼웠기 때문에 조금 조급한 마음이 드는 순간들도 있었지만, 혼자서 중량운동을 하면서 부상당하는 것에 대한 걱정이 많았기 때문에 차분하게 운동하려고 노력했다. 일년이 지난 지금 생각하면 이렇게라도 운동하길 정말 잘 한 것 같다. 물론 트레이닝을 받을 수 있다면 정말 좋겠지만 그런 여건이 되지 않는다고 해서 겁을 먹고 운동을 하지 않는 것 보다는 조심스럽게 천천히 가벼운 무게로라도 운동을 하는 것이 (당연하겠지만) 훨씬 좋다는 것을 느꼈다. 몸짱이 되거나 대단한 중량을 들 수 있게 된 것은 전혀 아니지만, 어려서부터 많이 말랐던 나는 약골이라는 소리를 귀에 달고 살았고 때문에 자신의 근력에 상당한 자격지심을 가진 채로 35년을 살아 왔는데, 어느 정도 수준까지는 작은 노력으로도 향상시킬 수 있다는 것을 느끼고 스스로의 신체적인 능력을 주어진 것이 아닌 적극적으로 개선 가능한 것으로 보게 되었다.

내년에는 심폐지구력도 체계적으로 향상시켜 보고 싶은데, 겨울에 비가 많이 오고 저녁에 주로 운동하는 나로서는 야외를 꾸준하게 달리기가 쉽지 않기 때문에 어떻게 해야 할 지 고민 중이다. 혹시 추천하는 운동 프로그램이 있다면 추천 부탁드린다.

공부

연초에 Bertsekas의 Dynamic Programming 책 1회독을 마무리하긴 했지만 거의 작년에 공부했던 것이고, 올해는 몇몇 주제들을 새로이 공부하기 시작했는데 앞서 언급한 것과 같이 일이 잘 풀리지 않았기 때문에 공부나 연구에도 충분한 시간을 들이지 못했다. gluon-nlp 프로젝트에 BERT 기반 named entity recognizer를 추가했고 ACL/EMNLP에서 연거푸 리젝당한 논문을 W-NUT 워크샵 논문으로 돌렸으며 Params와의 distributed multinomial logistic regression 5저자 논문이 드디어 KDD에 억셉됐지만, 지금 내 연구 커리어의 단계에서는 중요한 성취라고 생각하기 어려운 것들이다. 지금 회사에서 하고 있는 일을 통해 새로운 분야에 전문성을 쌓고 있고 조금씩 성과도 내고 있으므로, 2020년에는 이 주제에 확실한 전문가로 발돋움하고 외적으로도 논문 성과를 통해 인정받는 해가 되기를 희망하고 있다.

끝맺음

내가 원하는 바에는 이룬 것이 턱없이 부족해 마음이 불안한 순간들이 많다. 그렇지만 너무 조급하게 생각하기보다는, 일단 부족한 자신을 인정하고, 지금 하고 있는 일들이 장기적인 투자로서 기능하도록 차분히 노력하며 스스로를 점진적으로 개선하려 마음을 다독여보고 있다. 내 커리어에서 가장 아쉬운 부분이라면 스스로가 만족할 만한 기술적인 성취를 이루지 못했다는 것인데, 단기적인 성과에 너무 급급했기 때문에 그러했던 것이 아닌가 싶어 지금은 뚝심을 길러보는 기회로 생각하고 있다. 그 보람이 이제 슬슬 보일락 말락 한데, 2020년에는 과연 어떤 마음으로 회고를 하게 될런지.