<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Tai Hsien Ou Yang on Medium]]></title>
        <description><![CDATA[Stories by Tai Hsien Ou Yang on Medium]]></description>
        <link>https://medium.com/@taihsienouyang?source=rss-929c926aa79c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*Q-gdO2iTyMQnKu-4.</url>
            <title>Stories by Tai Hsien Ou Yang on Medium</title>
            <link>https://medium.com/@taihsienouyang?source=rss-929c926aa79c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 11:39:55 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@taihsienouyang/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[資料科學方向技術面試資源列表 Tech Interview Resources]]></title>
            <link>https://medium.com/@taihsienouyang/%E6%8A%80%E8%A1%93%E9%9D%A2%E8%A9%A6-%E8%B3%87%E6%96%99%E7%A7%91%E5%AD%B8%E6%96%B9%E5%90%91-%E8%B3%87%E6%BA%90%E5%88%97%E8%A1%A8-6c641aae0624?source=rss-929c926aa79c------2</link>
            <guid isPermaLink="false">https://medium.com/p/6c641aae0624</guid>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[resources]]></category>
            <category><![CDATA[interview]]></category>
            <category><![CDATA[technical-interview]]></category>
            <dc:creator><![CDATA[Tai Hsien Ou Yang]]></dc:creator>
            <pubDate>Sun, 15 Jul 2018 21:34:58 GMT</pubDate>
            <atom:updated>2018-09-08T16:53:51.092Z</atom:updated>
            <content:encoded><![CDATA[<p>資料科學方向技術面試資源列表 Tech Interview Resources</p><p>除了大家都知道的讀Cracking the coding interview和刷LeetCode和LintCode以外，最近蠻多討論的是GeeksforGeeks，裡面整理各大公司的面試經驗<br><a href="https://www.geeksforgeeks.org/company-interview-corner/">https://www.geeksforgeeks.org/company-interview-corner/</a><br>和技術面試題庫<br><a href="https://practice.geeksforgeeks.org/">https://practice.geeksforgeeks.org/</a></p><p>技術面試資源repos<br><a href="https://github.com/jwasham/coding-interview-university">https://github.com/jwasham/coding-interview-university</a><br><a href="https://github.com/andreis/interview">https://github.com/andreis/interview</a><br><a href="https://github.com/MaximAbramchuck/awesome-interview-questions">https://github.com/MaximAbramchuck/awesome-interview-questions</a><br><a href="https://github.com/yangshun/tech-interview-handbook">https://github.com/yangshun/tech-interview-handbook</a></p><p>LeetCode/LintCode解答repos<br><a href="https://github.com/soulmachine/leetcode">https://github.com/soulmachine/leetcode</a> (C++/Java)<br><a href="https://github.com/kamyu104/LeetCode">https://github.com/kamyu104/LeetCode</a> (C++/Python/MySQL/Shell)<br><a href="https://github.com/kamyu104/LintCode">https://github.com/kamyu104/LintCode</a> (C++)</p><p>Stanford的CS技術面試準備課程CS9<br><a href="http://web.stanford.edu/class/cs9/">http://web.stanford.edu/class/cs9/</a></p><p>機器學習與資料科學的面試資源<br><a href="https://towardsdatascience.com/the-big-list-of-ds-ml-interview-resources-2db4f651bd63">https://towardsdatascience.com/the-big-list-of-ds-ml-interview-resources-2db4f651bd63</a><br><a href="https://github.com/MaximAbramchuck/awesome-interview-questions#data-science">https://github.com/MaximAbramchuck/awesome-interview-questions#data-science</a><br><a href="https://github.com/ZuzooVn/machine-learning-for-software-engineers#interview-questions">https://github.com/ZuzooVn/machine-learning-for-software-engineers#interview-questions</a><br><a href="https://www.springboard.com/blog/data-science-interview-questions/">https://www.springboard.com/blog/data-science-interview-questions/</a><br><a href="https://www.learndatasci.com/data-science-interview-questions/">https://www.learndatasci.com/data-science-interview-questions/</a> (Glassdoor上蒐集的面試題目)<br><a href="https://github.com/imhuay/Algorithm_Interview_Notes-Chinese">https://github.com/imhuay/Algorithm_Interview_Notes-Chinese</a> (中文)</p><p>另外這篇很兇但句句真話，請不要讓那些東西出現在履歷上<br><a href="https://towardsdatascience.com/the-4-fastest-ways-not-to-get-hired-as-a-data-scientist-565b42bd011e">https://towardsdatascience.com/the-4-fastest-ways-not-to-get-hired-as-a-data-scientist-565b42bd011e</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6c641aae0624" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[養兒方知父母恩：AI教養文]]></title>
            <link>https://medium.com/@taihsienouyang/%E9%A4%8A%E5%85%92%E6%96%B9%E7%9F%A5%E7%88%B6%E6%AF%8D%E6%81%A9-ai%E6%95%99%E9%A4%8A%E6%96%87-bd7f9cafbe23?source=rss-929c926aa79c------2</link>
            <guid isPermaLink="false">https://medium.com/p/bd7f9cafbe23</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Tai Hsien Ou Yang]]></dc:creator>
            <pubDate>Mon, 05 Mar 2018 18:13:18 GMT</pubDate>
            <atom:updated>2018-03-05T18:13:18.023Z</atom:updated>
            <content:encoded><![CDATA[<p>最近在練一個深度神經網路（下稱DNN）上花了不少時間，從一塊叉燒練到現在越來越準（進到一個2,000隊的Kaggle記分板前7%），看來有機會長成一個有出息的DNN，頓時眼眶溼潤，覺得欣慰。</p><p>這不是和教小孩很像嗎？</p><ol><li>天資：網路結構和參數初始值。不同的網路結構要適才適所才能發揮潛力。DNN通常有幾萬個參數要初始化，很難用人工自訂最好的值，常要依賴隨機產生，但這個初始值又對訓練好的DNN的效能影響很大。雖然總有機會抽到接近最佳解的天才，不過大部份資質普通，要仰賴後天的訓練。</li><li>人格養成：初始定義的搜索策略、anchor結構等等。多大的自由（regularization）才能夠有主見（generalizable）不overfit，又不會學壞（not converging）。</li><li>學習方法：要用ADAM還是SGD要因材（結構）施教，要用什麼樣的data augmentation舉一反三？課程要怎麼安排（batch and learning rate scheduling）？</li><li>見識：dataset的大小、多樣性和品質，這是除了網路本身以外影響效能最重要的部份。練過ImageNet和COCO的效能就硬比練小dataset的好。當然有錢的父母可以請人來label自己的dataset。就算有好的天資（初始參數），用很差的dataset練可能誤了一個DNN的一生。</li><li>資源：買GPU要錢，請人做dataset要錢，back propagation要花計算時間。有錢人的小孩比較會在這邊也常常成立，人家有八個Titan X全天算是要怎麼比？</li><li>陪伴：要有時間檢查validation error，看有沒有異常weight，還有debug。但有時候太早因為表現不好介入訓練當虎爸虎媽不見得是好事。有時候大隻雞慢啼是真的，要給他一點空間和時間，但怎麼拿捏是藝術。過度訓練會overfit。Knuth說過早最佳化是萬惡之源也可以用在最佳化小…DNN上。</li><li>做人做事的道理：post-processing，DNN本身差不多時成敗差在這裡。有些小孩不算特別聰明，但懂得說話就有好人緣（accuracy）；有些雖然聰明但開口就欠扁，除了骨骼精奇的特例，這要有人教。</li><li>良性同儕競爭： 和別人家（lab）用不同方法設計訓練的DNN競爭。送去世界賽場切磋，才不會夜郎自大。知道自己的不足，學習別人厲害之處。</li></ol><p>有道是養兒方知父母恩，沒事別練DNN。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bd7f9cafbe23" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[筆記Yann LeCun講深度學習技術的力量與未來挑戰]]></title>
            <link>https://medium.com/@taihsienouyang/%E7%AD%86%E8%A8%98yann-lecun%E8%AC%9B%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92%E6%8A%80%E8%A1%93%E7%9A%84%E5%8A%9B%E9%87%8F%E8%88%87%E6%9C%AA%E4%BE%86%E6%8C%91%E6%88%B0-f8bddfea48e?source=rss-929c926aa79c------2</link>
            <guid isPermaLink="false">https://medium.com/p/f8bddfea48e</guid>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[Tai Hsien Ou Yang]]></dc:creator>
            <pubDate>Tue, 20 Feb 2018 16:51:02 GMT</pubDate>
            <atom:updated>2018-03-05T18:15:18.495Z</atom:updated>
            <content:encoded><![CDATA[<p>以下筆記Yann LeCun Nov. 20, 2017在哥倫比亞大學的演講。</p><p>Yann LeCun (God of ConvNet這不用多解釋了)來講AI與深度學習技術的力量與未來挑戰。排除困難去聽並筆記如下，希望對有興趣的大大們有用。以下跳過現在的成果，直接看未來。</p><p>深度學習的進展打破統計學的傳統觀念，例如神經網路模型很巨大、損失函數通常是非凸性但訓練結果通常不錯、不太需要去管理不確定性(softmax)等等，為什麼會如此還有待研究。目前理解是神經網路的多層模型會成功是因為世界是組合性(compositional)的，所以hierarchical representation這樣的形式效果很好。</p><p>以Yann LeCun目前兼任director的Facebook AI Research來說，目前Facebook使用的200種語言翻譯模型是ConvSeq2seq<br><a href="https://arxiv.org/abs/1705.03122">https://arxiv.org/abs/1705.03122</a><br>除了在Facebook實用化的物件分割網路Mask R-CNN(<a href="https://arxiv.org/abs/1703.06870">https://arxiv.org/abs/1703.06870</a>)外，<br>Submanifold Sparse Convolutional Networks剛得到立體物件分割(3D segmentation)ShapeNet競賽第一名。<br><a href="https://arxiv.org/abs/1706.01307">https://arxiv.org/abs/1706.01307</a> (作者之一是發明tSNE的Laurens van der Maaten)<br><a href="https://arxiv.org/abs/1710.06104">https://arxiv.org/abs/1710.06104</a></p><p>強化學習和監督學習方法已經有很大的進展。但接下來最大困難應該是如何讓機器有效率地透過觀察建立常識以推測過去、現在、未來，或者更直觀的，填補空白(fill the blanks)的能力，即”predictive learning”，其實就是非監督式學習，直觀的例子如開車時看到樹，腦中模擬如果不轉彎會撞到樹，後果不好，轉彎不撞後果好，這樣的未來生成速度很快，成本很低，但效益巨大。</p><p>腦子就是預測未來的機器。</p><p>人腦可以快速發現物理世界的規則，但目前的監督式學習需要大量的回饋。那為什麼人類可以有效率的進行學習?人腦有演算法嗎?輸入的資料結構是什麼?有最小化特定的目標函數嗎(用SGD嗎)?那是怎麼做的?</p><p>目前來看generative adversarial network自動產生大量未來並且自我評估的特性很適合做這件事(<a href="https://arxiv.org/abs/1511.05440">https://arxiv.org/abs/1511.05440</a>) 。</p><p>然而建立對未來的評價機制最難的點是在有不確定性的狀況下做預測並給予模型在物理世界有高價值的回饋。例如預測立著的筆會倒下很重要，但倒向哪個方向並不重要。這需要有一套error encoding的機制才能對GAN做有意義的訓練。所以LeCun團隊上週發表Prediction Under Uncertainty with Error-Encoding Networks<br>理解有不確定性的物理關係並動態生成物理世界的未來的框架(幾個video frames)，AI可以在看過機器手臂操作物體的影片後，看手臂的移動產生還沒接觸的物體未來的移動方向的影片。<br><a href="https://arxiv.org/abs/1711.04994">https://arxiv.org/abs/1711.04994</a></p><p>* 現在Facebook(不含Instagram)用戶每天會上傳15億張照片，每張照片都會經過四個convolution networks，包含語意分割(semantic segmentation)和人臉辨識等。<br>**2011年LeCun團隊做出了用ConvNet的影像語意分割模型，投稿被拒絕，理由是”什麼是ConvNet”。<br>*** DARPA雙眼機器視覺無人車計畫LAGR原來是LeCun團隊做的，發現stereovision只能看15公尺，用了ConvNet可以看100公尺，現在那些人在NVIDIA。</p><p>演講中有一段demo是展示他們的對抗模型可以在觀察後自行想像(extrapolate, 腦補)沒看到的事物的能力，非常直觀地展示AI有了推理能力的效果。例如攝影鏡頭運鏡到一半停止，模型會接著合成出下幾個frames，demo展示拍到一半的書櫃和沙發會自動推測出另一半等，相當神奇。</p><p>一直找不到原始影片，原來是沒有另外發表。但Yann LeCun在CMU的演講也有這一段，所以補上Youtube(51分10秒起，紅框是合成結果，5 frames效果很好，50 frames就比較困難)：<br><a href="https://www.youtube.com/watch?v=IbjF5VjniVE&amp;feature=youtu.be&amp;t=51m10s">https://www.youtube.com/watch?v=IbjF5VjniVE&amp;feature=youtu.be&amp;t=51m10s</a><br>原始arXiv<br><a href="https://arxiv.org/abs/1511.05440">https://arxiv.org/abs/1511.05440</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f8bddfea48e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[普通人看的深度神經網路書]]></title>
            <link>https://medium.com/@taihsienouyang/%E6%99%AE%E9%80%9A%E4%BA%BA%E7%9C%8B%E7%9A%84%E6%B7%B1%E5%BA%A6%E7%A5%9E%E7%B6%93%E7%B6%B2%E8%B7%AF%E6%9B%B8-990fa851d4ff?source=rss-929c926aa79c------2</link>
            <guid isPermaLink="false">https://medium.com/p/990fa851d4ff</guid>
            <category><![CDATA[deep-learning]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Tai Hsien Ou Yang]]></dc:creator>
            <pubDate>Tue, 20 Feb 2018 16:44:58 GMT</pubDate>
            <atom:updated>2018-03-05T18:14:18.040Z</atom:updated>
            <content:encoded><![CDATA[<p>如果不在大學內，看了一些slides和部落格和跑一些範例後想有系統地入門深度學習怎麼辦？傳說的神人可能走完Stanford CS229 （Machine Learning）, CS231n （Convolutional Neural Networks for Visual Recognition）, CS224n （Natural Language Processing with Deep Learning）, UC Berkeley CS294（Deep Reinforcement Learning）等課程，搭配Ian Goodfellow, Yoshua Bengio和Aaron Courville合著的”Deep Learning”（MIT Press or Github）配百篇經典arXiv和爬完Github上的配套原始碼，然後打Kaggle Competitions直到拿到首獎。</p><p>可是吾輩凡人要上班，而且想（出去玩|顧家庭|有充足的睡眠），沒有空怎麼辦？</p><p>Ian Goodfellow等人的Deep Learning非常精練而且幾乎包括目前所有的題目。但內容以理論為中心開展，所以需要很紮實的數學基礎和對領域的認識，適合當專業課堂教科書，對我們來說太難了。而且最大的問題是如果沒配課堂的話讀了還是不知道怎麼做出能動的東西XD。</p><p>最近搭配實戰使用的是斎藤康毅的”Deep Learning：用Python進行深度學習的基礎理論實作”（ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装，O’Reilly，讀的是碁峰出版的吳嘉芳譯本），以CS231n的結構為基礎，搭配NumPy原始碼，真正用口語一步步講解深度學習技術的每個觀念和實做細節，並用例子解釋最重要的”為什麼”（不是丟了一堆證明然後在作業裡要讀者自己想那種），還有不同元件的使用場合與注意事項。</p><p>前半講神經網路的內容，其實還有不少寫得很好的書也可以看得到。但本書用Python原始碼一步一步做出真的能用的相對熵、數值偏微分、梯度下降法到整個反向傳播訓練（原始碼意外地簡單），非常精彩。後半段解釋捲積神經網路的特性和名詞（pooling, stride, padding… etc）等目前看到是以這本最容易理解，而且譯筆相當流暢。不過如果以嚴謹性來說當然還是非Ian Goodfellow的書莫屬，所以兩本適合搭配著讀。注意此書沒有使用framework和library，如Tensorflow, Keras等，只讀這本還是無法實做出可以解決真實問題的產品。</p><p>至於使用framework和library的書，目前好評最多的有Keras的創建人，Google的François Chollet寫的”Deep Learning with Python” （2017年十一月出版），內容包羅萬象，有包含GAN的使用。另外今年一月三十日他剛出另一本”Deep Learning with R”。這邊另外提一下東華大學應數系魏澤人教授的投影片”探索及應用生成對抗網路”134頁後有一行一行講解怎麼用Keras、Lasagne （Theano QQ）、PyTorch、TensorFlow搭出GAN。爬了一堆code看不懂，看到這非常感動。</p><p>TensorFlow的話，Aurélien Géron寫的”Hands-On Machine Learning with Scikit-Learn and TensorFlow”獲得的反應很不錯，不過我目前都是用Keras搭配TensorFlow backend，還沒深入探究TensorFlow，所以沒辦法多做評價。另外網路上還有不少Packt出版的電子書，不過品質似乎參差不齊，可能要仔細挑選。</p><p>如果對其中的數學（主要是大一微積分和一點點線性代數）很有興趣但看式子不懂怎麼辦？Stanford數學系的Grant Sanderson主理的Youtube頻道3Blue1Brown用非常好懂的幾何動畫方式講解工程數學為主的理論，除了神經網路會用到的線性代數和微積分外，還有很多工數領域的主題，小時候沒學好，現在還有機會補救（親身見證）。而且他的聲音很沉穩，聽了很安心。</p><p>如果還有好書也請大大們多多推薦。我還沒玩過PyTorch, Caffe, MxNet, CNTK，如果有熟悉的大大也請多指教。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=990fa851d4ff" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>