<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Daniel Lai on Medium]]></title>
        <description><![CDATA[Stories by Daniel Lai on Medium]]></description>
        <link>https://medium.com/@kiwi3741722.mg11?source=rss-3ca001678a06------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*SFMBdKnJJWr4jxR5EWqUtQ.jpeg</url>
            <title>Stories by Daniel Lai on Medium</title>
            <link>https://medium.com/@kiwi3741722.mg11?source=rss-3ca001678a06------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 12:47:03 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@kiwi3741722.mg11/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[，人工智能原理筆記pt.5、6]]></title>
            <link>https://medium.com/@kiwi3741722.mg11/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%8E%9F%E7%90%86%E7%AD%86%E8%A8%98pt-5-6-5f9f29616a4f?source=rss-3ca001678a06------2</link>
            <guid isPermaLink="false">https://medium.com/p/5f9f29616a4f</guid>
            <category><![CDATA[mls]]></category>
            <dc:creator><![CDATA[Daniel Lai]]></dc:creator>
            <pubDate>Wed, 03 Jul 2024 07:51:55 GMT</pubDate>
            <atom:updated>2024-07-03T07:51:55.030Z</atom:updated>
            <content:encoded><![CDATA[<h3>Pt.5 Generative Models</h3><p>In this part, we talk about</p><ul><li>Auto-encoder and its variants</li><li>Variational auto-encoder(VAE)</li><li>Generative adversarial networks(GAN) (Unsupervied Learning)</li><li>Diffusion Model</li></ul><h3>Auto — Encoder 自動編碼器：</h3><p>It is not a generative model as it doesn’t learn a distribution but merely some low-dimensionl representation.</p><p>Applications of AE include:</p><ul><li>Dimensionaliry reduction</li><li>Image compression/decompression</li><li>Image denoising</li><li>Feature extraction</li><li>clustering</li></ul><p>核心概念：Encoder 和 Decoder<br>透過Encoder將資料壓縮，最後利用Decoder將資料解碼到相同為杜，希望輸入和輸出越像越好。<br>而Encoder和Decoder的架構就是用 DNN 來訓練AE，其架構不一定要對稱。</p><h3>Variational Auto-Encoder ：</h3><p>單純的AE還是有一些在效能上的限制，在維度還原的時候仍會發生問題。因此，就有了Variational Auto-Encoder(VAE)。</p><p>VAE加入了一些噪聲 noise 去 AE 學習，透過常態分配 (ND) 的抽樣會讓結果更好。除此之外，在衡量模型的部分，他使用了KL Divergence 用以衡量分配相似度，也就是輸入和輸出的差異性。</p><h3>Generative Adversarial Network：</h3><p>GAN主要由兩個模型：Generator(生成器)、Discriminator(辨別器)</p><p>GAN大部分都是使用卷積層，而不像是AE都用全連接層 (Dense layer) 組成。對各層的設定或者激活函數 (Actvation function) 的選擇都要更加謹慎，因為GAN訓練過程就容易不穩。</p><p>直觀上，Discriminator就是一個圖片分類器，用以判斷Generator生成圖片的優劣。<br>定義 Discriminator 可以直接透過 Call Function 來看前向傳播的架構。由 Conv → BN → Conv → BN...→Flatten→Dense，注意激活函數的部分是使用Leaky ReLu。</p><p>Generator 主要作為一個圖片產生器，透過一個低微度的矩陣，還原出一張正常的圖片。在Generator 中&#39;，會使用 Conv2DTranspose (反卷積)，把特徵還原成圖像的概念。<br>透過 Call Function 可觀察到 Input → Dense →Conv Transpose →BN → ... →Tanh</p><h3>Pt.6 Multi-armed bandit</h3><p>強化學習與其它學習最大的不同在於，強化學習只能評估給定的action好壞，但沒有辦法像監督式學習一樣告知這個action是好還是壞。Chapter 2利用Multi-armed Bandits做為範例說明強化學習。Multi-armed Bandits就是吃角子老虎，不過上面有多個拉霸。</p><p>留言</p><p>這可以想成一個學習問題，也就是你要重覆的選擇k個選項(option)或是動作(action)，每次選擇之後都會得到一定的獎勵(reward)，而這個reward是由選擇的action所決定的機率分佈所產生。我們的目標是希望在一定的時間內最大化總收益的期望值。</p><p>而在k-armed Bandits問題中，機器上面會有k個拉霸，每次拉都會有一個期望或平均收益，也就拉某一個拉霸的價值(value)。這邊先說明幾個符號約定</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/766/1*JPYz1JsNs51_GKQGsuKfwg.png" /></figure><p>當我們持續的估測value(價值)，我們在任一個time step都至少會有一個action的value是最高的，這個value最高的action稱為greedy actions。當我們選擇這些greedy actions，那就稱為利用(發揮)(exploiting)對這些action的value的當前已知知識。選擇這些greedy actions以外的action，稱為探索(exploring)。探索的好處在於可以改善對於nongreedy action的value(不試試看怎麼會知道好不好)。<br>值得注意的是，同一個time step的情況下是不可能同時利用與探索，這是一種exploiting與exploring之間的衝突。在一個特定情況下，要利用還是要探索，則是可以取決於估測的精確值、不確定性，以及剩餘的time steps的數量。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/429/1*kOtmU8SyodpFSrMOX-11gg.png" /><figcaption>Incremental Implementation</figcaption></figure><p>一些演算法：</p><p>貪婪算法 (Greedy Algorithm):</p><ul><li>描述： 在每一步中，選擇當前看起來報酬最高的臂。</li><li>優點： 簡單、易實現。</li><li>缺點： 容易陷入局部最優解，可能無法有效地探索其他臂的潛在高報酬。</li></ul><p>ε-貪婪算法 (epsilon-Greedy Algorithm):</p><ul><li>描述： 在大多數情況下，選擇當前報酬最高的臂，但有一小部分概率 ε 選擇隨機選擇其他臂，以促進探索。</li><li>優點： 在探索和利用之間取得平衡。</li><li>缺點： ε 的選擇可能需要調整，而且在一些情況下可能仍然不足以有效地探索。</li></ul><p>探索-然後-確定算法 (Explore-Then-Commit Algorithm):</p><ul><li>描述： 在初始階段進行探索，然後在剩餘的時間內僅選擇已知最佳的臂。</li><li>優點： 有效地平衡了探索和利用。</li><li>缺點： 需要在一開始就能夠估計出最佳臂。</li></ul><p>UCB 算法 (Upper Confidence Bound Algorithm):</p><ul><li>描述： 基於每個臂的平均報酬和探索的不確定性來選擇臂。使用置信區間來衡量不確定性，選擇置信區間上界最高的臂。</li><li>優點： 考慮了不確定性，可以在一定程度上平衡探索和利用。</li><li>缺點： 需要估計臂的不確定性，並且可能受到初始估計的影響。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*zt8nLNdLPQbXAM_myidigg.png" /></figure><p>Thomson Sampling：</p><ul><li>描述： 使用概率分佈對每個臂進行建模，根據這些分佈進行抽樣，選擇擁有最高概率的臂。在每一步中，觀察結果，更新概率分佈。</li><li>優點： 對於不確定性的建模更自然，容易進行概率估計。</li><li>缺點： 算法可能相對較複雜，且在實現上可能需要一些計算成本。</li></ul><p>參考自：<a href="https://hackmd.io/@shaoeChen/Sk7frzq4u">Reinforcement Learning: An Introduction_Chapter 2 Multi-armed Bandits — HackMD</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5f9f29616a4f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[人工智能原理筆記 pt.3、4]]></title>
            <link>https://medium.com/@kiwi3741722.mg11/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%8E%9F%E7%90%86%E7%AD%86%E8%A8%98-pt-3-4-b176617fb56f?source=rss-3ca001678a06------2</link>
            <guid isPermaLink="false">https://medium.com/p/b176617fb56f</guid>
            <dc:creator><![CDATA[Daniel Lai]]></dc:creator>
            <pubDate>Wed, 03 Jul 2024 07:51:37 GMT</pubDate>
            <atom:updated>2024-07-03T07:51:37.105Z</atom:updated>
            <content:encoded><![CDATA[<h3>Note3 →</h3><h3>linear predictors:</h3><p>Halfspaces(半空間): The class of halfspaces is a hypospaces is a hypothesis class designed for binary classifacation(二元分類).<br>For halfspaces, the realizability condition is also referred to as the separability condition, or separable case.</p><p>Under the sperability condition, we introduce Linear Programming and Perceptron algorithms.</p><h3>Linear Programming(線性規劃)(略)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/552/1*DyVrH7juHtoheakUhHVxNw.png" /><figcaption>LP</figcaption></figure><h3>Perceptron(感知器):</h3><p>An iterative algorithm that constructs a sequence w_1, w_2, …</p><p>單層感知器是最最基礎的前饋神經網路。單層感知器構造如下：<br>輸入→(單層感知器)→加權總和→激活函數</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/568/1*ZJbbPHoYsW1rV-std_ae5w.png" /><figcaption>初始化</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/590/1*cM8YNLrB1ki5UpzTid8e1w.png" /></figure><p>Some provement…</p><h3>Linear Regression(線性回歸)</h3><p>In linear regression, we want a loss function that can somehow judge how good the estimate is.</p><p><strong>MSE:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/623/1*dFstzmyogvpZW9NaclgnzQ.png" /><figcaption>MSE均方差</figcaption></figure><p>To solve ERM for linear regression, we introduce least square</p><h3>Least Square(1795, 1805):</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/623/1*j9CpdOoY_XOepiigV0FMtA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/627/1*vlnr5XbP46W67BSLtYPbmA.png" /></figure><h3>Logistic Regression(邏輯回歸):</h3><p>It is usually used for binary classification and a y indicates the probability of the label of being 1.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/632/1*Iz6PNcmSKvyjLPnJAGhIWQ.png" /><figcaption>sigmoid func</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/589/1*fk0jUP6BpDuVpkgR6s9aGQ.png" /></figure><p>if&lt;w, x&gt; is very positive, we want to assign a large probability as we are very certain that the lebel is 1.Similary, if &lt;w, x&gt;is very negative, we want to assign a small probability.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/660/1*zNJ2uFWIZhD4b_qHheA_7Q.png" /></figure><h3>Gredient Descent:</h3><p>So far m we have used ERM to learn in hope of small Ls(h) implies snall LD(h).Here, we introduce an alternative, SGD, to minimize LD(h) directly.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/619/1*D26gelaGGTKsR4I16RNb3Q.png" /></figure><p>Q:What if f in non-differentiable? A:Use subgradient</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/636/1*I8McSgzsg5ijNi0XjaPpSQ.png" /></figure><p>Subgradient Descent:</p><p>For non-diffentiable fuction, we replace … … in the update stage.Convergence analysis still goes through.<br># funtion do not change too fast in Lipschitz case.</p><h3>SGD:</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/583/1*SmjeVnqPaMeClCUN5mLEcw.png" /><figcaption>SGD</figcaption></figure><p>做T次的GD, learning rate is really critical.</p><p>做Batch, 測試data做的越多批, Variance就會越小.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/527/1*_trGUQd3IYTKDh7_P9R6Xg.png" /></figure><p>比較BGD, SGD:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/633/1*YapJ-mb-syyIeZ9OOC-GQg.png" /></figure><h3>Note 4</h3><p>Deep learning is a branch of ML and is based on neural network(NN), which tries to mimic how human neyrons work.</p><p>A brief history of deep learning:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*-Ntg_KVglhasPmmgfgLa3A.png" /></figure><h3>Perceptron</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/614/1*iJUN89qbY0QFLIt2lIPMmw.png" /></figure><p>binary classification, HalfSpace, output 0, 1</p><p>Perceptron is the first activation function, there are more.</p><p>Sigmoid、Tanh、ReLu …</p><h3>Backpropagation:</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/622/1*rf3PjeD2gxg1LSRsK0YcJw.png" /></figure><h3>Dropout:</h3><p>關掉一些neurons，解決overfitting的問題。</p><h3>CNN:</h3><p>convoltoion layer 卷積層:透過kernal擷取圖片特徵, 與圖像中的每個區域都進行點積相乘, 組成的結果稱為特徵圖.</p><p>Stride(步幅):做內積時的移動步數</p><p>Padding:卷積前將圖片補上外框, 如Zero padding.</p><p>Pooling Layer(池化層):Max pooling, 透過擷取卷基層的特徵達到降維效果.</p><p>Flatten Layer(展平)</p><p>So far, 我們可以將CNN歸納為三個特點:<br>1.感知區域Receptive field:利用三維的圖像資料(長, 寬, RGB)與神經元連接</p><p>2.局部連接層(Local Connected Layer):傳統神經網路會直接使用全連接層對圖像操作, 而CNN利用卷積核的方式對局部的數值進行資料擷取</p><p>3.共享權重(Shared weights):在CNN同一個卷積核會對整個圖像進行特徵擷取,因為經過訓練的卷積核權重屬於同一個特徵圖, 這組權重為整個特徵圖共享的.</p><h3>RNN:</h3><p>RNN主要是透過將隱藏層輸出存在記憶裡。當下次輸出資料進去訓練時，會同時考慮上一次存在記憶裡面的值加以計算。</p><p>而RNN僅考慮上一次在記憶裏面的值，所以整個RNN網路神經的時序過長，前面的資訊對整個網路的影響就變的微不足道。</p><p>為了解決這個問題，我們有了LSTM(Long short-term memory)模型。</p><h3>LSTM:</h3><p>四個單元：輸入閘、輸出閘、記憶單元及遺忘閘。</p><ol><li>Input Gate：控制是否將這次的值輸入</li><li>Memory Cell：將運算出的值記憶起來，以利下個單元運用</li><li>Output Gate：控制是否將這次計算出來的值做輸出，若無則輸出0</li><li>Forget Gate：控制是否要清除記憶(format)</li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b176617fb56f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[人工智能原理筆記 pt.2]]></title>
            <link>https://medium.com/@kiwi3741722.mg11/%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%8E%9F%E7%90%86%E7%AD%86%E8%A8%98-pt-2-a588ebf4b5c5?source=rss-3ca001678a06------2</link>
            <guid isPermaLink="false">https://medium.com/p/a588ebf4b5c5</guid>
            <dc:creator><![CDATA[Daniel Lai]]></dc:creator>
            <pubDate>Wed, 03 Jul 2024 07:51:18 GMT</pubDate>
            <atom:updated>2024-07-03T07:51:18.772Z</atom:updated>
            <content:encoded><![CDATA[<p>Linear Predictors</p><ol><li>Half apace<br>(1)linear programming<br>(2)perceptron(感知器)</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/202/0*FDwERSyhrDNQ-52D.png" /></figure><p>2. linear regression<br> least square algorithm(最小平方法)</p><p>3. logistic regression<br>Maximum, Likelihood, Estimator.</p><h3>Affine Function(仿射函數)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*plE7ksq1rj61PCl8IycBbA.png" /><figcaption>仿射函數</figcaption></figure><h3>Halfspaces(半空間)</h3><p>半空間是一種假設類別，用於二元分類。二元分類是指將數據分成兩個類別的任務，例如判斷一個郵件是不是垃圾郵件，或者一個圖片是不是貓。</p><h3>Linear Programming(線性規劃)</h3><p>線性規劃（Linear Programming，簡稱LP）是一種數學最佳化問題，其中目標函數和約束條件皆為線性的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/994/1*dnT-2EhUzlHEhHpkYOVtHQ.png" /></figure><h3>Perceptron(感知器)</h3><p>感知器（Perceptron）是一種人工神經元，也是一種簡單的二元線性分類器。它可以將一個向量作為輸入，並根據一個權重向量和一個偏置項來計算一個輸出值。如果輸入和權重的內積加上偏置大於零，則輸出為一；否則，輸出為零。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1015/1*QRChxWZMJYARn5Jg2a80CA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R43zRyyTBY2s7QrcJL1seg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3vgfYNm9ZHWk07D9_BZfww.png" /></figure><h3>Linear Regression(線性回歸)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NzNBwDS8bbXbdoWa_MhGww.png" /></figure><h3>Logistic Regression(邏輯回歸)</h3><p>Logistic Regression 是一種機器學習中的監督式學習方法，用於解決二元分類問題。它的目標是找到一個函數，可以將數據的特徵映射到0到1之間的一個概率值，表示數據屬於某個類別的可能性。它通過使用 Logistic 函數（也稱為 Sigmoid 函數）來實現這個目的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hlTojg3KijRGIgxQ22JCVA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RFkPx1CFX63wfPTK8OFi0A.png" /></figure><h3>Muticlass(多類別分類)</h3><p>Multiclass 是一種機器學習中的分類問題，其中數據有多個類別，而每個樣本只能屬於一個類別。例如，新聞可以分為體育、財經、娛樂等多個類別，而每篇新聞只能屬於其中一個類別。</p><ol><li>One-vs-Rest（一對多）：對於每個類別，訓練一個二元分類器，將該類別視為正類，其他類別視為負類。對於一個新的樣本，將其輸入到所有的分類器中，選擇輸出值最大的那個分類器的預測結果作為最終結果。</li><li>One-vs-One（一對一）：對於每一對不同的類別，訓練一個二元分類器，將這兩個類別的數據作為訓練集。對於一個新的樣本，將其輸入到所有的分類器中，選擇得票數最多的那個類別作為最終結果。</li></ol><h3>Stochastic Gradient Descent</h3><p>（Stochastic Gradient Descent，SGD）是一種機器學習中的優化算法，用於求解連續函數的最小值或最大值。它的基本思想是：</p><ul><li>隨機選擇一個或一小批數據樣本，計算目標函數的梯度（即對每個參數的偏導數）。</li><li>按照梯度的反方向，更新參數的值，使目標函數減小或增大。</li><li>重複上述步驟，直到達到終止條件，如參數變化很小或達到最大迭代次數。</li></ul><p>隨機梯度下降法的優點是：</p><ul><li>計算效率高，每次只需處理一個或一小批數據，減少了內存和時間的開銷。</li><li>隨機性有助於跳出局部最優解，尋找全局最優解。</li><li>適用於大規模或流式數據集，可以實現在線學習。</li></ul><p>隨機梯度下降法的缺點是：</p><ul><li>隨機性也帶來了不穩定性，參數更新可能會震盪或偏離最優方向。</li><li>需要仔細選擇學習率和批量大小等超參數，影響收斂速度和結果的品質。</li><li>對於非凸函數或有噪聲的數據集，可能會收斂到次優解或錯誤解。</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0JGCIHHTuNY_CUOe_38nvw.png" /></figure><h3>Subgradient Descent(次梯度下降法)</h3><p>Subgradient Descent 是一種用於最小化不可微凸函數的優化算法。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ddi9DlC0lQP5tAYOrW2HEw.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a588ebf4b5c5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[人工智慧原理筆記 pt.1]]></title>
            <link>https://medium.com/@kiwi3741722.mg11/%E4%BA%BA%E5%B7%A5%E6%99%BA%E6%85%A7%E5%8E%9F%E7%90%86%E7%AD%86%E8%A8%98-pt-1-6aec437184b0?source=rss-3ca001678a06------2</link>
            <guid isPermaLink="false">https://medium.com/p/6aec437184b0</guid>
            <dc:creator><![CDATA[Daniel Lai]]></dc:creator>
            <pubDate>Wed, 03 Jul 2024 06:45:03 GMT</pubDate>
            <atom:updated>2024-07-03T06:45:03.249Z</atom:updated>
            <content:encoded><![CDATA[<h3><strong>Local Search</strong></h3><p><strong>在ML之中，大部分的問題為convex(凸性)<br>convex : </strong>這種特點使得凸性函數在優化問題中非常有用，因為它們保證了優化問題的全局最小值是唯一的。</p><p>advantages of Local Search:<br>(1)記憶空間小<br>(2)在複雜的ML problems中，可以得到&quot;還不錯&quot;的答案<br>(3)適用於解決optimization problems</p><h3>學習的分類:</h3><h3>Supervised(監督式) vs Unsupervised(非監督式學習)</h3><ul><li>監督式學習：在監督式學習中，所有資料集都做標記 (label)，告訴機器這個是什麼、那個是什麼，透過人工分類來告訴機器標準答案，讓機器在學習過程中比對修正，依照標準答案來判斷。例如：給機器一堆雞跟鴨的照片告訴機器哪個是雞哪個是鴨，然後讓機器自己透過特徵去學習，依照學習出來的模型就可以去判斷一張機器沒看過的照片得出那是雞還是鴨。</li><li>非監督式學習：在非監督式學習中，所有資料都沒有被標記，機器自行透過尋找特徵來進行分類。例如：給機器一堆雞跟鴨的照片，機器必須自己去判斷哪個是雞哪個是鴨並進行分類，依照自行分類的特徵學習出來的模型去判斷一張機器沒看過的照片得出是雞還是鴨。</li></ul><h3>Active(主動式) vs Passive (被動式)</h3><ul><li>主動式學習：在主動式學習中，模型會主動地向使用者提問以增加其知識。例如：當模型不確定某些資料時，它會向使用者詢問以增加其知識。</li><li>被動式學習：在被動式學習中，模型不會主動地向使用者提問以增加其知識。相反地，它只會從已有的資料中學到知識</li></ul><h3>Statistical(統計學) vs Adversarial(對抗性)</h3><ul><li>統計學是一門科學，它使用數據來描述和分析現象。它可以用於預測未來事件，並且可以幫助我們理解數據背後的模式和關係。在機器學習中，統計學可以用於訓練模型，以便模型可以從數據中學習。</li><li>對抗性機器學習是一種攻擊機器學習系統的方法。攻擊者會向系統中添加一些故意設計的數據，以使系統做出錯誤的決策。對抗性攻擊可能會導致嚴重後果，例如駕駛無人車時發生事故。</li></ul><h3>Online(<strong>線上學習</strong>) vs Batch(<strong>批次學習</strong>)</h3><ul><li><strong>批次學習</strong>：是一種使用固定資料集來訓練機器學習模型的方法。模型一次使用整個資料集來訓練，並在每個週期後更新權重。這種方法適用於資料集足夠小，可以放入記憶體，並且模型可以快速訓練的情況。</li><li><strong>線上學習</strong>：是一種使用數據流來訓練機器學習模型的方法。模型在接收到每個新的數據點後更新，並相應地調整權重。這種方法適用於資料集太大，無法放入記憶體，或者新的數據點不斷產生的情況。</li></ul><h3>ERM(Empirical Risk Minimization) 經驗風險最小化：</h3><p>經驗風險（empirical risk）是一種用來衡量機器學習模型在訓練集上的表現的指標。它是指模型在訓練集上的平均損失，也就是模型預測值和真實值之間的差異的平均值。經驗風險越小，表示模型在訓練集上的擬合程度越高。</p><p><a href="https://en.wikipedia.org/wiki/Empirical_risk_minimization">經驗風險最小化（empirical risk minimization，ERM）是一種機器學習的原則，它定義了一個學習算法的家族，並用來給出它們的理論界限。它的核心思想是，由於我們無法知道數據在實際場景中的分佈，也無法估計模型在實際場景中的效果（即真實風險），所以我們就用模型在已知訓練集上的效果（即經驗風險）來評估模型</a>。</p><h3>Overfitting(過度擬合) :</h3><ul><li>資料量太少或品質太差，無法反映真實的規律。</li><li>模型太複雜或參數太多，容易記住訓練資料中的特例和雜訊。</li><li>訓練過程沒有控制好模型的複雜度或驗證模型的效果，導致模型過度調適。</li></ul><h3>Inductive Bias:</h3><ul><li><strong>限制模型的假設類別</strong>：通過限制模型的假設類別，可以使得模型更加簡單和容易學習，從而減少過度擬合的風險。</li><li><strong>使用正則化技術</strong>：正則化技術可以通過限制模型的複雜度或減少參數的自由度來控制模型的複雜度，從而減少過度擬合的風險。</li><li><strong>使用交叉驗證技術</strong>：交叉驗證技術可以用來評估和比較不同模型的效果，並選擇最合適的模型。</li></ul><h3>Probably Approximately Correct:</h3><ul><li><strong>樣本複雜度</strong>：指需要多少訓練樣本才能保證學習到一個近似正確的模型。</li><li><strong>時間複雜度</strong>：指需要多少時間才能完成學習過程。</li><li><strong>偏差-方差平衡</strong>：指如何在偏差和方差之間取得平衡，以避免過度擬合或欠擬合。</li></ul><p>Exam:</p><p>假設我們有一個二元分類問題，其中有一個概念類C，我們想要學習一個假設類H，使得H可以在高概率下近似正確地分類新的實例。我們可以使用以下PAC演算法：</p><p>從分布D中抽取m個i.i.d.的樣本，其中每個樣本由一個實例和其對應的標籤組成。</p><p>使用這些樣本來訓練一個假設h。</p><p>計算h在訓練集上的經驗風險，即h與C不同的樣本數目除以m。</p><p>如果經驗風險小於某個閾值ε，則返回h；否則返回步驟1。</p><p>這個演算法保證當m足夠大時，假設h以至少1-δ的概率近似正確地分類新的實例，其中δ是一個任意小的正數。這是因為當m足夠大時，根據大數定律，h的經驗風險越來越接近於真實風險。</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6aec437184b0" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>