<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Momuss C. on Medium]]></title>
        <description><![CDATA[Stories by Momuss C. on Medium]]></description>
        <link>https://medium.com/@momuschao?source=rss-532efc65e399------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*Ui8LJMkIQVj7Ddso.</url>
            <title>Stories by Momuss C. on Medium</title>
            <link>https://medium.com/@momuschao?source=rss-532efc65e399------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 23:01:54 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@momuschao/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[The occurrence & color composition of aurora]]></title>
            <link>https://medium.com/@momuschao/the-occurrence-color-composition-of-aurora-ebe1d297a2c8?source=rss-532efc65e399------2</link>
            <guid isPermaLink="false">https://medium.com/p/ebe1d297a2c8</guid>
            <dc:creator><![CDATA[Momuss C.]]></dc:creator>
            <pubDate>Fri, 30 Aug 2024 04:06:14 GMT</pubDate>
            <atom:updated>2024-08-30T04:06:14.370Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>An application of machine learning techniques and statistical methods</strong></p><blockquote><strong>Introduction</strong></blockquote><p>Auroras are one of the most captivating natural phenomena visible on Earth. These luminous displays occur when charged particles from the solar wind interact with Earth’s magnetic field and atmosphere, leading to a cascade of physical and chemical processes that produce a range of colors in the night sky.</p><p>The study of auroras provides valuable insights into space weather and its impact on Earth’s atmosphere. Despite advances in understanding auroral processes, predicting their occurrence and visual characteristics remains a complex challenge. Accurate forecasts of auroras could greatly enhance scientific research and practical applications, such as improving the planning of aurora observations and understanding the broader impacts of space weather on atmospheric conditions.</p><p>This study aims to address these challenges by investigating the relationships between key atmospheric and space weather variables. By developing a predictive model based on these variables, the research seeks to improve the reliability of aurora forecasts and contribute to a deeper understanding of these spectacular phenomena. The findings will be valuable for both scientific inquiry and practical applications, including space weather monitoring and environmental management.</p><blockquote><strong>Motivation</strong></blockquote><p>Auroral phenomena are not only a spectacular natural display but also a critical window into the interactions between Earth and space. However, accurately predicting the occurrence of auroras remains a challenge. As space weather increasingly impacts Earth’s environment, improving our ability to forecast these events is both scientifically significant and practically valuable. By exploring the relationships between atmospheric and space weather variables, this study aims to enhance predictive accuracy, which will advance scientific understanding, optimize aurora observation planning, and deepen insights into the effects of space weather on Earth’s atmosphere.</p><blockquote><strong>Purpose</strong></blockquote><p>The purpose of this study is to enhance the understanding and predictive capabilities of auroral phenomena. By analyzing the relationships between atmospheric and space weather variables, the research aims to develop a reliable predictive model. This model will help forecast the likelihood and characteristics of auroras, contributing to scientific knowledge and practical applications, including planning for aurora observations and understanding the impacts of space weather on Earth’s atmosphere.</p><blockquote><strong>Problem formulation</strong></blockquote><p>The study of auroras is challenging due to the complex interactions of various atmospheric and space weather parameters. The problem formulation for this research involves understanding the fundamental mechanisms behind the occurrence of auroras.</p><p>The ultimate goal is to develop a robust framework for predicting auroras, which will contribute to scientific knowledge and practical applications, such as forecasting auroral displays for observational purposes.</p><blockquote><strong>Methods</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*julVyIn3WEztYragizf4PA.png" /></figure><p>This study utilizes atmospheric electron density (E0), electron flux, and oxygen-to-nitrogen ratio (ON2 ratio) from NASA TIMES-GUVI satellite imagery, along with space weather variables from ground-based magnetometer stations (Kp, Ap, Cp, C9, number of sunspots, and atmospheric radio wave intensity [OTTAWA]).</p><p>By combining statistical methods with machine learning analysis, the study aims to understand the relationship between the aurora and environmental factors such as geomagnetic activity and sunspots. Finally, machine learning and statistical methods are used to predict the occurrence of the aurora.</p><p>This study uses the Kp index to define an aurora occurrence prediction indicator. The Kp index measures the intensity of geomagnetic activity, with values ranging from 0 to 9. The higher the Kp value, the stronger the geomagnetic activity, and the greater the likelihood and extent of aurora occurrence. In this study, Kp5, Kp7, and Kp9 are selected as the prediction targets.</p><blockquote><strong>Result</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/1*rfIeMJqT8-bUFsi64WqPag.png" /></figure><p>Statistical methods and machine learning are used to build models separately. The models are evaluated for goodness of fit using Pseudo R-squared and for classification performance using AUC.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*c98Mt3eLtBIdh0jYE_eR3g.png" /></figure><p>By comparing the model’s predictions with the actual results, the confusion matrix is used to understand the model’s strengths and weaknesses.</p><blockquote><strong>Conclusion</strong></blockquote><p>By collecting atmospheric and surface data and combining statistical analysis with machine learning techniques, we can more accurately predict the occurrence of auroras.</p><p>Statistical analysis methods, such as regression models, excel at handling structured data and provide clear, interpretable results that help us understand the key factors in aurora formation. However, these methods often assume that the data follows certain distribution characteristics, which can limit prediction accuracy when dealing with complex and nonlinear natural phenomena.</p><p>In contrast, machine learning techniques such as Decision Trees and K-Nearest Neighbors (KNN) perform exceptionally well in handling nonlinear and high-dimensional data, offering greater adaptability and predictive power. These models can automatically learn patterns in the data and make accurate predictions even when physical laws are not clearly defined. However, machine learning models are often “black boxes,” lacking transparency and interpretability, which can be a drawback in scientific research.</p><p>Overall, by combining the strengths of both methods, we can enhance prediction accuracy while maintaining a deep understanding of aurora formation mechanisms. With ongoing data accumulation and advancements in analytical techniques, we look forward to gaining a deeper understanding of aurora formation and further improving prediction accuracy and reliability.</p><p><strong>Advisor:</strong> Professor Jin-Hua Chen</p><p><strong>Data Analysts:</strong> Wei-Ping Chan, Pei-Hsin Chang &amp; Ching-Tou Chao</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ebe1d297a2c8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[資料分析 06 統計學 — 機率分配]]></title>
            <link>https://medium.com/@momuschao/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-06-%E7%B5%B1%E8%A8%88%E5%AD%B8-%E6%A9%9F%E7%8E%87%E5%88%86%E9%85%8D-e767bb77340d?source=rss-532efc65e399------2</link>
            <guid isPermaLink="false">https://medium.com/p/e767bb77340d</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[ai]]></category>
            <dc:creator><![CDATA[Momuss C.]]></dc:creator>
            <pubDate>Sun, 23 Feb 2020 02:13:06 GMT</pubDate>
            <atom:updated>2025-02-09T09:11:35.531Z</atom:updated>
            <content:encoded><![CDATA[<h3>資料分析 06 統計學 — 機率分配</h3><p><strong>[概論]</strong> 本篇介紹幾個有關機率分配的專有名詞，以及常用的機率分配。</p><blockquote><strong>前言</strong></blockquote><p>上一個章節，我們討論到樣本空間是屬於描述型態的(例如:銅板擲兩次出現兩次正面等等)，為了讓世界更能夠溝通，就要利用科學家共同的語言: 數學! 作為分析方法。</p><p>沒錯，我們需要將樣本空間給予量化(轉成數字型態)，以便進行接下來的分析。</p><p>現在我們先來認識有關機率分配的基礎觀念。</p><blockquote><strong>名詞解釋 - 隨機變數</strong></blockquote><p>要將描述型態的樣本空間轉成數值，我們會需要一個函數，而這個函數我們就稱為 <strong>隨機變數(random variable)</strong>。</p><p>而隨機變數可分為兩大類，一種為離散型(間斷型)隨機變數，另外一種為連續型隨機變數。</p><p>所謂離散型隨機變數，例如故障次數，可以發生1次故障、2次故障等等，1和2之間無法再切分(別跟平均值搞混悠)。</p><p>至於連續型隨機變數，例如溫度，可以是攝氏24度、攝氏25度，而24和25又可以再切分為攝氏24.5度等等。</p><blockquote><strong>名詞解釋 -機率分配</strong></blockquote><p>機率分配依照字面理解，就是機率的分配。前面提到將樣本空間量化後，從隨機變數獲得的可能值，其分配狀態就是所謂的機率分配。</p><p>至於機率呈現的方式有很多種，例如:</p><p><strong>間斷機率分配、連續機率分配、累積機率分配(cumulative probability)</strong></p><p>分別代表機率的數值呈現是間斷型的、連續型的、以及累積型的。</p><blockquote><strong>名詞解釋 -聯合機率分配 &amp; 邊際機率分配</strong></blockquote><p>前面所討論到的機率分配都是屬於一維的樣本空間(指單一隨機試驗)，但當我們樣本空間是二維，或二維以上的時候呢? 就會考慮到二維以上的隨機變數之機率分配，稱為<strong>聯合機率分配(joint probability distribution)</strong>。</p><p>舉個例子，今天投擲一枚公正的硬幣和骰子，那麼列出所有樣本空間並計算其機率分配，這類就屬於聯合機率分配。</p><p>像是樣本空間為{H,5}，代表該隨機試驗為正面硬幣以及點數為5的骰子。</p><p>至於甚麼是<strong>邊際機率分配(marginal probability distribution)</strong>呢?</p><p>其實很簡單，邊際機率指的是由計算列總和與行總和所得的數值。</p><p>讓我們來看看這張聯合分配的圖表:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/849/1*Vd1V4JKoWeG12hAnWyRl_g.png" /></figure><p>該表是一張列出A和B各種可能組合的機率分配圖，而黑色框起來的部分，則是行總和列總，這些計算行總和與列總和所得的數值就是邊際機率，它的分配就屬於邊際機率分配。</p><p>而個別的邊際機率分配自然符合一般機率分配的性質: 加總 = 1</p><blockquote><strong>名詞解釋 -條件機率分配 &amp; 獨立性</strong></blockquote><p>上一章節，我們介紹了何謂條件機率，接著，我們可以來看看兩個獨立的隨機變數之獨立性，在條件機率下具有什麼特性。</p><p>假設X與Y是兩個隨機變數，那麼聯合分配以f(x,y)表示，邊際機率分配分別以g(x)、h(y)表示。</p><p>要是f(x|y)=g(x)，即代表隨機變數X與Y互相獨立。同理，f(y|x)=h(y)也可稱X與Y互相獨立。</p><blockquote><strong>常用的離散型機率分配 -二項分配</strong></blockquote><p>機率的概念常常發生在我們日常生活中，然而機率分配千千百百種，什麼情形該使用什麼分配呢? 哪些分配是最常用的呢? 初學者要從何著手呢?</p><p>這裡小編哞哞獅(Momus)建議從離散型隨機分配的<strong>二項分配</strong>開始學習， 為何從二項分配開始呢? 因為生活中最簡單的隨機試驗就是只有兩種結果，像是銅板只有正反兩面，只求正面和反面的機率分配，是不是比求六面的骰子點數的機率分配還來得簡單呢?</p><p>而固定 n 次獨立試驗，每次試驗結果只考慮兩種情況(失敗&amp;成功)，則其總合結果之機率分布我們就稱之為<strong>二項分配( Binomial distribution)。</strong></p><p>例如: 有一場博弈大賽，要丟一枚公正的骰子10次，每一次結果只有兩種(贏&amp;輸)，大於或等於3就是贏，小於3就是輸，此時要解釋各種出現結果，其機率的分配就可以用二項分配呈現囉。</p><blockquote><strong>其他離散型機率分配</strong></blockquote><p>除了二項分配外，還有幾何分配、超幾何分配、間斷均勻分配、卜瓦松分配、負二項分配、柏努力分配(點二項分配)...等。如果想進一步了解，往後的篇章會有更詳細的介紹。</p><blockquote><strong>常用的連續型機率分配 -常態分配</strong></blockquote><p>由於自然界或非自然界，常態分配皆普遍存在，因此它幾乎堪稱使用率最高的分配。</p><p>例如賽跑時間或是物理學的光子計數，研究者發現透過證明，可以驗證出這些變量幾乎是服從常態分配。</p><p>那麼，常態分配長甚麼樣呢，我們來看看下面這張圖:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/350/0*MGy--FqgJG7XJCtd.PNG" /></figure><p>這個鐘形曲線就是稱為<strong>常態分布</strong>，也叫<strong>高斯分布</strong>。最早是由亞伯拉罕(Abraham de Moivre)於1733年發現此分配。</p><p>期望值 μ 等於位置參數，用來決定分布的位置。</p><p>標準差 σ 等於尺度參數，用來決定分布的幅度。</p><p>將近有68%的數值，落在平均數 ± 1個標準差間、 95%的數值，落在平均數 ± 2個標準差間、99.7%的數值，落在平均數 ± 3個標準差間。而在學術界，大家最常會將95%的數值拿來做研究。</p><p>至於常態分配有甚麼應用呢? 下方就來舉一個範例!</p><p>假設某企業每月營業額符合常態分配，其平均值為150萬，標準差為7萬。如此可以推斷某一月份之營業額在140萬至160萬之間的機率為何了!</p><p>此外，其他分配在某些情況下，經由適度轉換，也會成為常態分配。像是試驗次數n 越大時，二項分配會近似於常態分配，這理論則是統計學最重要的一個定理:<strong> 中央極限定理(Central Limit Theorem)!</strong></p><blockquote><strong>其他連續型機率分配</strong></blockquote><p>其他常見的連續型機率分配包括連續均勻分配、常態分配、標準常態分配、指數隨機變數、伽碼(Gamma)分配、卡方分配、以及貝他(Beta)分配等。往後也有相關篇章更詳細的介紹。</p><blockquote><strong>名詞解釋 -機率密度函數</strong></blockquote><p>最後和大家介紹本章節最後一個名詞: <strong>機率密度函數</strong>。</p><p>在理解機率密度函數前，我們要先知道何謂密度函數。密度的概念是從物理學來的， 是指一物質單位體積下的質量。</p><p>然而，一個點的體積是無限小，因此質量必為0。那麼整個物體的質量怎麼計算呢?</p><p>由於物體是由無數個點組成，因此可以在一個點的附近取一小塊，用這一小塊的質量除以體積，然後取極限(體積無限小)，即為密度的概念。相反地，密度透過積分可以計算出物體的質量。</p><p>了解物體密度的概念後，我們就可以很容易理解機率密度。</p><p>如下圖機率的區間從0到1，要在這個區間隨機取一個點，而這個點的機率是多少呢? 由於一個點的長度是無限小，所以機率一定為0。那麼我們就要在這個點附近取一個區間段，利用該區間段的機率除以長度，再取極限後可以得到機率密度的值。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/536/1*_Lk4HHdRHjpmGAw2GYjYYg.png" /></figure><p>相反地，機率密度透過積分可以計算出該區間段上的機率。</p><p>而離散型隨機變數和連續型隨機變數各有對應的機率函數名稱:</p><p>離散型隨機變數對應的機率函數，稱為<strong>Probability function(pf)</strong>或是<strong>Probability mass function</strong>。</p><p>連續型隨機變數所對應的機率密度函數稱為<strong>Probability density function (pdf)</strong>。</p><blockquote><strong>結尾</strong></blockquote><p>恭喜各位初步了解機率分配的相關基礎知識!!</p><p>下一章將會介紹<strong>抽樣與抽樣分配。</strong></p><p>最後，如果喜歡這篇文章，請按下方的拍手鍵，來點掌聲和鼓勵。Thanks!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e767bb77340d" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[資料分析 05 統計學 - 機率]]></title>
            <link>https://medium.com/@momuschao/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-05-%E7%B5%B1%E8%A8%88%E5%AD%B8-%E6%A9%9F%E7%8E%87-f59a5e2b177a?source=rss-532efc65e399------2</link>
            <guid isPermaLink="false">https://medium.com/p/f59a5e2b177a</guid>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[ai]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Momuss C.]]></dc:creator>
            <pubDate>Fri, 17 Aug 2018 08:57:00 GMT</pubDate>
            <atom:updated>2025-02-09T09:11:00.474Z</atom:updated>
            <content:encoded><![CDATA[<p><strong>[概論]</strong> 本篇介紹演繹和歸納兩種推理，進而認識機率相關的基礎概念。</p><blockquote><strong>前言</strong></blockquote><p>還記得統計學的範圍包括敘述統計和推論統計吧，回顧前幾篇的內容，相信大家已經認識到敘述統計的精隨。</p><p>然而在踏入推論統計前，我們要先來準備一下有關推論統計的基礎認識，首先我們先從高中就學過的<strong>機率理論 (probability theory)</strong> 開始吧。</p><blockquote><strong>演繹推理 VS 歸納推理</strong></blockquote><p>在第二篇我們了解母體和樣本的概念，有時候我們有了樣本的數據，但母體我們並不知道，這時候就需要利用推論統計，利用樣本去推估母體(真實世界)。</p><p>而推論統計就是根據部分訊息(樣本)推測母體的某些特徵，這在科學領域稱為<strong>歸納推理 (inductive reasoning)</strong>。</p><p>而另一方面，我們知道母體的某些特徵，從母體隨機抽取樣本，就可以依照母體的某些特徵來了解樣本的某些特徵，這種概念跟推論統計相反，稱為<strong>演繹推理 (deductive reasoning)，</strong>這部分牽涉到的就是本章節要先介紹的機率理論。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/866/1*1B2A17mZJvkVLrKNHT1K8A.jpeg" /></figure><p>這邊把機率放在推論統計之前，是因為機率理論發展得比較早，同時也是推論統計學習的基礎。</p><p>機率常常用於很多研究及預測的規律，比方我們現在知道樂透彩的所有組合，那根據以往開獎的數字，下一期會開出甚麼數字呢? 我們就可以利用數據科學的角度，分析下一期各種開獎組合的機率，這彷彿上帝報了名牌一樣，是不是很讓人興奮呢。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uMy1_TywvxLySbMbF-nDZw.jpeg" /></figure><p>除了樂透彩這個例子之外，像是金融商品的投資決策、癌症的死亡率、咖啡豆的品質管理等等，生活上很多地方都是機率的應用範圍喔。</p><blockquote><strong>隨機試驗</strong></blockquote><p>假設今天要研究樂透彩下一期中獎機率，各位是不是會先列出所有可能會中獎的號碼，但這些號碼不知道是哪一組中獎，因此我們會透過觀察、實驗、抽樣等統計方法，列出所有號碼的發生機率，這種過程就稱為<strong>隨機試驗 (random experiment)</strong>。</p><p>而隨機試驗還具備一個特點: <strong>不確定性</strong>。 雖然每次試驗都可以知道有哪些結果，但究竟會是哪一種結果出現，就具有不確定性了。</p><blockquote><strong>樣本空間 &amp;樣本點</strong></blockquote><p><strong>樣本空間 (sample space)</strong>指的是我們列出所有可能結果的集合。</p><p><strong>樣本點 (sample point)</strong> 指的是樣本空間裡的元素，又可稱為<strong>出象(outcome)</strong>。</p><p>比方我們有一顆六面的骰子，丟出來可能的結果就是六面的點數，樣本空間就是{1,2,3,4,5,6}，各代表從1點到6點。而樣本點就是指裡面的元素，例如: {1}，指的就是1點。</p><p>大家是不是有點印象，高中數學有學過C5取3之類的觀念? 沒錯，高中的<strong>排列組合</strong>就是在學習如何算出各種可能會出現的結果 『數量』，如果忘記就趕快回去複習一下囉。</p><blockquote><strong>事件 (Event)</strong></blockquote><p>事件是樣本空間的部分集合，可分為兩個類別: <strong>簡單事件(simple event)、複合事件(compound event)</strong>。</p><p>簡單事件指的是單一個樣本點的事件，而複合事件即為包含兩個以上樣本點的事件。</p><p>再舉一顆六面的骰子為例，今天投擲一次，發生點數為5的事件，標記為{5}，我們可稱之為簡單事件; 倘若要標記點數大於5的事件，則為{5,6}，這就稱為複合事件。</p><blockquote><strong>機率測度: 古典方法、相對次數方法、主觀方法</strong></blockquote><p>了解所謂的事件後，相信大家對於事件該如何賦予機率值很好奇吧，比方說會出現點數1，這個事件的機率到底是多少? 這邊，就提供三個賦予機率值的方法，首先登場的是古典方法。</p><p><strong>[古典方法/古典學派]</strong></p><p>1. 限制條件: 樣本空間為有限。</p><p>2. 基本假設: 每一樣本點出現的機會皆相同。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/785/1*0uhRAMubegVBkus_k3uhag.png" /></figure><p>太文言文沒關係，我們來舉個例子說明一下。假設今天要擲一枚公正的硬幣兩次，那麼<strong>出現一個反面的機率是多少呢?</strong></p><p>首先，先列出樣本空間的樣本點個數，我們投擲公正硬幣兩次可能會得到: 兩次正面、一次正面一次反面、一次反面一次正面、兩次反面。如此我們得到樣本點個數為4，亦即n(S)=4。</p><p>接下來要計算事件的樣本點個數，題目要我們找出現一個反面的機率，那麼在樣本空間裡總共有兩種可能(一次正面一次反面、一次反面一次正面)，因此n(E)即為2。</p><p>將n(S)和n(E)套入我們古典方法的公式可以求得出現一次反面的機率是 2/4 = 1/2。</p><p><strong>[相對次數方法/次數學派]</strong></p><p>接下來我們要來介紹第二個方法: 相對次數方法。</p><p>大家知道了古典假設需要兩種條件，但當這兩種條件受限的時候呢? 假設今天我們投擲的骰子可能有一邊偏重(莫非，被詐騙集團放鉛塊0.0)，導致每一面出現的機率不再相等，那該如何解決? 這時候相對次數的方法就派上用場囉!</p><p>所謂相對次數方法，就是經過好幾次的試驗(重複試驗)，利用觀察到的事件出現次數給予機率。</p><p>那麼什麼叫重複試驗呢? 一個試驗若是重複做了很多次的獨立試驗，就稱為<strong>重複試驗</strong>。所謂<strong>獨立試驗</strong>就是每次試驗的結果不會互相影響。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/830/1*-TMGUWINF9USBnSgGnMoRw.png" /></figure><p>舉個例子，我們投擲一個骰子100次，其中出現1點的次數為35次，利用相對次數方法求得0.35(35/100)就是該事件的機率估計值。</p><p>這個概念和經驗法則雷同，利用這100次的經驗找到我們各事件的機率估計值，如此操作就是所謂的相對次數方法。</p><p><strong>[主觀方法/主觀學派]</strong></p><p>第三個方法，我們要來介紹: 相對次數方法。</p><p>會不會有上述兩種方法(古典方法&amp;相對次數方法)無法採用的時候呢? 當然會啦! 假設今天的資料是缺乏過去類似事件時，通常會用個人經驗或直覺，去判斷事件的機率。</p><p>主觀方法雖然缺乏嚴謹的理論依據，但往往在實務上都是採用該方法。像是下一季服裝款式要推出怎樣麼產品，才能讓公司的市占率提升? 此時，決策者往往會依照自己的主觀方法(喜好、過去經驗...等等) 來下決策。</p><p>但就是因為每一個人所認為的機率不同，造成很多時候人員每調動一次，政策就要大改變一次，或是主管今天心情好選了A方案，明天心情不好又選了B方案，這種類似的情況實在是太耗費企業的資源 (資源有限的公司承擔不起阿!)</p><p>也因此，近年來數據分析的崛起，像是馬雲這類的大人物，為了避免主觀方法帶來的資源消耗，一直提倡數據分析，告訴大家『數字』會說話，其實採用的就是前兩種方法(古典方法&amp;相對次數方法)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*d5vB7y_9COACIICGUdOGHw.jpeg" /></figure><p>關於以上這三種方法，無論在職場或是理論上，皆佔有一定的角色，要如何抉擇，又是另一個學問了呢。</p><p>接下來我們在來介紹其他有關機率的基礎名詞:</p><blockquote><strong>條件機率</strong></blockquote><p>條件機率(conditional probability) 很簡單，就是指在某個條件下發生的機率，通常我們科學記號表示為P(A|B)，意思就是在B條件下發生A的機率。</p><blockquote><strong>獨立事件</strong></blockquote><p>假設在B條件下發生A的機率和在沒有B條件發生A的機率是一樣時，就表示A事件和B事件是互相獨立(independent)的囉!</p><p>這就好像今天你去簽樂透，中獎的機率是0.2(天啊，這麼高)，然而在下雨天時你去簽樂透，剛好中獎機率也是0.2，那麼下雨和簽樂透這兩個事件就是互相獨立的囉。</p><p>以下讓我們整理一下重點:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/806/1*ttlEwT2vDpf01XS59svT-A.png" /></figure><blockquote><strong>貝式定理</strong></blockquote><p>貝式定理在統計學也是一個很重要的理論，現在就讓小編哞哞獅(Momus)為您介紹偉大的貝式定理:</p><p>假設小編今天要買一類股票，並對該股票以往獲利情況進行估計(事前機率)，但在買進之前，剛好有認識股票專家，小編就去請教那位股票專家(額外資訊)，經過專家分析後，小編修正了自己要買進的股票時間點(事後機率)。像這種結合事前機率與條件機率(額外資訊)，算出來的事後機率，就稱為<strong>貝式定理( Bayes’ theorem)</strong>。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/635/1*uM6P4VXncMTdXwf4S9KX6Q.png" /></figure><blockquote><strong>結尾</strong></blockquote><p>恭喜各位初步了解機率的相關基礎知識，我們下一章，將會介紹<strong>機率分配</strong>。</p><p>最後，如果喜歡這篇文章，請按下方的拍手鍵，來點掌聲和鼓勵，讓我感受一下你們的溫暖和支持。Thank you! ^^</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f59a5e2b177a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[資料分析 04 統計學- 視覺化]]></title>
            <link>https://medium.com/@momuschao/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-04-%E7%B5%B1%E8%A8%88%E5%AD%B8-%E8%A6%96%E8%A6%BA%E5%8C%96-a2a22419ff14?source=rss-532efc65e399------2</link>
            <guid isPermaLink="false">https://medium.com/p/a2a22419ff14</guid>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[data-visualization]]></category>
            <dc:creator><![CDATA[Momuss C.]]></dc:creator>
            <pubDate>Fri, 29 Jun 2018 07:06:37 GMT</pubDate>
            <atom:updated>2025-02-09T09:10:24.216Z</atom:updated>
            <content:encoded><![CDATA[<p>[概論] 本篇介紹視覺化的定義，以及相關呈現工具介紹，並列舉兩個圖例讓大家了解視覺化呈現的方式。</p><blockquote><strong>前言</strong></blockquote><p>我們在處理數據分析時，往往需要讓其他人&quot;看懂&quot;我們分析的成果，因此視覺化也可以說是資料科學領域重要的一環呢。那麼，甚麼叫資料視覺化呢? 先來看看資料視覺化的定義吧。</p><p><strong>資料視覺化</strong>（Data Visualization），指的是利用圖形化工具，將資料轉變成易於理解的資訊。</p><p>簡單來說，就是用工具將資料呈現成圖表，讓觀看者明白、易懂，這部分是最重要的。</p><p>注意囉，視覺化又可以稱為可視化，所以在徵才資訊看到可視化工程師，就是在找能夠完美呈現圖表的工程師啦。</p><p>了解視覺化意思後，我們來介紹有哪些可以繪製圖表的工具吧。</p><blockquote><strong>工具介紹</strong></blockquote><p>那麼，圖形化工具有哪些呢? 大家最常用的excel就可以畫圖表囉! 當然我們常用於分析的R以及python都可以繪製圖表，不過缺點就是開發上會比較花時間，因為畫一張圖表，就要花時間寫一連串程式碼，但優點是會比較有彈性，想要畫甚麼表，基本上都可以用程式碼解決。</p><p>近年來還有很紅的視覺化商業分析軟體Tableau，不過這是付費軟體，如果你是學生或是教師，上課有需要，可以在他們官網頁面申請免費的一年使用，要是一年過後還具有學生或教師身分，還可以申請延展 (要好好珍惜學生身分阿)。</p><p>如果你有前端設計的概念，可以使用D3.js絢麗的開源軟體喔! 另外，如果是3D的視覺化呈現，可以使用three.js。</p><p>以上討論到的圖形化工具，如果有興趣進一步了解，下方 「延伸學習 」裡，有提供相關連結悠。</p><p>當然，市面上還有很多種圖形化工具，這邊只舉了幾個工具而已，等著你一一探索。</p><blockquote><strong>視覺化呈現方式</strong></blockquote><p>如何利用圖形化工具，將資料轉變成易於理解的資訊，可是大大的學問呢。通常會利用長條圖、圓餅圖、盒鬚圖等等呈現我們的的數據，畢竟一般人對於圖型理解和吸收都是比較容易的，相較於枯燥乏味的阿拉伯數字。</p><p>如果你對視覺化設計方面很有興趣，小編哞哞獅(Momus)提供另外一位部落客寫的優質圖表設計:</p><p>[學習連結] <a href="http://pcse.pw/75KN2">http://pcse.pw/75KN2</a></p><p>至於本篇，下方提供氣泡圖和地理圖形這兩個範例，讓大家看看視覺化的呈現方式，大家要包持愉快的心情，繼續朝下一篇統計學前進^^!</p><blockquote><strong>視覺化範例 01 - Bubble Polt</strong></blockquote><p>[原始程式碼] <a href="http://pcse.pw/7V2HW">http://pcse.pw/7V2HW</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*Yd42OKFOaqvmcrcopBlb0w.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/685/1*qUyNIyE58oE9TXtreNasoA.jpeg" /></figure><p>這個例子是用python畫得一個氣泡圖。</p><p>而氣泡圖其實是一種變化的散佈圖，觀察一下上方圖例，看圖者可以知道，變數1和變數2之間的關係，而氣泡大小則是加入其他維度的資料，因此氣泡圖可視為超越二維空間概念的視覺化呈現。</p><p>有時候在製作數據報告的時候，如果不能做動態的3D呈現，這個氣泡圖可能會是一種比較好的選擇悠。</p><blockquote><strong>視覺化範例 02 - Geographical Plot</strong></blockquote><p>[原始檔案] <a href="http://pcse.pw/7S8GE">http://pcse.pw/7S8GE</a></p><p>資料來源: 2016各國GDP</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WuYApAgmkJoYt4hkxVW0KA.jpeg" /></figure><p>第二個範例是利用2016年的開放資料，用Tableau繪製各國GDP的地理呈現。</p><p>大家可以觀察到，很多國家的GDP都比美國的GDP大(泡泡比較大)，這樣的呈現會比單純用數字來表達來得淺而易懂，是不是呢?</p><blockquote><strong>其他圖表</strong></blockquote><p>看完上方兩個圖例，如果還想看看其他視覺化呈現，下方連結提供各式各樣的圖型一次看到飽，裏頭是加拿大多倫多國中小 STEAM 教育專案資料分析。</p><p><strong>資料連結:</strong> <a href="https://www.littlemissdata.com/blog/steam-data-art1">https://www.littlemissdata.com/blog/steam-data-art1</a></p><blockquote><strong>延伸學習</strong></blockquote><p><strong>7 Visualizations You Should Learn in R:</strong> <a href="http://pcse.pw/7REYG">http://pcse.pw/7REYG</a></p><p><strong>Python Matplotlib:</strong> <a href="https://matplotlib.org/gallery.html">https://matplotlib.org/gallery.html</a></p><p><strong>Tableau official website:</strong> <a href="https://www.tableau.com/">https://www.tableau.com/</a></p><p><strong>Tableau for Students:</strong> <a href="https://www.tableau.com/academic/students">https://www.tableau.com/academic/students</a></p><p><strong>D3.js official website:</strong> <a href="https://d3js.org/">https://d3js.org/</a></p><p><strong>網頁視覺化利器-D3.js:</strong> <a href="http://pcse.pw/7RPE3">http://pcse.pw/7RPE3</a></p><p><strong>three.js:</strong> <a href="https://threejs.org/">https://threejs.org/</a></p><p><strong>The Qlik data analytics platform:</strong> <a href="https://prod.qlik.com/us">https://prod.qlik.com/us</a></p><blockquote><strong>結尾</strong></blockquote><p>認識資料視覺化後，我們下一章，將會介紹<strong>機率</strong>。</p><p>最後，如果喜歡這篇文章，請按下方的拍手鍵，來點掌聲和鼓勵，讓我感受一下你們的溫暖和支持。Thank you! ^^</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a2a22419ff14" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[資料分析 03 統計學- 敘述統計]]></title>
            <link>https://medium.com/@momuschao/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-03-%E7%B5%B1%E8%A8%88%E5%AD%B8-%E6%95%98%E8%BF%B0%E7%B5%B1%E8%A8%88-701acd6b6277?source=rss-532efc65e399------2</link>
            <guid isPermaLink="false">https://medium.com/p/701acd6b6277</guid>
            <dc:creator><![CDATA[Momuss C.]]></dc:creator>
            <pubDate>Sat, 09 Jun 2018 07:57:24 GMT</pubDate>
            <atom:updated>2025-02-09T09:09:52.218Z</atom:updated>
            <content:encoded><![CDATA[<p>[概論] 本篇主要了解敘述統計的三大觀念: 資料的集中趨勢、資料的分散趨勢、以及資料的統計量及其呈現。</p><blockquote><strong>前言</strong></blockquote><p>首先，我們先來複習前一章所提及的<strong>敘述統計</strong>(<a href="https://en.wikipedia.org/wiki/Descriptive_statistics">descriptive statistics</a>)。何謂敘述統計呢，簡單來說，是就資料本身加以描述，並不做其它的推論。例如: 描述資料本身的平均數、中位數、變異數等等。(疑? 有些名詞聽不懂沒關係，我們下方會慢慢介紹。</p><p>然而通常對資料做初步整理，都會從敘述統計開始，在做敘述統計前，我們都會經過一番資料整理的過程，光是做這些整理，可能會花去整體作業時間的八成到九成，而這段整理的過程，我們稱之為&quot;清洗資料&quot;(<a href="https://en.wikipedia.org/wiki/Data_cleansing">Data cleaning</a>)。</p><p>為什麼要清洗資料呢? 主要是因為原有蒐集的資料太過雜亂，其中有可能是電腦語言所編寫的系統資料，亦有可能是市場調查當初設定問卷的規格等等，這些最原始的資料通常我們稱為&quot;髒資料&quot;，將這些髒資料整理成我們要分析的格式後，就稱為&quot;乾淨的資料&quot;。有了乾淨的資料，我們就可以繼續我們分析的流程囉!</p><p>如果想練習如何清洗資料，本文最下方的延伸學習有提供相關連結可以作為參考。</p><p>敘述統計的目的，就是在分析前，來看看我們資料的&quot;樣子&quot;，知道資料長怎樣後，才能針對自己的資料做進一步分析。至於怎麼看資料呢? 通常會從資料的集中趨勢、分散趨勢、以及統計量，這幾個方向著手。以下我們就來一個一個介紹吧!</p><blockquote><strong>資料集中趨勢</strong></blockquote><p>假設今天有50筆班上同學的身高資料，那麼今天要闡述這50位同學的身高，如果一個一個表達，是不是很複雜呢? 於是統計學家就思考，如果有指標可以代表這些數值，將會有利於分析的速度。而現在我們就要來介紹其中一類指標: <strong>資料集中趨勢</strong>(或稱中央趨勢)!</p><p>資料集中趨勢的指標可分為以下三個:</p><ol><li>平均數 (mean): 全部數值加總/數值個數。</li><li>中位數 (median, Mo): 一組按大小次序排列的觀測值中，居中的數值。</li><li>眾數 (mode): 一組數據中出現次數最多的數值。</li></ol><p>雖然大家對這三個指標不會太陌生，不過我們還是舉一個小小例子複習一下。假設有一組資料是: 1, 2, 2, 2, 4, 5, 5。那麼平均數就會是3，中位數就會是2，眾數也是2。</p><p>回到這小節第一個例子，如果以平均數當作資料集中趨勢，例如: 班上50位同學平均身高是175公分，這樣是不是簡潔易懂，又能代表全體的資料呢?</p><p>一般我們要表達資料的集中趨勢時，會採用平均數作為代表，但當資料有極端值出現，平均數會失去代表集中趨勢的特性，像是今天來個幾個身高200以上的轉學生，班上同學的平均身高就會被拉高，但畢竟轉學生只佔少數，也因此，平均數就可能不適合代表整體數據，而通常我們會採用中位數作為代表。</p><p><strong>[注意]</strong> 資料採用平均數或中位數作為資料集中趨勢的指標，會影響之後我們要用的統計方法喔。</p><blockquote><strong>資料分散趨勢</strong></blockquote><p>假設有一組資料是10,10,10，而另外一組資料是9,10,11。如果我們只看資料的集中趨勢，那麼以平均數作為代表，這兩組數值算出來的平均數都會是10，為了更能夠代表資料，指標除了集中趨勢外，我們還可以加上資料的分散程度，來代表我們的資料，以下則是幾個有關資料分散趨勢的相關專有名詞:</p><ol><li>最大值 (max): 資料的最大值。</li><li>最小值 (min): 資料的最小值。</li><li>全距 (range): 資料的最大值減最小值。</li><li>四分位差(<a href="https://en.wikipedia.org/wiki/Interquartile_range">interquartile range, IQR</a>): 又稱四分位距。是將資料排序，劃分成四等份後，依照上四分位數（Q3，即位於75%）與下四分位數（Q1，即位於25%）算出來的差。</li><li>變異數 (<a href="https://en.wikipedia.org/wiki/Variance">variance</a>): 量測所有資料到平均數的平均距離。</li><li>變異係數(<a href="https://en.wikipedia.org/wiki/Coefficient_of_variation">coefficient of variation, CV</a>) 用來比較單位不同或單位相同但資料差異甚大的資料分散情形。</li><li>標準差 (<a href="https://en.wikipedia.org/wiki/Standard_deviation">standard deviation, SD</a>): 又稱均方差（Mean square error），為 變異數的平方根。</li><li>偏態 (<a href="https://en.wikipedia.org/wiki/Skewness">skewness</a>): 大部份的數值落在平均數的哪一邊。</li></ol><p>而以下，我們將對大家會有疑惑的專有名詞進行說明。</p><p>[四分位差] 我們舉個例子來解釋相關的概念，假設我們的資料為 1, 2, 3, 4, 5, 6, 7, 8, 9， 那麼5則為中位數，稱為第二四分位距(Q2); 而小於中位數的數值1, 2, 3, 4，其中位數為(2+3)/2=2.5，稱為第一四分位距(Q1); 大於中位數的數值6, 7, 8, 9，其中位數為(7+8)/2=7.5，稱第三四分位距(Q3)。將Q3-Q2 就可以算出我們的四分位差，即 7.5-2.5 = 5。</p><p>[變異數] 變異數越大，代表大部分的數值和其平均值之間差異較大，資料較分散; 變異數越小，代表大部分的數值和其平均值之間差異較小，資料較集中。</p><p>[變異係數] e.g. 假設今天三位同學的的身高分別是181, 173, 175 而體重分別是75, 66, 60，而今天我們要比較身高資料和體重資料的差異情形，但由於身高資料的單位是&quot;公分&quot;，體重資料的單位是&quot;公斤&quot;，此時就可以利用變異係數進行比較。這邊採用樣本變異係數的公式進行運算後，身高的變異係數是2.3611，體重的變異係數是1.2684。有此可得知，身高的變異係數較大，判別身高的資料分散程度會比較大。其公式如下:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/551/1*zboR0ShLU-xf7V5_1HnwIg.jpeg" /></figure><p>[標準差] 其解釋和變異數相同。</p><p>[變異數 vs 標準差] 變異數是所有資料與平均值的平均距離，在計算的過程中，為了避免正負相抵，因此我們將距離平方，得出來的變異數就可以解釋數據的發散程度。但此時原先的數值單位也會因為平方變成不可解釋，因此當我們需要解釋單位時，會將變異數開根號，得出標準差，其單位就可以用來解釋。</p><p>[偏態] 若資料分配較多集中在低數那方，稱為<strong>正偏態分配</strong>(或稱右偏態分配); 若分配較多集中在高數值方面，稱為<strong>負偏態分配</strong>(或稱左偏態分配)。</p><blockquote><strong>資料統計量 - 次數分配表</strong></blockquote><p>了解資料集中趨勢和分散趨勢後，我們來認識一下資料的統計量。 所謂的「<strong>統計量</strong>」就是由一組樣本所算出的單一數值。</p><p>這邊我們介紹統計量最常見的呈現方式: <strong>次數分配表</strong>( frequency distribution table)，亦即針對資料的出現次數所整理的表格。</p><p>而次數分配表的圖表呈現又有很多種，包含長條圖、圓餅圖等等。下圖則用python的長條圖呈現次數分配表。</p><p>[原始程式碼] <a href="http://pcse.pw/7VDEM">http://pcse.pw/7VDEM</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/831/1*3NJMe37Rb7_tPz_NY2UZtw.jpeg" /></figure><p>[圖表說明] 今天有五個人參加拔蘿蔔比賽，計時一分鐘，最後結果經由裁判紀錄下來。由上圖次數分配表可以得知，第一名Tina拔了6根蘿蔔，而最後一名Claire只拔了一根。</p><p>這邊由於是敘述統計，只對資料本身做描述，並不能加以揣測說Claire由於偷懶所以只拔了一根這種話，如果要得出這樣的結論，必須要有數據證明這番論證才行，這就會是推論統計的範疇。</p><p>[注意] 這邊小編Momus提醒一下兩個容易混淆的專有名詞，在圖表呈現最常混淆的是<strong>長條圖</strong>(<a href="https://en.wikipedia.org/wiki/Bar_chart">bar chart</a>)和<strong>直方圖</strong>(<a href="https://en.wikipedia.org/wiki/Histogram">histogram</a>)，兩者有甚麼區別呢? 在圖形表達上，長條圖的長條間並沒有連在一起，比較適合間斷型資料的視覺化呈現。而直方圖的長條間有連在一起，比較適合連續型資料的視覺化呈現。</p><p>下圖我們就來畫一張直方圖，來看看所謂連在一起，是怎麼個連法。</p><p>[原始程式碼] <a href="http://pcse.pw/7B3Q3">http://pcse.pw/7B3Q3</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/628/1*-v2nUOzuQxVTQSgb-043Yg.jpeg" /></figure><p>然而，為甚麼要區分長條圖和直方圖呢? 主要是因為在連續型資料的解釋上，直方圖會比較好解釋。像是今天我們量測班上同學的身高，如果說160~170公分的同學有三位，這樣是不是有利用說明資料呢。</p><p>此時就會有人提問: 如果想要用長條圖表示連續型資料，是否也是可以?</p><p>答案是: 當然可行的! 像是股票資料，這種連續型數值，我們有時候會看「趨勢線」，因此不需要將資料切分。如此可以知道，長條圖和直方圖要如何選擇，就要看分析的人想要怎麼解釋圖表囉。</p><p>而在說明上方圖表之前，我們來認識一些製作直方圖的觀念。</p><p>首先，我們要有資料的全距，有了全距，就來決定要切分資料的組數，一般而言，組數可依照研究者自身的需求做決定，也可以利用下方的經驗公式，決定組數:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/489/1*c9RLNYG-G83sInx1SsBdYw.jpeg" /></figure><p>決定好組數，就可以利用 全距/組數 算出所謂的「組距」，組距就是用來切分數值的量尺。了解這些專有名詞後，我們就來透過上方的圖表，來實際操作一下吧。</p><p>[圖表說明] 由於資料是連續型，依照經驗判斷要將所有收集回來的數值劃分為五等分，亦即組數設定為5。資料的全距是 1.1 (1.4-0.3)，組距是 0.22(1.1/5)，因此我們將資料每0.22個單位劃分為一組資料。第一組資料會是從最小值0.3開始到0.52 (0.3+0.22)，第二組資料從0.52到0.74(0.52+0.22)，以此類推，最後第五組資料是從1.18到1.4，剛好會到資料的最大值。</p><blockquote><strong>延伸學習</strong></blockquote><p>這裡提供一個可以練習資料清洗的數據集，大家可以多多利用悠:</p><p><a href="https://makingnoiseandhearingthings.com/2018/04/19/datasets-for-data-cleaning-practice/">https://makingnoiseandhearingthings.com/2018/04/19/datasets-for-data-cleaning-practice/</a></p><blockquote><strong>結尾</strong></blockquote><p>學會認識自己的資料後，下一篇，將從<strong>資料視覺化</strong>開始介紹。</p><p>最後，如果喜歡這篇文章，請按下方的拍手鍵，來點掌聲和鼓勵，讓我感受一下你們的溫暖和支持。ALL the best! ^^</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=701acd6b6277" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[資料分析 02 統計學-資料概說]]></title>
            <link>https://medium.com/@momuschao/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-02-%E7%B5%B1%E8%A8%88%E5%AD%B8-%E8%B3%87%E6%96%99%E6%A6%82%E8%AA%AA-dc570dd8dd2a?source=rss-532efc65e399------2</link>
            <guid isPermaLink="false">https://medium.com/p/dc570dd8dd2a</guid>
            <dc:creator><![CDATA[Momuss C.]]></dc:creator>
            <pubDate>Sat, 19 May 2018 16:35:46 GMT</pubDate>
            <atom:updated>2025-02-09T09:09:16.784Z</atom:updated>
            <content:encoded><![CDATA[<p>[概論] 本篇再進一步認識統計學，以及講述有關統計學的一些專有名詞。</p><blockquote><strong>何謂統計學?</strong></blockquote><p>所謂的統計學，是以科學的方法或工具，提供正確的訊息科學。</p><p>這麼講好像很籠統，那我們以比較白話的方式舉例說明一下。假設今天有一位決策者，不知道自己的客群長怎麼樣，猜想自己的產品是賣粉紅色衣服，主要消費客群應該多數是18到22歲的少女，結果經過一番資料蒐集、整理、解釋和分析後，發現自己公司的最大客群，居然是45到50歲的富太太。</p><p>如此一來，可以看出在決策者不確定的情況下，透過統計學的方法，提出資料科學的佐證，以便之後有效地行銷或是決策，這就是統計學運用的其中一個例子，有了統計學的觀念，接下來我們來認識一些統計學的基本名詞吧。</p><blockquote><strong>基本名詞介紹</strong></blockquote><ol><li><strong>母體</strong>: 想要研究的全部對象所成的集合。</li><li><strong>樣本</strong>: 母體的部分集合。</li><li><strong>母體參數</strong>: 用來描述母體的特徵。</li><li><strong>統計量</strong>: 用來描述樣本的特徵。</li><li><strong>敘述統計</strong>: 僅依照統計資料本身的特性加以描述。</li><li><strong>統計推論</strong>: 依照部分資料(樣本)的分析結果，進行合理性推論。</li></ol><p>這邊舉另外一個例子說明這些名詞，假設我們今天要了解某地區的購買行為，隨機抽取200人，進行調查。這裡<strong>母體(population)</strong>指的就是欲觀察某地區的購買行為，而那200人即為<strong>樣本(sample)</strong>。</p><p>然而<strong>母體參數(parameter)</strong>，則是描述某地區的購買行為的特徵，可能為平均年齡、消費金額等等。而<strong>統計量(statistics)</strong>則為描述那200人的購買行為特徵，同樣可能為平均年齡、消費金額等等。</p><p>之所以分母體參數和統計量，是因為母體參數通常為未知，而透過資料蒐集得來的統計量則為已知，藉由已知推估未知，就是統計學強而有力的分析效果。</p><p>至於<strong>敘述統計(descriptive statistics)</strong>是就統計資料本身加以描述; <strong>統計推論(inferential statistics)</strong>則是藉由資料本身進行有效的推論。就上方的例子說明，樣本的平均年齡、消費金額所整理出來的資訊，則為敘述統計的範疇; 而利用樣本推估母體所整理出來的資訊，則為統計推論的範疇。</p><blockquote><strong>尺度的分類</strong></blockquote><ol><li><strong>名目尺度</strong> (<strong>名義尺度</strong>)</li><li><strong>順序尺度</strong></li><li><strong>等距尺度</strong> (<strong>區間尺度</strong>)</li><li><strong>比率尺度</strong> (<strong>等比尺度</strong>)</li></ol><p>[<strong>名目尺度</strong> <strong>nominal scale</strong>] 衡量的數字僅代表類別，無大小順序之分，不可做加減乘除的運算，如: 男生代表1，女生代表0。</p><p>[<strong>順序尺度 ordinal scale</strong>] 衡量的數字可代表大小或順序，但不可做加減乘除的運算，如: 排名。</p><p>[<strong>等距尺度</strong> <strong>interval scale</strong>] 衡量的數字可代表大小或順序，也可做加減的運算，但不可做乘除。如: 溫度。</p><p>[<strong>比率尺度 ratio scale</strong>] 衡量的數字可代表大小或順序，也可做加減乘除的運算。如: 年收入。</p><p>然而，為什麼要有尺度的存在呢? 主要用途是可以利用尺度來區分我們的資料型態，藉由不同的資料型態，選擇不同的統計分法。以下我們就來解釋一下所謂的資料型態吧。</p><blockquote><strong>資料型態</strong></blockquote><p>1-1. <strong>質化資料</strong> (<strong>屬性資料</strong>)</p><p>1-2. <strong>量化資料</strong></p><p>質化資料(qualitative data)和量化資料(quantitative data)是相對應的，所謂的質化資料一般是指名目尺度和順序尺度; 而量化資料則是指等距尺度和比率尺度。</p><p>2-1. <strong>間斷資料</strong></p><p>2-2. <strong>連續資料</strong></p><p>至於<strong>間斷資料(discrete data)</strong>和<strong>連續資料(continuous data)</strong>則是利用量化資料進一步區分的。只要資料任兩點中間可以代表意義則為連續資料，如體重; 不能代表意義的則為間斷資料，如人數(資料為整數)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ftQ_TQ6aCcD7CVLepH-pKw.jpeg" /></figure><blockquote><strong>結尾</strong></blockquote><p>這邊而外提醒一下，有些統計軟體會要使用者輸入資料型態或尺度，要是輸入錯誤就無法使用相對應的統計方法囉，不過還是有一些軟體並沒有這麼嚴謹，總之，資料的定義很重要，分析者一開始就要好好定義清楚囉，加油!</p><p>下一篇，我們要來進入<strong>敘述統計</strong>的世界，是不是令人期待呢。</p><p>最後，看完這篇文章，請按下方的拍手鍵，來點掌聲和鼓勵，讓我感受一下遠方的溫暖和支持。Good luck to you!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dc570dd8dd2a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[資料分析 01 統計學-新手入門]]></title>
            <link>https://medium.com/@momuschao/%E8%B3%87%E6%96%99%E5%88%86%E6%9E%90-01-%E7%B5%B1%E8%A8%88%E5%AD%B8-%E6%96%B0%E6%89%8B%E5%85%A5%E9%96%80-e95d3f9f53c6?source=rss-532efc65e399------2</link>
            <guid isPermaLink="false">https://medium.com/p/e95d3f9f53c6</guid>
            <dc:creator><![CDATA[Momuss C.]]></dc:creator>
            <pubDate>Tue, 10 Apr 2018 12:04:19 GMT</pubDate>
            <atom:updated>2025-02-09T09:08:29.581Z</atom:updated>
            <content:encoded><![CDATA[<p>[概論] 本篇主要講述統計學和機器學習的初步觀念，以及對於入門開發者，該如何抉擇從哪個程式語言學習。</p><blockquote><strong>統計學 vs 機器學習</strong></blockquote><p>近年來到處都可以見到人工智慧和大數據的議題，但究竟要用甚麼方法才可以在這些雜亂無章的數據中，得到有價值的資訊，可說是一門很深的學問。</p><p>現今很多數據分析都會使用機器學習來建立數據模型，準確度可以達到相當的好，但在建立數據模型的過程中，會有所謂的&quot;黑盒子&quot;，究竟是有哪些變數產生數據模型的? 每個變數之間的關聯性又是如何的? 這些問題要如何有效解決，都是學術界和業界目前仍在努力的目標。</p><p>但要記得，資料科學並不是只有機器學習而已， 現在熱門的機器學習只是資料科學家的一小塊必備技能，很多時候機器學習並不足以真正解決問題。</p><p>而 小編哞哞獅(Momus)寫的這一系列，正是資料科學的另外一個技能 「統計學 」為主軸，主要是讓剛入門學習的人好掌握這塊領域的基礎統計學，同時也提供學過統計學的大家，一個快速複習的資源。</p><p>那回歸正題，機器學習和統計學的差別是甚麼? 由於兩個學派誕生和演化的時間點不同，加上出發點和目的不同，所以這個所謂的&quot;差別&quot;可以從很多種角度切入。</p><p>很多機器學習的理論基礎，皆是來自於統計學的架構，像是迴歸和分類等等。如果硬是要用一刀做切分，實在是為難人家。畢竟統計學在17世紀中葉已經逐漸發展成一門社會學科，而機器學習是人工智慧發展出來的一項工程學科。有幸今日的科技達到快速發展的條件，讓沉默以久的機器學習再度成為討論的議題。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Jo7zn_CBE0VK7ZPABhxFDQ.png" /></figure><p>那如果有人問，兩者有何區別呢? 這邊以&quot;建立模型的心態&quot;作區分。</p><p>統計學家主要關注模型的有效性、模型參數的準確估計、以及模型的推論是否符合假設等等。</p><p>而機器學習主要關注在模型的預測效能，常常會採用非參數的技術，形成令人難以理解的分類器，即所謂的黑盒子(燈愣)。</p><p>也因此，數據分析師建立模型時，目的是要預測的值比較準，還是需要了解有哪些變數與預測值相關，相關性又是多少? 以現有的技術，就可以依照不同的需求採用不同建立模型的方法，又或者可以同時採用統計學和機器學習建立模型，在做兩者之間的比較，也是一種不錯的選擇。</p><blockquote><strong>要學習哪個程式語言做分析? Python vs R</strong></blockquote><p>市面上有很多數據分析開發的軟體，常常有人糾結要從R入手，還是python? 以 小編哞哞獅(Momus)角度來看，有時間不如兩個都學吧(被揍)，如果僵持不下，不如擲銅板決定，交給上帝安排，或許可以解決你的煩惱。</p><p>那如果自己想掌握命運的話，看完以下的介紹，或許你會有下決定的想法產生。</p><p>以開發的角度，如果只是要建立單純的模型，或是練習的用途，兩個工具並不會有太大的開發區別。</p><p>R語言的面市時間是1993年，起初是專門給學統計的人做開發使用的， 主要用於統計分析、繪圖、資料探勘等等的用途，所以早期R有很多套件會比較方便。而python的面市時間是在1991年， 設計哲學是強調程式碼的可讀性和簡潔的語法，並沒有鎖定任何領域做設計，不過近年來，由於開發速度方便，容易結合其他程式語言，也因此利用python做統計的套件也相當地足夠。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/449/1*PKzCHzp2LCWzuwcUiAmanw.png" /></figure><p>如果是要往大數據發展，spark也是必要學習的。近年來在處理大數據的資料， 由於檔案過大沒辦法載入單台電腦的記憶體、或是單台運算時間太長的時候，就需要運算速度快的spark做開發。</p><p>而spark是在2014年投入開發，穩定版本是在2016年12月誕生，至於原生語言是scala (甚麼!又要學習另外一種語言) ，不急不急，為了python的需求者，因此pyspark就誕生了。</p><p>pyspark是建立在python的基礎上，可以執行spark的快速運算。而R語言當然也隨後跟上，產生了 SparkR (R on Spark)，但由於發展時間點的關係，SparkR的套件目前沒有pyspark來的多。</p><p>至於大數據是很新的議題，大家都想分一杯羹，但真正用的到大數據的企業又有幾家呢? 是否自己所掌握的資料有需要用到spark?</p><p>此外，除了python和R，還有哪些程式語言呢?</p><p>在醫學統計領域，會比較常用SAS，而SPSS則是方便學術界的人進行統計分析，不過這兩個軟體都是需要付費的。而python和R目前是免費的軟體。</p><blockquote><strong>結尾</strong></blockquote><p>看完以上小小的簡介，是否決定好要先從哪個語言下手了呢?</p><p>在此，恭喜你成功進入數據分析的第一步了!!! 接著，下一篇，將從<strong>統計的資料概說(應用和名詞)</strong>開始介紹。</p><p>最後，看完這篇文章，請按下方的拍手鍵，來點掌聲和鼓勵，讓我感受一下遠方的溫暖和支持。Have a good day ! ^^</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e95d3f9f53c6" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Mudskipper Behavior Research & Analysis]]></title>
            <link>https://medium.com/@momuschao/mudskipper-behavior-research-analysis-7dc70d2f951?source=rss-532efc65e399------2</link>
            <guid isPermaLink="false">https://medium.com/p/7dc70d2f951</guid>
            <category><![CDATA[r]]></category>
            <category><![CDATA[animals]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[data-science]]></category>
            <dc:creator><![CDATA[Momuss C.]]></dc:creator>
            <pubDate>Sun, 05 Mar 2017 08:02:22 GMT</pubDate>
            <atom:updated>2024-08-27T03:32:52.646Z</atom:updated>
            <content:encoded><![CDATA[<p>In 2008, professional zoologists (Wei-Ping Chan, Zi-Yi Tsai, Chia-Yi Liu, Ling-Shan Yu) observed and recorded Mudskipper behavior in Tamsui, Taiwan for two months. And this analysis focuses on the recording data &amp; Climate data.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/346/1*S2Z0Vkufng54PXuVHIpBww.png" /></figure><p><strong>Variables:</strong> Being Chased(BCs), Chasing(Cs), Contact(Ct), Fin(fn), Flip(Fp), Gill(Gl), Jump(Jp), Swim(Sw) &amp; Wink(Wk).</p><h3>Routine<strong> behavior (</strong>Direction):</h3><p>Correlation between each variables.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/999/1*9KvDzvIf3syBrwwMcktRmQ.jpeg" /></figure><h3>Non-routine behavior (Direction):</h3><p>Correlation between each variables.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1003/1*mGakEeVzbTrC6vuSVzdqag.jpeg" /></figure><h3>Non-routine behavior ( Non-Direction):</h3><p>Correlation between each variables.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1002/1*pbik88WJyzjwj1d9yAWmDQ.jpeg" /></figure><h3><strong>Influence Between Environmental Factors &amp; Behavior Variable:</strong></h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*M_Tw9WB_U2F2eu0coiK3Ww.jpeg" /></figure><h3><strong>Correlation between Time &amp; Behavior Variable:</strong></h3><p><strong>Possion Regression Model:</strong> Behavior = hour+ Site_no+ hour ∗ Site_no</p><p><strong>R Coding:</strong><br>data &lt;- read.table(“C:/Users/behavior_freq_5_min.csv”, header = TRUE, sep = “,”)<br>data01 = subset(data,Site_no==1)<br>data01[“data_no”] &lt;- NA <br>data01$data_no &lt;- seq(1,nrow(data01))</p><p>#sample: Swim<br>summary(md &lt;- glm(Swim~data_no, family=”poisson”, data01))<br>exp(-0.1675)</p><p>summary(md &lt;- glm(Flip~data_no, family=”poisson”, data01))</p><p>========================================</p><p><strong><em>Poisson Regression- Five mins<br></em>X~data_no Site_no=1:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rTPro7CFuxGReCuQ4TfvZg.png" /></figure><p><strong>Take “Flip” for example.</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/419/1*xiYsVfnPErN1vTCO2lU6Mw.png" /></figure><p><strong>Reference Github:<br></strong><a href="https://github.com/MomusChao/Mudskipper-Project">https://github.com/MomusChao/Mudskipper-Project</a><br><strong>Data Analysts:</strong> Ching-Tou Chao &amp; Wei-Ping Chan</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7dc70d2f951" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>