<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Viet Hung Nguyen on Medium]]></title>
        <description><![CDATA[Stories by Viet Hung Nguyen on Medium]]></description>
        <link>https://medium.com/@hvn?source=rss-7d0fa65a7886------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*IIes21Cx0EkwCNhnXXAGGg.jpeg</url>
            <title>Stories by Viet Hung Nguyen on Medium</title>
            <link>https://medium.com/@hvn?source=rss-7d0fa65a7886------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 21:30:25 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@hvn/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Khám phá thư viện sklearn — machine learning]]></title>
            <link>https://medium.com/pymi/kh%C3%A1m-ph%C3%A1-th%C6%B0-vi%E1%BB%87n-sklearn-machine-learning-1fa765f25966?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/1fa765f25966</guid>
            <category><![CDATA[sklearn]]></category>
            <category><![CDATA[học-python]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Thu, 19 Oct 2017 08:53:17 GMT</pubDate>
            <atom:updated>2017-10-19T08:53:17.088Z</atom:updated>
            <content:encoded><![CDATA[<p>sklearn là thư viện về machine learning phổ biến nhất của Python. Nó viết sẵn các thuật toán lằng nhằng phức tạp, bạn chỉ việc nhét dữ liệu vào, chờ nó tính toán rồi lấy kết quả, dễ như ăn kẹo.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*eVF_T_uWQxiIIWxVAOkK7Q.jpeg" /><figcaption>Iris</figcaption></figure><p>Bài này thừa nhận rằng bạn có biết đọc code Python. Ta tập trung vào: kiến thức về xử lý dữ liệu, machine learning và sử dụng sklearn. Nếu bạn không biết cả 3 thứ này, học cả 3 cùng lúc sẽ rất mệt và không hiệu quả.</p><pre>import sklearn<br>import sys</pre><pre>print(&quot;Python version: {}&quot;.format(sys.version))<br>print(&quot;sklearn version: {}&quot;.format(sklearn.__version__))</pre><p>Kết quả</p><pre>Python version: 3.5.2 (default, Nov 17 2016, 17:05:23) <br>[GCC 5.4.0 20160609]<br>sklearn version: 0.19.0</pre><h3>Dữ liệu và các thuộc tính</h3><p>sklearn có sẵn các bộ dữ liệu thường được dùng trong nghiên cứu. Lấy danh sách các bộ dữ liệu có sẵn trong sklearn bằng code Python</p><pre>import sklearn.datasets<br>list_of_data_funcs = [s for s in dir(sklearn.datasets) if s.startswith(&#39;load&#39;)]<br>list_of_data_funcs, len(list_of_data_funcs)</pre><p>Kết quả</p><pre>([&#39;load_boston&#39;,<br>  &#39;load_breast_cancer&#39;,<br>  &#39;load_diabetes&#39;,<br>  &#39;load_digits&#39;,<br>  &#39;load_files&#39;,<br>  &#39;load_iris&#39;,<br>  &#39;load_linnerud&#39;,<br>  &#39;load_mlcomp&#39;,<br>  &#39;load_sample_image&#39;,<br>  &#39;load_sample_images&#39;,<br>  &#39;load_svmlight_file&#39;,<br>  &#39;load_svmlight_files&#39;,<br>  &#39;load_wine&#39;],<br> 13)</pre><h3>Hoa Iris</h3><p>Bộ dữ liệu về các giống hoa Iris, được dùng làm ví dụ với các thuật toán phân loại (classification) — dự đoán giống hoa dựa trên kích thước của hoa.</p><pre>iris = sklearn.datasets.load_iris()</pre><pre>type(iris)<br># sklearn.utils.Bunch</pre><p>Chi tiết về kiểu Bunch: help(sklearn.utils.Bunch)</p><pre>sklearn.utils.Bunch(**kwargs)<br>Docstring:     <br>Container object for datasets<br><br>Dictionary-like object that exposes its keys as attributes.</pre><p>Khám phá</p><pre>dir(iris)</pre><pre># [&#39;DESCR&#39;, &#39;data&#39;, &#39;feature_names&#39;, &#39;target&#39;, &#39;target_names&#39;]</pre><pre>type(iris.data)</pre><pre># numpy.ndarray</pre><pre>iris.data.shape # 150 rows (samples), 4 columns (features)</pre><pre># (150, 4)</pre><pre>iris.target.shape # 150 x 1</pre><pre># (150,)</pre><pre>iris.target_names</pre><pre># array([&#39;setosa&#39;, &#39;versicolor&#39;, &#39;virginica&#39;],<br>      dtype=&#39;&lt;U10&#39;)</pre><pre>iris.target</pre><pre># array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,<br>       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,<br>       0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,<br>       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,<br>       1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,<br>       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,<br>       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])</pre><h3>3 giống hoa Iris</h3><ul><li>0: setosa</li><li>1: versicolor</li><li>2: virginica</li></ul><pre>iris.feature_names</pre><pre># [&#39;sepal length (cm)&#39;,<br> &#39;sepal width (cm)&#39;,<br> &#39;petal length (cm)&#39;,<br> &#39;petal width (cm)&#39;]</pre><pre>iris.data[:5]</pre><pre># array([[ 5.1,  3.5,  1.4,  0.2],<br>       [ 4.9,  3. ,  1.4,  0.2],<br>       [ 4.7,  3.2,  1.3,  0.2],<br>       [ 4.6,  3.1,  1.5,  0.2],<br>       [ 5. ,  3.6,  1.4,  0.2]])</pre><p>Dữ liệu có 4 thuộc tính (feature)</p><ul><li>chiều dài sepal (cm)</li><li>chiều rộng sepal</li><li>chiều dài petal</li><li>chiều rộng petal</li></ul><h3>Mục đích bài toán</h3><p>Dựa vào chiều dài và chiều rộng của sepal (đài hoa) /ˈsɛp(ə)l/ kết hợp với chiều dài và rộng của petal (cánh hoa) /ˈpɛt(ə)l/ để phân loại các giống hoa Iris.</p><h3>Khám phá dữ liệu</h3><p>Dữ liệu đã có sẵn, giờ chỉ cần xoay đi, xoay lại, lộn lên lộn xuống xem dữ liệu có ý nghĩa gì. Đây là bước cơ bản khi phân tích mọi thứ, và thường ta sẽ vẽ hình để nhìn cho dễ.</p><p>Một điều dễ gây “ảo tưởng” của những người học ML là ta luôn bắt đầu với bước này!!! Sự thật là:</p><ul><li>không phải lúc nào cũng có sẵn dữ liệu — ta có thể phải tự thu thập dữ liệu</li><li>dữ liệu gần như không bao giờ sạch sẽ như ví dụ này: sẽ có thông tin bị thiếu, bị lệch về độ lớn, sai …</li></ul><p>Nên phần “tiền xử lý” — làm sạch dữ liệu, trên thực tế, mới là phần mà người làm dữ liệu tốn nhiều thời gian. Nếu không thành thạo phần làm sạch / thu thập dữ liệu này thì chẳng có dữ liệu nào mà phân tích hay ML cả.</p><pre>import matplotlib.pyplot as plt<br>%matplotlib inline</pre><pre>x_feature = 0<br>y_feature = 1<br>x_column = iris.data[:, x_feature] # lấy tất cả các dòng của cột x_feature(0)<br>y_column = iris.data[:, y_feature]<br>plt.scatter(x_column, y_column, c=iris.target)<br>plt.xlabel(iris.feature_names[x_feature])<br>plt.ylabel(iris.feature_names[y_feature])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/389/1*LVmuozMSs4OcvCgpJlGdvg.png" /></figure><p>Mọi hàm vẽ trên matplotlib đều đơn giản như thế, chỉ cần đưa vào số liệu trục x, truc y, thế là xong. Các argument khác sẽ làm thêm màu mè hay tùy chỉnh chi tiết nhưng về cơ bản chỉ có vậy.</p><h3>Câu hỏi</h3><h4>Hình trên chỉ vẽ dữ liệu 2 chiều (2 features của sample), nếu dữ liệu có nhiều chiều thì sao?</h4><p>Ở ví dụ Iris này ta có 4 features, ta không thể vẽ ra không gian 4 chiều rồi nhìn vào đó. Con người chỉ có khả năng quan sát dữ liệu 2 chiều (2D) hay 3 chiều (3D), vì vậy sẽ phải chọn ra 2 hay 3 features rồi vẽ. Việc lựa chọn này hoàn toàn phụ thuộc vào người phân tích, phụ thuộc họ muốn thấy mối liên hệ giữa những đại lượng nào.</p><h4>Dữ liệu có 1000 features thì sao?</h4><p>Ta có thể có hàng trăm, hay hàng nghìn số liệu để mô tả một ngôi nhà, nhưng không phải feature nào cũng có nhiều ý nghĩa đối với giá của ngôi nhà. Số phòng ngủ hay phòng vệ sinh hẳn quan trọng hơn chiều rộng và chiều cao của cửa sổ. Lựa chọn những features có quan hệ với kết quả cũng là việc của người làm phân tích. Việc này trên thực tế không quá phức tạp, nhờ những phương pháp toán học và công cụ có sẵn giúp ta chọn ra những feature (feature selecting) có ảnh hưởng nhất.</p><p>Khi sklearn đã có sẵn các thuật toán, việc còn lại của người phân tích sẽ là làm sạch dữ liệu, lựa chọn thuật toán tốt nhất, cho kết quả đúng nhất. Phân tích tỷ lệ sai là bao nhiêu? và sai thì làm sao?</p><p>99% có phải 1 độ chính xác cao khi nhận diện chữ viết? 99% nghe hẳn là rất cao! Nhưng nếu ta có 1 triệu văn bản cần nhận diện, sẽ có bao nhiêu văn bản bị sai?</p><pre>10**6 - 10**6 * 99 / 100</pre><pre># 10000.0</pre><p>10.000 văn bản bị sai. Với 10 nghìn văn bản sai, bạn sẽ phải ngồi lần lại 1 triệu văn bản để tìm ra cái nào sai… vậy cuối cùng việc 99% đúng kia có giúp ích gì? thà ta làm thủ công toàn bộ còn hơn!</p><p>Nếu Facebook.com có khả năng nhận diện khuôn mặt của bạn đúng 99% thì sao? Thì chả sao cả, nó sẽ tag đúng bạn, hoặc có tag sai 1 trong 100 bức ảnh thì bạn tự chỉnh lại cho đúng, không ai làm sao, cũng không ai mất gì.</p><p>Vậy là cùng 99%, nhưng tùy vào bài toán, yêu cầu cụ thể, mà nó mang ý nghĩa khác nhau.</p><h3>Estimator</h3><p>Mọi thuật toán có sẵn trong sklearn đều biểu diễn bằng một object &quot;Estimator&quot;. Một vài thuật toán cơ bản:</p><ul><li>Linear Regression: dự đoán quan hệ bằng 1 đường thẳng</li><li>Logistic Regression: phân nhóm bằng 1 đường thẳng</li><li>…</li></ul><pre>from sklearn.linear_model import LinearRegression, LogisticRegression</pre><pre>model = LinearRegression()</pre><pre>logistic_model = LogisticRegression()</pre><p>Khi đã có estimator (model) rồi, chỉ còn 2 thao tác phải làm:</p><ul><li>train/fit với dữ liệu đã có, để estimator chỉnh tham số cho phù hợp với mô hình</li><li>predict với dữ liệu mới, để đưa ra kết quả (dự đoán giá, chia nhóm 1 nhóm 2)</li></ul><h3>Một bài toán Linear Regression đơn giản</h3><ul><li>1 quả chuối — giá 2000</li><li>2 quả chuối — giá 4000</li><li>9 quả chuối — giá 18000</li></ul><p>Hỏi 5 quả chuối gía bao nhiêu tiền? Cứ xem như ta không biết phép tính nhân, hãy dùng Linear Regression để giải.</p><p>…</p><p>Xem đầy đủ bài viết và code tại <a href="https://github.com/pymivn/math-stats-ml/blob/master/sklearn_tut1.ipynb">https://github.com/pymivn/math-stats-ml/blob/master/sklearn_tut1.ipynb</a></p><p>Hết.<br>HVN at <a href="http://www.familug.org/">http://www.familug.org/</a> and <a href="http://pymi.vn/">http://pymi.vn</a></p><p>Đăng ký học #Python 3 từ con số 0 tại <a href="https://pymi.vn/">https://pymi.vn/</a> — trung tâm đào tạo lập trình viên Python số 1 Việt Nam.</p><p>Nhập email vào <a href="http://invite.pymi.vn/">http://invite.pymi.vn/</a> để nhận thư mời tham gia forum hỏi đáp Python, Django, Golang, Linux …</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1fa765f25966" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/kh%C3%A1m-ph%C3%A1-th%C6%B0-vi%E1%BB%87n-sklearn-machine-learning-1fa765f25966">Khám phá thư viện sklearn — machine learning</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Làm thống kê với R]]></title>
            <link>https://medium.com/pymi/l%C3%A0m-th%E1%BB%91ng-k%C3%AA-v%E1%BB%9Bi-r-1eac62141204?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/1eac62141204</guid>
            <category><![CDATA[data-analysis]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[r]]></category>
            <category><![CDATA[jupyter]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Tue, 12 Sep 2017 04:24:08 GMT</pubDate>
            <atom:updated>2017-09-12T04:28:45.937Z</atom:updated>
            <content:encoded><![CDATA[<p>R — đầy đủ là <a href="https://www.r-project.org/">GNU R</a> — là một ngôn ngữ lập trình dành cho phân tích / biểu diễn dữ liệu.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/200/0*jGitFD7fjo6rLSm5." /></figure><p>Khi tên một phần mềm có chữ GNU đứng đầu, ám chỉ nó là một sản phẩm của tổ chức <a href="https://www.gnu.org/">GNU</a> — tức là miễn phí hoàn toàn.</p><p>Vào năm 2017, <a href="http://www.kdnuggets.com/2017/08/python-overtakes-r-leader-analytics-data-science.html">R là nền tảng hấp dẫn thứ 2 (nó đứng thứ 1 năm 2016) cho việc phân tích dữ liệu</a>. Python soán ngôi thứ nhất — khi vừa cung cấp nhiều tính năng giống R, lại vừa là một ngôn ngữ lập trình đa mục đích.</p><h3>Tại sao lại không dùng Python?</h3><p>Tư duy loại bỏ tồn tại ở rất nhiều người, khi dùng cái A thì sẽ không dùng cái B. Trên thực tế, người ta dùng cả R lẫn <a href="http://pymi.vn/">Python</a>, chỗ nào tiện cái gì thì dùng cái đó. Nếu bạn biết Python, biết thêm R càng tốt.</p><p>Ngoài ra, nếu là người mới bắt đầu, cuốn sách học thống kê (MIỄN PHÍ) tuyệt vời <a href="http://www-bcf.usc.edu/%7Egareth/ISL/">An Introduction to Statistical Learning</a>, có các ví dụ viết bằng R.</p><p>Một cuốn sách cũng MIỄN PHÍ khác: <a href="http://www.greenteapress.com/thinkstats/">Probability and Statistics for Programmers</a> dùng Python.</p><h3>Cài đặt</h3><p>Trên Ubuntu 16.04 (phiên bản Ubuntu tốt nhất hiện tại — Không dùng Windows, lập trình trên Windows là nguồn gốc của mọi đau thương).</p><pre>sudo apt-get update &amp;&amp; sudo apt-get install -y r-base</pre><p>Lệnh sudo chờ người dùng gõ mật khẩu máy vào, lúc gõ nó sẽ không hiện gì cả, bao giờ gõ xong, enter là được. Ngồi chờ một lúc, nếu không có thông tin lỗi xảy ra tức là đã cài thành công R. Nếu đen đủi, thử cài bằng cách khác xem ở <a href="https://www.r-project.org/">đây</a>.</p><p>Từ terminal (nếu không biết nó là cái gì, đọc thêm ở <a href="http://www.familug.org/2012/03/ccgu-cli-can-ban.html">đây</a> ), gõ lệnh để xem phiên bản của R:</p><pre>$ R --version<br>R version 3.2.3 (2015-12-10) -- &quot;Wooden Christmas-Tree&quot;<br>Copyright (C) 2015 The R Foundation for Statistical Computing<br>Platform: x86_64-pc-linux-gnu (64-bit)</pre><p>Đây là bản 3.2, nên nhớ phiên bản để phân biệt các câu lệnh cho các phiên bản khác nhau có thể có trong tài liệu.</p><h3>Chạy R</h3><p>Gõ vào terminal chữ R hoa:</p><pre>$ R</pre><pre>R version 3.2.3 (2015-12-10) -- &quot;Wooden Christmas-Tree&quot;<br>Copyright (C) 2015 The R Foundation for Statistical Computing<br>Platform: x86_64-pc-linux-gnu (64-bit)</pre><pre>R is free software and comes with ABSOLUTELY NO WARRANTY.<br>You are welcome to redistribute it under certain conditions.<br>Type &#39;license()&#39; or &#39;licence()&#39; for distribution details.</pre><pre>  Natural language support but running in an English locale</pre><pre>R is a collaborative project with many contributors.<br>Type &#39;contributors()&#39; for more information and<br>&#39;citation()&#39; on how to cite R or R packages in publications.</pre><pre>Type &#39;demo()&#39; for some demos, &#39;help()&#39; for on-line help, or<br>&#39;help.start()&#39; for an HTML browser interface to help.<br>Type &#39;q()&#39; to quit R.</pre><pre>[Previously saved workspace restored]</pre><pre>&gt;</pre><p>Dấu mũi tên chờ ta gõ lệnh.</p><p>Gõ q() rồi enter để thoát, chọn lưu thông tin đang làm việc hay không tùy ý.</p><pre>&gt; q()<br>Save workspace image? [y/n/c]: n</pre><h3>Cài package từ CRAN</h3><p>Sự thành công — phổ biến của R hay Python, chính là nhờ sức mạnh của cộng đồng. Các nhà khoa học trên thế giới chia sẻ code R của mình lên mạng thông qua: CRAN — Comprehensive R Archive Network. Với Python đó là <a href="https://pypi.org/">PyPi</a>.</p><p>Để cài package từ CRAN, bật R lên và gõ</p><pre>&gt; install.packages(TEN_PACKAGE)</pre><p>Ví dụ: cài package ggplot2 để vẽ (plot) hình theo phong cách <a href="https://cran.r-project.org/web/packages/ggplot2/">&quot;The Grammar of Graphics&quot;</a></p><pre>&gt; install.packages(&#39;ggplot2&#39;)<br>Installing package into ‘/home/hvn/R/x86_64-pc-linux-gnu-library/3.2’<br>(as ‘lib’ is unspecified)<br>--- Please select a CRAN mirror for use in this session ---</pre><p>chọn mirror mà mình sẽ tải package về từ đó, ở Việt Nam có mirror của Vinahost <a href="https://mirror.vinahost.vn/CRAN/">https://mirror.vinahost.vn/CRAN/</a> — giúp tải package về nhanh hơn, không lo đứt cable — cám ơn Vinahost.vn.</p><p>PS: nên chọn https để tải, tránh dùng http (không s) để khỏi bị hacker tấn công.</p><p>Quá trình cài đặt package, nếu không thành công sẽ được R thông báo lỗi và kèm theo cách giải quyết, thường là cài thêm packge của hệ thống. Ví dụ lỗi khi thiếu thư viện libcurl4 thì sửa bằng cách chạy lệnh trên terminal:</p><pre>sudo apt-get install libcurl4-openssl-dev</pre><h3>Tính toán vector, matrix với R</h3><p>Hay “véc tơ” và “ma trận”:</p><pre>&gt; x = c(1,2,3,5)<br>&gt; x<br>[1] 1 2 3 5<br>&gt; y = c(5,3, 2, 1)<br>&gt; y<br>[1] 5 3 2 1<br>&gt; x + y<br>[1] 6 5 5 6<br>&gt; z = x + y<br>&gt; z<br>[1] 6 5 5 6<br>&gt; ?length<br>&gt; length(z)<br>[1] 4<br>&gt; 1:10<br> [1]  1  2  3  4  5  6  7  8  9 10</pre><p>Tạo vector bằng function c - Combine Values into a Vector or List. ?function hiển thị thông tin về cách dùng function, ví dụ trên là ?length (bấm q để thoát cửa sổ đó). 1:10 sinh vector chứa các số nguyên từ 1-&gt;10.</p><p>Tạo matrix với function matrix(vector_phần_tử, số_hàng, số_cột), kiểm tra kích thước với dim:</p><pre>&gt; A = matrix(1:20, 2, 10)<br>&gt; dim(A)<br>[1]  2 10<br>&gt; A<br>     [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10]<br>[1,]    1    3    5    7    9   11   13   15   17    19<br>[2,]    2    4    6    8   10   12   14   16   18    20</pre><pre>&gt; B = matrix(10:19, 10, 1)<br>&gt; B<br>      [,1]<br> [1,]   10<br> [2,]   11<br> [3,]   12<br> [4,]   13<br> [5,]   14<br> [6,]   15<br> [7,]   16<br> [8,]   17<br> [9,]   18<br>[10,]   19</pre><pre>&gt; A %*% B<br>     [,1]<br>[1,] 1615<br>[2,] 1760</pre><p>Tính tích của 2 ma trận (matrix product), ta dùng phép tính %*%. Các phép tính cộng trừ nhân chia + - * / sẽ được tính trên các phần tử tương ứng (element by element) của 2 ma trận cùng kích thước.</p><h3>Xác suất và thống kê</h3><p>Các khái niệm về thống kê xem tại <a href="https://medium.com/pymi/d%C3%B9ng-python-%C4%91%E1%BB%83-h%E1%BB%8Dc-th%E1%BB%91ng-k%C3%AA-8e41dfdaaf97">bài viết này</a>.</p><p>Sinh vector ngẫu nhiên tuân theo phân phối chuẩn (normal), có giá trị trung bình (mean) = 0 và độ lệch chuẩn (standard deviation) = 1:</p><pre>&gt; x = rnorm(100)<br>&gt; mean(x)<br>[1] 0.08933046<br>&gt; sd(x)<br>[1] 1.029229</pre><p>Có thể tùy chỉnh mean và standard deviation:</p><pre>&gt; y = rnorm(100, mean=50, sd=.1)<br>&gt; y<br>  [1] 49.96206 49.86335 50.35193 49.87869 50.01944 50.00944 49.91215 50.02604<br>...</pre><pre>&gt; mean(y)<br>[1] 50.00244<br>&gt; sd(y)<br>[1] 0.1061952</pre><h3>Vẽ đồ thị — plotting</h3><p>Function cơ bản để vẽ hình với R là plot, nhận vào các giá trị trục x, trục y, tên trục nếu có, tên đồ thị. Sau khi gõ enter, nó sẽ mở ra cửa sổ mới với hình vẽ của dữ liệu:</p><pre>&gt; k = rnorm(10)<br>&gt; h = rnorm(10)<br>&gt; plot(k, h, xlab=&quot;xxx&quot;, ylab=&quot;yyy&quot;, main=&quot;Plotttt&quot;)</pre><p>R có rất nhiều hàm để vẽ các loại đồ thị khác nhau, với tùy chỉnh tùy ý. plot vẽ &quot;scatterplot&quot;, như hình vẽ.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/681/0*R54fTCbsI-tqflUx.png" /></figure><h3>Chạy R trên Jupyter</h3><p>Jupyter là nền tảng để thực hiện tính toán, hỗ trợ hơn 40 ngôn ngữ lập trình, với khả năng chạy code và vẽ đồ thị ngay trên trình duyệt Web — là phần mềm tiêu chuẩn để làm data. Xem hướng dẫn cài đặt ở <a href="http://pymi.vn/blog/jupyter-notebook/">http://pymi.vn/blog/jupyter-notebook/</a></p><p>Jupyter là một sản phẩm của cộng đồng Python. Cài thêm R kernel theo hướng dẫn ở: <a href="https://github.com/IRkernel/IRkernel">https://github.com/IRkernel/IRkernel</a></p><p>Sau đó bật Jupyter lên:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/959/0*4EmWoec2_5Pnf8N1.png" /></figure><p>Gõ code như thường, vẽ đồ thị sẽ hiện ngay trên Jupyter. Dưới đây gõ theo ví dụ ở <a href="https://irkernel.github.io/">trang chủ của IRKernel</a>, thu được hình vẽ đẹp như mộng (hình vẽ đẹp là do dùng thư viện ggplot2).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/840/1*GAgDmlhvn3tCGoPEjGy6sg.png" /></figure><p>Xem thêm ở <a href="https://github.com/pymivn/vinastats/blob/master/notebooks/introR/introR.ipynb">link bài gốc</a> — do ở đây hiển thị không chính xác kết quả như Jupyter .</p><p>Các kết quả tìm kiếm khi thực hiện bài viết</p><ul><li>Max <a href="https://stackoverflow.com/questions/743622/finding-row-index-containing-maximum-value-using-r#743664">https://stackoverflow.com/questions/743622/finding-row-index-containing-maximum-value-using-r#743664</a></li><li>Datetime <a href="https://stackoverflow.com/questions/27408131/convert-unix-timestamp-into-datetime-in-r#27408204">https://stackoverflow.com/questions/27408131/convert-unix-timestamp-into-datetime-in-r#27408204</a></li></ul><h3>Tài liệu</h3><p><a href="https://cran.r-project.org/doc/manuals/r-release/R-intro.html">https://cran.r-project.org/doc/manuals/r-release/R-intro.html</a></p><p>Bài gốc xem tại <a href="https://github.com/pymivn/vinastats/blob/master/notebooks/introR/introR.ipynb">https://github.com/pymivn/vinastats/blob/master/notebooks/introR/introR.ipynb</a></p><p>Học lập trình #Python 3 từ con số 0 thành lập trình viên chuyên nghiệp — viết crawler, làm web API, phân tích dữ liệu, tự động hệ thống tại <a href="https://pymi.vn/">https://pymi.vn</a> #PyMI #PyFML #PyMiVN<br>Lớp HN khai giảng 21/9/2017. <br>Bạn muốn tự học?!!! <a href="http://pymi.vn/tutorial/">http://pymi.vn/tutorial/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1eac62141204" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/l%C3%A0m-th%E1%BB%91ng-k%C3%AA-v%E1%BB%9Bi-r-1eac62141204">Làm thống kê với R</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Chúng ta đã làm xấu vẻ đẹp của hàm số ở trường học thế nào?]]></title>
            <link>https://medium.com/pymi/ch%C3%BAng-ta-%C4%91%C3%A3-l%C3%A0m-x%E1%BA%A5u-v%E1%BA%BB-%C4%91%E1%BA%B9p-c%E1%BB%A7a-h%C3%A0m-s%E1%BB%91-%E1%BB%9F-tr%C6%B0%E1%BB%9Dng-h%E1%BB%8Dc-th%E1%BA%BF-n%C3%A0o-2d29de9a1c89?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/2d29de9a1c89</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[pandas]]></category>
            <category><![CDATA[matplotlib]]></category>
            <category><![CDATA[math]]></category>
            <category><![CDATA[numpy]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Wed, 17 May 2017 05:00:47 GMT</pubDate>
            <atom:updated>2017-05-17T11:38:47.891Z</atom:updated>
            <content:encoded><![CDATA[<p>(hay vẽ đồ thị hàm số với Matplotlib <a href="http://pymi.vn/">Python</a>) by HVN at <a href="https://pymi.vn/">https://pymi.vn</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*ek3DpEHOM-_REt6kdMtq6Q.png" /></figure><p>Toán học vốn được dạy một cách khô khan ở hầu hết các lớp học toán, tất cả các cấp học từ phổ thông đến đại học. Không thể trách có những người ghét toán, sợ toán, trong khi ở phía khác, có những người khen toán học đẹp đẽ và tuyệt vời.</p><p>Với những người “hiểu” toán, đồ thị và hàm số là những công cụ tuyệt vời, đẹp đẽ. Đối với phần còn lại, đồ thị là một bài toán cần phải khảo sát và kiếm 1 điểm trong đề thi đại học (tôi thi đại học năm 2008 — giờ người ta còn khảo sát hàm số khi thi đại học không?).</p><h3>Hàm số là gì? để làm gì?</h3><p>Có lẽ với mỗi chúng ta, ai học qua lớp 6, lớp 7, cũng đã dùng hàm số rồi, có thể hiểu nó là cái gì rồi. Nhưng chẳng bao giờ mang nó ra dùng ở đâu ngoài lớp học, hoặc có khi dùng, thì lại không biết.</p><p>Tôi không còn nhớ sách giáo khoa phổ thông định nghĩa hàm số là gì, nhưng có thể mô tả nôm na là:</p><blockquote>một cách biểu diễn mối quan hệ giữa một giá trị với một hoặc nhiều giá trị khác.</blockquote><p>Ví dụ: y = 2x là một hàm số đơn giản. Khi ta đưa mỗi giá trị vào x, ta tính được y. Với x = 5, y = 2*5 = 10.</p><h3>Bảng cửu chương</h3><p>x với y nghe lại có vẻ toán học, khiến nhiều người thấy ngán, thì hãy xem trong ví dụ đời thường, ta đã dùng hàm số này mà không thèm để ý: một cái bánh rán giá 2000, mua 5 cái thì phải rút 10000 VND ra trả.</p><p>Mối quan hệ này thay vì dùng từ “hàm số”, đã được đưa vào “bảng cửu chương” và chạy cho trẻ con lớp 2 học vẹt cho đến thuộc cả đời. Nhưng đừng quên, mối quan hệ giữa kết quả 10 với đầu vào 5 nhân 2 trong bảng cửu chương 5 chỉ là một giá trị có thể biểu diễn bởi hàm số y = 5x.</p><p>Hàng ngày, ta vẫn dùng những hàm số đơn giản đó, tự chuyển hoá từ bưởi, cam, chanh, bánh bao, bánh rán thành x, tính ra y và gọi đó là tiền, một cách vô thức.</p><pre>import pandas as pd<br>import numpy as np</pre><pre>rs = np.arange(1, 11)<br>rs = np.reshape(rs, (-1, 1))<br>cls = np.arange(2, 10)<br>data= rs * (cls +  np.reshape(np.zeros(10), (-1, 1)))<br>df = pd.DataFrame(index=rs, columns=cls, data=data, dtype=np.int32)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/694/1*OxB83WDjI_Nr47swVFnFbg.png" /><figcaption>bảng cửu chương</figcaption></figure><h3>Vẽ đồ thị</h3><p>Khi ở trường học, hàm số là một thứ chỉ để mang đi thi, có đôi khi mang ra dùng mà không biết, thì đồ thị, tuyệt đối chỉ để mang đi thi và chả bao giờ dùng. Những bài toán khảo sát hàm số, tìm cực đại cực tiểu của hàm số, tìm tiếp tuyến… tất cả chỉ để đi thi, lấy điểm 10.</p><p>Không, đó không phải lý do người ta nghĩ ra “đồ thị hàm số”. Đồ thị không phải là đồ chơi, khảo sát không phải để lấy điểm 10.</p><p>Đồ thị là một hình ảnh biểu diễn mối quan hệ, mà với con người, <a href="https://en.wikipedia.org/wiki/A_picture_is_worth_a_thousand_words">1 hình ảnh đáng giá ngàn lời nói</a>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/386/1*L2FFIh1vQu3NB-VYt7agrA.jpeg" /></figure><h3>Vẽ đồ thị với matplotlib — Python</h3><p>Khi vẽ bằng tay, vừa xấu, vừa khó, thì các ngôn ngữ lập trình, đặc biệt là <a href="https://en.wikipedia.org/wiki/A_picture_is_worth_a_thousand_words">Python</a> với thư viện matplotlib, cho phép ta vẽ hình đẹp, nhanh, và chính xác.</p><pre>import matplotlib.pyplot as plt<br># khi dùng trên Jupyter, thêm dòng sau để vẽ ngay tại Jupyter thay vì ghi ra file ảnh.<br>%matplotlib inline</pre><pre># thêm các dòng sau để hình vẽ có tiếng Việt<br>import matplotlib<br>matplotlib.rc(&#39;font&#39;, family=&#39;Arial&#39;)</pre><pre># thêm dòng này để hình vẽ có màu đẹp hơn <br>matplotlib.style.use(&#39;ggplot&#39;)</pre><pre>x = np.arange(11)<br>y = 5 * x</pre><pre>plt.plot(x, y, x, y, &#39;bx&#39;)<br>plt.title(&#39;Bảng cửu chương 5 biểu diễn trên đồ thị&#39;)<br>plt.xlabel(&#39;x&#39;)<br>plt.ylabel(&#39;y&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/802/1*MvYjINjd34vWw8q1gcQ-3g.png" /></figure><h3>Tuyến tính (linear)</h3><p>Hàm số y = 5x khi biểu diễn lên đồ thị, là một đường thẳng, trong toán học gọi hàm số y = 5x là một hàm số tuyến tính (tuyến - đường thẳng =&gt; hàm số có tính chất đường thẳng).</p><p>Dễ thấy bậc (số mũ) của x trong hàm số này là 1. Vì vậy nói hàm bậc 1 là hàm tuyến tính. Một hàm số bậc 1 có công thức tổng quát là y = ax + b.</p><p>Vậy y = 5x thì khác gì y = -5x và khác gì y = 5x + 6 ?</p><p>Một hình vẽ sẽ thay ngàn lời nói</p><pre>x = np.arange(7)<br>f1 = 5 * x<br>f2 = -5 * x<br>f3 = 5 * x + 6<br>plt.plot(x, f1, x, f2, x, f3)<br>plt.legend([&#39;y = 5x&#39;, &#39;y = -5x&#39;, &#39;y = 5x + 6&#39;])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/760/1*m9kXKLVVkG6vsz8jannCqA.png" /></figure><h3>Phi tuyến — non-linear</h3><p>Còn với những hàm số có đồ thị không thẳng, toán học gọi là phi tuyến (phi = không) trong tiếng anh gọi là non-linear.</p><p>Các đồ thị hàm số sau đây không có tính đường thẳng: y = sin(x), <em>y</em>=<em>x² </em>y=căn bậc 2(x) , <em>y</em>=<em>log</em>(<em>x</em>)</p><pre>x = np.linspace(-2, 5, 100)<br>f1 = np.sin(x)<br>f2 = np.sqrt(x)<br>f3 = np.log(x)<br>plt.plot(x, f1, x, f2, x, f3)<br>plt.axhline()<br>plt.axvline()<br>plt.legend([&#39;y = sin(x)&#39;, &#39;y = sqrt(2)&#39;, &#39;y = log(x)&#39;])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*zk1vd2EscVzsrHrKP4uSiQ.png" /></figure><p>Hay các hàm số mà x có bậc 2, 3, …</p><pre>x1 = np.linspace(-35, 35, 100)<br>x2 = np.linspace(-10, 10, 100)<br>f1 = x1**2<br>f2 = x2**3</pre><pre>plt.plot(x1, f1, x2, f2)<br>plt.axhline()<br>plt.axvline()<br>plt.legend([&#39;y = x^2&#39;, &#39;y = x^3&#39;])</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/830/1*YGsRcmxezQbwIcS1H8ozhQ.png" /></figure><h3>Vậy học về hàm số và vẽ đồ thị để làm gì?</h3><p>Trên thực tế, chúng ta được đưa cho những công cụ toán học rất mạnh, nhưng không đưa cho bài toán THỰC TẾ để giải. Tất cả bài tập chỉ là các con số và luyện kỹ năng <strong>tính toán</strong>, <strong>áp dụng công thức</strong>, cố biến chúng ta thành những cỗ máy tính toán (công việc của máy tính) chứ không phải dạy ta giải quyết vấn đề.</p><h3>Hãy đảo ngược bài toán</h3><p>Giờ hãy cho một tập kết quả, và hãy tìm mối quan hệ giữa kết quả và dữ kiện.</p><p>Cho một tập số liệu giữa mức lương và số năm kinh nghiệm trong một công ty,</p><ul><li>7 năm — lương 59 triệu</li><li>6 năm — lương 46 triệu</li><li>15 năm — lương 235 triệu</li><li>2 năm — lương 14 triệu.</li></ul><p>Thật không đơn giản để trả lời ngay với 9 năm kinh nghiệm, lương của anh Tèo là bao nhiêu?</p><p>Một cách giải bài toán này là ta hãy bắt đầu bằng việc vẽ các dữ liệu này lên đồ thị:</p><pre>x = np.array([2, 6, 7, 15])<br>y = np.array([14, 46, 59, 235])<br>plt.plot(x, y, &#39;r-&#39;, x, y, &#39;bx&#39;)<br>plt.xlabel(&#39;năm&#39;)<br>plt.ylabel(&#39;triệu&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/826/1*6UQlzGxSqFPTINsHdhxcGg.png" /></figure><p>Như ta quan sát, mối quan hệ giữa lương và năm kinh nghiệm không phải là một đường thẳng, nó có vẻ cong, và tăng dần theo số năm. Nếu có hiểu biết về đồ thị hàm số, ta có thể đoán đây là một hàm số bậc 2, tức `y = x² + b`. Hãy thử vẽ đồ thị với một vài giá trị của b: 0, 5, 10</p><pre>x = np.array([2, 6, 7, 15])<br>y = np.array([14, 46, 59, 235])</pre><pre>f1 = x**2<br>f2 = x**2 + 5<br>f3 = x**2 + 10<br>plt.plot(x, f1, x, f2, x, f3, x, y, &#39;bx&#39;)<br>plt.legend([&#39;y = x^2&#39;, &#39;y = x^2 + 5&#39;, &#39;y = x^2 + 10&#39;])</pre><pre>plt.xlabel(&#39;năm&#39;)<br>plt.ylabel(&#39;triệu&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/820/1*vdeAajozeYkCtnLw8oY_LA.png" /></figure><p>Có thể thấy đồ thị của y = x^2 + 10 đi qua cả 4 điểm, và nó có vẻ như là hàm số dùng để tính lương cho nhân viên. Khi có càng nhiều số liệu, ta càng chắc chắc hơn về tính chính xác của hàm số tìm được. Và lương của anh Tèo 9 năm kinh nghiệm có vẻ như là:</p><pre>print(9 ** 2 + 10, &quot;triệu&quot;)</pre><pre>91 triệu</pre><p>Anh Tèo giàu quá, hãy yêu anh Tèo 😍</p><h3>Giải tích</h3><p>Giải tích là một nhánh của toán học, nghiên cứu về sự thay đổi (tốc độ — hay vẽ lên đồ thị, đó là độ dốc của các đường cong/thẳng), độ dài, diện tích và thể tích của vật thể. Và vì thế, nó nghiên cứu về các tính chất của một hàm số / đồ thị của nó.</p><p><a href="http://mathworld.wolfram.com/Calculus.html">http://mathworld.wolfram.com/Calculus.html</a></p><h3>Ooohhh</h3><p>Hãy tưởng tượng, với hiểu biết về các hàm số, ta có thể đi đoán giá nhà dựa trên mối quan hệ giữa diện tích của ngôi nhà với giá đã bán được, tính xem giá vàng ngày mai tăng hay giảm, phân biệt xem khối u nào là ác tính hay lành tính dựa trên kích thước của nó… Đó là những ứng dụng thực tế của ngành học <a href="https://medium.com/pymi/%C4%91o%C3%A1n-gi%C3%A1-chu%E1%BB%91i-tr%C3%AAn-th%E1%BB%8B-tr%C6%B0%E1%BB%9Dng-v%E1%BB%9Bi-thu%E1%BA%ADt-to%C3%A1n-ml-linear-regression-d34a880dd139">Machine Learning</a> mà hàm số và đồ thị của nó là những công cụ không thể thiếu để giải quyết các bài toán trong thực tế.</p><p>Còn với những ai không học “Machine Learning” (học máy/máy học trong tiếng Việt), hàm số là những gì đẹp đẽ, mà bạn đã vô tình dùng, khi tính tiền khi đi chợ mỗi ngày, chỉ là mình đã đạt trình “master” rồi nên không hề nhận ra mà thôi 😎</p><p>Hết.<br>HVN at <a href="http://www.familug.org/">http://www.familug.org/</a> and <a href="http://pymi.vn/">http://pymi.vn</a></p><p>Đăng ký học #Python 3 từ con số 0 tại #PyMI <a href="https://pymi.vn/">https://pymi.vn/</a> — lớp HN khai giảng đầu tháng 6, lớp HCM khai giảng đầu tháng 8.<br>Đăng ký học #Linux #Sysadmin lớp HN khai giảng 17/5 <a href="http://sysad101.pymi.vn/">http://sysad101.pymi.vn/</a></p><p>Có chút liên quan <a href="https://mathoverflow.net/questions/13089/why-do-so-many-textbooks-have-so-much-technical-detail-and-so-little-enlightenmen">https://mathoverflow.net/questions/13089/why-do-so-many-textbooks-have-so-much-technical-detail-and-so-little-enlightenmen</a></p><p>File gốc Jupyter Notebook xem tại <a href="https://github.com/pymivn/math-stats-ml/blob/master/plotting.ipynb">https://github.com/pymivn/math-stats-ml/blob/master/plotting.ipynb</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2d29de9a1c89" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/ch%C3%BAng-ta-%C4%91%C3%A3-l%C3%A0m-x%E1%BA%A5u-v%E1%BA%BB-%C4%91%E1%BA%B9p-c%E1%BB%A7a-h%C3%A0m-s%E1%BB%91-%E1%BB%9F-tr%C6%B0%E1%BB%9Dng-h%E1%BB%8Dc-th%E1%BA%BF-n%C3%A0o-2d29de9a1c89">Chúng ta đã làm xấu vẻ đẹp của hàm số ở trường học thế nào?</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Biểu diễn công thức toán trong LATEX trên Jupyter Notebook]]></title>
            <link>https://medium.com/pymi/bi%E1%BB%83u-di%E1%BB%85n-c%C3%B4ng-th%E1%BB%A9c-to%C3%A1n-trong-latex-tr%C3%AAn-jupyter-notebook-5e1f521f062c?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/5e1f521f062c</guid>
            <category><![CDATA[latex]]></category>
            <category><![CDATA[mathematics]]></category>
            <category><![CDATA[jupyter-notebook]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Sat, 06 May 2017 08:42:07 GMT</pubDate>
            <atom:updated>2017-05-06T08:47:15.041Z</atom:updated>
            <content:encoded><![CDATA[<p>Tính toán, vẽ đồ thị, trình bày báo cáo khoa học, chạy code <a href="http://pymi.vn/">Python</a>, R… trên cùng một chương trình: <a href="http://pymi.vn/blog/jupyter-notebook/">Jupyter</a></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*uzKZVBopfjGFptsBUnCYUA.png" /><figcaption>Ma trận, không trận nào mà lại khiến sinh viên sợ như ma👻</figcaption></figure><p>Trước đây ta thường viết công thức toán bằng tay, vừa xấu, vừa xa, nhìn lại không ra gì. Mãi cho tới năm học cuối, khi phải đi làm đồ án tốt nghiệp, lúc ấy mới cần viết công thức toán lên máy tính. Các sinh viên “tiêu chuẩn” sẽ làm đồ án và viết lên Microsoft Word, việc gõ công thức khá trực quan nhưng cũng xấu và không kém phần mệt mỏi.<br>Một cách khác là dùng <a href="http://www.familug.org/search/label/Latex">LATEX</a>, công cụ chuyên để trình bày các bài báo khoa học. <a href="http://www.familug.org/search/label/Latex">LATEX</a> không khó, nó chỉ không phổ biến ở Việt Nam, như mọi thứ tốt đẹp khác (<a href="http://www.familug.org/search/label/Linux">Linux</a>, <a href="http://pymi.vn/">Python</a>…)<br>Xem một ví dụ làm đồ án sử dụng <a href="http://www.familug.org/search/label/Latex">LATEX</a> ở <a href="http://www.familug.org/2013/06/latex-o-tot-nghiep-e-tai-su-dung.html">đây</a></p><p><a href="http://pymi.vn/blog/jupyter-notebook/">Jupyter</a> là công cụ tiện lợi số 1 trong việc biểu diễn các tính toán khoa học và mang đi trình diễn, đặc biệt là giảng dạy. Ta có thể viết, chạy code, vẽ đồ thị trực tiếp trên <a href="http://pymi.vn/blog/jupyter-notebook/">Jupyter</a>, và cũng có thể biểu diễn công thức toán (nhúng vào LATEX) trên đây.</p><p>Bài này đưa ra các ký hiệu để biểu diễn công thức toán cơ bản, đủ để dùng khi học về <a href="https://medium.com/pymi/d%C3%B9ng-python-%C4%91%E1%BB%83-h%E1%BB%8Dc-th%E1%BB%91ng-k%C3%AA-8e41dfdaaf97?source=rss----28ceebe0a681---4">thống kê</a> hay <a href="https://medium.com/pymi/%C4%91o%C3%A1n-gi%C3%A1-chu%E1%BB%91i-tr%C3%AAn-th%E1%BB%8B-tr%C6%B0%E1%BB%9Dng-v%E1%BB%9Bi-thu%E1%BA%ADt-to%C3%A1n-ml-linear-regression-d34a880dd139?source=rss----28ceebe0a681---4">Machine Learning</a>.</p><p>Mỗi ô đễ gõ trong Jupyter gọi là 1 cell, 1 cell này có thể đổi thành kiểu “MarkDown”, “Code” hay “Raw”. Cell phải có type là MarkDown mới hiển thị được Latex (chọn cell, bấm chữ m). Dùng dấu $ hoặc $$ để bắt đầu và kết thúc biểu thức Latex. Dùng $$ khi biểu thức được biểu diễn hoàn toàn trên một dòng riêng.</p><h3>Các chữ cái Hy Lạp hay dùng trong công thức toán (Greek letters)</h3><pre>$$ \alpha,  \beta, \gamma, \Gamma, \pi, \Pi, \phi, \varphi, \mu, \Phi $$</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/468/1*n_vY2B33NV_V7J9Q-X8hAA.png" /></figure><h3>Dấu mũ và chỉ số (superscripts and subscripts)</h3><p>Mũ: ^i, dùng thêm ^{i} nếu i có 2 chữ số trở lên</p><p>Chỉ số: _i</p><pre>$$ \alpha_i ^ {22} + \beta_j ^ 3 $$</pre><pre>$$ f_{n+1} = (n+1)^{11} + f_{n} $$</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/372/1*OCSb_szeKzHEj-_J4t_FRw.png" /></figure><h3>Phân số (fraction)</h3><pre>$$ \frac{numerator}{denominator} + \frac{\alpha_i}{\beta_j} $$</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/284/1*M0XGnsVVttC2Q7lqsnTo2Q.png" /></figure><h3>Tổng (sum)</h3><pre>\sum_{i=1}^{10} t_i</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/178/1*g0HvxsIxr09pipzI8-YURw.png" /></figure><h3>Công thức tính cost function trong Neural network</h3><p><a href="http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm">http://ufldl.stanford.edu/wiki/index.php/Backpropagation_Algorithm</a></p><p>Sử dụng các ký hiệu đã học ở trên để biểu diễn một công thức phức tạp</p><pre>$$ J(W, b) = [\frac{1}{m} \sum_{i=1}^{m} J(W, b; x^{(i)}, y^{(i)} ] + \frac{\lambda}{2} \sum_{l=1}^{n_l-1}  \sum_{i=1}^{s_l}  \sum_{j=1}^{s_{l+1}} (W_{ji} ^{(l)})^2 $$</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*A0L84cF65IAuXYHyDBi00Q.png" /></figure><h3>Ma trận (matrix)</h3><p>Xem thêm các cách biểu diễn khác <a href="https://en.wikibooks.org/wiki/LaTeX/Mathematics#Matrices_and_arrays">https://en.wikibooks.org/wiki/LaTeX/Mathematics#Matrices_and_arrays</a></p><pre>$$ A_{m,n} = <br>\begin{pmatrix}<br>a_{1,1} &amp; a_{1,2} &amp; \cdots &amp; a_{1,n} \\<br>a_{2,1} &amp; a_{2,2} &amp; \cdots &amp; a_{2,n} \\<br>\vdots  &amp; \vdots  &amp; \ddots &amp; \vdots  \\<br>a_{m,1} &amp; a_{m,2} &amp; \cdots &amp; a_{m,n} <br>\end{pmatrix} $$</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/598/1*uzKZVBopfjGFptsBUnCYUA.png" /></figure><p>Tham khảo: <a href="https://en.wikibooks.org/wiki/LaTeX/Mathematics">https://en.wikibooks.org/wiki/LaTeX/Mathematics</a></p><p>Đăng ký học #Python 3 từ con số 0 tại <a href="https://pymi.vn/">https://pymi.vn/</a> — trung tâm đào tạo lập trình viên Python số 1 Việt Nam.</p><p>Nhập email vào <a href="http://invite.pymi.vn/">http://invite.pymi.vn/</a> để nhận thư mời tham gia forum hỏi đáp Python, Django, Golang, Linux …</p><p>PS: do blog này không hỗ trợ hiển thị công thức toán, nên chúng tôi phải đưa các công thức lên ở dạng file ảnh. Xem bản gốc (nên xem trên máy tính) tại: <a href="https://github.com/pymivn/math-stats-ml/blob/master/latexmath.ipynb">https://github.com/pymivn/math-stats-ml/blob/master/latexmath.ipynb</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5e1f521f062c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/bi%E1%BB%83u-di%E1%BB%85n-c%C3%B4ng-th%E1%BB%A9c-to%C3%A1n-trong-latex-tr%C3%AAn-jupyter-notebook-5e1f521f062c">Biểu diễn công thức toán trong LATEX trên Jupyter Notebook</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Đoán giá chuối  trên thị trường với thuật toán ML Linear regression]]></title>
            <link>https://medium.com/pymi/%C4%91o%C3%A1n-gi%C3%A1-chu%E1%BB%91i-tr%C3%AAn-th%E1%BB%8B-tr%C6%B0%E1%BB%9Dng-v%E1%BB%9Bi-thu%E1%BA%ADt-to%C3%A1n-ml-linear-regression-d34a880dd139?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/d34a880dd139</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[scipy]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[supervised-learning]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Mon, 24 Apr 2017 10:31:07 GMT</pubDate>
            <atom:updated>2017-04-26T09:07:16.596Z</atom:updated>
            <content:encoded><![CDATA[<p><em>Làm quen với Machine Learning căn bản bằng </em><a href="http://pymi.vn/"><em>Python</em></a></p><h3>Bài toán thầy giáo PyMi.vn bán chuối 🍌</h3><p>Nếu biết một giảng viên <a href="http://pymi.vn/">Python</a> bán chuối, bán 10 quả anh có 30 nghìn VNĐ, bán 3 quả anh có 9 nghìn, bán 5 quả anh có 15 nghìn. Hỏi bán 9 quả anh có bao nhiêu tiền? Để giải bài này, ta sẽ dùng 1 thuật toán trong machine learning có tên Linear Regression.</p><h4>CHÚ Ý</h4><p>Nếu bạn không biết tiếng Anh, bài viết này cung cấp đủ dùng cho bạn.<br>Bạn chỉ cần biết toán cấp 2, không cần biết toán cấp 3 hay đại học để hiểu bài này. Bạn nên biết Python để code và xem kết quả (nhưng cũng có thể bỏ qua nếu chỉ cần hiểu tư tưởng).</p><h3>Linear regression là gì?</h3><p>(trong một số sách Tiếng Việt gọi là “hồi quy tuyến tính”).<br>Linear regression là một phương pháp (thuật toán) thuộc loại đơn giản nhất trong <a href="http://www.familug.org/2016/01/ml-gioi-thieu-machine-learning.html">machine learning</a> (từ đây viết là ML), với mục đích TÌM (vẽ) ra một đường thẳng, sao cho nó đi qua hoặc đi gần nhất với các điểm cho trước. Từ một tập dữ liệu cho trước, khi ta vẽ được một đường thẳng như vậy, ta có thể đoán xem các điểm khác sẽ nằm ở đâu.</p><h4>Linear là gì?</h4><p>linear /ˈlɪnɪə/ Able to be represented by a straight line on a graph.</p><p>Vì ta cần tìm ra 1 đường thẳng, đường thẳng trong tiếng Anh là line, linear là “có thể biểu diễn bằng 1 đường thẳng” — trong toán học Việt Nam còn gọi là “tuyến tính” (tuyến trong tiếng Hán Việt nghĩa là đường thẳng — tuyến tính là có tính chất của đường thẳng).</p><h4>Regression là gì?</h4><p>Regression /rɪˈɡrɛʃ(ə)n/ (ri gờ rét sờn)</p><p>Là một cái tên lấy từ bộ môn <a href="https://medium.com/pymi/d%C3%B9ng-python-%C4%91%E1%BB%83-h%E1%BB%8Dc-th%E1%BB%91ng-k%C3%AA-8e41dfdaaf97">thống kê (statistics)</a>, một thuật toán/khái niệm mang từ bên statistics về dùng.<br>Regression trong các sách tiếng Việt dịch là “hồi quy”, vậy thì hồi quy là gì? <br>Việc sử dụng các từ Hán Việt cho các khái niệm chả khác nào đánh đố người học, khi mà đọc “hồi quy”, ít người hiểu nó là gì. Vậy thà ta cứ dùng tiếng Anh, nhiều khi nghĩa còn rõ ràng hơn.</p><p>Định nghĩa lấy từ từ điển <a href="https://en.oxforddictionaries.com/definition/regression">Oxford</a>:<br><a href="https://en.oxforddictionaries.com/definition/regression">regression</a> |rɪˈɡrɛʃ(ə)n| (ri gờ rét sờn)</p><p>Trong ngành thống kê: regression là mối quan hệ giữa giá trị đầu ra (y) với các giá trị (biến) đầu vào (x, t …).<br><a href="https://en.oxforddictionaries.com/definition/regression">Trong tiếng Anh</a>, regression được định nghĩa như sau:</p><blockquote><em>a return to a former or less developed state</em></blockquote><p>sự quay trở lại trạng thái trước đó hoặc trạng thái “kém phát triển” hơn.</p><p>Nghĩa thuần trong tiếng Anh thường dùng và nghĩa trong ngành thống kê của từ này có vẻ không liên quan gì. Mối quan hệ đâu liên quan gì tới sự thụt lùi (hồi quy)?</p><h4>Tại sao trong ngành thống kê lại đẻ ra từ “regression”?</h4><p>Đây là một từ mang tính chất lịch sử, khi <a href="https://en.wikipedia.org/wiki/Francis_Galton#Regression_to_mediocrity">Francis Galton</a> nghiên cứu về chiều cao trong dân số, kết quả cho thấy <a href="https://www.quora.com/What-does-the-regression-term-refer-to-in-regression-analysis">nếu một người bố rất cao thì gen đó không được truyền cho con, mà nói chung là chiều cao sẽ tiến dần đến giá trị trung bình của toàn dân số</a>. Sự thụt lùi (hồi quy) trong tiếng Anh là “regression”.</p><p>Vậy ta nên hiểu theo nghĩa của bộ môn thống kê: regression là mối quan hệ giữa một giá trị (đầu ra: y) với các giá trị khác (đầu vào: x, …). Và linear regression là mối quan hệ giữa đầu vào và đầu ra biểu diễn được trên một đường thẳng.</p><h3>Bài toán tìm giá nhà</h3><p>Nếu ta có số liệu về diện tích của 3 ngôi nhà, và giá của chúng đã bán được, liệu với ngôi nhà rộng 3000 mét vuông, ta nên bán với giá bao nhiêu?</p><h4>Phân tích bài toán và chọn mô hình</h4><p>Ban đầu ta chưa biết được phải giải bài này thế nào, nên ta vẽ số liệu này lên đồ thị 2 chiều, trục x sẽ chứa diện tích ngôi nhà, trục y sẽ chứa giá của ngôi nhà. Nhìn vào hình vẽ thì thấy có vẻ như, ta có thể vẽ 1 đường thẳng đi qua tất cả các điểm này. Vậy ta sẽ thử đi tìm đường thẳng đó.</p><h4>Đường thẳng trong toán học</h4><p>Thay vì cứ cố gắng mô tả bằng “diện tích ngôi nhà” — “giá của ngôi nhà”, hay “số tiền chi cho quảng cáo” — “số hàng bán được”, ta mô hình hoá bài toán để có những từ khoá thống nhất, ngắn gọn. Toán học giúp ta mô hình hoá vấn đề, làm cho mọi thứ ngắn gọn, có chuẩn. Ở đây ta dùng toán như một công cụ giúp ta giải quyết bài toán chứ không phải một mớ công thức để đi thi toán cao cấp cuối học kỳ.</p><p>Đường thẳng trong toán học được biểu diễn bằng biểu thức sau:</p><pre>y = ax + b</pre><p>Xem đồ thị các đường thẳng sau để thấy rõ mối quan hệ giữa giá trị a, b đối với hình dáng, vị trí của đường thẳng.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/768/1*ek3DpEHOM-_REt6kdMtq6Q.png" /><figcaption>b quyết định điểm giao của đường thẳng với trục y, a quyết định góc của đường thẳng</figcaption></figure><p>NẾU, mối quan hệ giữa diện tích ngôi nhà và giá nhà là một đường thẳng, ta có thể tính giá nhà bằng công thức:</p><pre>giá nhà = a * (diện tích ngôi nhà) + b</pre><p>Ta đã có một tập giá nhà (y) và diện tích ngôi nhà (x), giờ chỉ việc đi tìm a và b. Sau khi tìm được a và b, ta có thể đoán (tính) được y khi có x.</p><h3>Chuẩn hoá công thức</h3><p>Ai cũng có thể tự mình viết ra công thức toán, người sẽ dùng y = ax + b, người không thích lại viết y = kx + t hay y = bx + a… sẽ khiến việc chia sẻ/ nói chuyện / biểu diễn không thống nhất.<br>Ở đây, ta sẽ sử dụng ký hiệu theo <a href="https://www.coursera.org/learn/machine-learning">lớp học ML của Stanford</a>:</p><pre>h(x) = theta_0 + theta_1 * x</pre><p>theta, ký hiệu là θ , đọc là “thi tơ” /ˈθiːtə/ hay “thêitơ&quot; /ˈθeɪ.t̬ə/</p><h3>Hàm cost (cost function)</h3><p>Ta mong muốn vẽ được 1 đường thẳng đi qua tất cả các điểm, nhưng thực tế thì sẽ có vài điểm không nằm trên đường thẳng mà chỉ nằm gần. Vậy cách nào để đánh giá đường thẳng vừa vẽ có đủ tốt hay không? có đường nào tốt hơn không? Ta đưa ra một giá trị để đo xem đường thẳng này có tốt không, dễ thấy giá trị đó có thể là tính bằng tổng khoảng các của tất cả các điểm đã biết tới đường thẳng. Ta gọi tên giá trị này là “cost” (giá tiền), khi cost = 0, tức là điểm không cách đường thẳng — hay chúng nằm trên đường thẳng — đường thẳng ta vẽ ra là đúng tuyệt đối. Khi cost càng lớn, thì các điểm càng lệch khỏi đường thẳng, tức đường thẳng này không được tốt cho lắm. Hàm số biểu diễn các giá trị cost gọi là J(theta_0, theta_1). Mục tiêu của ta là đi tìm đường thẳng mà có giá trị J nhỏ nhất.</p><p>Giá trị độ lệch tính bằng tổng của y-h(x), với mỗi x và y đã biết.<br>Cách tìm theta_1 và theta_0 hay tìm hàm h(x) đơn giản nhất: <br>tính lần lượt cost function với mỗi theta_0 và theta_1, chọn ra giá trị cost nhỏ nhất. Phương pháp “vô học” này có tên là “brute-force”, thử tất cả các trường hợp có thể, việc chọn từ 1 tập vô hạn giá trị — là một việc làm không khả thi, nên ta chọn bừa một khoảng số nguyên cho theta_1 (VD: từ 0 đến 200) và cố định theta_0 = 0. Rõ ràng cách làm này không thu được giá trị cost nhỏ nhất nếu giá trị thật sự của theta_1 và theta_0 không nằm trong khoảng ta chọn. Nhưng hãy cứ thử xem với bài toán cụ thể này:</p><pre>import numpy as np<br>import matplotlib.pyplot as plt<br>%matplotlib inline</pre><pre>def cost(theta_0, theta_1, xs, ys):<br>    distance = 0<br>    for x,y in zip(xs, ys):<br>        predicted_value = theta_0 + theta_1 * x<br>        distance = distance + abs(y - predicted_value)<br>    return distance/len(xs)</pre><pre>areas = [1000, 2000, 4000]<br>prices = [200000, 250000, 300000]<br>theta_0 = 0<br>testno = 200<br>costs = [cost(theta_0, theta_1, areas, prices) for theta_1 in np.arange(testno)]<br>plt.plot(np.arange(testno), costs)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/810/1*N5cgJO6EXuquyIeUrDYkoQ.png" /><figcaption>Đồ thị hàm cost với theta_0 = 0, thử tìm theta_1</figcaption></figure><pre>costs.index(min(costs)) # trả về 75</pre><p>Bằng mắt thường cũng thấy được có vẻ như giá trị của y nhỏ nhất khi x ở đâu đó quanh 75. Nhưng hãy nhớ rằng đây là theta_1 khi ta đặt theta_0 = 0.</p><p>Vậy làm cách nào để tìm ra giá trị theta_1 và theta_0 nhanh nhất, đúng nhất? đã đến lúc mang một công cụ toán học cực mạnh vào cuộc chơi: đạo hàm 😳 NGƯNG SỢ HÃI.</p><h3>Đạo hàm - derivative /dɪˈrɪvətɪv/</h3><p>Cost function là một hàm số, và đạo hàm là công cụ giúp ta tìm được xem tại 1 điểm, đồ thị đang đi lên hay đi xuống. Đó là điều duy nhất ta cần hiểu ở đây. Còn giải thích TẠI SAO, hay cách tính từ công thức ban đầu ra công thức tính ta sẽ dùng cuối cùng, sẽ được trình bày ở một bài viết khác.</p><h3>Gradient descend</h3><p>Nếu derivative là khái niệm dành cho hàm số với một biến, thì cách nào để ta tìm được derivative đối với hàm h(x) có 2 biến theta_1 và theta_2?</p><p><a href="https://en.wikipedia.org/wiki/Gradient">Gradient</a> /ˈɡreɪdɪənt/ là khái niệm tương tự như derivative, nhưng dành cho hàm nhiều biến (multi-variable)<br>Nếu derivative giúp ta biết hướng xuống dốc / lên dốc trong function 1 biến tại một điểm thì gradient giúp ta biết điều này trong function nhiều biến (2 trở lên).<br>Descend /dɪˈsɛnd/ &lt;verb&gt;<br>Eng: move or fall downwards<br>Vie: đi xuống phía dưới / xuống dốc</p><p>Gradient descend là một thuật toán giúp tìm điểm cực tiểu cục bộ (local minimum) của hàm số bằng cách đi dần dần về phía giảm của gradient (gradient descend).</p><h4>Local (cục bộ) là gì?</h4><p>Tưởng tượng chữ W là một đồ thị hàm số, nó có 2 điểm thất nhất, đó là 2 cực tiểu cục bộ, 2 điểm đó lần lượt thấp nhất so với các điểm xung quanh nó. Để biết cực tiểu toàn cục (global minimum), ta phải tìm hết các điểm cực tiểu cục bộ và so sánh với nhau.</p><p>Ban đầu ta có cost function J, sử dụng gradient descend sẽ tìm được điểm cực tiểu của cost function J ấy, tại đó giá trị cost function J là nhỏ nhất. Việc đi từ công thức toán học của cost function, cho đến công thức tính gradient descend, là việc của các nhà toán học. Ta chỉ lấy kết quả cuối cùng và thay số và để tính thôi (ta sẽ thử làm việc của các nhà toán học ở một bài khác). Hãy coi việc sử dụng công thức này như lý do bạn chấp nhận việc tính diện tích tam giác một cách vô điều kiện là 1/2 độ dài đáy nhân chiều cao, hay tính diện tích hình tròn bằng Pi * (bán kính) ^ 2 (và số PI từ đâu ra?)…</p><h3>Giải bài toán linear regression với Python</h3><p>Giờ đây ta có công thức tính gradient descend, nhưng việc tính gradient descend, cuối cùng, cũng chỉ để tính ra theta_0 và theta_1. Các thư viện Python đã giúp ta tính sẵn rồi, không cần phải tính lại nữa, chỉ việc dùng function có sẵn.</p><p>Các từ khoá:<br>- intercept/observation noise: điểm mà đường thẳng cắt trục Y. Là giá trị theta_0 trong công thức của h(x).<br>- slope/coefficients: độ dốc của đường thẳng h(x) — tương ứng giá trị theta_1 trong công thức h(x),</p><p><a href="https://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.lstsq.html#numpy.linalg.lstsq">Numpy</a></p><pre>import numpy as np<br>import matplotlib.pyplot as plt<br>%matplotlib inline<br>xi = np.array([1000, 2000, 4000])<br>y = [200000, 250000, 300000]<br>A = np.array([ xi, np.ones(len(xi))])<br>w = np.linalg.lstsq(A.T,y)[0]<br>line = w[0]*xi+w[1] # regression line<br>print(&quot;Numpy solution: %s&quot; % w)<br>plt.plot(xi, line, &#39;b-&#39;, xi, y, &#39;o&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/874/1*72fLruCOZk1ReCKiW6mmIg.png" /><figcaption>Numpy</figcaption></figure><p><a href="https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.linregress.html#scipy.stats.linregress">SciPy</a></p><pre>from scipy import stats<br>import numpy as np<br>import matplotlib.pyplot as plt<br>%matplotlib inline</pre><pre>xi = np.array([1000, 2000, 4000])<br>y = [200000, 250000, 300000]<br>A = np.array([ xi, np.ones(len(xi))])<br>slope, intercept, r_value, p_value, std_err = stats.linregress(xi,y)<br>line = slope*xi+intercept<br>print(slope, intercept)<br>plt.plot(xi,line,&#39;b-&#39;,xi,y,&#39;x&#39;)</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/822/1*rHXCM4q0T_pNg9z5UK6Okg.png" /><figcaption>Scipy</figcaption></figure><p><a href="http://scikit-learn.org/stable/tutorial/statistical_inference/supervised_learning.html">scikit-learn</a></p><pre>from sklearn import linear_model</pre><pre>regr = linear_model.LinearRegression()<br>xi = np.array([1000, 2000, 4000])<br>y = [200000, 250000, 300000]<br>regr.fit(xi.reshape(-1, 1), y)<br>print(regr.coef_, regr.intercept_) # [ 32.14285714] 175000.0</pre><p>Cả 3 cách làm đều cho cùng một kết quả theta_0 là 175000.0<br>và theta_1 là 32.14285714</p><h3>Tính giá cho ngôi nhà 3000 foot vuông</h3><pre>from sklearn import linear_model</pre><pre>regr = linear_model.LinearRegression()<br>xi = np.array([1000, 2000, 4000])<br>y = [200000, 250000, 300000]<br>regr.fit(xi.reshape(-1, 1), y)<br>print(regr.coef_, regr.intercept_)  # [ 32.14285714] 175000.0<br>print(regr.predict(3000))  # 271428.57142857</pre><h3>Quay lại bài toán thầy giáo PyMi.vn bán chuối 🍌</h3><p>Nếu biết một giảng viên Python tại <a href="https://pymi.vn/">PyMi.vn</a> đi bán chuối, bán 10 quả anh có 30 nghìn VNĐ, bán 3 quả anh có 9 nghìn, bán 5 quả anh có 15 nghìn. Hỏi bán 9 quả anh có bao nhiêu tiền?<br>Hẳn là không cần giỏi toán, chỉ cần học hết cấp 1 bạn đã giải được bài này. Dễ dàng tính được giá một quả chuối là 30 / 10 = 3 nghìn, 3 * 9 = 27 000 VND. Và rõ ràng (với trình độ toán cấp 2), ta biểu diễn được mối quan hệ giữa số tiền thu được, với số quả chuối — bằng một đường thẳng: y = 3x + 0</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/756/1*QGy57hN0a7IOu8tAW-g53w.png" /><figcaption>Mối quan hệ của tiền và chuối</figcaption></figure><pre>import numpy as np<br>import matplotlib.pyplot as plt<br>%matplotlib inline<br>import matplotlib<br>matplotlib.rc(&#39;font&#39;, family=&#39;Arial&#39;)</pre><pre>matplotlib.style.use(&#39;ggplot&#39;)</pre><pre>yi = np.array([30, 9, 15])<br>xi = np.array([10, 3, 5])<br>x = np.arange(0,12)<br>y = 3 * x <br>plt.plot(x, y, &#39;b-&#39;, xi, yi, &#39;rx&#39;)<br>plt.title(&#39;Mối quan hệ giữa chuối và tiền thu được&#39;)</pre><p>Nhưng hãy dùng linear regression để giải bài này</p><pre>import numpy as np<br>from sklearn import linear_model</pre><pre>y = np.array([30, 9, 15])<br>xi = np.array([10, 3, 5])<br>regr = linear_model.LinearRegression()<br>regr.fit(xi.reshape(-1, 1), y) # biến vector 1x3 thành 3x1<br>print(regr.coef_, regr.intercept_)<br>print(regr.predict(9))</pre><pre>[ 3.] -3.5527136788e-15<br>[ 27.]</pre><p>9 quả chuối 🍌, giá là 27 000 VNĐ.</p><h3>Tổng kết</h3><p>- Linear Regression là thuật toán để tìm ra một đường thẳng đi qua các điểm đã biết.<br>- Để tính một đường thẳng có đủ tốt không, sử dụng hàm cost <br>- Dùng gradient descend để tìm đường thẳng có cost nhỏ nhất <br>- Thuật toán đơn giản này đõ có trong cả 3 thư viên numpy, scipy, sklearn</p><p>Nếu dữ liệu không thể dùng 1 đường thẳng để dự đoán, ta có thể sẽ phải dùng đường cong (non-linear).<br>Bài toán tìm đường để phân tách dữ liệu thành 2 tập cũng có thể dùng phương pháp tương tự, và có tên Logistic Regression — sẽ được viết ở các bài tiếp theo.</p><h4>Tham khảo</h4><p>Bài viết <a href="http://adit.io/posts/2016-02-20-Linear-Regression-in-Pictures.html">http://adit.io/posts/2016-02-20-Linear-Regression-in-Pictures.html</a> có nhiều hình vẽ, giúp hiểu các thuật toán tốt hơn.</p><p><a href="https://www.coursera.org/learn/machine-learning">https://www.coursera.org/learn/machine-learning</a></p><p><a href="https://en.wikipedia.org/wiki/Regression_analysis">https://en.wikipedia.org/wiki/Regression_analysis</a><br><a href="https://www.quora.com/topic/Regression-statistics">https://www.quora.com/topic/Regression-statistics</a></p><p>Hết.<br>HVN at <a href="http://www.familug.org/">http://www.familug.org/</a> and <a href="http://pymi.vn/">http://pymi.vn</a></p><p>Đăng ký học #Python 3 từ con số 0 tại <a href="https://pymi.vn/">https://pymi.vn/</a> — trung tâm đào tạo lập trình viên Python số 1 Việt Nam.</p><p>Nhập email vào <a href="http://invite.pymi.vn/">http://invite.pymi.vn/</a> để nhận thư mời tham gia forum hỏi đáp Python, Django, Golang, Linux …</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d34a880dd139" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/%C4%91o%C3%A1n-gi%C3%A1-chu%E1%BB%91i-tr%C3%AAn-th%E1%BB%8B-tr%C6%B0%E1%BB%9Dng-v%E1%BB%9Bi-thu%E1%BA%ADt-to%C3%A1n-ml-linear-regression-d34a880dd139">Đoán giá chuối 🍌 trên thị trường với thuật toán ML Linear regression</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[IPython 6 xuất chuồng, auto-complete siêu tốc]]></title>
            <link>https://medium.com/pymi/ipython-6-xu%E1%BA%A5t-chu%E1%BB%93ng-auto-complete-si%C3%AAu-t%E1%BB%91c-b7cddf72d9dc?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/b7cddf72d9dc</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[ipython]]></category>
            <category><![CDATA[pymi]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Fri, 21 Apr 2017 04:35:44 GMT</pubDate>
            <atom:updated>2017-04-21T04:35:44.785Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/578/1*qVUoVPXygCET9OFh2P8ZFw.png" /><figcaption>Auto-complete IPython 6</figcaption></figure><p>Một công cụ không thể thiếu của bất cứ lập trình viên Python nào: IPython</p><p>Chữ I ở đây luôn được viết HOA, phân biệt với các sản phẩm của Apple (iPhone, iPad…). Chữ I này là viết tắt của “Interactive”.</p><h3>IPython là gì?</h3><p>Nếu bạn vẫn chưa biết IPython thì đây là những tính năng nổi bật:</p><ul><li>Auto-complete: chỉ gõ một phần của câu lệnh / function rồi bấm phím tab, IPython sẽ hiện ra các lựa chọn có thể.</li><li>Có màu cho các từ khoá của Python (if/def/for/list/str …)</li><li>Truy cập nhanh nội dung của help(x): Ví dụ để xem method print làm gì, gõ print?</li><li>Lựa chọn trong danh sách các method với cú pháp: ‘abc’. rồi gõ phím Tab</li><li>Các magic command thực hiện các “phép màu”. Ví dụ %timeit để đo thời gian, xem dùng theo phương pháp nào nhanh hơn:</li></ul><pre>In [8]: %timeit ‘sum(range(10000000))’<br>10.9 ns ± 0.14 ns per loop (mean ± std. dev. of 7 runs, 100000000 loops each</pre><h3>Cải tiến trong IPython 6</h3><p>Trước đây, để tính năng “auto-complete” hoạt động, bạn cần phải đặt giá trị đó bằng một cái tên, rồi dùng cái tên đó để thực hiện auto-complete</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/728/1*kW9LBVfjXvspG5lcfNI-Bg.png" /><figcaption>Ở phiên bản cũ, auto-complete chỉ hoạt động khi bạn đặt tên cho object</figcaption></figure><p>Giờ thì bạn không cần cái tên (biến) đó nữa.</p><p>Thì sao?</p><p>Tưởng tượng bạn có 1 dictionary chứa nhiều list và dictionary khác, giờ đây ta có thể dễ dàng truy cập và có auto-complete đến từng phần tử bên sâu trong dict:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/894/1*tNs6IDxDvINTLqxBfO6rqQ.png" /><figcaption>Tính năng auto-complete trong IPython6 xịn hơn</figcaption></figure><h3>Chỉ hỗ trợ Python 3</h3><p>Cho thấy sự quyết tâm sử dụng Python3 của cộng đồng IPython 😍</p><p>Đăng ký học Python 3 từ con số 0 tại <a href="https://pymi.vn/">https://pymi.vn/</a> — trung tâm đào tạo lập trình viên Python số 1 Việt Nam.</p><p>Nhập email vào <a href="http://invite.pymi.vn/">http://invite.pymi.vn/</a> để nhận thư mời tham gia forum hỏi đáp Python, Django, Golang, Linux …</p><p>Cài đăt: <a href="https://jupyter.org/install.html">https://jupyter.org/install.html</a></p><p><a href="https://blog.jupyter.org/2017/04/19/release-of-ipython-6-0/">Theo: https://blog.jupyter.org/2017/04/19/release-of-ipython-6-0/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b7cddf72d9dc" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/ipython-6-xu%E1%BA%A5t-chu%E1%BB%93ng-auto-complete-si%C3%AAu-t%E1%BB%91c-b7cddf72d9dc">IPython 6 xuất chuồng, auto-complete siêu tốc</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[So sánh chất lượng không khí Hà Nội và TP Hồ Chí Minh bằng Pandas]]></title>
            <link>https://medium.com/pymi/ch%E1%BB%89-s%E1%BB%91-ch%E1%BA%A5t-l%C6%B0%E1%BB%A3ng-kh%C3%B4ng-kh%C3%AD-pm2-5-57602401eed4?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/57602401eed4</guid>
            <category><![CDATA[không-khí-sài-gòn]]></category>
            <category><![CDATA[pymi]]></category>
            <category><![CDATA[ô-nhiễm-không-khí]]></category>
            <category><![CDATA[pandas]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Sat, 25 Mar 2017 10:14:55 GMT</pubDate>
            <atom:updated>2017-03-25T11:37:37.256Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*03lMV4wllEZ8cuGGc2uzgA.png" /><figcaption>Chỉ số chất lượng không khí (PM2.5 AQI) tại tp.Hà Nội và tp.Hồ Chí Minh từ 17h 24/3/2017 đến 16h 25/3/2017</figcaption></figure><p>Chỉ số PM2.5 (Particulate Matter 2.5 — bụi có đường kính động học ≤2,5µm [1]) AQI (Air Quality Index) là một chỉ số quan trọng để đánh giá mức độ ô nhiễm của không khí.</p><p>AQI từ 101 đến 150 là chất lượng không khí ảnh hưởng tới sức khỏe của bệnh nhân về hô hấp, tim mạch. AQI 151–300 phản ánh không khí không tốt cho sức khoẻ của tất cả mọi người. AQI cao hơn 300 là mức rất nguy hại, mọi người không nên ra ngoài. Tham khảo chi tiết thêm tại trang web của Đại sứ quán Hoa Kỳ tại Việt Nam [2]</p><p>Hiện nay, đã có nhiều website cung cấp thông tin về chỉ số AQI như đại sứ quán Hoa Kỳ, tổng cục môi trường [3], một cá nhân tại Hà Nội [4].<br>Nhiều tổ chức quốc tế đã tạo website cung cấp thông tin về chất lượng không khí theo thời gian thực, tại Hà Nội cũng có “Cổng thông tin quan trắc môi trường” [5].<br>Chúng tôi đã thu thập dữ liệu và so sánh chỉ số AQI tại Hà Nội và TP Hồ Chí Minh cung cấp bởi đại sứ quán Hoa Kỳ, kết hợp với thư viện <a href="http://www.familug.org/search/label/pandas">Pandas</a> chuyên để làm thống kê trên <a href="http://www.familug.org/search/label/Python">Python 3</a> để thu được kết quả này:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/44d972d3942f86f66ce570946160a394/href">https://medium.com/media/44d972d3942f86f66ce570946160a394/href</a></iframe><p>Dễ thấy không khí Sài Gòn sạch hơn không khí Hà Nội 😜</p><p>[1] <a href="http://vnexpress.net/tin-tuc/thoi-su/khong-khi-ha-noi-o-nhiem-nhat-thoi-diem-nao-3532696.html">http://vnexpress.net/tin-tuc/thoi-su/khong-khi-ha-noi-o-nhiem-nhat-thoi-diem-nao-3532696.html</a><br>[2] <a href="https://vn.usembassy.gov/vi/embassy-consulates-vi/embassy-consulates-ho-chi-minh-city-vi/air-quality-mornitor-vi/">https://vn.usembassy.gov/vi/embassy-consulates-vi/embassy-consulates-ho-chi-minh-city-vi/air-quality-mornitor-vi/</a><br>[3] <a href="http://cem.gov.vn/">http://cem.gov.vn</a><br>[4] <a href="http://www.aqivn.org/vi/">http://www.aqivn.org/vi/</a></p><p>[5] <a href="http://moitruongthudo.vn/">http://moitruongthudo.vn/</a></p><p>Hết</p><p>Đăng ký học #Python , lớp tại chi nhánh #HàNội khai giảng giữa tháng 4, 2017: <a href="https://pymi.vn/">https://pymi.vn/</a></p><p>Nhập email vào <a href="http://invite.pymi.vn/">http://invite.pymi.vn/</a> để nhận thư mời tham gia forum hỏi đáp Python, Django, Golang, Linux …</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=57602401eed4" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/ch%E1%BB%89-s%E1%BB%91-ch%E1%BA%A5t-l%C6%B0%E1%BB%A3ng-kh%C3%B4ng-kh%C3%AD-pm2-5-57602401eed4">So sánh chất lượng không khí Hà Nội và TP Hồ Chí Minh bằng Pandas</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Dùng Python để học thống kê]]></title>
            <link>https://medium.com/pymi/d%C3%B9ng-python-%C4%91%E1%BB%83-h%E1%BB%8Dc-th%E1%BB%91ng-k%C3%AA-8e41dfdaaf97?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/8e41dfdaaf97</guid>
            <category><![CDATA[thống-kê]]></category>
            <category><![CDATA[lập-trình-python]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[math]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Wed, 22 Mar 2017 10:07:20 GMT</pubDate>
            <atom:updated>2017-03-22T14:23:31.539Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mBM2qqduDCoLHHr61c7JkA.png" /><figcaption>Đồ thị của một tập dữ liệu theo phân phối chuẩn</figcaption></figure><p>Statistics (thống kê) là một nhánh của toán học, thực hiện thu thập, phân tích, thấu hiểu, và biểu diễn một lượng số liệu lớn.<br>Là một cựu sinh viên viện Toán Ứng Dụng và Tin Học của đại học Bách Khoa Hà Nội, nhưng sau 4 năm không động tới thì tôi thậm chí còn chả nhớ nổi một khái niệm đã học ở trường, không phân biệt nổi phương sai và độ lệch chuẩn. Sau ngần ấy thời gian đi làm, tôi nhận ra thống kê là một bộ môn thực hành (chứ không phải lý thuyết) đầy thú vị. Ta lấy một đống dữ liệu, soi mói theo các góc cạnh khác nhau để tìm ra những “bí ẩn” trong đống dữ liệu đó. Đây cũng chính là nền tảng của ngành “data science&quot; đang được xem ngành hot nhất hiện nay.</p><p>Tôi tự học thống kê vì muốn có khả năng thấu hiểu dữ liệu, sử dụng các công cụ lập trình vào để hiểu rõ ràng mọi khái niệm cần thiết, chứ không học vẹt như sinh viên để lấy điểm, cắm đầu vào tính tích phân, đạo hàm mà không biết để làm gì.</p><p>Loạt bài này tìm hiểu các khái niệm trong thống kê, học các khái niệm đó <br>bằng tiếng Anh, dùng Python để lập trình các hàm toán học dùng trong tính toán thống kê (bạn không cần phải biết lập trình cũng vẫn hiểu được bài viết) và sử dụng các công cụ lập trình để “làm thống kê”. Hạn chế tối đa việc dùng các khái niệm toán học, các công thức tự dưng xuất hiện.</p><p>Thống kê là một nhánh của toán học, có tên tiếng Anh là statistics /stəˈtɪstɪks/. Ở trường học hay đưa khái niệm xác suất kèm với thống kê, nhưng ở đây tôi thấy không (chưa) cần thiết phải đưa xác suất vào.</p><p>Data /ˈdeɪtə/ — số nhiều của datum /ˈdeɪtəm/: dữ liệu. <br>Ta sẽ dùng Python list để chứa data.</p><pre>data = [0.0, 0.25, 0.25, 1.25, 1.5, 1.75, 2.75, 3.25, 100]</pre><p>Data có thể là một tập hợp đầy đủ các giá trị cần xem xét (population /pɒpjʊˈleɪʃ(ə)n/ tập hợp), hoặc chỉ bao gồm một phần nhỏ trong bộ dữ liệu (sample /ˈsɑːmp(ə)l/ mẫu).</p><p>Khi sử dụng các hàm thống kê, ta sẽ thực hiện chúng trên 1 sample hoặc 1 population.</p><h3>mean /miːn/</h3><p>mean hay đầy đủ là arithmetic mean, là tổng đại số của tất cả các số trong data, chia cho số điểm dữ liệu (data point). Mean được ký hiệu bằng ký tự latin “muy”: μ</p><p>Xác suất thống kê tiếng Việt gọi đây là trung bình. Trong tiếng Anh, mean hay được gọi là the average (trung bình), mặc dù đây chỉ là một trong nhiều cách tính trung bình toán học khác.</p><p>Mean là một giá trị dùng để biểu diễn điểm trung tâm (central location) của data. Tính trên Python:</p><pre>def mean(data):<br>    return sum(data)/len(data)</pre><pre>mu = mean(data) # mu - đọc là muy, là tên tiếng Anh của chữ latin: μ<br>print(mu)</pre><pre># 12.333333333333334</pre><p>mean rất dễ bị “lệch” khi dữ liệu có những giá trị rất khác biệt so với các giá trị còn lại, ví dụ số 100 trong data ở trên là một giá trị rất khác. Bởi thế, nếu chỉ dùng mean để đưa ra “cảm nhận&quot; về điểm trung tâm của bộ dữ liệu sẽ không được chính xác. Người ta đưa ra thêm khái niệm median để tính điểm trung tâm theo một cách khác, mà giá trị thu được sẽ biểu diễn điểm trung tâm một cách “tốt hơn”.</p><h3>median /ˈmiːdɪən/</h3><p>median — giá trị ở giữa (middle value)</p><p>Xác suất thống kê tiếng Việt gọi đây là trung vị.<br>Ta sắp xếp data theo chiều tăng dần, sau đó xác định giá trị ở giữa. Khi xác định giá trị ở giữa, xảy ra 2 trường hợp:<br>- số data point là chẵn: lấy 2 điểm ở giữa và lấy giá trị trung bình (cách làm này gọi là tính “mean of middle two”).<br>- số data point là lẻ: lấy luôn điểm ở giữa.</p><pre>def median(data):<br>    data = sorted(data)<br>    n = len(data)<br>    if n % 2 == 1:<br>        return data[n//2]<br>    else:<br>        i = n//2<br>        return (data[i - 1] + data[i])/2</pre><pre>median(data)<br># 1.5</pre><p>Rõ ràng, median (1.5) phản ánh điểm giữa của tập dữ liệu chính xác hơn so với mean (12.333333333333334).</p><h3>median low và median high</h3><p>median có thể là một giá trị không trùng với 1 data point cụ thể (trường hợp có chẵn data point), mà có lúc người ta lại muốn lấy một data point để làm điểm trung tâm của bộ dữ liệu. Median low là data point nhỏ hơn trong 2 điểm giữa, median high là data point lớn hơn trong 2 điểm ở giữa.</p><pre>def median_low(data):<br>    data = sorted(data)<br>    n = len(data)<br>    if n % 2 == 1:<br>        return data[n//2]<br>    else:<br>        return data[n//2-1]</pre><pre>def median_high(data):<br>    data = sorted(data)<br>    n = len(data)<br> return data[n//2]</pre><p>mean có vẻ “toán học” hơn, median có vẻ trực quan hơn. Mỗi giá trị sẽ được sử dụng trong từng trường hợp với yêu cầu cụ thể.</p><h3>mode /məʊd/</h3><p>Trong xác suất tiếng Việt gọi là “mốt” 😂<br>Giá trị xuất hiện nhiều lần nhất trong tập dữ liệu.</p><pre>def mode(data):<br>    dmax = data[0]<br>    for d in data:<br>        if data.count(d) &gt; data.count(dmax):<br>            dmax = d<br>    return dmax</pre><pre>mode(data)<br># 0.25</pre><p>Với mode, ta có thể xử lý cả tập dữ liệu không phải số (nominal /ˈnɒmɪn(ə)l/)</p><pre>mode([&quot;red&quot;, &quot;blue&quot;, &quot;blue&quot;, &quot;red&quot;, &quot;green&quot;, &quot;red&quot;, &quot;red&quot;])<br># &#39;red&#39;</pre><p>Vậy nếu một tập có nhiều giá trị cùng xuất hiện nhiều lần (số lần bằng nhau) thì mode sẽ là giá trị nào?</p><h3>Deviation /diːvɪˈeɪʃ(ə)n/</h3><p>Nếu chỉ đại diện 1 tập dữ liệu bằng giá trị mean hay median, thì 2 tập sau được coi là như nhau:</p><pre>mean([1,5,9]) == mean([3,4,5,6,7])</pre><p>Rõ ràng ta cần thêm một thước đo để thể hiện việc tập trung hay phân tán của các giá trị so với điểm ở giữa. Suy nghĩ đơn giản, có thể tính giá trị trung bình của độ lệch mỗi data point so với mean:</p><pre>def mydev(data):<br>    mu = mean(data)<br>    return sum([point-mu for point in data])/len(data)</pre><pre>mydev([1,5,9])</pre><pre># 0.0</pre><p>Nhưng bởi mean là giá trị trung bình, nên tổng các “độ lệch” này sẽ luôn bằng 0. Cách tính tự nghĩ này không ổn, ta thử một cách khác, dùng trung bình các giá trị tuyệt đối của các độ lệch: [1]</p><pre>def mydev(data): # this is MAD <br>    mu = mean(data)<br>    return sum([abs(point-mu) for point in data])/len(data)</pre><pre>mydev([1,5,9])<br># 2.6666666666666665</pre><p>Với giá trị 2.6666666666666665, có thể hiểu rằng các điểm trong tập dữ liệu được phân bố cách điểm trung tâm (ở ví dụ này là mean) một khoảng trung bình là ~2.6</p><p>Công thức tự nghĩ này, thực chất có một cái tên chính thống trong khoa học là: Mean absolute deviation — trung bình độ lệch tuyệt đối, viết tắt là MAD. Độ lệch ở đây có thể hiểu là độ lệch so với giá trị trung tâm, tính bằng mean HOẶC median (tuỳ trường hợp cụ thể sẽ ghi rõ). Giá trị MAD được cho là “tốt” để mô tả độ phân tán của bộ dữ liệu, ít bị ảnh hưởng bởi các giá trị “lệch”.</p><p>Khi deviation càng lớn thì dữ liệu càng nằm phân tán, deviation nhỏ tức là dữ liệu tập trung quanh điểm trung tâm.</p><h3>Phương sai và độ lệch (tiêu) chuẩn</h3><p>variance /ˈvɛːrɪəns/ và standard deviation /diːvɪˈeɪʃ(ə)n/</p><p>Đây là hai khái niệm phổ biến trong mọi cuốn sách viết về thống kê.<br>Dưới góc độ của một người mới bắt đầu học, tôi không hiểu lý do cặn kẽ tại sao chúng được sử dụng. Hầu hết, các cuốn sách sẽ chỉ giới thiệu cái tên, ký hiệu và công thức mà không giải thích tại sao. Có thể vì đây là các khái niệm đã có từ lâu, được phổ biến rộng rãi.<br>Khái niệm variance (phương sai, thường viết tắt là var), theo tôi hiểu là “bình <strong>phương</strong> của <strong>sai</strong> lệch (độ lệch)”, được giới thiệu là một công thức tính: giá trị trung bình của tổng các bình phương độ lệch</p><pre>def variance(data):<br>    mu = mean(data)<br>    return sum([(point-mu)**2 for point in data])/len(data)</pre><pre>variance([1,5,9])<br># 10.666666666666666</pre><p>Khái niệm standard deviation (độ lệch CHUẨN, thường viết tắt là STD hay SD), không hiểu từ đâu ra mà được cho là “tiêu chuẩn” (standard). Khái niệm này được định nghĩa bằng công thức tính: căn bậc 2 của variance:</p><pre>import math</pre><pre>def stddev(data): # standard deviation<br>    return math.sqrt(variance(data))</pre><pre>stddev([1,5,9])</pre><pre># 3.265986323710904</pre><p>STD là một cách tính deviation theo kiểu khác (so với MAD). Nhưng ý nghĩa thì tương tự MAD, giá trị của nó biểu hiện độ phân tán của dữ liệu xung quanh điểm trung tâm. STD có ký hiệu toán học: sigma σ. Và variance, sẽ được ký hiệu là sigma bình phương σ².</p><p>Ta biết ý nghĩa của giá trị STD lớn hay nhỏ phản ánh tập dữ liệu phân bố tập trung quanh điểm trung tâm hay rời xa nó (ở đây là mean). Nhưng giá trị variance bằng 10 khác gì so với nó bằng 16? và đơn vị của nó là gì?<br>Giả sử tập dữ liệu [1,5,9] là giá trị chiều cao (cm) của các (3) cây mạ sau 5 ngày. Thì variance có đơn vị là cm² — rõ ràng đơn vị đo diện tích này không có ý nghĩa gì về mặt thống kê khi đang xử lý chiều cao của cây mạ. Variance là một giá trị có thể hữu ích khi đưa vào các công thức tính toán, nhưng không mang nhiều ý nghĩa về mặt thống kê.<br>STD với cách tính trên, thể hiện các điểm được phân bố đâu đó cách điểm mean một khoảng trung bình là ±3.2 cm.</p><p>Giá trị MAD được cho là “tốt” hơn để mô tả độ phân tán của bộ dữ liệu, ít bị ảnh hưởng bởi các giá trị khác biệt, còn STD thích hợp khi tính toán các công thức toán học và được dùng nhiều trong lý thuyết thống kê hơn. Giá trị variance để làm gì, có lẽ phải tiếp tục khám phá thêm mới biết được.</p><p>Với mean/median và deviation, ta đã có một hình dung chính xác hơn về tập dữ liệu, có điểm trung tâm ở đâu, dữ liệu phân bố thưa hay dày quanh điểm trung tâm. Thế nhưng với những giá trị ấy, ta không thể hình dung dữ liệu nằm tập trung về phía trái điểm trung tâm hay rải đều về 2 phía. Bởi vậy cần thêm khái niệm “phân phối” để định hình bộ dữ liệu có “hình dáng” thế nào, các điểm dữ liệu được phân bố ở đâu.<br>Chi tiết về các “phân phối” sẽ được khám phá ở bài sau.</p><p>Bài viết tham khảo phần lớn từ tài liệu của thư viện mới trong Python 3.4: statistics <a href="https://docs.python.org/3/library/statistics.html">https://docs.python.org/3/library/statistics.html</a></p><p>Code dựa trên code của thư viện Python (nhưng đã làm đơn giản hơn nhiều): <a href="https://github.com/python/cpython/tree/3.6/Lib/statistics.py">https://github.com/python/cpython/tree/3.6/Lib/statistics.py</a></p><p>Còn tiếp…<br>HVN at <a href="http://www.familug.org/">http://www.familug.org/</a> and <a href="http://pymi.vn/">http://pymi.vn</a></p><p>Đăng ký học #Python tại #HàNội , lớp khai giảng giữa tháng 4, 2017: <a href="https://pymi.vn/">https://pymi.vn/</a></p><p>Nhập email vào <a href="http://invite.pymi.vn/">http://invite.pymi.vn/</a> để nhận thư mời tham gia forum hỏi đáp Python, Django, Golang, Linux …</p><p>Tham khảo <br><a href="https://en.wikipedia.org/wiki/Variance">https://en.wikipedia.org/wiki/Variance</a><br><a href="https://en.wikipedia.org/wiki/Deviation_(statistics)">https://en.wikipedia.org/wiki/Deviation_(statistics)</a><br><a href="http://mathworld.wolfram.com/Variance.html">http://mathworld.wolfram.com/Variance.html</a><br><a href="http://mathworld.wolfram.com/StandardDeviation.html">http://mathworld.wolfram.com/StandardDeviation.html</a><br><a href="https://en.wikipedia.org/wiki/Average_absolute_deviation#Mean_absolute_deviation_around_the_mean">https://en.wikipedia.org/wiki/Average_absolute_deviation#Mean_absolute_deviation_around_the_mean</a><br><a href="http://greenteapress.com/wp/think-stats-2e/">http://greenteapress.com/wp/think-stats-2e/</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=8e41dfdaaf97" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/d%C3%B9ng-python-%C4%91%E1%BB%83-h%E1%BB%8Dc-th%E1%BB%91ng-k%C3%AA-8e41dfdaaf97">Dùng Python để học thống kê</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Bắt ma bằng Python]]></title>
            <link>https://medium.com/pymi/b%E1%BA%AFt-ma-b%E1%BA%B1ng-python-873e54d28d0?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/873e54d28d0</guid>
            <category><![CDATA[programming]]></category>
            <category><![CDATA[hex]]></category>
            <category><![CDATA[bom]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[unicode]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Mon, 13 Mar 2017 17:31:00 GMT</pubDate>
            <atom:updated>2017-03-13T17:50:56.980Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/300/1*mqA0rWP4_0rPlnKRa5AYpA.jpeg" /><figcaption>Catch ghost by Python</figcaption></figure><p>Một đêm trăng sáng không đèn, cu Hít bật IPython Python3 lên để gõ:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8404bd2b6379fcf477e0d9161ec48952/href">https://medium.com/media/8404bd2b6379fcf477e0d9161ec48952/href</a></iframe><p>Có vẻ hơi dài để so sánh bằng mắt thường, xếp chúng thẳng hàng nhau và đọ chiều dài:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6fe08e3655da4faf2f2643083f6a7d47/href">https://medium.com/media/6fe08e3655da4faf2f2643083f6a7d47/href</a></iframe><p>Khi đã xếp thành hàng rồi sẽ thấy rõ, nhìn bằng mắt thường, đeo kính cận hay soi kính lúp, 2 string này trông GIỐNG HỆT nhau.</p><p>Đó là lý do người ta tin có ma, cho đến khi … người ta không tin nữa. <br>Và cũng là lý do người ta thường chỉ tin vào những gì mắt thấy… cho tới khi họ không thấy nữa.</p><p>Một thứ không nhìn thấy, không đồng nghĩa với không tồn tại.<br>Một ký tự “ma” đã tồn tại trong s1, nhưng ta không nhìn thấy được khi print ra, đó là một ký tự “không hình”. Giờ thì hãy làm nó hiện hình:</p><pre>In [47]: repr(s1)<br>Out[47]: &quot;&#39;abfa7eb6-657f-49d4-8e13-e816f1957d0c\\ufeff&#39;&quot;</pre><pre>In [48]: print(repr(s1))<br>&#39;abfa7eb6-657f-49d4-8e13-e816f1957d0c\ufeff&#39;</pre><pre>In [50]: s1<br>Out[50]: &#39;abfa7eb6-657f-49d4-8e13-e816f1957d0c\ufeff&#39;</pre><p>Kí tự ma đó có ký hiệu là \ufeff, biểu diễn Unicode dạng 16-bit của codepoint:</p><pre>In [72]: &#39;\ufeff&#39;<br>Out[72]: &#39;\ufeff&#39;</pre><pre>In [73]: ord(&#39;\ufeff&#39;)<br>Out[73]: 65279</pre><p>Đó là “codepoint” thứ 65279 trong bảng mã Unicode.</p><pre>In [53]: chr(65279)<br>Out[53]: &#39;\ufeff&#39;</pre><pre>In [54]: print(chr(65279))</pre><p>print sẽ không thấy gì, nhưng không nghĩa là không tồn tại.<br>Qua đây ta thấy rõ sự khác nhau giữa function “str” và function “repr” trong Python.</p><blockquote>repr<br>Return the canonical string representation of the object.</blockquote><p>``print`` hiển thị ra những gì mã bên dưới muốn hiển thị.<br>``repr`` trả về biểu diễn string dạng chuẩn của object.</p><p>Thêm một ví dụ nữa cho thấy rõ hơn:</p><pre>In [64]: print(&#39;head\nbody\nleg&#39;)<br>head<br>body<br>leg</pre><pre>In [65]: repr(&#39;head\nbody\nleg&#39;)<br>Out[65]: &quot;&#39;head\\nbody\\nleg&#39;&quot;</pre><pre>In [66]: print(repr(&#39;head\nbody\nleg&#39;))<br>&#39;head\nbody\nleg&#39;</pre><pre>In [67]: &#39;head\nbody\nleg&#39;<br>Out[67]: &#39;head\nbody\nleg&#39;</pre><p>Khi chỉ gõ string vào Python interpreter ở chế độ tương tác, ta nhìn thấy giá trị hiển thị tương ứng với việc gõ print(repr(string)) và nó khác với những gì nhìn thấy khi print(string).</p><blockquote>Kí tự “ma” trong bài này là ký tự BOM (Byte order mark) trong Unicode với mã U+FEFF (zero width no-break space).</blockquote><p>Khi đứng đầu văn bản, nó được dùng làm “CON SỐ KỲ DIỆU”(magic number) để đánh dấu một văn bản là ở dạng mã Unicode, chỉ ra thứ tự của các byte khi encode ở dạng 16-bit(2 byte) hay 32-bit(4 bytes). Unicode 8-bit (UTF-8) không cần BOM để đánh dấu thứ tự, vì 8 bit là 1 byte.</p><p>Với UTF-16, chia làm 2 thứ tự byte (byte order / endianness), là big-endian (BE) và little-endian (LE). UTF-32 ít được dùng, và luật tương tự UTF-16.<br>Do byte rất tiện khi biểu diễn ở dạng hex với 2 ký tự (1 byte), hex được dùng rộng rãi khi nói về byte.</p><p>Biểu diễn 2 byte này ở dạng binary:</p><pre>In [76]: bin(ord(&#39;\ufeff&#39;))<br>Out[76]: &#39;0b1111111011111111&#39;</pre><p>Đây là biểu diễn chính xác ta thu được, với thứ tự từ TRÁI qua PHẢI.<br>Tức bit có ý nghĩa lớn nhất (MSB — most significant bit), nằm phía bên trái. <br>Số 1 đầu tiên bên trái biểu diễn giá trị 2**15, trong khi <br>số 1 bên phải nhất biểu diễn giá trị 2**0 == 1.<br>Thứ tự bit như thế gọi là left-most-bit, hay trong Unicode gọi là Big-endian (bắt đầu bằng byte chứa MSB). End- ở đây là front-end, hay nghĩa “start” — bắt đầu.</p><pre>In [74]: hex(ord(&#39;\ufeff&#39;))<br>Out[74]: &#39;0xfeff&#39;</pre><p>Python3 đang biểu diễn ký tự BOM ở dạng BE.<br>Khi ta đổi thứ tự các byte, thì byte chứa MBS giờ nằm ở bên tay phải. Thu được 2 byte là: 0xfffe</p><pre>In [91]: s = bin(ord(&#39;\ufeff&#39;))[2:]</pre><pre>In [93]: s[:8], s[8:]<br>Out[93]: (&#39;11111110&#39;, &#39;11111111&#39;)</pre><pre>In [94]: [hex(int(n, base=2)) for n in (s[8:], s[:8])]<br>Out[94]: [&#39;0xff&#39;, &#39;0xfe&#39;]</pre><p>Thử in ra giá trị này:</p><pre>In [102]: chr(0xfffe)<br>Out[102]: &#39;\ufffe&#39;</pre><pre>In [103]: print(chr(0xfffe))<br>￾</pre><p>Unicode U+FFFE được coi như không phải một ký tự trong bảng mã Unicode và không bao giờ nên xuất hiện trong 1 văn bản, bởi nó là dạng biểu diễn đảo byte của 2 byte FE FF. Khi chương trình đọc văn bản vào, thấy 2 byte đầu tiên FE FF, chương trình sẽ thử đọc tiếp và nếu gặp lỗi, nó sẽ đảo thứ tự của các bytes (byte 1,2 đổi chỗ, byte 3,4 đổi chỗ …).</p><p>Khi thử trên Python 2, độ dài “string ma” sẽ là 39 ký tự trong đó chứa 3 ký tự biểu diễn BOM ở UTF-8:</p><pre>In [4]: x<br>Out[4]: &#39;abfa7eb6-657f-49d4-8e13-e816f1957d0c\xef\xbb\xbf&#39;</pre><p>Những gì bạn không nhìn thấy, không chắc nó đã không tồn tại!<br>Lần này Python đã giúp ta đi bắt ma thành công. Đội ơn Python 🤗</p><p>Hết.</p><p>HVN at <a href="http://www.familug.org/">http://www.familug.org/</a> and <a href="http://pymi.vn/">http://pymi.vn</a></p><p>Đăng ký học #Python tại Hà Nội , lớp khai giảng giữa tháng 4, 2017: <a href="https://pymi.vn/">https://pymi.vn/</a></p><p>Nhập email vào <a href="http://invite.pymi.vn/">http://invite.pymi.vn/</a> để nhận thư mời tham gia forum hỏi đáp Python, Django, Golang …</p><p>Tham khảo:</p><ul><li><a href="https://docs.python.org/3/howto/unicode.html">https://docs.python.org/3/howto/unicode.html</a></li><li><a href="https://en.wikipedia.org/wiki/Byte_order_mark">https://en.wikipedia.org/wiki/Byte_order_mark</a></li><li><a href="https://en.wikipedia.org/wiki/Endianness#Big-endian">https://en.wikipedia.org/wiki/Endianness#Big-endian</a></li><li><a href="https://docs.python.org/3/reference/lexical_analysis.html#string-and-bytes-literals">https://docs.python.org/3/reference/lexical_analysis.html#string-and-bytes-literals</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=873e54d28d0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/b%E1%BA%AFt-ma-b%E1%BA%B1ng-python-873e54d28d0">Bắt ma bằng Python</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Kiểu set trong Python không có thứ tự]]></title>
            <link>https://medium.com/pymi/ki%E1%BB%83u-set-trong-python-kh%C3%B4ng-c%C3%B3-th%E1%BB%A9-t%E1%BB%B1-65ed59141650?source=rss-7d0fa65a7886------2</link>
            <guid isPermaLink="false">https://medium.com/p/65ed59141650</guid>
            <category><![CDATA[set]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[Viet Hung Nguyen]]></dc:creator>
            <pubDate>Sun, 12 Mar 2017 01:32:30 GMT</pubDate>
            <atom:updated>2017-03-12T01:52:09.323Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/740/1*mPxh6oi1xfRCpd2nrOoXCw.jpeg" /><figcaption>Python sets</figcaption></figure><p>Tại lớp <a href="https://pymi.vn/">PyFML</a>, một học viên sau khi đọc docstring của kiểu dữ liệu set thấy:</p><pre>In [1]: set? # dùng IPython<br>Init signature: set(self, /, *args, **kwargs)<br>Docstring:<br>set() -&gt; new empty set object<br>set(iterable) -&gt; new set object<br>Build an unordered collection of unique elements.<br>Type: type</pre><p>Nhưng theo quan sát thì thấy set có vẻ có thứ tự:</p><pre>In [2]: set([10,5,1,2,6])<br>Out[2]: {1, 2, 5, 6, 10}</pre><p>Tại sao?</p><h3>Trả lời</h3><p>Nói về thứ tự: nếu 1 list là: [1,2,3,4], nó đang xếp theo thứ tự số học (numerical) tăng dần.<br>Thử với list string</p><pre>In [8]: set([‘121’, ‘13’, ‘1’, ‘12’, ‘111’])<br>Out[8]: {‘1’, ‘111’, ‘12’, ‘121’, ‘13’}</pre><p>thứ tự này gọi là thứ tự từ điển (lexicography) — mặc định khi sắp xếp string.</p><p>Vậy các set sau theo thứ tự gì?</p><pre>&gt;&gt;&gt; set([1,4,2,5,’ahhi’, ‘huhu’,’bhihi’])<br>set([1, 2, 4, 5, ‘bhihi’, ‘ahhi’, ‘huhu’])<br>&gt;&gt;&gt; set([5, 2, 7, 2, 1, 88])<br>set([88, 1, 2, 5, 7])</pre><p>số thì tăng mà chữ thì giảm hay đảo lộn, từ b-&gt;a-&gt;h, hoặc 88 rồi đến 1.</p><p>Cái được cho là thứ tự của set ở trên, thực ra nó không phải 1 tính chất mong đợi mà vô tình nó như vậy thôi và nó cũng sai khi thử với số 88 và 1. (Lý do xâu xa: kiểu set của Python được viết dựa trên kiểu hash table) <br>Kết luận: set là “unordered” — “không theo thứ tự” (<a href="https://en.oxforddictionaries.com/definition/unordered">https://en.oxforddictionaries.com/definition/unordered</a>)<br>Chú ý là unordered chứ không phải RANDOM (ngẫu nhiên). Mình tạo 10 cái set giống nhau 10 lần nó sẽ ra kết quả giống hệt — tức không phải random. <br>Xem thêm: <a href="http://stackoverflow.com/questions/12165200/order-of-unordered-python-sets#12165239">http://stackoverflow.com/questions/12165200/order-of-unordered-python-sets#12165239</a></p><p>Đăng ký học Python tại lớp <a href="https://www.facebook.com/pyfml/">PyFML</a> (<a href="https://pymi.vn/">https://pymi.vn</a>) để thành thạo Python sau 1.5 tháng. Khoá tiếp theo tại Hà Nội khai giảng giữa tháng 4/2017.</p><p>Nhập email vào <a href="http://invite.pymi.vn/">http://invite.pymi.vn/</a> để nhận thư mời tham gia forum hỏi đáp Python, Django, Golang …</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=65ed59141650" width="1" height="1" alt=""><hr><p><a href="https://medium.com/pymi/ki%E1%BB%83u-set-trong-python-kh%C3%B4ng-c%C3%B3-th%E1%BB%A9-t%E1%BB%B1-65ed59141650">Kiểu set trong Python không có thứ tự</a> was originally published in <a href="https://medium.com/pymi">PyMivn</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>