<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Bucketing - Medium]]></title>
        <description><![CDATA[Bucketing software area. We drink, we code, and we create a wonderland. - Medium]]></description>
        <link>https://medium.com/bucketing?source=rss----e4305717c2ef---4</link>
        <image>
            <url>https://cdn-images-1.medium.com/proxy/1*TGH72Nnw24QL3iV9IOm4VA.png</url>
            <title>Bucketing - Medium</title>
            <link>https://medium.com/bucketing?source=rss----e4305717c2ef---4</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 00:24:20 GMT</lastBuildDate>
        <atom:link href="https://medium.com/feed/bucketing" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[PySide #19: 世上唯一不變的就是變！PySide to PyQt]]></title>
            <link>https://medium.com/bucketing/pyside-19-%E4%B8%96%E4%B8%8A%E5%94%AF%E4%B8%80%E4%B8%8D%E8%AE%8A%E7%9A%84%E5%B0%B1%E6%98%AF%E8%AE%8A-pyside-to-pyqt-28928f80c4de?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/28928f80c4de</guid>
            <category><![CDATA[weekday系列]]></category>
            <category><![CDATA[tutorial]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[pyside2]]></category>
            <category><![CDATA[pyqt]]></category>
            <dc:creator><![CDATA[DekBan]]></dc:creator>
            <pubDate>Thu, 27 Jun 2024 09:50:13 GMT</pubDate>
            <atom:updated>2024-06-27T09:50:12.987Z</atom:updated>
            <content:encoded><![CDATA[<h4>#PYTHON3 #QT #PYSISE2 #TUTORIAL #PYQT5</h4><h4>成也支援度，敗也支援度</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*oDKDIlZ_LlhXRaDp" /><figcaption>Photo by <a href="https://unsplash.com/@cadop?utm_source=medium&amp;utm_medium=referral">Mathew Schwartz</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uKdcqnBpMqlel0GPzIRIpQ.png" /></figure><p>久違的Qt系列其實已倒尾聲，這幾年不知道大家的PySide2使用的如何，這一系列的文章又帶給大家多少學習成長呢? 時間不斷流逝，技術也與時俱進，Qt6已經出來，而PySide2對python的支援卻敲然生變。</p><p>本期，就讓我們來說說，作者是什麼原因被迫從PySide2轉而使用PyQt5，有同樣問題的讀者們又該怎麼樣去調整原有的程式碼。</p><h3>❔Why PyQt5</h3><p>對於這個系列的讀者們應該有看過本系列的第一篇文章，<a href="https://medium.com/bucketing/weekday-1-%E7%95%B6qt-%E5%AD%B8%E6%9C%83py-9472af78ccce#:~:text=PyQt%20vs%20PySide2%2C%20what%E2%80%99s%20the%20different">PySide #1: Python GUI開發，簡介 &amp; 環境安裝</a>，其中提到了PySide2的官方支援以及文件都相對地齊全，因次選擇了使用PySide2來做開發，實務上作者也是如此。<br>可惜，PySide2在Python3.10以後的支援卻跟不上了，無法支援最新的Python 3.11 以及更新的版本，而在Linux上原生支援的library，也不是PySide2而是開源的PyQt5。</p><p>種種原因下，以及開發的方便程度導致作者開始思考轉而使用PyQt5的可行性，研究後發現原來非常簡單！各位讀者完全不用擔心轉換的痛苦與不適！</p><h3>PySide2 to PyQt5</h3><p>從以往的教學原始碼來說，會需要修改的部分主要有3個部分。</p><ul><li>標頭替換</li><li>QUILoader 的修改</li><li>Signal / Slot 的宣告</li></ul><p>除此之外，只需要簡單的替換PySide2到PyQt5就完成囉！</p><h4>Install PyQt5</h4><p>要將代碼中的Pyside2 package替換成PyQt，第一件事自然是安裝PyQt5啦！</p><pre># install Qt5 with pip<br>pip install PyQt5<br><br># Or you want to use Qt6<br>pip install PyQt6</pre><p>目前的Qt6尚不普及，許多Linux的環境都是以PyQt5為預設的library，因此作者會盡量使用Qt5作為開發工具。</p><h4>1️⃣Transfer Import Package</h4><p>接下來我們要來轉換原始碼中import的標頭檔，這部分也是大家會擔心的一部份，但事實上，PySide2與PyQt的Class、method、attribute幾乎是95%一模一樣，所以我們要做的就是將PySide2的前綴給替換掉。</p><pre>from PySide2.QtWidgets import QButtonGroup<br><br>↓↓↓↓↓↓<br><br>from PyQt5.QtWidgets import QButtonGroup</pre><p>這樣就大功告成了！其他程式碼全都不用修改唷，是不是超級簡單呢?!</p><h4>2️⃣QUILoader</h4><p>QUILoader是不存在於PyQt5中的，所以我們需要用其他的方法去讀取ui檔，才能對使用者介面做操作以及修改，PyQt5中有相同功能的class叫做uic。<br>而我們要做的就是用uic來代替QUILoader。</p><pre># Original Src<br>from PySide2.QtUiTools import QUiLoader<br><br>def setup_ui(self):<br>    &quot;&quot;&quot;Initialize and setup user interface&quot;&quot;&quot;<br>    loader = QUiLoader()<br>    file = QFile(&#39;./user_interface/form/main_window.ui&#39;)<br>    file.open(QFile.ReadOnly)<br>    self._window = loader.load(file)<br>    file.close()<br><br>↓↓↓↓↓↓<br><br># Using PyQt5 uic<br>from PyQt5 import uic<br><br>def ui_setup(self):<br>    &quot;&quot;&quot;Initialize user interface of main window.&quot;&quot;&quot;<br>    loader = uic.loadUi(&#39;./user_interface/form/main_window.ui&#39;)<br>    self._window = loader</pre><p>相比之下，大家會發現，PyQt5的uic使用起來還更加簡單呢！</p><h4>3️⃣Signal / Slot</h4><p>Signal / Slot的宣告方法，在<a href="https://medium.com/bucketing/pyside-5-signal-slot-f3698d22f642">PySide #5</a>中有詳細的教學，然而在PyQt5中Signal / Slot的宣告方式變得有些不一樣。</p><pre># Origin<br>from PySide2.QtCore import Signal<br><br>hello_signal = Signal(str)<br><br>self.hello_signal.connect(self.say_hello)<br>self.hello_signal.emit(&#39;Pyside2!&#39;)<br><br>@QtCore.Slot(str)<br>def say_hello(self, msg):<br>    print(&#39;Hello &#39; + msg)<br><br>↓↓↓↓↓↓<br><br># PyQt5 Signal / Slot<br>from PyQt5.QtCore import pyqtSignal<br><br>hello_signal = pyqtSignal(str)<br><br>self.hello_signal.connect(self.say_hello)<br>self.hello_signal.emit(&#39;Pyside2!&#39;)<br><br>@QtCore.pyqtSlot(str)  # This is Optional, actually it&#39;s not necessary<br>def say_hello(self, msg):<br>    print(&#39;Hello &#39; + msg)</pre><p>將signal的宣告修改為PyQt下的函數，同時修改Slot的decorator就可以完成轉換啦，實際上，PyQt的Slot可以不需要decorator，即使是使用一般的函數，也可以正常的連結與執行唷！</p><h3>Source Code</h3><p><strong>完整代碼請看 ：無</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tzTGIqBTaaP3PVLSjQBxmA.png" /></figure><h3>結論</h3><p>這次是分享在實務開發上遇到的一些問題以及轉變，程式不斷的在進步代碼也需要持續修正，希望大家也能在這次的分享中學習到新的用法，與此同時，本系列的教學也終於能夠同時滿足PySide2以及PyQt5兩邊的使用者了！(灑花</p><blockquote>我是夜海中的宅男DekBan，我們下次見，see ya next night.</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=28928f80c4de" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/pyside-19-%E4%B8%96%E4%B8%8A%E5%94%AF%E4%B8%80%E4%B8%8D%E8%AE%8A%E7%9A%84%E5%B0%B1%E6%98%AF%E8%AE%8A-pyside-to-pyqt-28928f80c4de">PySide #19: 世上唯一不變的就是變！PySide to PyQt</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Live Streaming#2: 十年之前你不認識我，關於的不是我]]></title>
            <link>https://medium.com/bucketing/live-streaming-2-create-about-me-page-6c4d77002338?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/6c4d77002338</guid>
            <category><![CDATA[markdown]]></category>
            <category><![CDATA[weekday系列]]></category>
            <category><![CDATA[twitch]]></category>
            <category><![CDATA[tutorial]]></category>
            <category><![CDATA[live-streaming]]></category>
            <dc:creator><![CDATA[DekBan]]></dc:creator>
            <pubDate>Thu, 17 Nov 2022 08:09:38 GMT</pubDate>
            <atom:updated>2022-11-17T08:09:37.940Z</atom:updated>
            <content:encoded><![CDATA[<h4>#OBS #TWITCH #STREAMING #TUTORIAL #STREAMLAB #BEGINNER</h4><h4>十年之後我們是朋友，還可以看限動</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*i0bqP5lhbqd6OVqy" /><figcaption>Photo by <a href="https://unsplash.com/@iamfelicia?utm_source=medium&amp;utm_medium=referral">Felicia Buitenwerf</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*fyUqVFLts1UrI30M.png" /></figure><p>Twitch上已經成功播出了我們的串流，不知道是否乏人問津呢？ 沒關係！萬事起頭難。觀眾們對我們毫無了解，我們也尚未展現自己的面貌。<br>事實上，在主頁裡直播主可以自由地發揮自己得想像，將想要呈現的面容展示給觀眾們看，進而了解我們。</p><h3><strong>It’s About You</strong></h3><p>在Twitch個人頻道的&quot;<strong>關於</strong>&quot;頁面有著屬於我們的小天地，可以插入圖片、填寫文字、設定連結、還有許多第三方的外掛套件可以使用，就讓我們來一探究竟吧!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GvtCKEk1NZl9Qv8yLZwe1Q.png" /><figcaption>About</figcaption></figure><p>在主畫面的關於頁面中，左下角可以開啟編輯的畫面，編輯過後按下送出即可儲存，再關閉&quot;<strong>編輯自訂介面</strong>&quot;開關就可以做預覽，非常方便!</p><h4>Component</h4><p>進入編輯狀態後，可以開始按含有 &quot;<strong><em>+&quot; </em></strong>的方塊，即可新增一個新的元件，下面來介紹元件可以呈現的各種面貌</p><blockquote><strong>Text / Image 元件</strong></blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/322/1*3QkpOEPcXXkjK6QIBwqIZg.png" /></figure><p>文字影像介面提供我們一個含有扛棒的區塊可以放入我們想要的圖片，也可以給圖片設定超連結，讓觀眾可以點擊圖片就跳轉到連結頁面，這部分可以拿來做成我們最愛的Donate按鈕，搭配可愛的圖片觀眾們肯定會忍不住斗內我們的! (才怪</p><p>橫幅的圖片，在大小上需要調整為上圖所建議的320px，高度的部分則可以自由設定，這邊建議在80~120px看起來會是比較好的比例大小。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/332/1*b8J6x7I93QNi2h2joYhNpg.png" /><figcaption>斗內我啦!</figcaption></figure><p>文字的部分，則是以<a href="https://help.twitch.tv/s/article/markdown-basics?language=en_US">Markdown</a>的語法去做編輯，但這邊的語法相較於正規的.md檔案較為更簡化一些。<br>其包含，粗體、斜體等字型、不同等級之標頭、超連結、條列項目、formatting等等。</p><p>這邊給得簡單的範例</p><pre># 這是標頭<br><br>這是一般文字，不會<br>可以寫文章唷~!<br><br>[超連結文字](www.連結網址.com.tw)<br><br>* 清單項目1<br>* 清單項目2<br><br>1. 條列項目1<br>2. 條列項目2<br><br>&gt; 建立block!<br>&gt; * 清單也能在block裡面唷!<br>&gt; **粗體**<br>&gt; *斜體*<br></pre><p>編寫完成後，可以達到如下的效果。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/703/1*dsZTbJtIoUnEpVzzU2V0pA.png" /><figcaption>Markdown</figcaption></figure><blockquote><strong>Plug-in 元件</strong></blockquote><p>官方以及第三方的軟體也提供我們非常多的原件可以放置在關於頁面上，這些功能千奇百怪，舉凡在線觀眾名單、觀眾國籍分布、觀眾觀看所累計的點數排行榜等等，五花八門的功能等著我們去挖掘。</p><p>新增一個plug-in我們需要點選方塊中的<strong>&quot;實況互動元件介面&quot;</strong>，並透過&quot;<strong>實況互動元件小幫手</strong>&quot;來幫助我們完成設定。 點選後會被帶入我們的實況互動元件管理頁面。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/976/1*10aaBzpXZyqnTzF4sbQ7cQ.png" /><figcaption>我的實況互動元件</figcaption></figure><p>在邊我們要啟動我們想要加入的元件，點選&quot;<strong>探索</strong>&quot;我們可以看到無數的互動元件等著我們來使用，這邊我要使用stream element提供的觀眾積分排行榜功能，所以我搜尋&quot;streamelements leaderboards&quot; 並點選安裝。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YYpDZWcTQvRLLz4XmepSOQ.png" /><figcaption>Install plug-in</figcaption></figure><p>如果該實況元件是可以調整參數的，則可以在設定之中做調整，完成後儲存就可以進行下一步了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZIfZHa9hMRus4dpfnYgT7Q.png" /><figcaption>plug-in Setting</figcaption></figure><p>回到我的實況互動元件，可以點選&quot;啟動&quot;的下拉選單，並將該元件加入剛剛新增好的介面，就完成啦!<br>這邊有的小問題，就是介面是自動命名的，所以要稍微記一下自己要放哪個介面唷~ 通常剛建立的介面會是數字最大的，以我這案例也就是介面3!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/873/1*Zb59wWF8VaiyyMoU0rI_kQ.png" /><figcaption>Add to interface</figcaption></figure><p>最後，說個小秘密。</p><blockquote>介面是可以直接拖拉改面順序的唷!</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*B0F3qehdO5EfydMeKzT0MA.gif" /><figcaption>拖拉介面調整順序</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*em1I3fWHEEU_DUaZ.png" /></figure><h3>結論</h3><p>隨然是很簡單的功能，但如果用心經營，也能夠做出令人耳目一新的關於介面，讓觀眾一看就了解你，一看就喜歡上你，覺得你是個用心的直播主唷~!<br>關於介面也會因為螢幕大小而自動改變排版的問題，在設計排版的時候也需要多加留意!</p><blockquote>我是夜海中的宅男DekBan，我們下次見，see ya next night.</blockquote><p><strong>Next Night: </strong><em>To be continue…</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6c4d77002338" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/live-streaming-2-create-about-me-page-6c4d77002338">Live Streaming#2: 十年之前你不認識我，關於的不是我</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[從0開始的直播主-學習地圖]]></title>
            <link>https://medium.com/bucketing/%E5%BE%9E0%E9%96%8B%E5%A7%8B%E7%9A%84%E7%9B%B4%E6%92%AD%E4%B8%BB-2e4c3efb0aa1?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/2e4c3efb0aa1</guid>
            <category><![CDATA[weekday系列]]></category>
            <category><![CDATA[obs]]></category>
            <category><![CDATA[twitch]]></category>
            <category><![CDATA[tutorial]]></category>
            <category><![CDATA[live-streaming]]></category>
            <dc:creator><![CDATA[DekBan]]></dc:creator>
            <pubDate>Wed, 09 Nov 2022 18:05:27 GMT</pubDate>
            <atom:updated>2022-11-17T08:11:56.008Z</atom:updated>
            <content:encoded><![CDATA[<h4>#直播 #教學 #Tutorial #Twitch #Live #Streaming</h4><h4>Live streaming from ZERO</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EFlHBuCnqSZ0RkQudgC49g.jpeg" /></figure><blockquote>當網紅從來不是難事，難的是開始和學會無恥</blockquote><h3>📖 Tutorial</h3><blockquote>教學系列文</blockquote><ol><li><a href="https://medium.com/bucketing/live-streaming-1-start-from-scratch-twitch-obs-94b4efe87514">Live Streaming#1: 我也想當直播主~!! 從何開始?</a></li><li><a href="https://medium.com/bucketing/live-streaming-2-create-about-me-page-6c4d77002338">Live Streaming#2: 十年之前你不認識我，關於的不是我</a></li></ol><blockquote>我是夜海中的宅男DekBan，我們下次見，see ya next night.</blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2e4c3efb0aa1" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/%E5%BE%9E0%E9%96%8B%E5%A7%8B%E7%9A%84%E7%9B%B4%E6%92%AD%E4%B8%BB-2e4c3efb0aa1">👾從0開始的直播主-學習地圖</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Live Streaming#1: 我也想當直播主!從何開始?]]></title>
            <link>https://medium.com/bucketing/live-streaming-1-start-from-scratch-twitch-obs-94b4efe87514?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/94b4efe87514</guid>
            <category><![CDATA[obs]]></category>
            <category><![CDATA[tutorial]]></category>
            <category><![CDATA[live-streamming]]></category>
            <category><![CDATA[twitch]]></category>
            <category><![CDATA[weekday系列]]></category>
            <dc:creator><![CDATA[DekBan]]></dc:creator>
            <pubDate>Wed, 09 Nov 2022 18:02:37 GMT</pubDate>
            <atom:updated>2022-11-17T08:10:20.889Z</atom:updated>
            <content:encoded><![CDATA[<h4>#OBS #TWITCH #STREAMING #TUTORIAL #STREAMLAB #BEGINNER</h4><h4>雖然不懂流量密碼，但還懂點技術</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T4lZ1YmdxSxorw6O9s2CKQ.png" /><figcaption>which one you like?</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*fyUqVFLts1UrI30M.png" /></figure><p>很久沒有發教學了，不學無術的工程師也開始當起了直播主，從頭摸索發現直播、做音樂等等其實都很像在搞工程，有參數要調整、有編成可以自訂義千奇百怪的功能，斜槓人生也不是偏離工程師太遠也滿欣慰的，而一開始該從哪邊開始著手呢?! 希望能透過教學讓大家少一些自學的痛苦。</p><h3>Where we start?</h3><h4>Twitch or Youtube?</h4><p>說到直播，最廣為人知的就是<a href="https://www.twitch.tv/">Twitch</a>以及<a href="https://www.youtube.com/">Youtube</a>，當然兩者各有好處，如果同時想要上傳線下影片的話可以選擇youtube作為直播平台，將直播跟影片創作整合再一起。</p><p>相反，如果以直播為主的話Twitch在直播方面資源更廣、觀眾也更多有比較好的發揮空間，畢竟本身就是以直播起家的平台。同時也可以在自我介紹的主頁附上社群、DC、youtube等等連結一起經營，個人覺得更加好入門也更完整。</p><p>故，本系列將會以Twitch的實作教學為主。</p><h4>Streamlab or OBS?</h4><p>說到直播，首先我們需要有<strong>直播軟體</strong>，從twitch官方的後台可以看到官方推薦了許多的直播軟體，而目前體感最多人用的主要以老牌OBS(Open Broadcaster Software) 以及廣告打很大近年來越來越受歡迎的StreamlabOBS</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qMCGgOrErQOIo_6dknPtEw.png" /></figure><p>上述的兩個我都有使用過不短的時間，先來總結一下吧!</p><blockquote>Streamlab狠潮且方便，但薑是老的辣，</blockquote><blockquote>你有的我OBS也有，還更多!</blockquote><p>來說說為什麼會更加推薦OBS呢?</p><ul><li><strong>更加穩定、效能更好: </strong>實際使用發現OBS更不容易當掉而且效能上也更為順暢，相反streamlab其實近幾年才從Beta轉正bug還是挺多的</li><li><strong>兼容你的所有:</strong> Streamlab其實是OBS外掛套件供應商，其OBS強項是整合了他自家的各種套件直接透過OBS軟體設定，然而你也可以在OBS中加入所有streamlab所提供的套件，只是需要透過網頁坐設定</li><li><strong>外掛套件支援度更高:</strong> 作為老牌OBS，缺點就是什麼都沒有，但有點卻是只要肯下功夫，所有你沒有的都能擁有，舉凡V皮、模糊效果等第三方外掛套件都可以被加入OBS中，streamlab卻不支援某些外掛插件</li></ul><h3>Let’s Streaming!</h3><h4>Setup Twitch Account</h4><p>首先我們要註冊一個Twitch帳號</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/430/1*c_P_vnPficGoO5uyRJT6Vw.png" /></figure><p>接下來點選右上角的頭像並選擇<em>頻道</em>，即可進入自己的主頁並開始設定囉!</p><p>在頻道上方會有自訂您的頻道的字樣，點選編輯或是在右下方也有自定頻道的按鈕可以點選</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TxB7_-kr1hlB308uTma-Jw.png" /></figure><h4>Channel Setting</h4><blockquote><strong>About You</strong></blockquote><p>接下來要設定頻道的基本資料，包含使用者的顯示名稱也就是以後主頁觀眾們將看到的你的稱呼，請慎選! 胡亂修改不但有時間限制還可能被停權唷!</p><p>同時也可以填入我們的自我介紹，內容將會被秀在主頁的扛棒上面唷!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wNXCXJwnu8jFSly-UljDyw.png" /></figure><blockquote><strong>Social Connection</strong></blockquote><p>上面有說到，Twitch可以很方便的連結使用者的其他社群以及影片創作平台，只要再社群連結的設定中加入URL就可以讓我們的社群連結出現在主頁的扛棒上面! 而且非常顯眼唷~</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*W6C430A4bUFIMWNMUYD1Fg.png" /><figcaption>社群連結設定</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_ExTmKIVkEjnkRHqm7t3NQ.png" /><figcaption>社群連結顯示</figcaption></figure><blockquote><strong>Your brand</strong></blockquote><p>直播頻台也是社群軟體的一種，自然要客製化我們個人風格，點選上方<em>品牌</em>的選項，我們可以設定自己的頭像、主頁背景顏色、橫幅圖片設定，以及離線圖片，這些都可以讓觀眾更加認識以及了解我們!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1VOdfAjrwWFhZzUvna1kFw.png" /><figcaption>Offline Picture</figcaption></figure><h4>OBS Setting</h4><blockquote><strong>Installation</strong></blockquote><p>完成了帳號設定，就要來安裝OBS啦~!</p><p>下載OBS: <a href="https://obsproject.com/">Download OBS</a></p><p>接下來就一路下一步安裝到底就可以了!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/499/1*zrUnR344n6R3VI3Qb2yhhQ.png" /><figcaption>OBS installation</figcaption></figure><p>安裝好後，開啟OBS會看到下面這樣的畫面，排版上可能會有一些不一樣，Layout是可以自行拖拉去做調整的，大家可以自己將排版修改成自己喜歡的樣子唷~</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*08DDrJKYXVqtsB42-c45VA.png" /><figcaption>OBS screen</figcaption></figure><blockquote><strong>Link OBS with Twitch</strong></blockquote><p>想要在Twitch上面坐直播，自然要將OBS與twitch平台做連結。</p><p>點選右下角的<strong>設定</strong>按鈕選擇 <strong>串流&gt;服務&gt;twitch</strong>並選擇<strong>連結帳號<br></strong>再登入並通過驗證後，就完成連結了! 這時候我們已經可以開始直播囉!!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/983/1*HFGhOx9xmFk0_n4Y50kmlA.png" /><figcaption>Link to Twitch</figcaption></figure><blockquote><strong>Create a Scene</strong></blockquote><p>場景可以視為我們所要呈現的整個畫面布景，而在場景中則會有許多的物件，這些物件堆疊之後構成我們的畫面並呈現給觀眾看。</p><p>場景中的物件非常多樣，包含螢幕截圖、視訊畫面、圖片、文字、跑馬燈各式各樣，凡是我們曾經在直播中看到的所有東西都是獨立的物件，而這些物件都放在同一個場景之中。 而直播主也可以建立多個場景並依據直播需求切換不同的場景。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Q3zNHe94ipZko4iBklOLxA.png" /><figcaption>場景與物件</figcaption></figure><p>如上圖所示，我建立了一個Ending的場景，在這場景中則有許多來源，也就是上述所說的物件，堆疊成我想呈現給觀眾的畫面。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D5I-7rhaUO--6C7bAcoFZQ.gif" /><figcaption>scenes swapping</figcaption></figure><blockquote><strong>Stream!!</strong></blockquote><p>設定好了場景，我們就可以開始直播了!<br>只許要按下魔法按鈕!</p><blockquote>[ 開始串流 ]</blockquote><p>就大功告成啦~! 趕快跟觀眾們說幾句話吧!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*em1I3fWHEEU_DUaZ.png" /></figure><h3>結論</h3><p>現在資訊爆炸的時代，直播的門檻不再那個高不可攀，只要有心不但可以開直播，而且完全免費! 雖然我不是銷售員，但這聽起來是不是很讚呢!</p><blockquote>我是夜海中的宅男DekBan，我們下次見，see ya next night.</blockquote><p><strong>Next Night: </strong><a href="https://medium.com/bucketing/live-streaming-2-create-about-me-page-6c4d77002338">Live Streaming#2: 十年之前你不認識我，關於的不是我</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=94b4efe87514" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/live-streaming-1-start-from-scratch-twitch-obs-94b4efe87514">Live Streaming#1: 我也想當直播主!從何開始?</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Deep Learning — 深度學習框架之比較]]></title>
            <link>https://medium.com/bucketing/deep-learning-%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92%E6%A1%86%E6%9E%B6%E4%B9%8B%E6%AF%94%E8%BC%83-ecd4129864af?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/ecd4129864af</guid>
            <category><![CDATA[keras]]></category>
            <category><![CDATA[tensorflow]]></category>
            <category><![CDATA[pytorch]]></category>
            <category><![CDATA[deep-learning]]></category>
            <dc:creator><![CDATA[Simon Chu]]></dc:creator>
            <pubDate>Sat, 15 Jan 2022 08:53:45 GMT</pubDate>
            <atom:updated>2022-01-15T08:53:28.041Z</atom:updated>
            <content:encoded><![CDATA[<h3>Deep Learning — 深度學習框架之比較</h3><p>目前主流三大框架為 Keras、TensorFlow 與 PyTorch</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/612/0*dNckSw2LIVsshFFy.jpg" /></figure><h4>結論</h4><ul><li>基礎或入門：Keras。<br>Keras 的好處就是對於現成的架構、資料集可以很簡單幾十行程式碼就能實現，不過因為Keras是高層的API，無法方便的對架構微調、實驗新的架構，若要深度開發請考慮用 Pytorch 或 Tensorflow</li><li>研究與快速開發：Pytorch。</li><li>社會中多數使用：Tensorflow。<br>因為開發的比 PyTorch 早，較多專案都是用 Tensorflow 開發的。</li></ul><p><a href="https://keras.io/">Keras</a> 和 <a href="https://www.tensorflow.org/">TensorFlow</a> 都是在 2015 年提出，後來由 Google 主導整併。</p><h4>TensorFlow</h4><p>為符號式编程(Symbolic Programming)且跨足各式資料流程編程 (Dataflow programming) 的開源資料庫。多數是用於機器學習的應用，像是神經網絡等。</p><p>優點: <br>功能多、廣大社群支援、提供 TensorBoard 視覺化工具、三者中效能較佳。</p><p>缺點: <br>提供的函式相對底層，需有相對應的基礎，學習難度較高。</p><h4>Keras</h4><p>目前已經被整合至 TensorFlow 2.0 (為 tf.keras)， 預設也為使用 TensorFlow 作為後端引擎，並能無縫接軌 TensorFlow 2.0 其他的核心功能與模組，包含資料管理、超參數訓練或部署等。</p><p>優點:<br>是容易上手、community support 佳，把很多東西都包好好給大家使用。</p><p>缺點:<br>因架構於 TensorFlow 之上，函式彈性較差，不易更改/調整細部模組。</p><h4>PyTorch</h4><p>基於 <a href="https://pytorch.org/docs/stable/torch.html">torch</a> 所開發之框架，由 Facebook 的 AI 研究小組開發並於 2017 年在 GitHub 上開源，用於自然語言處理應用程序。 PyTorch 為指令式編程(Imperative programming) 以簡單、易用、靈活、高效的內存使用和動態計算圖而聞名。</p><p>優點:<br>語法簡潔易懂、採用 dynamic computation graph、擁有完善的 doc。</p><p>缺點:<br>因是動態編譯，執行效率相較 TensorFlow 低</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NKBNWP3arktKZEOrcxojDA.png" /></figure><h4>參考</h4><ul><li><a href="https://builtin.com/data-science/pytorch-vs-tensorflow">PyTorch vs. TensorFlow: Which Framework Is Best for Your Deep Learning Project?</a></li><li><a href="https://www.simplilearn.com/keras-vs-tensorflow-vs-pytorch-article">Pytorch Vs Tensorflow Vs Keras: Here are the Difference You Should Know</a></li><li><a href="https://www.edureka.co/blog/keras-vs-tensorflow-vs-pytorch/">Keras vs TensorFlow vs PyTorch | Deep Learning Frameworks | Edureka</a></li><li><a href="https://www.zhihu.com/question/468856064">Pytorch 与 Tensorflow 相比有哪些优缺点？</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ecd4129864af" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/deep-learning-%E6%B7%B1%E5%BA%A6%E5%AD%B8%E7%BF%92%E6%A1%86%E6%9E%B6%E4%B9%8B%E6%AF%94%E8%BC%83-ecd4129864af">Deep Learning — 深度學習框架之比較</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DDIA 讀書心得 #2]]></title>
            <link>https://medium.com/bucketing/ddia-%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-2-b12eee3e7a73?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/b12eee3e7a73</guid>
            <dc:creator><![CDATA[Simon Chu]]></dc:creator>
            <pubDate>Sun, 23 May 2021 06:54:09 GMT</pubDate>
            <atom:updated>2023-03-05T12:58:31.167Z</atom:updated>
            <content:encoded><![CDATA[<p>Ch2:Data Models and Query Languages</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/525/1*pl0_c_IfX_QZbf32P9-MVA.png" /></figure><h3>第二章: 資料模型與查詢語言</h3><h4>資料模型分為以下三類:</h4><p>一、 文檔模型</p><p>常見的文檔模型為 NoSQL ( Josn / Bson / XML )，主要適合儲存非結構化資料，因沒有強制的架構，所以比關係數據庫更好的伸縮性且架構靈活。<br>如果需要經常查詢整個文檔，那麼存儲局部性將帶來性能優勢，如果資料分散於多個表中，則需進行多次索引查找才能將其所需資料找出來，這可能耗費更多 I/O 時間查找。<br>文檔資料庫有時稱為無模式（schemaless），因讀取資料的程式通常有預設結構，但非由資料庫執行 (讀時模式（schema-on-read）與寫時模式（schema-on-write）)。</p><blockquote>讀時模式像是於程式語言中的動態（執行時）類型檢查，而寫時模式類似於靜態（編譯時）類型檢查。</blockquote><p>二、 關係模型</p><p>為資料被組織成關係 (SQL 中稱作表)，一個關係 (表) 是元組 (行) 的集合，每個關係是元組 (SQL中稱作行) 的無序集合。<br> 其中又有兩種模式，SQL 是聲明式查詢語言，而 IMS 和 CODASYL 使用命令式指令來查詢資料庫。<br>聲明式查詢語言（如SQL或關係代數）只需指定所需資料的模式，例如: 必須符合哪些條件，資料如何轉換（排序/分組/集合）。而資料庫系統的查詢優化器將決定使用哪些索引和哪些連接方法，以及與何種順序執行查詢的各個部分。<br>聲明式查詢語言通常比命令式 API 更加簡潔和容易，且隱藏了資料庫引擎的實現細節，使得數據庫系統可以在無需對查詢做任何更改的情況下進行性能提升。</p><p>三、 圖形模型</p><p>一個圖由兩種對象組成：<br>頂點(vertices)也稱為節點(nodes) 或實體(entities)<br>邊(edges)也稱為關係(relationships)或弧(arcs)</p><p>在圖形數據庫中，頂點和邊不是有序的，如下圖:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*mRDbzkkCWutgZwJi.png" /><figcaption>圖數據結構示例（框代表頂點，箭頭代表邊）</figcaption></figure><p>文檔資料庫和圖資料庫有一個共同點，就是通常不會限制存儲的資料格式於一種，此方式可以適應不斷變化的需求。但是仍會假定資料具有一定的結構，而這是格式是明確的（寫入時強制）還是隱含的（讀取時處理）的問題。</p><h4>Next:</h4><p><a href="https://chu-chu.medium.com/ddia-%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-3-127023637aeb">DDIA 讀書心得 #3</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b12eee3e7a73" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/ddia-%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-2-b12eee3e7a73">DDIA 讀書心得 #2</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DDIA 讀書心得 #1]]></title>
            <link>https://medium.com/bucketing/ddia-%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-1-1116c4bd89c0?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/1116c4bd89c0</guid>
            <category><![CDATA[dia-d]]></category>
            <category><![CDATA[code]]></category>
            <category><![CDATA[designing]]></category>
            <dc:creator><![CDATA[Simon Chu]]></dc:creator>
            <pubDate>Sun, 23 May 2021 05:49:41 GMT</pubDate>
            <atom:updated>2023-03-05T12:58:36.141Z</atom:updated>
            <content:encoded><![CDATA[<p>Ch1: Reliable, Scalable, and Maintainable Applications</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/754/1*fScyjrmZlZ7ZrOKiohuLPw.png" /></figure><h3>第一章：可靠性、可伸縮性、可維護性</h3><ul><li>可靠性（Reliability）<br>即使發生故障，系統也能正常工作。故障可能發生在硬體（通常是隨機的且不相關的），軟體（通常是系統性的Bug，很難處理），和人類（不可避免地時不時出錯）。容錯技術可以對使用者隱藏某些類型的故障，以達到服務的可靠性。</li><li>​ 可伸縮性（Scalability）<br>在負載增加的情況下也有保持性能的方法。服務降級（degradation） 的一個常見原因是負載增加，首先需要分析負載和性能的方法，在可伸縮的系統中，去處理吞吐量（throughput）與響應時間（response time），可以添加處理容量（processing capacity） 以在高負載下保持可靠與服務。</li><li>​ 可維護性（Maintainability）<br>良好的抽象化可以幫助降低程式複雜度，並使系統易於修改和新增應用。良好的可操作性意味著對系統的健康狀態具有良好的可見性，並擁有有效的管理手段。以提升開發人員與維運人員工作與生活品質。</li></ul><p>Next</p><p><a href="https://medium.com/bucketing/ddia-%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-2-b12eee3e7a73">DDIA 讀書心得 #2</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1116c4bd89c0" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/ddia-%E8%AE%80%E6%9B%B8%E5%BF%83%E5%BE%97-1-1116c4bd89c0">DDIA 讀書心得 #1</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[System Design: 系統架構基礎 — 資料模型]]></title>
            <link>https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E6%9E%B6%E6%A7%8B%E5%9F%BA%E7%A4%8E-%E8%B3%87%E6%96%99%E6%A8%A1%E5%9E%8B-37e62c60e100?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/37e62c60e100</guid>
            <category><![CDATA[系統設計]]></category>
            <category><![CDATA[software-architecture]]></category>
            <category><![CDATA[design-systems]]></category>
            <category><![CDATA[data-model]]></category>
            <dc:creator><![CDATA[Charlie Lee]]></dc:creator>
            <pubDate>Sat, 03 Apr 2021 06:48:18 GMT</pubDate>
            <atom:updated>2021-04-03T06:48:18.076Z</atom:updated>
            <content:encoded><![CDATA[<h3>System Design: 系統架構基礎 — 資料模型</h3><p>如何選擇應用程式該用何種資料庫，此篇文章向你介紹三個主流資料模型，文檔(Document)、關聯(Relation)和圖(Graph)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*h3J99bwXbCJnbqtT" /><figcaption>Photo by <a href="https://unsplash.com/@kaleidico?utm_source=medium&amp;utm_medium=referral">Kaleidico</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/764/1*Erlzv2f1Tuf1Z0ahacqlig.png" /></figure><h3>什麼是資料模型 (Data Model)</h3><p>大部分的應用程式都是透過抽象介面掌控資料模型(Data Model)之上，而循序漸進的每一層資料模型，其下一層都有其它資料模型再運作，比如</p><ol><li>工程師將實際的商業邏輯(像是將貨運、保險或是票務)轉化為資料結構(Data Structure)</li><li>當工程師要儲存這些資料結構時就必須思考，要使用文檔資料庫(Document Database)的JSON(Tree Model)、關聯式資料庫(Relation Database)的表(Table Model)或是直接使用圖資料庫(Graph Model)，將資料儲存永久儲存</li><li>而資料庫(DBMS)工程師們，除了設計方便查詢、寫入和管理的介面讓開發者使用，還需要設計要如何將這些資料模型寫入到硬碟之中</li><li>硬體工程師則是思考如何將這些byte透過電流或磁力寫到真實物體上</li></ol><p>資料模型主要就是簡化上一層的開發者使用資料的難度，但是提到系統設計，開發者就需要深度的理解每一層資料模型如何運作以及如何表現，這樣才能選出最適合系統的資料模型。</p><p>本篇文章主要關注文檔(JSON)、關聯和圖資料模型的使用與抽象表現。</p><h3>IMS古老的文檔資料庫系統</h3><p>IMS(Inormation Management System)是IBM在1970年代為了阿波羅計畫商業發行的資料系統，有趣的是它儲存的資料模型跟現在火熱的NoSQL JSON文檔儲存非常相似，是以層次模型(hierarchical model)像是樹狀一樣的資料模型結構，它可以非常簡單的表現一對多關聯的資料，但一到了多對多關聯就束手無策(與現代的Document Database相似)，後來的解決方案中最出色的就是現在常用的關聯模型(Relational model)和圖資料庫的前身網路模型(Network model)。</p><h4>網路模型(Network Model)</h4><p>網路模型如同字面定義，每筆資料會像是網路節點互相關聯，可以輕鬆地呈現多對多關聯的資料，但受限於當時的硬碟技術無法像現在可以快速的Random Access(隨機存取)，而且也沒有提出簡單好使用的抽象介面讓開發者使用，所以在1970年代落了下風。</p><h4>關聯模型(Relational Model)</h4><p>關聯模型就是目前眾所皆知的關聯式資料庫，每張表(table)都是每一行(rows)的集合，在由表來表示資料間的關聯，它不需像網路模型般每筆資料都需要透過複雜的訪問路徑(access path)才能到達，而在呈現方面也完美符合人類熟悉的表格資料，操作簡單易懂，需要加資料時在表中插入一行即可。</p><p>網路模型與關聯模型都是為了表達多對多關係才由文檔模型衍生。或許當時關聯模型獲得勝利，稱霸了商業領域數十年，但在現在儲存機器高效而且容量可以接受大量冗於的情況下，三種模型都可以有各自的表現空間，這也是近十年NoSQL崛起的原因。</p><h3>Document and Relation Model</h3><p>文檔數據庫以MongoDb為例，用Key-Value的方式操作資料再以變動的格式JSON存儲。這通常被稱為無模式(schemaless)，但DDIA提到更精準的用詞應該為讀時模式(shema-on-read)，也就是在資料儲存的時候可靈活變動，拿出來時才定義資料中每個屬性的意義。這代表可以在應用程式中改寫資料格式與結構，應用時較為靈活與方便。但其中靈活度的trade off就是程式碼會充滿許多特定的程式碼，需要檢查每個拿出來資料的意義，尤其要更動格式還需要額外的程式碼在每次讀取時做檢查。</p><p>而關聯資料庫則稱為寫時模式(shema-on-write)，在初始化時就需要設計DDL(Database Define Language)強制定義資料模型的外貌，在修改格式時需要很大的開銷，但相對而言當資料模型逐漸穩定不在更動後，程式碼對比於文檔資料庫更加簡潔，因為可以直接使用SQL查詢資料。</p><p>開始以DDIA中Bill Gates Linkedin履歷一對多資料模型做討論。Linkedin的功能主要呈現個人履歷，包含簡介、經驗、學歷和聯絡資訊。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/361/0*jky9pYtWCB7A2_zN.png" /><figcaption>From Designing Data-Intensive Applications: Figure 2–1. Representing a LinkedIn profile using a relational schema. Photo of Bill Gates courtesy of Wikimedia Commons, Ricardo Stuckert, Agência Brasil.</figcaption></figure><p>如果以關聯式資料模型設計，如下圖。經過正規畫每個會重複的資料都會個別存在不同的Table中，如果資料要傳送給前端，就需要經過這些Table數量的Primary key Index查詢(就此案例為六次)，在打包成JSON格式傳送。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/488/0*rrzr1ybUg_I5lDal.png" /><figcaption>From Designing Data-Intensive Applications: Figure 2–1. Representing a LinkedIn profile using a relational schema. Photo of Bill Gates courtesy of Wikimedia Commons, Ricardo Stuckert, Agência Brasil.</figcaption></figure><p>如果以文檔資料模型，文檔格式如下。</p><pre>{<br>  &quot;user_id&quot;: 251,<br>  &quot;first_name&quot;: &quot;Bill&quot;,<br>  &quot;last_name&quot;: &quot;Gates&quot;,<br>  &quot;summary&quot;: &quot;Co-chair of the Bill &amp; Melinda Gates... Active blogger.&quot;,<br>  &quot;region_id&quot;: &quot;us:91&quot;,<br>  &quot;industry_id&quot;: 131,<br>  &quot;photo_url&quot;: &quot;/p/7/000/253/05b/308dd6e.jpg&quot;,<br>  &quot;positions&quot;: [<br>    {<br>      &quot;job_title&quot;: &quot;Co-chair&quot;,<br>      &quot;organization&quot;: &quot;Bill &amp; Melinda Gates Foundation&quot;<br>    },<br>    {<br>      &quot;job_title&quot;: &quot;Co-founder, Chairman&quot;,<br>      &quot;organization&quot;: &quot;Microsoft&quot;<br>    }<br>  ],<br>  &quot;education&quot;: [<br>    {<br>      &quot;school_name&quot;: &quot;Harvard University&quot;,<br>      &quot;start&quot;: 1973,<br>      &quot;end&quot;: 1975<br>    },<br>    {<br>      &quot;school_name&quot;: &quot;Lakeside School, Seattle&quot;,<br>      &quot;start&quot;: null,<br>      &quot;end&quot;: null<br>    }<br>  ],<br>  &quot;contact_info&quot;: {<br>    &quot;blog&quot;: &quot;http://thegatesnotes.com&quot;,<br>    &quot;twitter&quot;: &quot;http://twitter.com/BillGates&quot;<br>  }<br>}</pre><p>JSON是現在文檔資料庫儲存的通用格式，資料模型會以樹狀的方式呈現，對於此案例如果要抓出Bill Gates的履歷只需要一次的查詢，抓出文檔直接將JSON傳送到前端。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/906/0*hYpjHcyL7efHbF8l.png" /><figcaption>From Designing Data-Intensive Applications: Figure 2–2. One-to-many relationships forming a tree structure.</figcaption></figure><p>以此案例，關聯與文檔對比，文檔資料模型會有較好的局部性(locality)，locality代表著資料存取或是寫入時都是聚集在一片連續的區域中，不需再做其他跳轉搜尋。而關聯資料庫因為正規化(normalization)的關係會將資料切割成不同Table，硬碟需要做多次跳轉查詢。</p><p>將此案例再次升級，如果未來此頁面除了單純文本呈現履歷，還需要做公司學校介紹，如下圖。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*y7MSoCSv4sd-Ig9r.png" /><figcaption>From Designing Data-Intensive Applications:Figure 2–3. The company name is not just a string, but a link to a company entity. Screenshot of linkedin.com</figcaption></figure><p>這樣就會發生如果公司更新資料(簡介、網址、地址)，文檔資料庫每個包含此公司的JSON檔案都需要重新寫入，這樣關聯的資料散落在不同JSON文件的定義稱為副本(duplicatoin)，每一個JSON文檔都有一份相同定義的資料。而關聯模型如果要作的這樣的功能，保持原狀更改關聯Table資料即可。當然文檔資料模型可以如下圖做文檔間的關聯，這也稱為多對多模型(除了本身持有的個別資料還包含關聯文檔ID)。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*JTnSq4eCEhNmITUq.png" /><figcaption>From Designing Data-Intensive Applications: Figure 2–4. Extending résumés with many-to-many relationships.</figcaption></figure><p>透過上面這張圖，可以發現當關聯資料增加，文檔模型會與關聯模型逐漸重疊。這也會回到一開始提到1970年代IMS系統引發的關聯模型討論。不過現在和1970相比資料不再只是讓商業人員用表格的方式查看還包含了網頁呈現，況且文檔模型可以針對重複資料做關聯(減少副本冗於，關聯模型則可以將一些不大會修改的資料作反正規劃處理(減少跳轉查詢)，文檔與關聯正在逐步的融合。所以現在並沒有哪種資料模型優於誰的問題，只會有目前的公司的商業應用適合哪種資料模型，當然也可以一起使用。</p><h3>Relation and Graph Model</h3><p>上文提到文檔與關聯資料模型，最大的差異在於關聯，若關聯數量上升文檔資料模型要減少副本的話，會逐漸的趨近關聯資料模型，相反的如果要減少關聯跳轉也可以透過將關聯資料模型反正規化。</p><p>但如果整個資料幾乎全部都是關聯資料，那圖數據模型可能是最好的選擇。一開始文章提到網路模型與關聯模型，是由IBM的IMS系統衍生出來解決關聯資料問題。但是因為1970年代硬碟隨機讀取效率非常低效，所以關聯資料庫獲得了接下來數十年的勝利，但在現在硬碟隨機讀取成本逐漸降低(未來如果SSD全面取代傳統硬碟，那就更有趣了)，所以網路模型的進階圖資料模型也開始逐漸出現在市面上，目前最著名的應該就是Neo4j了(只要逛過一次官網，各種Google ads就會瘋狂打廣告)。</p><h4>Graph Model基本定義</h4><p>什麼是圖形資料庫，講白了每一個資料都是一個節點(node)透過邊(edge)去做彼此關聯，將模型攤開就會像是網路的路由圖一樣。</p><p>一個Graph Model如上所說會有許多Node和Edge組成。</p><p>Node包含了</p><ul><li>唯一判別(如同Primay Key)</li><li>出邊 (outgoing edges)</li><li>入邊 (ingoing edges)</li><li>屬性 (key — value)</li></ul><p>Edge</p><ul><li>唯一判別(如同Primay Key)</li><li>edge的起點 (tail vertex)</li><li>edge的終點 (head vertex)</li><li>描述此關聯的標籤</li><li>屬性 (key-value)</li></ul><p>其中Edge的tail和head需要以箭頭來理解， -&gt; 箭頭的尾巴代表著來源，頭則代表目標，所以英文才會以tail=source/head=destination。</p><p>如果將圖攤開來看會如下，此範例為人居住的資料關聯。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*7EmbaIqZNNXSU3za.png" /><figcaption>From Designing Data-Intensive Applications:Figure 2–5. Example of graph-structured data (boxes represent vertices, arrows repre‐ sent edges)</figcaption></figure><h4>以Relational Model表示圖</h4><p>如果以關聯資料庫來表示圖資料模型，需要設計類似下方的DDL(Data Define Language)</p><pre>CREATE TABLE vertices (<br>  vertex_id  INTEGER PRIMARY KEY,<br>  properties JSON<br>);</pre><pre>CREATE TABLE edges (<br>  edge_id     INTEGER PRIMARY KEY,<br>  tail_vertex INTEGER REFERENCES vertices (vertex_id),<br>  head_vertex INTEGER REFERENCES vertices (vertex_id),<br>  label       TEXT,<br>  properties  JSON<br>);</pre><pre>CREATE INDEX edges_tails ON edges (tail_vertex);<br>CREATE INDEX edges_heads ON edges (head_vertex);</pre><p>下方是Immanuel Trummer教授的設計車站的路線圖資料範例，由關聯模型表達圖資料。<br>(<a href="https://www.youtube.com/watch?v=672Nn0seoIg&amp;list=PLXPbT_PYOiRipfX8zrv_9EpnSOpK9P__j&amp;index=32">https://www.youtube.com/watch?v=672Nn0seoIg&amp;list=PLXPbT_PYOiRipfX8zrv_9EpnSOpK9P__j&amp;index=32</a>)</p><p>首先需要設計DDL，大致與上面所提的框架相同。</p><pre>CREATE TABLE Stations(StationID int primary key, name text);<br>CREATE TABLE Connected(<br> StationID1 int, StationID2 int, <br> primary key (StationID1, StationID2),<br> foreign key (StationID1) references Stations(StationID1),<br> foreign key (StationID2) references Stations(StationID2)<br>)</pre><p>如果要查找P Statoin 到 N Station的路徑，那整個Query語法就會變得很冗長，甚至是有一點複雜不好理解。</p><pre>SELECT * from Connected C1 <br> join Connected C2 on (C1.stationid2 = C2.stationid1)<br> join Connected C3 on (C2.stationid2 = C3.stationid1)<br>... join Connected Cn ...<br>WHERE C1.name = &#39;Port Authority&#39; <br> and Cn.name = &#39;NYU&#39;</pre><p>此範例可以看到，關聯資料庫也可以完全表達圖資料模型，只是在搜尋時會非常麻煩，因為圖的搜尋大多是以遞迴(DFS/BFS)的方式搜索，SQL要表達遞迴需要關聯大量table，當然可以設計function取代，但如果使用圖資料庫的搜尋語言就會變得非常優雅與直觀。</p><h4>Cypher (Neo4j的搜尋語言)</h4><p>Cypher之於Neo4j等同於SQL之於關聯式資料庫，使用起來跟使用SQL類似，但主要操作圖資料模型，所以表達圖資料會比較直觀，讓開發者比較容易上手。</p><p>使用Cypher設計人口居住資料模型，DDL (Data Define Language)如下</p><pre>CREATE<br>    (NAmerica:Location {name:&#39;North America&#39;, type:&#39;continent&#39;}),<br>    (USA:Location      {name:&#39;United States&#39;, type:&#39;country&#39;  }),<br>    (Idaho:Location    {name:&#39;Idaho&#39;,         type:&#39;state&#39;    }),<br>    (Lucy:Person       {name:&#39;Lucy&#39; }),<br>    (Idaho) -[:WITHIN]-&gt;  (USA)  -[:WITHIN]-&gt; (NAmerica),<br>    (Lucy)  -[:BORN_IN]-&gt; (Idaho)</pre><p>而DQL(Query Language)如下，要找到從美國移民到歐洲的人口。</p><pre>MATCH<br>    (person) -[:BORN_IN]-&gt;  () -[:WITHIN*0..]-&gt; (us:Location {name:&#39;United States&#39;}),<br>    (person) -[:LIVES_IN]-&gt; () -[:WITHIN*0..]-&gt; (eu:Location {name:&#39;Europe&#39;})<br>RETURN person.name</pre><p>對比於透過SQL查照圖資料模型，Cypher更加直觀與方便。</p><h3>總結</h3><p>資料模型是現在應用程式的基礎，因為都需要永久儲存資料，和資料結構相比資料結構注重資料再記憶體中和CPU的互動，而資料模型則是如何從硬碟拿出資料。</p><p>文中提到了三種資料模型</p><h4>文檔資料模型</h4><ul><li>與1970年代的IMS相似</li><li>Key-Value行為，以JSON格是儲存</li><li>讀時模式(shema-on-read)，資料拿出資料庫後才定義每個屬性的意義</li><li>如果資料的locality局部性高的話，文檔模型是最好的選擇</li><li>如果關聯資料逐漸上升，為了消除副本(Duplicatoin)會逐漸演變成關聯資料模型，如果選擇不消除副本則在讀取時要透過程式碼做多次檢查</li></ul><h4>關聯資料模型</h4><ul><li>再1970關聯大戰中戰勝網路模型</li><li>由Row集合成Table，再由Table互相做關聯</li><li>寫時模式(shema-on-write)，創建時就需要定義每個col的意義與資料格式</li><li>如果完全正規化，在查找簡單的資料時可能要做多次的硬碟跳轉搜尋</li><li>如果反正規化，可以使用現在資料庫中的JSON格式做到與文檔資料庫相同的讀時模式(shema-on-read)</li></ul><h4>圖資料模型</h4><ul><li>改良版的網路模型，因為硬碟隨機存取效率上升，所以逐漸被重視</li><li>關聯資料模型也可以表達圖資料模型，但SQL的使用會顯得有點彆手彆腳</li><li>現在較常見的是Neo4j與它的Cypher</li><li>圖資料模型常用來呈現應用中的，好友關係/地理位址表達/路線搜尋。</li></ul><p>最後，有時候網路上常常爭論哪種資料庫更好，但是深度了解每個資料特性就會知道沒有最好的資料庫，只有最適合的場景。況且資料庫廠商他們也都是要靠這賺錢的，常常用過於華麗的行銷話術誤導開發者，如果知道每個資料模型的原理與場景那就可以世界越快心則慢，不被影響了。</p><p><a href="https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%AD%B8%E7%BF%92%E5%9C%B0%E5%9C%96-68f98e8c3df4">System Design 系統設計學習地圖</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=37e62c60e100" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E6%9E%B6%E6%A7%8B%E5%9F%BA%E7%A4%8E-%E8%B3%87%E6%96%99%E6%A8%A1%E5%9E%8B-37e62c60e100">System Design: 系統架構基礎 — 資料模型</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[System Design: 系統架構基礎 - 可靠、可擴展、可維護]]></title>
            <link>https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E6%9E%B6%E6%A7%8B%E5%9F%BA%E7%A4%8E-%E5%8F%AF%E9%9D%A0-%E5%8F%AF%E6%93%B4%E5%B1%95-%E5%8F%AF%E7%B6%AD%E8%AD%B7-77903e2ce16a?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/77903e2ce16a</guid>
            <category><![CDATA[software-architecture]]></category>
            <category><![CDATA[design-systems]]></category>
            <category><![CDATA[系統設計]]></category>
            <dc:creator><![CDATA[Charlie Lee]]></dc:creator>
            <pubDate>Sun, 21 Mar 2021 17:51:53 GMT</pubDate>
            <atom:updated>2021-03-30T14:43:59.421Z</atom:updated>
            <content:encoded><![CDATA[<p>本文將介紹系統分析的三大要素，可靠、可擴展、可維護性</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Eeis6SiQ1VBmQiWt" /><figcaption>Photo by <a href="https://unsplash.com/@miracleday?utm_source=medium&amp;utm_medium=referral">Elena Mozhvilo</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>簡介</h3><p>再上一篇文章介紹了甚麼是系統後，此篇文章會接續探討系統架構的目標，也就是可靠、可擴展、可維護性，學習心智圖如下。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/920/1*eBVTDo9LfgjNExlXNdF8-g.png" /></figure><h3>可靠性 (Reliabilty)</h3><h4>定義軟體可靠性</h4><p>工程師如何思考可靠性?</p><ul><li>軟體表現符合用戶預期</li><li>在預期的使用流量與數據量下滿足性能</li><li>系統能阻擋未經授權的訪問和濫用</li></ul><p>可靠性的重要，可靠性簡單來說就是公司賺錢的工具是不是可以運作，當然在創業初期時，快速開發曝光更加重要，但當穩定並且建立商譽後，可靠性可以說是公司可以走多遠的關鍵因素。</p><h4>定義錯誤(Error)</h4><p>可靠性是圍繞著預防Error發生以及當Error作出相對應處理行為的指標，首先先定義什麼是錯誤Error</p><ul><li>故障 Fault，代表系統其中一個組件(硬碟或其中一台電腦)不能使用，或是軟體跳出了一個Exception，預料故障並且對應則稱為容錯(fault-tolerant)或是韌性(resilient)</li><li>失效 Failure，代表系統完全停止運作</li></ul><h4>Tolerating</h4><p>阻止錯誤實際上是不可能的，就算可能代價也非常大，所以在系統設計中偏向容錯(fault-tolerant)，設計一系列的容錯機制讓發生錯誤時傷害降到最低，並且快速修正</p><h4>Hardware faults</h4><p>硬體錯誤大多是獨立事件，一台電腦壞掉或是硬碟壞掉不代表其他也會跟著壞。</p><ul><li>硬碟壞掉</li><li>記憶體出錯</li><li>斷電</li><li>網路線被踢到</li></ul><p>硬碟壞掉為最大宗，因為硬碟的物理運作會造成磨損進而故障，硬碟平均壽命(MTTF mean time to failure)在DDIA書中提到為10–50年(這Range非常廣阿，可能會根據真實機房所在位置灰塵濕度有關係)，根據平均壽命換算如果有10000個硬碟則每天會故障一個。</p><p>對應方法:</p><ul><li>增加冗於度(將資料寫入多個硬碟)，組建RAID機制(寫入資料時不只寫入一個硬碟，RAID方法有許多種)</li><li>透過系統軟體層面做容錯機制(若發現硬碟無法寫入則快速切換Request到其他系統或機器)</li></ul><h4>Software faults</h4><p>軟體錯誤和硬體錯誤相比則恐怖許多，一個系統組件(Component)或是模組(Module)有Bug，代表有用到的系統資料都會跟著錯誤，這些錯誤可能還會導致整體軟體系統失效(failure)需要關閉，進而影響公司的商譽跟使用者體驗。</p><ul><li>沒有阻擋到非預期的Request，導致軟體寫入資料時掛掉</li><li>失控的Process耗盡整個機器的CPU時間Memory和I/O頻寬</li><li>因為軟體都是關聯的，所以一個小模組壞掉可能會引起波瀾，整個系統不可用</li></ul><p>對應方法</p><ul><li>徹底測試</li><li>隔離Process</li><li>允許崩潰時自我啟動</li><li>監控與測量，(當CPU或記憶體使用達到XX%時進行一系列SOP)</li><li>運行中自我驗證機制 (例如MQ發出去的訊息與接收的訊息，需要透過其他的Application Code進行比對確保消息沒有丟失)</li></ul><h4>Human error</h4><p>根據DDIA書中所說，維運配置(軟體的Config、網路iptable route NAT)是服務中斷的主要原因，如何避免或是包容這樣的error有以下參考</p><ul><li>最小犯錯機會的方式設計系統 (更容易理解的API名稱)，但如果限制過多會引發人類的惰性想要繞開限制，如何在限制與開發拿到平衡需要經驗</li><li>將容易壞掉的服務組件模組解偶(decouple)，並且提供與生產環境相似的sandbox進行完全測試。(以訂票系統為例，訂票功能需要與其他功能特別切開，這樣可以在有阿妹演唱會時針對訂票功能做水平擴增(增加機器)，也可以真對訂票功能在沙盒(sandbox)裡做大量的壓力測試)</li><li>允許快速回復 (可以設計更新時的備份機制，當維運人員更新發生例外(truncate table…)時雖然一定會造成一些影響，但至少可以返回之前穩定的狀態</li><li>Telemetry(遙測)，此詞彙是源自工程科學，當火箭起飛時，科學家不會只觀看火箭在外太空的數據，而是從倒數就開始不斷追蹤一系列數據，軟體開發也可以如此，設定系統一系列指標定時追蹤與告警</li></ul><h3>可擴展性 (Scalability)</h3><p>如第一篇文章所說，架構設計的前提是保證效能與功能持續變動下的設計，而擴展性就是架構對效能變動的評估定義。</p><p>在開始討論可擴展性(Scalability)，需要先知道兩個詞彙負載與效能，負載和效能息息相關，當一套系統沒有太多使用者時效能完全可以符合我們需要，但是當使用者開始上升(負載上升)就會連帶的影響效能，讓效能快速下降。</p><h4>負載 Measuring load</h4><p>負載可以使用負載參數(load parameters)來描述，像是</p><ul><li>資料庫中讀和寫的比率</li><li>每秒Server接收與發出的數量</li><li>目前活動的使用者數量</li><li>緩存命中數量</li></ul><p>而且這些評估參數除了要在單模組或單系統思考之外，還需要從更高的層面去觀察，因為模組和系統會關聯其他的模組與系統，卡住了其中一個可能會造成連環效應剩下的執行鍊也跟著卡住。而這樣的關聯行為也可以稱為扇出(fan-out: 意旨服務執行時需要關聯其他系統的行為)。</p><h4>效能 Performance</h4><p>負載與效能是息息相關的，以連線請求為例子，當使用者越多對Server的連線也會跟著變多，那會導致以下情況</p><ul><li>使用Thread per Message維護連線導致CPU過多Context Switch降速</li><li>使用執行緒池，穩住CPU的Context Switch但是儲存Task的Queue暴增導致Memory裝不下</li><li>使用者資料變多DB每次搜尋和寫入速度下降</li></ul><p>而系統架構設計對於Scalability的目標就在於，當負載上升(使用者變多)而性能還可以保持使用者體驗的能力。</p><p>系統想要保持使用者體驗排除業務功能的數據包含兩個重點，吞吐量(throuput)和響應時間response time。講白了吞吐量代表系統每秒可以回復多少使用者的Request(如果超出了使用者需要排隊，也有可能接收到錯誤的狀態碼)，而Response time就是使用者觸發了這個功能，多久會得到解果(當然也包含了使用者本身的網路和電腦延遲，但系統能改變的只有自己的回應時間)。言簡意賅系統可以在此吞吐量做到多少Response time就是效能評估的依據。</p><p>如何評估Response Time要素:</p><ul><li>算數平均值(arithmetic mean)</li><li>百分點位分析(Percentiles)(50%/95%/99%/99.9%)</li></ul><p>目前大多的評估都是以第二個Percentiles為主，因為有時平均數不一定代表大多數。</p><p>而百分點位分析(Percentiles)，位居高位的響應時間(使用者等待回應比較長，例如99.9%)也稱為尾部延遲(tail latencies)，有時候是非常關鍵的，因為通常需要等待系統響應這麼長時間的使用者會牽涉到的業務邏輯比較複雜，也可以說是系統的VIP用戶，所以需要將他們當作效能優化的主要目標，而這樣的目標也可以稱為</p><ul><li>服務級別目標 (SLO，Service Level Objectives)</li><li>或服務級別協議 (SLA，Service Level Agreements)</li></ul><p>在壓力測試時可以以99.99作為SLO達成系統才能正式上線。</p><h4>如何擴增負載(loading)並保持效能(performance)</h4><p>當系統使用量上升到達系統的極限時，工程師可以透過</p><ul><li>縱向擴展(scaling up)(也稱為垂直擴展vertical scaling)，代表直接增加記憶體硬碟或是直接換一台更好的Server</li><li>橫向擴展(scaling out)(也稱為水平擴展horizontal scaling)，使用演算法將目前的負載導向其他機器</li></ul><p>正常情況下，縱向擴展都有一定的極限(越好的機器價位越恐怖，兩台B效能加起來跟一台A一樣時，兩台B的合併的價位可能不到一台A的二分之一)，所以通常架構設計都是以scaling out為主，可以透過多個便宜機器消化運算。</p><h4>如何決定要縱向還是橫向?</h4><p>通常系統需要擴展時也代表公司的商業模式運轉順暢，使用者越來越多。在第一時間如果預算許可之下一定事先考慮縱向擴展，因為橫向擴展牽涉到未來要維護更多機器還有如何非配流量演算法，非常麻煩!(此系列文主要討論的就是這樣的分散系統)，當縱向擴展預算突破天際時在開始思考橫向設計。當然在現在雲端共應商這麼多的情況下，應該沒有太多工程師有機會設計了，但工程師求道之路這是必經的過程，或許哪一天世界爆發拋棄雲端(偷偷收集平台上其他人資訊或天災多個資料中心被隕石打到…)就是自己發揮光芒的時刻。</p><h4>橫向擴展考慮要素</h4><p>橫向擴展大致分為</p><ul><li>業務邏輯Server</li><li>儲存Server</li><li>快取Server</li><li>消息對列(MQ Server)</li></ul><p>其中業務邏輯Server是最容易做到橫向擴展的，這個前提是這些機器需要是無狀態的，或是有一定的Request分配演算法可以確保每次都會發到同一台機器上。而其他三個會在後續的系列文介紹，因為牽涉太多再次先不討論。</p><p>在來說說彈性，擴展的彈性就是系統可以自動判斷現在的流量與效能，自動的增加機器。其實就是現在雲端供應商的Elastic系列，到達一定的閥值(CPU 使用率80%，記憶體快不夠了)就會自動擴張，雖然現在有這些Cloud Provider Carry我們但如果如果是自己設計的話難度會非常大，遠比工程師們手動自己擴增。</p><h3>可維護性 (Maintainability)</h3><p>本文一直強調系統架構設計，就是讓系統可以在效能與功能不斷變動下保持可靠、可擴展、可維護，效能主要是與可擴展相關，而功能就是和可維護性相關了。</p><p>相信大家都非常討厭維護上一代撰寫的程式碼，原因就在於害怕、不了解甚至是看不懂，可維護性討論的就是以下三點</p><h4>可操作性 Operability</h4><p>系統是不是可以讓維運團隊保持穩定運行，包含</p><ul><li>系統是不是可以被監控，並且提供有效的監控數據 (執行緒監控/GC監控)</li><li>有沒有自動化工具，可以做一系列的操作</li><li>有沒有撰寫真的是給人看的文件</li><li>有沒有辦法自我修復，若不行的時候會有方法讓維運團隊手動更改</li><li>預測行為，減少意外</li></ul><h4>簡單性 Simplicity</h4><p>各位有沒有看過就算用IDE，程式碼還是會跳到自己頭昏腦脹的程式碼，簡單性討論的就是這個，讓系統更簡單包含:</p><ul><li>利用抽象的概念，抽象讓人類容易理解程式碼</li><li>把龐大的系統切割成再小一點子系統(微服務)</li></ul><h4>可演化性 Evolvability</h4><p>使用者的需求永遠不構，每天都需要增加新的功能，設計可演化的程式碼架構非常重要，現在大多公司都透過agile與refactoring增加系統的可演化性。</p><h3>結論</h3><p>快速總結本文討論的系統目標三大要素，可靠性(Reliability)、可擴展性(Scalability)與可維護性(Maintainability)</p><ul><li>可靠性: 代表系統無法避免故障，系統是否有對應的容錯機制(Tolerating)可以讓使用者保持使用體驗</li><li>可擴展性: 包含垂直擴展與水平擴展，垂直就是直接升級機器硬體，而水平擴展則是將流量導向其他機器</li><li>可維護性: 系統需要透過不斷的迭代與重構，才不會有一天加功能時造成全面崩潰</li></ul><p>這篇文章內容非常多，大多是DDIA的內容(甚至幾乎全部都是)，非常建議各位讀者可以去看原文，原文還包含許多精彩的實際案例。</p><p><a href="https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%AD%B8%E7%BF%92%E5%9C%B0%E5%9C%96-68f98e8c3df4">System Design 系統設計學習地圖</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=77903e2ce16a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E6%9E%B6%E6%A7%8B%E5%9F%BA%E7%A4%8E-%E5%8F%AF%E9%9D%A0-%E5%8F%AF%E6%93%B4%E5%B1%95-%E5%8F%AF%E7%B6%AD%E8%AD%B7-77903e2ce16a">System Design: 系統架構基礎 - 可靠、可擴展、可維護</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[System Design: 系統架構基礎 - 什麼是系統架構]]></title>
            <link>https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E6%9E%B6%E6%A7%8B%E5%9F%BA%E7%A4%8E-%E4%BB%80%E9%BA%BC%E6%98%AF%E7%B3%BB%E7%B5%B1%E6%9E%B6%E6%A7%8B-bed1e1323770?source=rss----e4305717c2ef---4</link>
            <guid isPermaLink="false">https://medium.com/p/bed1e1323770</guid>
            <category><![CDATA[design-systems]]></category>
            <category><![CDATA[系統設計]]></category>
            <category><![CDATA[software-architecture]]></category>
            <dc:creator><![CDATA[Charlie Lee]]></dc:creator>
            <pubDate>Sun, 21 Mar 2021 08:10:36 GMT</pubDate>
            <atom:updated>2021-03-21T08:11:53.376Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*cXK6OcXpvksSDzww" /><figcaption>Photo by <a href="https://unsplash.com/@carlosaranda?utm_source=medium&amp;utm_medium=referral">carlos aranda</a> on <a href="https://unsplash.com/?utm_source=medium&amp;utm_medium=referral">Unsplash</a></figcaption></figure><h3>簡介</h3><p>此篇文章會簡短的介紹甚麼是系統架構，包含組合概念、抽象概念以及設計系統架構的目的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/701/0*vtigNGc7OoesAPYp.png" /></figure><h3>什麼是系統</h3><p>系統在生活中無處不見，軟體運作可以稱為系統，工廠流水線之間也可以稱為系統，甚至一個人的生活方式也有自己的系統，這篇文章主要就是定義軟體系統這個詞的概念，包含基礎詞彙定義與抽象的定義，當然每個工程師都有不同的想法與見解，這也是軟體系統設計有很多討論的原因。</p><h3>組合概念</h3><ul><li>系統 (System)</li><li>子系統 (Sub System)</li><li>模組 (Module)</li><li>元件 (Component)</li></ul><p>這四個詞彙在Computer Science領域使用的非常廣泛，會出現在程式物件層面的設計、分散式層面的設計、作業系統層面甚至是晶片設計，不管在哪裡出現這些詞彙主要表達的就是由小到大的組合關聯。</p><p>就已Medium為例，Medium是一個文章平台，它的整體就是一個系統，其中包含會員子系統、文章閱讀系統、文章創作系統，而會員子系統包含登入模組、基本資料模組、文章管理模組，登入模組又會包含密碼加密元件、密碼驗證元件。</p><p>四個詞彙整體就在表達階層與組織的概念，如同下圖。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/747/0*58wAapV0YlyraXr8.png" /></figure><p>在軟體系統架構裡，這四個詞彙可以用來形容物件之間的關係，也可以用來形容分散式群集之間的關係。</p><h3>抽象概念</h3><ul><li>關聯</li><li>規則</li><li>能力</li></ul><p>由剛剛的階層詞彙介紹就可以將這些詞彙提煉出更廣域的抽象概念，系統就是由創造者根據自己的目標找出相關聯的個能力的個體，透過自己設計的規則進行運作。</p><p>以Medium登入模組為例子，登入模組需要幫使用者輸入的密碼加密後傳輸，再與資料庫中的密碼進行比對，這時就可以使用與目標有關聯的加密與驗證元件透過先加密後驗證的規則運作。</p><p>再看一下DDIA書中第一章節的範例</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/796/0*GnMIXZVXFiau-g_v.png" /><figcaption>Designing Data-Intensive Applications: Figure 1–1. One possible architecture for a data system that combines several components.</figcaption></figure><p>很單純的軟體系統架構，其中包含了In-memory cache、Primary database、Full-text index、Message queue與三個Application Code</p><p>主要Applicatoin Code因為需要儲存使用者資訊所以需要資料庫，<br>而為了讓資料庫減輕壓力與加快Application響應速度，所以需要依賴下方的關聯模組協作</p><ul><li>減輕資料庫(Primary Database)的負擔與加快響應，使用In-memory cache減少查詢</li><li>關聯式資料庫不大適合全文搜索(從單個欄位內容找出對應的資訊)，使用Full-text index協助搜尋</li><li>為了讓三個資料相關的模組運作順暢，撰寫對應處理資料的Applicatoin Code。</li></ul><p>而對於減輕主要業務邏輯負擔則是將不需即時處理的任務透過MQ解偶和交給另一個Application Code執行。</p><h3>什麼是系統架構? 和框架的差別?</h3><p>上面的介紹已經了解階層與這些階層如何協作的概念，而架構設計就是如何定義這些階層的大小，以及如何處理這些抽象協作，架構設計真的是需要上過戰場並且處理過大大小小的危機，才能有自己的一套設計方法，不過好險現在龍頭公司都有自己的Tech Blog分享資訊，而且書籍上都有許多經驗談，透過自我學習應該有一天也是可以當上架構師?</p><p>架構如同之前所說，如何定義與處理抽象的協作，而框架像是Spring MVC/WebFlux則是所謂的規範，使用一個框架代表需要整個團隊依循這框架去開發，這也間接代表廣義程度每個成員都會遵循一定的規則去實作自己的功能，當程式碼都有一定型式時則對整體系統要做變動或是擴增就比混沌的程式碼容易許多。</p><h3>系統架構的目的</h3><p>先從工程師A創業的小故事開始，A使用下班時間開發股票爬蟲程式，再一次聚會中和B工程師討論起這個程式應用，B覺得大有搞頭應該將此商業化，因為人數比較少而且只能透過下班時間開發，所以每個功能幾乎都是功能為主沒有思考太多延續的問題。</p><p>這個股票爬蟲程式慢慢變成股票論壇，擁有會員功能、討論功能、股票瀏覽功能，再過一陣子A和B想透過購買股票分析資訊的行為來賺錢所以開始開發分析功能，可是使用者越來越多一開始土炮的機器與軟體設計讓原本的系統每三天就會崩潰一次，最重要的是要賺錢的核心分析股票功能，因為原本的程式碼混沌的架構讓此功能根本無法整合。透過介紹C工程師大神來了，開始做一系列的設計包含</p><ul><li>如何平滑的增加效能與業務功能</li><li>如何減少系統崩潰</li><li>如何在系統崩潰時快速回復，甚至是讓使用者感受不到有機器壞掉或是BUG的出現</li></ul><p>這一系列的改變就是架構設計，架構設計就是想出一套方案讓系統可以因應不同的目標做出靈活的變動，簡化整個故事與流程，一個好的架構設計就代表著:在未來效能和功能不斷變動的前提下，保持</p><ul><li>可靠性 (Reliability)</li><li>可擴展性 (Scalability)</li><li>可維護性 (Maintainability)</li></ul><h3>結語</h3><p>組合概念:</p><ul><li>System/SubSystem/Module/Component/Framework</li></ul><p>抽象概念:</p><ul><li>關聯/能力/規則</li></ul><p>系統架構的目的:</p><ul><li>在未來效能與功能變動的前提下，保持可靠性 (Reliability)、可擴展性 (Scalability)、可維護性 (Maintainability)。</li></ul><p>這篇文章非常的高空炮，甚至看完會有種我到底看了甚麼的感覺，但是因為是系列文的第一篇所以就像是每本書的Introduction一種儀式的開端，下一篇文章會介紹架構設計的目的可靠性 (Reliability)、可擴展性 (Scalability)、可維護性 (Maintainability)。</p><p><a href="https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E8%A8%AD%E8%A8%88%E5%AD%B8%E7%BF%92%E5%9C%B0%E5%9C%96-68f98e8c3df4">System Design 系統設計學習地圖</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bed1e1323770" width="1" height="1" alt=""><hr><p><a href="https://medium.com/bucketing/system-design-%E7%B3%BB%E7%B5%B1%E6%9E%B6%E6%A7%8B%E5%9F%BA%E7%A4%8E-%E4%BB%80%E9%BA%BC%E6%98%AF%E7%B3%BB%E7%B5%B1%E6%9E%B6%E6%A7%8B-bed1e1323770">System Design: 系統架構基礎 - 什麼是系統架構</a> was originally published in <a href="https://medium.com/bucketing">Bucketing</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>