<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Chih Sean Hsu on Medium]]></title>
        <description><![CDATA[Stories by Chih Sean Hsu on Medium]]></description>
        <link>https://medium.com/@Sean_Hsu?source=rss-78c46137b264------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*5mSAGkI0sl2Z5dohy5zphA.jpeg</url>
            <title>Stories by Chih Sean Hsu on Medium</title>
            <link>https://medium.com/@Sean_Hsu?source=rss-78c46137b264------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 10:58:28 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@Sean_Hsu/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Consistent hashing in Cassandra]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://medium.com/into-the-night/consistent-hashing-in-cassandra-79333f5ebf12?source=rss-78c46137b264------2"><img src="https://cdn-images-1.medium.com/max/800/0*Jjmy40oHWh7hU2Bb.jpg" width="800"></a></p><p class="medium-feed-snippet">&#x5176;&#x5BE6;&#x8AAA;&#x771F;&#x7684;&#xFF0C;&#x6211;&#x5C0D;Cassandra&#x6C92;&#x6709;&#x5230;&#x5F88;&#x719F;&#x6089;&#xFF0C;&#x5C31;&#x662F;&#x4EE5;&#x524D;&#x66FE;&#x7D93;&#x81EA;&#x5DF1;&#x7121;&#x804A;&#x62FF;&#x4F86;&#x770B;&#x770B;&#xFF0C;&#x7136;&#x5F8C;&#x525B;&#x597D;&#x4E4B;&#x524D;&#x5728;&#x516C;&#x53F8;&#x5C08;&#x6848;&#x4E2D;&#x6709;&#x9023;&#x4E0A;&#x5979;&#x7136;&#x5F8C;&#x4E0B;&#x904E;&#x67E5;&#x8A62;&#x800C;&#x5DF2;&#xFF0C;&#x4F46;&#x4E0D;&#x77E5;&#x9053;&#x70BA;&#x4EC0;&#x9EBC;&#x5C0D;&#x5979;&#x6709;&#x7A2E;&#x5F88;&#x5E38;&#x770B;&#x898B;&#x7684;&#x6A23;&#x5B50;&#xFF0C;&#x53EF;&#x80FD;&#x4E4B;&#x524D;&#x770B;&#x300A;Designing Data-Intensive&#x2026;</p><p class="medium-feed-link"><a href="https://medium.com/into-the-night/consistent-hashing-in-cassandra-79333f5ebf12?source=rss-78c46137b264------2">Continue reading on 十十二夜 »</a></p></div>]]></description>
            <link>https://medium.com/into-the-night/consistent-hashing-in-cassandra-79333f5ebf12?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/79333f5ebf12</guid>
            <category><![CDATA[consistent-hashing]]></category>
            <category><![CDATA[cassandra]]></category>
            <category><![CDATA[database]]></category>
            <category><![CDATA[nosql]]></category>
            <category><![CDATA[software-development]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Tue, 09 Nov 2021 13:05:56 GMT</pubDate>
            <atom:updated>2021-11-09T13:05:56.819Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[WiredTiger in Mongodb]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://medium.com/into-the-night/wiredtiger-in-mongodb-a852d275d11e?source=rss-78c46137b264------2"><img src="https://cdn-images-1.medium.com/max/1200/0*zT9ya-NFj_zjXHPN.png" width="1200"></a></p><p class="medium-feed-snippet">&#x6700;&#x8FD1;&#x958B;&#x59CB;&#x5927;&#x91CF;&#x4F7F;&#x7528;Mongodb&#xFF0C;&#x6240;&#x4EE5;&#x60F3;&#x8AAA;&#x5148;&#x4F86;&#x597D;&#x597D;&#x77AD;&#x89E3;&#x4E00;&#x4E0B;Mongodb&#x7684;Storage&#x2026;</p><p class="medium-feed-link"><a href="https://medium.com/into-the-night/wiredtiger-in-mongodb-a852d275d11e?source=rss-78c46137b264------2">Continue reading on 十十二夜 »</a></p></div>]]></description>
            <link>https://medium.com/into-the-night/wiredtiger-in-mongodb-a852d275d11e?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/a852d275d11e</guid>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[storage]]></category>
            <category><![CDATA[nosql]]></category>
            <category><![CDATA[mongodb]]></category>
            <category><![CDATA[wiredtiger]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Wed, 22 Sep 2021 15:15:49 GMT</pubDate>
            <atom:updated>2021-09-22T15:15:49.542Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[MySQL(MariaDB) InnoDB Clustered Index & Secondary Index]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://medium.com/into-the-night/mysql-mariadb-innodb-clustered-index-secondary-index-45dc8335859c?source=rss-78c46137b264------2"><img src="https://cdn-images-1.medium.com/max/1440/1*DsCtEH7zVVP9-L4lxX_9BA.jpeg" width="1440"></a></p><p class="medium-feed-snippet">&#x6BCF;&#x6BCF;&#x5230;&#x4E86;&#x61F7;&#x7591;&#x81EA;&#x5DF1;&#x7684;&#x6642;&#x5019;&#x5C31;&#x6703;&#x958B;&#x59CB;&#x5BEB;&#x6587;&#x7AE0;&#x8A18;&#x9304;&#x4E00;&#x4E0B;&#xFF0C;&#x9019;&#x5927;&#x6982;&#x662F;&#x4E00;&#x500B;&#x5FAA;&#x74B0;&#x5427;&#x3002;</p><p class="medium-feed-link"><a href="https://medium.com/into-the-night/mysql-mariadb-innodb-clustered-index-secondary-index-45dc8335859c?source=rss-78c46137b264------2">Continue reading on 十十二夜 »</a></p></div>]]></description>
            <link>https://medium.com/into-the-night/mysql-mariadb-innodb-clustered-index-secondary-index-45dc8335859c?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/45dc8335859c</guid>
            <category><![CDATA[mysql]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[mariadb]]></category>
            <category><![CDATA[index]]></category>
            <category><![CDATA[database]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Tue, 17 Aug 2021 13:41:46 GMT</pubDate>
            <atom:updated>2021-08-18T00:18:54.652Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[Flask app with boto3, uwsgi and gevent in Docker (II. using boto3 connect dynamodb with gevent)]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://medium.com/into-the-night/flask-app-with-boto3-uwsgi-and-gevent-in-docker-ii-using-boto3-connect-dynamodb-with-gevent-e3b50cc4efd9?source=rss-78c46137b264------2"><img src="https://cdn-images-1.medium.com/max/960/1*SH6l39eNz4ZZtrgyNQbKxQ.jpeg" width="960"></a></p><p class="medium-feed-snippet">&#x5B89;&#x5B89;&#xFF0C;&#x5EE2;&#x8A71;&#x4E0D;&#x591A;&#x8AAA;&#xFF0C;&#x6211;&#x5011;&#x4F86;&#x76F4;&#x63A5;&#x9032;&#x5165;&#x6B63;&#x984C;&#x5427;&#x3002;</p><p class="medium-feed-link"><a href="https://medium.com/into-the-night/flask-app-with-boto3-uwsgi-and-gevent-in-docker-ii-using-boto3-connect-dynamodb-with-gevent-e3b50cc4efd9?source=rss-78c46137b264------2">Continue reading on 十十二夜 »</a></p></div>]]></description>
            <link>https://medium.com/into-the-night/flask-app-with-boto3-uwsgi-and-gevent-in-docker-ii-using-boto3-connect-dynamodb-with-gevent-e3b50cc4efd9?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/e3b50cc4efd9</guid>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[gevent]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[dynamodb]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Fri, 05 Jun 2020 12:54:53 GMT</pubDate>
            <atom:updated>2021-08-21T10:12:13.337Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[Flask app with boto3, uwsgi and gevent in Docker（I. uwsgi and gevent on python3.7-alpine image）]]></title>
            <link>https://medium.com/into-the-night/flask-app-with-boto3-uwsgi-and-gevent-in-docker-i-uwsgi-and-gevent-on-python3-7-alpine-image-f0d9c9ac1f5c?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/f0d9c9ac1f5c</guid>
            <category><![CDATA[docker]]></category>
            <category><![CDATA[gevent]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[uwsgi]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Sun, 17 May 2020 13:45:58 GMT</pubDate>
            <atom:updated>2020-05-18T15:12:56.397Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/664/0*__p3bGjXX6-Lqhi1.png" /><figcaption>From: <a href="https://www.google.com/url?sa=i&amp;url=https%3A%2F%2Fwww.osetc.com%2Fen%2Fhow-to-install-and-use-bash-shell-in-alpine-linux.html&amp;psig=AOvVaw02fqGYmAsVssoYFUJF_Hf4&amp;ust=1589809335998000&amp;source=images&amp;cd=vfe&amp;ved=0CA0QjhxqFwoTCPCQ272Du-kCFQAAAAAdAAAAABAH">https://www.google.com/url?sa=i&amp;url=https%3A%2F%2Fwww.osetc.com%2Fen%2Fhow-to-install-and-use-bash-shell-in-alpine-linux.html&amp;psig=AOvVaw02fqGYmAsVssoYFUJF_Hf4&amp;ust=1589809335998000&amp;source=images&amp;cd=vfe&amp;ved=0CA0QjhxqFwoTCPCQ272Du-kCFQAAAAAdAAAAABAH</a></figcaption></figure><p>這次來分享最近使用flask寫個要去DynamoDB拿東西，用uwsgi並開啟gevent遇到的一些小問題還有解決方法。主要分享的是以下三個主題：</p><ol><li>Install uwsgi and gevent on alpine linux image</li><li>use boto3 with gevent</li><li>gevent v.s. threads</li></ol><p>然後請容我像FFVII remake一樣把這些東西拆成三部曲來做說明吧，拆成章節式的方式對我有不少好處，就是我可以多賺一些文章的數量，不然以前那種一個講了好多主題，然後沒多少人看，覺得很QQ。但現在這樣拆成多個加起來的閱讀量就變多了！有一種分開賺的感覺XD（很啊Q）。當然這也不是只有對我有好處，這樣我也可以對一個小主題做更深入或詳細的講解，應該也是不錯的事吧。</p><p>以下為此文章所使用的repo，沒什麼特殊內容，單純只是提供一個範例而已。</p><p><a href="https://github.com/Vincentsean/flask_with_uwsgi_gevent">Vincentsean/flask_with_uwsgi_gevent</a></p><h3>I. Install uwsgi and gevent on Alpine Linux image</h3><p>第一點主要是針對要把uwsgi及gevent包入Alpine Linux的Docker image所做的一些處理，如果沒有考慮使用alpine作為image的os其實可以不用看篇，但還是會對另外的slim跟buster進行一些簡單的評估跟比較。</p><p>但為什麼要用alpine來當作image的os呢，下圖可以很簡單的給你一個理由。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zLXOKG7ULE9sL-n3CtUEQQ.png" /></figure><p>是的，使用alpine linux可以把我們image size壓到最低（以上是只有包含可以運行python3.7以及其stdLib的image），可以看到使用alpine linux的大小基本上是Debian(buster)的1/10左右的大小而已，而為什麼我們需要在意image的大小呢？</p><p>當我們使用AWS、GCP或Azure這種由cloud platform所提供的container服務時，這就是個重點了，容量以及網路流量都是在燒錢啊。（以下使用AWS ECR為範例）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hFFLzx66pNJJc7gFsjDGxw.png" /></figure><p>好吧，說實在看起來好像沒什麼說服力。但是使用Debian的python image加上一些app所需的package起碼是1GB左右。一個image每個月就是0.1鎂了，再加上開發可能會出很多不同版本的dev或release build，算算看如果我們每個專案都留dev和rel各10個版本，然後我們有10個專案，先撇除網路流量這些額外的變數，光是儲存image這樣我們就會有2*10*10個1GB上下的image放在ECR上面，這樣就200GB了，200*0.01。好吧⋯⋯2塊美金，好像沒多少。怎麼突然有種這篇文章滿滿的客家精神。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*Sugv0puPNjgIc82JQjpB0A.png" /><figcaption>From: <a href="https://memes.tw/maker/painter/400#_=_">https://memes.tw/maker/painter/400#_=_</a></figcaption></figure><p>這邊放上一篇我當初在看ECS Fargate時看到的一篇文章。</p><p><a href="https://dev.to/raphael_jambalos/secret-costs-of-ecs-fargate-4j3b">https://dev.to/raphael_jambalos/secret-costs-of-ecs-fargate-4j3b</a></p><p>他主要是在說，因為使用Fargate的關係，雖然感覺沒有EC2要管理，但其實Fargate底層還是在使用EC2來跑的，但是因為Fargate的是on-demand的服務，所以每次運行的Container都是在不同的EC2中，不像傳統ECS或EKS那種是在已經知道的node上了。所以每次health check失敗要重啟container需要從ECR重新拉image下來運行，導致大量的網路流量，損失了大量的金錢。</p><p>雖然這屬於意外狀況啦，但如果有控制好image大小，可能這種意外發生時的損失就會減到最小。雖然覺得我好像有點在找理由說明為什麼要省這點小錢。</p><p>但有可能是我目前的見識還太狹小吧，只能想像到這種流量跟容量大小。既然我都開了這個主題還是繼續把他說完吧。</p><p>那廢話不多說，我們開始準備打包我們有uwsgi、flask、gevent的docker image吧。我們來看看使用alpine能省多少錢，然後會遇到什麼問題吧。</p><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fgiphy.com%2Fembed%2FfrG7U1EqATEuYND1Pk%2Ftwitter%2Fiframe&amp;display_name=Giphy&amp;url=https%3A%2F%2Fgiphy.com%2Fgifs%2Fteamcoco-conan-lets-do-it-lfg-frG7U1EqATEuYND1Pk&amp;image=https%3A%2F%2Fmedia.giphy.com%2Fmedia%2FfrG7U1EqATEuYND1Pk%2Fgiphy.gif&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=giphy" width="435" height="214" frameborder="0" scrolling="no"><a href="https://medium.com/media/4e699423308badb6bf72fe2598dc77c5/href">https://medium.com/media/4e699423308badb6bf72fe2598dc77c5/href</a></iframe><p>這邊我會分別產生兩種image一個是使用Debian（buster）一個是Apline，我們先從Debian開始吧。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d60ee8eab191b621da88ec765aaffc4a/href">https://medium.com/media/d60ee8eab191b621da88ec765aaffc4a/href</a></iframe><p>就這樣，然後跑個docker build --tag uwsgi-gevent:buster .。很順利地，我們馬上安裝好uwsgi跟gevent，不愧是大包的image什麼東西都有不用另外安裝。真方便，什麼意外都不會發生很順利地跑完了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ypgH5hWj8H2BiRLeU36CUQ.png" /></figure><p>我們來看看image的大小吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nVuRKcYjk577yvmve9xdEA.png" /></figure><p>跟之前的比起來多了30MB左右，那沒意外我們的alpine應該也是會多出這些size吧。</p><p>我們來用之前的Dockerfile的樣子來建alpine的image吧。只是要把Dockerfie開頭的From換成python:3.7-alpine，原本的是使用default的image然後因為python官方是用buster來當成default的image，所以我們把tag換成alpine版的image。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/72c3269d92e9d124b9d09b1ad02226a0/href">https://medium.com/media/72c3269d92e9d124b9d09b1ad02226a0/href</a></iframe><p>好，我們再來build一下吧，docker build --tag uwsgi-gevent:alpine .。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VircG3Kd4idVrWlnqREX8g.png" /></figure><p>好，我們失敗了，失敗原因看看紅字，主要是因為gevent會用到大量的C的套件，像是cffi等等，那因為我們Alpine就是主打去除很多不必要的套件，讓image輕量化，所以我們需要額外安裝像是gcc及cffi等等之類的相關套件，那我們來看看error我們缺了哪些吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/838/1*Vdxp-04abpp_Xe2lWOlOzw.png" /></figure><p>看來我們沒有可以執行的gcc，所以我們把Dockerfile加一下gcc，alpine很方便地把一些compile需要的東西都包到build-base裡，所以我們在pip gevent前先把要的東西裝起來吧。改完後Dockerfile長這樣。</p><pre>FROM python:3.7-alpine</pre><pre>LABEL maintainer=&quot;s8901489@gmail.com&quot;</pre><pre>WORKDIR /root</pre><pre>RUN apk update &amp;&amp; apk add \<br>build-base \<br>&amp;&amp; pip install --upgrade pip \<br>&amp;&amp; pip install --no-cache-dir uwsgi gevent flask\<br>&amp;&amp; rm -rf /tmp/*</pre><p>這次一樣會失敗，我們可以追著error在找到一個明顯的錯誤。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QSVIO3_UjXSjoFNJoNVxLg.png" /></figure><p>少了ffi.h，我們需要安裝libffi-dev 。</p><pre>FROM python:3.7-alpine</pre><pre>LABEL maintainer=&quot;s8901489@gmail.com&quot;</pre><pre>WORKDIR /root</pre><pre>RUN apk update &amp;&amp; apk add \<br>build-base \<br>libffi-dev \<br>&amp;&amp; pip install --upgrade pip \<br>&amp;&amp; pip install --no-cache-dir uwsgi gevent flask\<br>&amp;&amp; rm -rf /tmp/*</pre><p>再跑一次docker build --tag uwsgi-gevent:alpine . ，這次跑完我們成功了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ct9px0_3DRa5-Qi9QVefVQ.png" /></figure><p>成功了，不知道為什麼這次這麼快就成功了，可能是我當初在試的時候是一個一個套件裝，但後來發現了build-base這個套件，可以把我要的一次全包起來，方便很多。再來我們看看image大小吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TEDSybNfmwLuI5ZBB8az1g.png" /></figure><p>看起來多了好多，因為我們額外裝了不少套件，通常在用alpine的image會把沒有用的套件都刪掉。我們來刪掉他們吧。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/050c735226053d983d97c471b00d7501/href">https://medium.com/media/050c735226053d983d97c471b00d7501/href</a></iframe><p>刪完之後image size變成132了。雖然增加的size比buster版多了一點，但整個image的size還是不在同一個量級的呢。所以如果要減少image size的話還是很建議使用alpine版。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KB8U_sNsLKo8ExUN7DShxw.png" /></figure><p>另外我這邊順便也把slim的image也出一個吧。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/16249a356e1d08ae8c10d2c84c0d5ac3/href">https://medium.com/media/16249a356e1d08ae8c10d2c84c0d5ac3/href</a></iframe><p>然後讓我們把buster、slim和alpine擺在一起看看吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0kBUksp5XDZdFWPu8Pi0vA.png" /></figure><p>看起來是有很多的差異，但slim版本增加了100多MB，我想是在安裝gcc的時候另外裝了不少dependency，如果有在做優化的話我猜可以到300以下吧，但我這邊就不特別在繼續做下去了。</p><p>其實在要不要用alpine linux當os算是一個滿常遇到到的爭議點，撇除一些腩以查找的bug之外，就是build的時間了。讓我們來看看build時間吧。以下是只有抓一次，沒有取多個樣本在平均，但是從數字上看來很難有偏頗啦。</p><p>先看看buster版build的時間吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/844/1*iTnXzCfA_JcR8hQj8OLKhw.png" /></figure><p>再來是slim版的時間。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_yx_zhVtvsBEoV94QLWIqQ.png" /></figure><p>最後是alpine要出一個image所需要的時間。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/666/1*80Ga8F5xN84XXZWI-vDNDg.png" /></figure><p>但這是以os及python套件要重新安裝的前提下（而且其實大部份主要都是花在安裝gevent及gcc這類的套件），如果套件沒有更動Dockerfile也有寫好把COPY src進去放在最後，我相信出image的時間應該是幾秒的時間而已。</p><p>好，出完image了總要試看看能不能跑吧，這邊就簡單寫個flask app來試跑看看能不能順利run flask uwsgi並開啟gevent模式。以下我就不說太多flask還有docker-compose怎麼寫了。</p><p>Folder layout長這樣，src要放到container內的/root中，最外層放各個dockerfile還有docker-compose.yml。src內部放一個entrypoint.sh以及兩種版本（threads及gevent，這個是下一章節要用到的）uwsgi的config，另外就是app裡面放個api裡面有flask的app。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/632/1*1yiSDJlHzfNu8awIUNYnqQ.png" /></figure><p>首先是docker-compose.yml，會開啟3個container，也就是前面的buster, slim, alpine這三個版本的image。這邊我用一些container內的環境變數來決定是否要開啟gevent及process等等的設定。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8f0976610734f6e65ebb842769cd1a26/href">https://medium.com/media/8f0976610734f6e65ebb842769cd1a26/href</a></iframe><p>entrypoint.sh：就簡單地由環境變數決定要用哪個config開啟uwsgi，因為gevent跟threads模式沒辦法共存，所以要這樣分開使用。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/07588b4a30cfa74c0e3634985917a457/href">https://medium.com/media/07588b4a30cfa74c0e3634985917a457/href</a></iframe><p>兩個uwsgi.ini，基本上差別就在於有沒有gevent及thread而已。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9733043eaab7b541d8b67fc430b4c4aa/href">https://medium.com/media/9733043eaab7b541d8b67fc430b4c4aa/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/90e065a3a036d528991ead6208c229f8/href">https://medium.com/media/90e065a3a036d528991ead6208c229f8/href</a></iframe><p>最後就是__init__.py、views.py、logger.py，基本上就是一些簡單的flask的東西而已。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/019779b63fb14c5cc606ba74077ffbd3/href">https://medium.com/media/019779b63fb14c5cc606ba74077ffbd3/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/49d975fc1d1c5769271bff5bea8b6afd/href">https://medium.com/media/49d975fc1d1c5769271bff5bea8b6afd/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5659158aa7c07b59bdee1980e36bad4d/href">https://medium.com/media/5659158aa7c07b59bdee1980e36bad4d/href</a></iframe><p>好，接著我們就跑起這個簡單的app吧，到專案的根目錄，然後docker-compose up 順利有出完每個image的話，他就會跑起來了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9GfYNgkwk8ya3exJJ8TtKA.png" /></figure><p>（如果有顯示TypeError: ‘module’ object is not callable不用去理他，這個好像是個bug，請看這個PR <a href="https://github.com/gevent/gevent/issues/1556">https://github.com/gevent/gevent/issues/1556</a> ）</p><p>基本上你就會看到一堆相同的東西，至於要怎麼證明我們gevent有成功開啟呢，可以看到上面的紅匡cores有100以及preforking+async。另外就是直接打我們開啟api path，我分別把三個container開啟10080、10081和10082port可以打localhost:port/ping看看log長什麼樣子。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PsxYzevBL9iLi1N4BfGmtg.png" /></figure><p>我有把log的infomation讓thread-name給顯示出來，基本上gevent也就是coroutine這類的會是使用DummyThread，因為其實他們根本沒有開thread都是單一的，只是很像multithread的行為而已。如果是用threading模式的話會長下面這樣。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zbPRE5zW2_AzXHx4yi4D9Q.png" /></figure><p>到這裡，這個章節就這樣結束了。</p><p>來個結論吧，如果真的要節省開銷用很客家的方式來管理image的話請用alpine但這樣就得忍受很長的build time。想要快速且Docker Registry可以自己開或是根本不管錢的話就用buster來做吧。最後折衷就是使用slim版來做image base就是可以容量不算多也不會太久的一個選擇。</p><p>下一回我們就來討論boto3要如何使用gevent來call AWS上面的服務吧，順便一起來看看gevent的monkey patch要怎麼用。為什麼不能直接在import boto3前直接patch而要用botocore這種底層的來呼叫AWS。</p><h3>References</h3><ul><li><a href="https://pythonspeed.com/articles/base-image-python-docker-images/">The best Docker base image for your Python application (Sep 2022)</a></li><li><a href="https://github.com/gevent/gevent/issues/1556">uWSGI workers die under gevent 1.5.0 · Issue #1556 · gevent/gevent</a></li><li><a href="https://towardsdatascience.com/how-to-build-slim-docker-images-fast-ecc246d7f4a7">How to Build Slim Docker Images Fast</a></li><li><a href="https://github.com/gevent/gevent">gevent/gevent</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f0d9c9ac1f5c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/into-the-night/flask-app-with-boto3-uwsgi-and-gevent-in-docker-i-uwsgi-and-gevent-on-python3-7-alpine-image-f0d9c9ac1f5c">Flask app with boto3, uwsgi and gevent in Docker（I. uwsgi and gevent on python3.7-alpine image）</a> was originally published in <a href="https://medium.com/into-the-night">十十二夜</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Deploy apps on AWS ECS Fargate (PART II— django with RDS, deploy AWS INFRA with Terraform and ECS…]]></title>
            <link>https://medium.com/into-the-night/deploy-apps-on-aws-ecs-fargate-part-ii-django-with-rds-deploy-aws-infra-with-terraform-and-ecs-1216e294740c?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/1216e294740c</guid>
            <category><![CDATA[django]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[terraform]]></category>
            <category><![CDATA[software-development]]></category>
            <category><![CDATA[elastic-container-service]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Sun, 03 May 2020 15:38:05 GMT</pubDate>
            <atom:updated>2020-05-18T16:04:50.947Z</atom:updated>
            <content:encoded><![CDATA[<h3>Deploy apps on AWS ECS Fargate (PART II— django with RDS, deploy AWS INFRA with Terraform and ECS Deployment)</h3><p>上上週終於把FFVII Remake通關惹，最近在考慮要不要讓他來當我的第一個白金獎杯的遊戲，但真的滿懶得去刷一些東西。當工程師第一件事情就是，要很懶，這樣才能想要把東西弄成自動化的東西XD。不說廢話了，讓我們開始這次的文章吧。</p><p>上次我們把ToDo List變成container然後丟到AWS上面的ECS Fargate運行，也成功地部署上去了。但上次有講到一些問題，導致我們的App有些不完善，像是每一台都使用自己的sqlite3，假如我們開了2個以上的replicas的話會因為ALB把user引導到不同的container，使用者會遇到資料不相同的情形，所以我們需要讓所有App都共用一個DB，那這邊我們就使用AWS上的RDS(這邊會用MySQL)來做為我們的資料庫吧，另外一部分就是簡單分享一下ECR跟ECS做新版本deploy的一些流程分享。</p><p>先附上這次範例的github<br><a href="https://github.com/Vincentsean/pythonTestToDoList">https://github.com/Vincentsean/pythonTestToDoList</a></p><p>首先我們先讓django使用mysql吧，我們要先修改requirements.txt增加我們需要的package mysqlclient，然後再把我們的Dockerfile增加一個安裝mysqlclient所需要的os package mariadb-dev，那這個os package會跟著不同os而有不同，這邊我是使用alpine所需要的，那其他像debian系是libmysqlclient-dev，redhat系是mysql-devel等等之類的，上網找都很好找。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/84979fe2f63a8b66ed409f98b7871c9f/href">https://medium.com/media/84979fe2f63a8b66ed409f98b7871c9f/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/de3685daf522bbfeb012b5be42a16314/href">https://medium.com/media/de3685daf522bbfeb012b5be42a16314/href</a></iframe><p>讓我們需要修改一下django的settings.py讓他可以知道我們是要使用mysql還是sqlite來作為後端的資料庫。主要增加的地方方在最後面大概123行左右開始的地方，我們可以藉由環境變數來知道要不要使用mysql來當django的背景資料庫。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5c6694bee7cdd40fafa1dadf11a3f720/href">https://medium.com/media/5c6694bee7cdd40fafa1dadf11a3f720/href</a></iframe><p>再來我們要修改上次讓docker-compose使用環境變數的env_file.env，增加剛剛前面在settings.py所需要的環境變數。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/86ee21883b3b81e8db300681f9d4686c/href">https://medium.com/media/86ee21883b3b81e8db300681f9d4686c/href</a></iframe><p>另外我們要用docker-compose來開啟一個mysql在local的機器上當作dev用的資料庫。並讓他在開啟container的同時create django所需要的database，因為django要指派已經建立好的database才能開啟，他不會幫我們create database，database就簡單叫做django吧（主要修改是在db這個service的command的部分。）。然後這邊還有設定root的密碼是example如果沒有設定的話mysql會給你隨機的密碼，要盡到container內去看密碼是什麼非常的麻煩，而且每次重啟都會重新給一組，這樣變數太多了。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/151eccdd677b13315fb6b43dbf34c9b9/href">https://medium.com/media/151eccdd677b13315fb6b43dbf34c9b9/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/99e38a51da5b19ef90650a94fa306102/href">https://medium.com/media/99e38a51da5b19ef90650a94fa306102/href</a></iframe><p>以及initialize DB是需要時間的，所以我們需要修改一下我們的entrypoint的script讓他可以等待db起來再進行動作，不然可能會讓我們的app起不來。主要是增加上面那段until讓他用nc去check db host的port，看看能不能連上，不行就休息5秒然後再重新嘗試。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/5adcfec8a0c49dd74f4c6e50326a9c8e/href">https://medium.com/media/5adcfec8a0c49dd74f4c6e50326a9c8e/href</a></iframe><p>以上修正都結束後，主要只有增加init.sql在project的根目錄而已，所以目錄結構長這樣。（terrafom那個可以不用理他，等等會稍微帶過去）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/844/1*tMnr-j7hbnT29MIhIMpvAg.png" /></figure><p>然後接下來我們再來用docker-compose up開啟container看看結果如何吧。主要可以分三段來看，第一段在所有container起來的時候可以看到我們的app在等待database connection。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QZtLMuYl1VCWyL5EMuxBtg.png" /></figure><p>這邊可以看到我們的django migrate開始跑了，這也表示他正常的連到資料庫了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ld18mTiOv0IAZY4502C-VA.png" /></figure><p>最後uwsgi順利起來了，成功的把django改成使用mysql database了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Md1wR5E-sgJzJHPp9TvOIg.png" /></figure><p>然後我有在docker-compose裡面多加一個container是mysqladminer他可以用web console的方式連到mysql內，我們可以從localhost:8080連進去，然後帳號是root密碼就是前面設的example。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CPUhDtW7KLbqEEUkokzP7A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rAfNkM98FJSD1L9BhYZLBA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PIyfG1OI7JX9TFdHJUcwXw.png" /></figure><p>恭喜我們成功地將django連上mysql了。</p><p>那我們要讓ECS上的container去連上AWS RDS其實非常地簡單，就是把env那些東西填上我們create完的AWS RDS的hostname還有其他資訊改成建立RDS時所設定的就完成了。我認為讓ECS連上RDS最麻煩的就是security group這段了吧，其實我認為AWS上的服務只要好好的把networking還有IAM這段給搞定了，其他的東西沒什麼太大的難度，就是串在一起而已。</p><p>（以下服務在AWS上開啟後沒使用記得關閉，否則會有額外費用請自行負責，另外某些service有提供free tier可以使用，像是EC2可以使用t2.micro有750小時的免費額度、RDS用db.t2.micro也是一樣，所以在做測試可以勁量選擇這些instance）</p><p>就是通常在使用AWS這類的cloud platform會盡量避免讓local可以直接access至AWS上的服務中，所以大多會建立一種稱為bastion server的EC2來作為access其他service的跳板，當然在做測試你也可以很暴力的把security group直接inbound把0.0.0.0/0給開通，但其實我認為這種規範可能從平時就好好遵守，不然在未來開發上不習慣這件事情會很麻煩的。</p><p>那我們就來以上次建好的最後結果為前提，開始建立AWS RDS。修但幾勒……</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*o7DJeq59nKRjwBarv1rF4Q.png" /></figure><p>是否開始覺得原本點點AWS console幾次就可以解決的事變得很麻煩了，這時候就要介紹一個好用的工具，也是近幾年來非常流行的infrastructure as code的某個工具Terraform，但我也沒打算多講太多，因為要講他可能講個三天三夜也行吧。這邊我已經把之前的所有東西（上一章所講的內容），另外還包含VPC、subnet、bastion server以及這次要建的RDS全都寫成Terraform了（但寫完真的認真覺得還是真的要用的東西寫成這個會比較好，不然寫了一堆發現沒什麼用真的很怎麼(ㄊㄇ)麻煩）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*COevb5umef7SKI5N" /></figure><p>但還是稍微講一下<a href="https://www.google.com/url?sa=t&amp;rct=j&amp;q=&amp;esrc=s&amp;source=web&amp;cd=8&amp;cad=rja&amp;uact=8&amp;ved=2ahUKEwjL_ZLntZXpAhVRGaYKHfoGD_0QFjAHegQIERAF&amp;url=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FInfrastructure_as_code&amp;usg=AOvVaw20BkrxYn655sbIGTtaw4MU">Infrastructure as Code</a>（IaC）是什麼呢，一言以蔽之，就是把INFRA的東西也寫成Code。因為其實在做環境的建置，會有非常多的重複工作，IaC可以把所有在做環境建立的所有動作寫成腳本類似的東西，讓所有環境的建立只需要一個指令就能完成。在cloud還沒流行前，也就是在使用VM或是實體主機的時候，主要就是Chef、Puppet、Ansible這類用來部署關於OS package或是要安裝的application，讓這些重複的安裝流程變成自動化。那到了現在有AWS、GCP這類的cloud，我們還要管怎麼建立INFRA，這時候就出現了Terraform這種東西，專門部署雲端上的server。雖然AWS有提供cloudFormation這個AWS自己的IaC工具，但不知道為什麼大家就比較喜歡使用所有平台都有的Terraform，雖然所有平台都有，但他們不共用，也就是寫AWS以後要移到GCP還要再寫一版GCP的，雖然不意外，畢竟服務不見得一樣。</p><p>以下是我們這個Project Terraform的模樣。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/536/1*Qt4N7Q_otCVC49yVoDITiQ.png" /></figure><p>簡單的說明一下主要資料夾有dev、prod、shared、module。</p><p>dev跟prod放不同環境的所要建立的script基本上他們長的會是差不多的東西，因為dev跟prod不同的地方應該只有資源跟一些憑證之類的東西。</p><p>那裡面的main.tf大概長這樣。也就是把一堆變數填進去，接著他就會把這些塞到module內，並建立我們要的東西。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7e4c14d9e4913a7a6ebfeb5a2b733319/href">https://medium.com/media/7e4c14d9e4913a7a6ebfeb5a2b733319/href</a></iframe><p>可以看一下module裡面的todo-list內的main.tf，如果我們沒有module的話，要在每個環境的main.tf內重複打上好多次這些東西，而且將近有8成以上都是固定的參數，非常的浪費時間。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/80aa675cbbf77542b8cfaa1821b4f5c4/href">https://medium.com/media/80aa675cbbf77542b8cfaa1821b4f5c4/href</a></iframe><p>shared放一些共用資源，像是ECR我們只要一個讓prod跟dev共用，就放在這，所以通常這裡會先跑，再跑dev以及prod。</p><p>modules是放需要重複利用的component，有點類似class的感覺，然後我們丟參數進去給他，他會用參數自己建立我們要的東西。拿我們的todo_list來舉個例子，我們建立todo_list需要件ECS cluster、task definition、ECS service、ALB等等的，那我們有10個環境要重寫這些10次不是很麻煩嗎？有些東西可能還是固定的，所以這時候就要把它module化。另外module可以用別人放在github上或Terraform registry裡的module，非常的方便。</p><p>另外.terraform裡面的東西就是init後他生出來的東西，他會把這個main.tf所需要的東西都下載到local，另外terraform.tfstate會記錄這次做apply後的所有記錄，讓下次跑terraform plan或apply有個根據可以比對，所以千萬別手動用web console改了之後這邊忘記更新再用這邊去deploy會發生悲劇。一旦用了這種IaC就要一直用了，所以這也是一個入門的砍吧，所有team member都要會用。但手動用console改了也有辦法import進來，這就要用到terraform import的command但我這邊就不多講了。</p><p>有興趣的再到github專案以及terraform文件裡詳細看吧。</p><p>所以我們上次建的東西現在只要到那個資源的目錄下打terraform init 做第一次執行的initial之後下terraform apply 他就會自動幫忙把所有東西都建好啦！另外在做每次修改terraform前不想馬上apply可以使用terraform plan來dry-run一下看看有什麼東西會被砍掉或被覆蓋。另外如果要把這這些INFRA全都砍掉不用到AWS Console上一個一個砍，只要下terraform destroy他就會幫你把他們殺光了。</p><p><a href="https://www.terraform.io/downloads.html">下載Terraform</a> ，之類的詳細步驟請到這，安裝非常簡單，我就不多做介紹了。</p><p>首先要我們要先把我們的ECR建起來，我們到terraform/aws/shared/ecr目錄下，然後就像上面說的跑init跟apply他就會幫你建起來了（記得先把aws cli的configure跑過一遍，不然他沒有credential不知道要跑哪個帳號）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WLss2ICvOojVxpgG3LrJ7w.png" /></figure><p>然後apply他會顯示會建立什麼東西，並問你要不要建立這時候輸入yes他就會自動幫你建立了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UhCSxDNeSLnLxpMm_iZJmg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VsuWwZxC4tvkq5brqIkfWg.png" /></figure><p>看到這裡之後就上AWS Console看一下ECR有沒有東西，沒意外你就會看到他突然生出一個repository。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qndVGIi4YFSZmX2Yh2hPjQ.png" /></figure><p>做到這之後記得把image push上repository中，等等會用到。以下提醒怎麼push。</p><pre>$ docker login -u AWS -p $(aws ecr get-login-password) <a href="https://036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/">https://your_ecr_uri</a></pre><pre># docker tag source_tag target_tag<br>$ docker tag todo-list-app:latest 036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app:latest</pre><pre>$ docker push 036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app:latest</pre><p>然後接著我們到terraform/aws/dev之下，開始建立我們的todo_list以及相關的服務還有networking之類的所有東西，上次我把VPC的設定都跳過了，這次我們需要建立自己的VPC、routing table、subnet等等。但我們會自動建立別擔心。</p><p>一樣init後然後apply。這次大概會跑個15分鐘左右，因為起ALB、RDS、EC2蠻花時間的，所以apply下去後打完yes可以去上個廁所再回來。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*33UzaVokltVq7AGmbq_E7A.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*j62cnTtb2r_Dd1Bja7JTtQ.png" /></figure><p>接著是apply。可以看到我們有68的資源要建立，雖然裡面大概有20~30個左右原本是AWS會自動幫忙建立的，但因為我們要把這些東西流程化就要一個一個建立，不能依賴AWS的幫忙了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jmwEoa22kD8WmOAov0Qugw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IuOjz6eVKKmcp17d7l03dg.png" /></figure><p>如果在途中遇到一個</p><p>泡完紅茶剛好跑完，我們來看看有沒有順利跑起來吧，我們就大膽地去EC2服務的頁面到Load balancer的部份把ALB的DNS Name找來吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qn5vXhqgYs7F2QQ-7iGakg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IqHAeewpMx_ffRt-pcwbOQ.png" /></figure><p>恭喜我們部署成功啦，有沒有方便很多，泡個茶就能部署完真棒。</p><p>是不是忘記我們原本的目的了，我們還是來手動建立一次RDS吧（我們現在用Terraform跑起來的是用RDS來當DB的）。</p><p>我們到RDS的頁面吧。可以看到我們用Terraform跑起來的DB，我們現在來建立一個新的吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*04hV_6hjm77y0jLE4qs2IQ.png" /></figure><p>在建立新的DB前我們需要先建立subnets groups，這主要是讓RDS可以建立在這些subnet的AZ所以我們要把這些subnets建成groups，這邊我們把private的subnets建成group。到Subnet groups頁面進行建立。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zjs8Lzv0u6OO3bPRqW6fzg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lFvLYDVaPP4UpJSrpGq2Sw.png" /></figure><p>Subnets的部分選10.x.1~3.0/19的那些，他們都是private的，詳細的話可以去VPC那邊看或在Terraform裡面也可以看到。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dbGVXK8ccKY7ncxOUdfypg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*B-FMxhO0C9bJZjjGcCJFvg.png" /></figure><p>接著回到Databases頁面點選Create Database。我們要用Standard Create因為要設定VPC還有SG等等的，不然他會自動用default的VPC。然後選MySQL5.7.22（應該什麼版都可以，因為沒用到什麼mysql的feature）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lnQ_V92E9NgDyEhOyXkOyg.png" /></figure><p>Template選Free tier每個帳戶有750小時的免費額度，然後下面就照自己的喜好填進去吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uRxpZ0whTpS9aVxGNs-6AQ.png" /></figure><p>容量這些就也是想填多少就填多少吧，然後Allocated storage會跟DB的IOPS有所關聯。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Fkcs_QnxmMYQwGhkdJy_bA.png" /></figure><p>VPC選我們的Dev-VPC，然後開啟下面的addtional configure，subnet group選我們剛剛建立的，然後publicly accessible如果你想要讓在VPC外的其他地方可以連進來那就選Yes，然後security group的部分選default的group，雖然有點偷懶，但他其實也是滿謹慎的一種group，就是要有這個securtiy group的inbound才能access，所以我們其他server要跟這台DB連線的話也需要有security group，聰明的你到這應該就知道了吧，我們的bastion server跟ECS service都要有這個group這樣他們才能access這台DB。另外AZ跟DBport就不用動了讓他是default。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iZq1V1qLRQiJjS5TZGzhSw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ORZDN88nQN2qp8hYuDH8Xg.png" /></figure><p>auth兩個都可以選下面那個可以用IAM Role來決定可不可以Access滿方便的，然後開啟下面的Additional configuration，填入initial database name，我們這邊讓他在建立DBserver的時候自己create一個database就像是我們前面在做docker-compose的init.sql一樣，不然ECS起來會找不到database然後服務就起不來了。然後其他東西都不用動保持原狀就好。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ng3gHm_oD870xHK8u9wIKw.png" /></figure><p>最後下面還貼心提醒免費額度呢。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wq9HuUlrdawSuLzt5xGXxQ.png" /></figure><p>之後我們就等他建立完吧，大概要10分鐘左右，AWS這種代託管的服務都要開很久。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KyBvcQnwHaXZ-v0bBwgPPA.png" /></figure><p>這時候我們可以先去建立我們ECS相關的東西吧。那因為我們等等要把task definition增加新的revision讓他去跟新開的DB做連線，另外就是開一個新的ECS Service示範一次security group的部分要怎麼設定，那因為ECS service的networking設定用web console沒辦法直接編輯，要用aws cli進行修改，所以我這邊就直接重開一個新的。</p><p>首先是task definition。到ECS頁面點Task Definitions，然後選我們Terraform建立的Task，並Create new revision。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*h52MwN4Hq1qvQ6hPGMuRlA.png" /></figure><p>這邊只講重點，就是把container設定做修正，其他都一樣。然後把MYSQL_HOSTNAME那邊做修正，從RDS那邊的DB instance找到endpoint複製過來，其他部分保持不變，至於如果剛剛密碼那邊有做修正，記得去SSM那邊修改，我原本的密碼是使用Password這個簡單的密碼，然後其他其實都跟在local端設定都一樣。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pfLvIGL6HbpHeKgZ1uZlUA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*g1a_yI5cvtBsocN65B-7OA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RLUNmJVgaPHI8q8GAGMPSg.png" /></figure><p>再來是ECSservice。進到Cluster並在Service點選Create。一樣只帶重點Networking的部分，VPC選我們新建立的VPC然後subnets把private都選起來，再來就是security group的部分。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*qqgYiDk7TULyL73sUBzFXA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F8JgzJ6xl-6Rue_CCKwa1w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e2cfuFz4JSRpnC7rt6CT_A.png" /></figure><p>然後建立完成就等他跑起來吧。另外我這邊有把原本的service update成0個task所以他沒跑起來。</p><p>另外這邊要注意一下，因為我把ECS移到Private subnets內，要讓private subnets可以連到ECR去pull image有兩個選擇，一個是開ecr api、ecr dkr、s3的endpoint讓private subnet可以access（<a href="https://docs.aws.amazon.com/AmazonECR/latest/userguide/vpc-endpoints.html">ECR endpoint</a>），另一個建立一個NAT Gateway來做，基本上兩個都是可行的方法，但要記得NAT Gateway的要價不菲，所以我這邊用開endpoint的方式來開啟這條路。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jii8Jspm-3G4aiCYWBcr_Q.png" /></figure><p>之後我們連線進去bastion server看一下新開的資料庫狀況長什麼樣子。連線的話就到EC2的頁面看一下，然後pem的部分在terraform/aws/dev裡面有個pem就是用來登入用的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wou5EKT-hBPvZO9leTfNCQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HdU678Sqbsc-TGVfDkcW_Q.png" /></figure><pre><br>$ cd &lt;Project_dir&gt;/terraform/aws/dev</pre><pre>$ ssh -i &quot;eg-dev-mykeypair.pem&quot; centos@ec2-54-250-246-43.ap-northeast-1.compute.amazonaws.com</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ekDVU--3rD3eK1_pEjDALA.png" /></figure><p>因為我們bastion server沒有用user data所以其實他很空，我們需要裝個mysql client。</p><pre>$ sudo yum install -y mysql</pre><pre>$ mysql -h &lt;your_db_endpoint_from_RDS&gt; -u admin -p</pre><pre>&gt; show databases;<br>&gt; use django;<br>&gt; show tables;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sapGsDmQi90y50xa24h5TA.png" /></figure><p>看起來都跟我們在local端一樣呢。恭喜成功了！</p><p>好了到這你已經會把ECS跟RDS做串接了。</p><p>接下來就是來講講不同環境用ECS還有ECR如何做發布版本控制的心得。主要我這邊是用ECR的tag以及digest的特性來做版本控制的。這邊我們先簡單的部屬另一個prod環境吧。這時候我們有terraform我們又可以很快地在部署新環境了。這時候真的很方便呢。</p><p>到terraform/aws/prod下進行terraform init跟terraform apply來部署另一套production環境。</p><p>建立完之後檢查一下是不是正常運行。一樣到ALB拿DNSName來直接連進去看看。沒意外還是可以執行，你也可以前往VPC或ECS的頁面檢查看看。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ri4G3i2ujx7nPmkTM8p0yA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3I23LqAJyc0R2qQSaTUElQ.png" /></figure><p>我這邊有先稍微做一些修改多做幾個不同的image push到ECR上，可以看到畫面如下，相同的digist不同tag他會放在一起，我這邊用prod跟dev tag來作為分辨說哪個環境是用哪個image，可以減少因多個環境而要開很多ECR管理一堆ECR的不便，而且這種方式可以讓我們減少建立一堆task definition的revision，也不用建立完然後還要去update ECS service去選說要用哪個revision。減少了很多東西。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TLakcUyUGIUoQpmPKzw7ZQ.png" /></figure><p>上面可以看出我們的版本有1.0.0.1~1.0.0.3，以及最新版是1.0.0.3、prod用1.0.0.2、dev用1.0.0.1版。</p><p>我們這時候想要把dev環境切到1.0.0.3版，用AWS原本的使用方式，我們需要到task definition把image url改成tag 1.0.0.3的url然後他會建立新的revision，之後還要到ECS service內去update說要用最新建的revision來部署task步驟很多。雖然一樣可以用一些腳本自動化，但我在之前做測試的時候發現ECR跟ECS對latest這個tag有做一些特殊處理，也就是我把latest這個tag換成別的版本的時候，AWS會很好心的幫我們把原本的用latest這個tag的ECS task換成最新的image。原本我也覺得很美好就是：「哇，那我就把每個環境的tag固定dev、beta、prod他就會幫我們換build了。」</p><p>結果事實不是這樣，ECS完全不理會我把tag換到另一個image我要去另外force deployment，而且AWS console還沒有提供button讓我們手動trigger force deployment，所以稍微找了一下發現，aws cli有提供force deployment的參數。很好，我就把這個步驟加入到我的CD的流程中，這樣我現在CD只要做兩件事，一是換tag版本push上ECR，二是告訴ECS force deployment，這樣我就做好換build的工作了，ECS會幫忙做好health check然後把舊版的task自動abort，非常的方便。</p><p>講那麼多，我們來實做一遍吧。</p><p>我們來檢查一下dev環境的ECS task看一下他跑的container的image digest，盡到cluster點Tasks Tab然後點Task進去看。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aH9bP2gleadygEtXRVnypg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*8w1Ai-4OyjSK9-I6wKZ8Sg.png" /></figure><p>然後我們再去看ECR裡面的Digest。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rt3BXT3BFnXk0uK2f1kNkA.png" /></figure><p>其實看前幾碼就夠了，可以看到dev如我們的期望是用這個版本的image，接下來我們要做pull 1.0.0.3下來然後，把他上dev的tag再push上ecr。（記得把ECR url改成自己的account id的url）</p><pre>$ docker login -u AWS -p $(aws ecr get-login-password) <a href="https://036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/">https://036472849388.dkr.ecr.ap-northeast-1.amazonaws.com</a></pre><pre>$ docker pull <a href="https://036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/">036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app:1.0.0.3</a></pre><pre>$ docker tag <a href="https://036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/">036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app:1.0.0.3</a> <a href="https://036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/">036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app:dev</a></pre><pre>$ docker push <a href="https://036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/">036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app:dev</a></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sBPYN7LLWSI4PtTTKRKxJA.png" /></figure><p>可以看到push上去其實很快，因為上面有一個一樣digest的image他只要把它標上新的tag就夠了，我們在上ECR看一下狀況如何。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*C_HKjTX35aZlNH2b8lZSYw.png" /></figure><p>很順利的tag換到1.0.0.3版了，另外這邊再提一個repository lifecycle policy這個東西，他會幫忙我們管理image，因為假如說我們要現在要把1.0.0.1tag換成別的digest的image這時候他原本的digest會沒有tag所以他會變成untag，假如我們要自己定時清掉這些untag非常的麻煩，這時候lifecycle policy可以幫忙管理怎麼清除他們。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-hYJG3y1o85pkSwZVdRnhw.png" /></figure><p>我這邊有設兩個policy，一個是untag如果push超過一天的會自動幫忙刪除，然後還有1.0.0.的tag如果超過10個它會自動幫忙刪掉最舊的那版。所以在管理上可以更加的自動化，不用管ECR上的size越來越大的問題。</p><p>好，我們再回去看我們的ECS task有沒有換build吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CAMgViaK1ogG9lG_IaL21A.png" /></figure><p>看起來digest還是一樣，這時候我們要用到AWS CLI下個指令強迫她進行更新。</p><pre>$ aws ecs update-service --force-new-deployment --service dev-todo-list-service  --cluster dev-todo-list-cluster</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZIHaX8bvUx1Pnq2azDlnzA.png" /></figure><p>說實在的其實他就是update service只是我們只要下一條指令，但用AWS console需要大概3~4個步驟，很麻煩。</p><p>我們可以到service內的deployment看他有心得deployment以及看一下Tasks，他有出現一個新的Task，然後稍微等個10分鐘左右，ALB那邊會做health check穩定後他會把舊的task刪掉。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*h9aHaP8ykPumsdiTQEwU3w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3mU5y3CFZhL4RjqHbg09ng.png" /></figure><p>可以看到就這樣幾個指令就可以完成build的更換，基本上上面的步驟要把它們放到CI/CD中也非常的簡單，只要幾個指令就行了。</p><p>過了一段時間去看看ECS task的狀況，只剩下一個task了，然後我們檢查一下image digest看看是不是我們要的版本。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TAlFwgSr-w5RPDoSiBYLWQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*y2yc47WwPCbMzQsFPqYzZA.png" /></figure><p>版本看起來沒有問題，這樣我們就做好版本部署的動作了。</p><p>我覺得這個方式讓版本部署變得非常容易理解，我們可以用Jenkins之類的工具把這些工作非常簡單的自動化，我認為自動化的前提就是要先把步驟簡化，不然一堆步驟要做自動化反而很頭痛。</p><p>我這邊有稍微把上面再做deploy的流程寫成shell放在project中有興趣可以看看，非常的簡單。使用方式如下。</p><pre># Usage: ./depoly_new_version.sh ACCOUNT_ID REGION prod|dev VERSION</pre><pre>$ ./depoly_new_version.sh 036472849388 ap-northeast-1 prod 1.0.0.4</pre><p>他就會幫忙做好剛剛那些動作了。</p><p>以上就是這次的簡單分享，本來想說主要在講後半段deploy就好結果一不小心因為最近工作再用Terraform就手癢也一起用了，然後發現，我連假一堆時間都在弄Terraform，真的就跟這張圖一樣，以為Terraform是個很棒的東西，但實際寫起來真的很花時間，因為AWS其實在我們用Web Console建東西的時候幫我們做了很多動作，而我們要把他們一步步拆解下來需要對AWS的熟悉度，要了解哪些東西要串起來才有辦法動，我認為寫Terraform算是一種讓自己了解AWS的一個方法，雖然寫起來真的很痛苦。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/0*COevb5umef7SKI5N" /></figure><p>記得有操作結束後要把terraform destroy啊，我之前NAT Gateway忘記關了結果有4塊美金要付QQ，所以只好臨時換成用endpoint了。</p><h3>References</h3><ul><li><a href="https://stackoverflow.com/questions/25503412/how-do-i-know-when-my-docker-mysql-container-is-up-and-mysql-is-ready-for-taking">How do I know when my docker mysql container is up and mysql is ready for taking queries?</a></li><li><a href="https://registry.terraform.io/modules/terraform-aws-modules/security-group/aws/3.8.0">Terraform Registry</a></li><li><a href="https://docs.aws.amazon.com/AmazonECR/latest/userguide/vpc-endpoints.html">Amazon ECR interface VPC endpoints (AWS PrivateLink)</a></li><li><a href="https://registry.terraform.io/modules/terraform-aws-modules/vpc/aws/2.21.0?tab=inputs">Terraform Registry</a></li><li><a href="https://github.com/terraform-aws-modules/terraform-aws-vpc/commit/ef915dc8771361d9c630a8e4d92e0e7929cb4097">Updated VPC endpoint example (fixed #249) · terraform-aws-modules/terraform-aws-vpc@ef915dc</a></li></ul><p><a href="https://forums.aws.amazon.com/thread.jspa?threadID=261095">https://forums.aws.amazon.com/thread.jspa?threadID=261095</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1216e294740c" width="1" height="1" alt=""><hr><p><a href="https://medium.com/into-the-night/deploy-apps-on-aws-ecs-fargate-part-ii-django-with-rds-deploy-aws-infra-with-terraform-and-ecs-1216e294740c">Deploy apps on AWS ECS Fargate (PART II— django with RDS, deploy AWS INFRA with Terraform and ECS…</a> was originally published in <a href="https://medium.com/into-the-night">十十二夜</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Deploy apps on AWS ECS Fargate (PART I — django with uwsgi on ECS)]]></title>
            <link>https://medium.com/into-the-night/deploy-apps-on-aws-ecs-fargate-part-i-django-with-uwsgi-on-ecs-7a0ff9101c2b?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/7a0ff9101c2b</guid>
            <category><![CDATA[django]]></category>
            <category><![CDATA[aws]]></category>
            <category><![CDATA[docker]]></category>
            <category><![CDATA[containers]]></category>
            <category><![CDATA[software-development]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Sat, 04 Apr 2020 15:48:17 GMT</pubDate>
            <atom:updated>2020-05-18T16:01:23.379Z</atom:updated>
            <content:encoded><![CDATA[<h3>Deploy apps on AWS ECS Fargate (PART I — django with uwsgi on ECS)</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/761/0*lqrI369PxlhuwyNL.png" /></figure><p>一不小心廢話太多，又要分部曲了，真的該好好把我的廢話減少一點才是。主要應該是分上跟下而已吧，上半部就是把之前的程式改成在container內運行，然後放到ECS上。然後下半部應該就是deploy流程，跟把他弄的完善一點吧。但是！這邊有個但是。下週五(4/10)，FFVII remake要出了，所以我會跑去玩爆他！！所以下一篇是什麼時候呢，我也不清楚惹。</p><p>以上是打到一半突然想要說的話，下面才是正文。</p><p>來利用清明（兒童）連假整理一下最近工作部署APP到ECS上面的筆記吧，順便分享一下看了不少部署流程最後我所使用的流程吧。</p><p>這次一樣用先前的Todo List來做為要部署的APP，其中會修改裡面一些設定，例如：將原先使用sqlite3做為資料庫修改為使用AWS RDS、使用uwsgi作為我們所要使用的web server、以及把我們的APP包成docker image。以上三點大概是主要的修改吧，以下是範例github連結。</p><p>那因為這邊會修改到整個專案的路徑，所以之前的文章可能要注意一下。</p><p><a href="https://github.com/Vincentsean/pythonTestToDoList">Vincentsean/pythonTestToDoList</a></p><h3>What’s AWS ECS</h3><p>那我們就開始吧。</p><p>讓大家了解一下什麼是AWS ECS（<a href="https://aws.amazon.com/tw/ecs/">Elastic Container Service</a>），顧名思義它就是一個幫助我們管理container的serivce，他基本上就是一種container orchestration，那什麼又是container orchestration呢？簡單的來說這個工具就是因應現在越來越多monolith（單體式架構）漸漸轉為microservice（微服務架構），這也就意味這container化的service日漸增多，這件事的發生導致管理或開發人員在進行operation上反而比原本的monolith更加的麻煩，一個系統上有數10個細小的服務要運行，每個都有各自的scaling、deployment、networking，然後可能又會有多個環境要進行部署。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/244/0*NlH7aCYRbLJqdote.gif" /></figure><p>是的，這樣聽起來microservice看來就要變成一個噩夢了。</p><p>那為了讓這場噩夢早早結束，甚至不要發生，所以就出現container orchestration這一系列的工具。最著名的不外乎就是我們的kubernetes（又稱k8s）了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*lfsG9ls8TudVn_Qo.png" /><figcaption>What is container orchestration</figcaption></figure><p>關於container orchestration這邊我就不再多什麼了，畢竟這不是我們今天的主題。簡單的來說他就是一個讓跟container相關的事物能夠自動化處理的一個工具。</p><p>那這邊還是稍微給大家看一下ECS的簡單架構。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HJO3QAkocLe9zCFZhW1RGg.png" /><figcaption>ECS architecture</figcaption></figure><p>對於AWS的各項服務我這邊就不多做說明了，因為他們好多東西都可以打到一篇文章了甚至好多篇了。我們可以使用AWS Console進行管理，建立我們的ECS cluster，並在去定義好我們的Task也就是要運行的container的相關設定。並在最後建立我們的ECS service，告訴他要跑什麼Task以及幾個Task——如果熟悉docker的人，建立task大概就像在寫以及service大概就跟寫docker-compose是差不多的事——簡單的來說就是一個幫我們跑container的服務而已，然後後面可以<a href="https://aws.amazon.com/tw/cloudwatch/">Cloudwatch</a>接log、<a href="https://aws.amazon.com/tw/elasticloadbalancing/">ELB</a>做loadbalance、<a href="https://aws.amazon.com/tw/ebs/">EBS</a>做資料的儲存。</p><p>那Fargate又是什麼呢。因為最早版本的ECS其實就是開幾個EC2（<a href="https://aws.amazon.com/tw/ec2/">Elastic Compute Cloud</a>）在ECS Cluster中，讓我們的Container在EC2中運行。那因為EC2是我們指派的，所以我們還要對EC2進行管理，去管控資源的使用量以及擴展等等事情。那其實有些專案或是新創團隊並沒有足夠的人力或是其他原因，他們只是需要一個地方可以跑他們的包在image裡面的服務罷了，所以就出現了這種有點像serverless的Fargate，提供一個不需要EC2也能跑Container的服務，雖然其實背後他還是有EC2在跑Container，但是我們不用去管它，只要顧好怎麼build跟deploy足矣。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*1BuwqrYhaHwTlI9o.png" /><figcaption>Difference between EC2 Type ECS and Fargate</figcaption></figure><p>好，說了這麼多廢話，我們開始實做吧。</p><h3>Containerize our app</h3><p>首先呢，我們要把上次的Todo-list app包成docker image這樣才能放到ECS上，因為要包成image，那我們就要來改一下我們原本的專案資料夾內的目錄架構。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/642/1*yj7B23OFk6KEtE74U7-FGA.png" /></figure><p>（灰色的那幾個檔案不要理他們）最外層是整個專案的根目錄，這層主要放一些build用的設定及相關檔案，像Dockerfile、docker-compose.yaml等等。第二層src放會放到image中的檔案，也就是一些container起來時可能會用到的script等等。再來最後將原本的所有和程式邏輯相關的東西放到app當中。這種安排只是我習慣的方式而已，所以並不是什麼標準公式吧。</p><p>以下給大家看一下Dockerfile以及docker-compose.yaml中的內容，基本上Dockerfile就是安裝環境所需要的套件然後打包好，docker-compose就是寫一個entrypoint由run.sh進入，然後run.sh執行uwsgi來跑這個django專案。非常的簡單。</p><p>Docker主要是把Copy整個專案這個動作放在最後，讓build image的流程可以快一點，前面所有安裝套件有cache就會一直使用，未來在修改程式碼後不用從頭跑，只需要跑最後的COPY就可以了。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2f7b7a1b310f28a65ebb67b108bdc8a7/href">https://medium.com/media/2f7b7a1b310f28a65ebb67b108bdc8a7/href</a></iframe><p>再來就是docker-compose.yaml，會寫這個是因為要在本地端啟動container來當作開發環境，主要要注意的幾點就是我這邊會設定volumes將container內的/root跟我們的專案目錄內的src進行連結，讓我們在開發時不需要再另外重新build image來測試，只要重啟container或進去container中執行uwsgi reload就能夠重新讀取程式碼以減少時間。另外就是entrypoint會是執行run.sh他裡面的指令目前就是，跑django的migrate以及run uwsgi。另外我有把ports將container的8888 porting至local的18888，所以測試的時候要到localhost:18888</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f3f81afea5f2c24c786219cba4422524/href">https://medium.com/media/f3f81afea5f2c24c786219cba4422524/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1a5fe8330909ca4e3ba4df15ca6e3465/href">https://medium.com/media/1a5fe8330909ca4e3ba4df15ca6e3465/href</a></iframe><p>再來就是uwsgi.ini，這是uwsgi的設定檔，主要是為了讓給予uwsgi的參數可以好讀一點也比較好進行修改，更多的參數可以參考<a href="https://uwsgi-docs.readthedocs.io/en/latest/">uwsgi的官方文件</a>。那這邊為什麼會用到uwsgi呢，這是因為python manage.py runserver所開啟的server只是讓我們能夠簡單測試的開發環境，但他在production上run的話其實穩定性跟multithread及process的處理不如uwsgi完善。所以這邊建議盡可能不要使用django的runserver來作為production。如果不喜歡uwsgi另外還有Gunicron等等之類的可以用。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/78f7bc58ee04fa4e80877fc48b5e9c74/href">https://medium.com/media/78f7bc58ee04fa4e80877fc48b5e9c74/href</a></iframe><p>uwsgi.ini有個重點就是要告訴uwsgi他要執行哪個專案以及進入點在哪，如果沒有deploy經驗可能會不太知道django的進入點在哪，可能會以為是manage.py吧。但其實manage.py主要是讓我們方便執行django用的東西，他真正的進入點是在專案目錄下的wsgi.py內，他裡面會建立一個wsgi app，所以我們要告訴uwsgi說我們要跑的app其實是在專案目錄下的uwsgi.py內的application這個instance。</p><p>我認為這就是django包裝得太完整的一個缺點了吧，因為在flask我們可以知道我們要create一個app的instance讓他跑，但django我們卻完全不知道他在哪跑的，但這也是他的好處吧，就是很簡單的讓大家跑起來。</p><p>好，以上步驟都完成了，接下來就是在terminal上執行 docker-compose up，然後你會看到以下訊息。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*tdKLGZ0vntOD5qi0KB10nw.png" /></figure><p>然後這時候在到瀏覽器進入localhost:18888，這時候你就會看到我們的app了。恭喜打包成container成功惹。</p><p>但你以為我們就要上雲了嗎？還沒因為有一項很大的缺陷存在在這個container中，因為其實container大多在運行時都會是用ephemral storage（短暫型儲存空間），雖然也可以讓他用persistent storage啦，但我個人認為不太ok。所以盡量讓我們的container是stateless的，也就是container並不會儲存什麼永久性的檔案，不管我們的container在剛運行的這個當下或是在即將關閉前的那個當下，他們都是同一個人，並不會因為時間過了多久，就讓他們變成了不同的人。而且這樣也有個好處就是我們可以想丟掉這個container就丟掉，不會因為要備份裡面的資料然後花一大堆時間來處理，我們只要彈個指他就可以化成灰惹。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*8wNGc3fmz6StyLAN" /></figure><p>我們這邊要修改的有兩個，一個是variables.py這個儲存一些APP要用的參數的檔案，我們不可能因為要修改裡面的內容然後就出新的build，或是每個環境都用不同的一些參數要出不同環境的build吧。所以我們要將參數改為環境變數來使用。那另一個更大的問題就是DB啦，我們目前是使用sqlite3來當作我們的資料庫，也就是我們的資料是跟著container的，雖然我們也可以用shared的storage來處理像是放到EFS或EBS之類的，但礙於篇幅的問題，第二點我們就留到下次處理吧，這次先處理環境變數及參數的問題。</p><p>首先我們來看看我們variables.py裡面存方些什麼參數吧。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/4ce4cf9c38b775f8d88634c3e96e7bd0/href">https://medium.com/media/4ce4cf9c38b775f8d88634c3e96e7bd0/href</a></iframe><p>那我們把這些全都移到settings.py內吧，然後把它稍作改改成讀 os.envrion內的參數，也就是我們稍後要讀取的環境變數。另外這邊評估需要使用讀取環境變數的幾個設定為以下這幾個。</p><ul><li>EMAIL_HOST</li><li>EMAIL_USE_TLS</li><li>EMAIL_PORT</li><li>EMAIL_HOST_USER</li><li>EMAIL_HOST_PASSWORD</li><li>DEBUG</li></ul><p>以上這些我認為是比較常會需要更換的參數，所以這邊將setting.py做點修正。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/947cc4fa8c7d2e8e6371e4c82c2fc787/href">https://medium.com/media/947cc4fa8c7d2e8e6371e4c82c2fc787/href</a></iframe><p>然後我們再讓我們的docker-compose.yml在啟動container時設定環境變數吧，在這因為信箱密碼是個比較需要隱藏的東西，或是其實其他東西需要隱藏起來，所以用docker-compose的env-file來做設定（在AWS上密碼或較為機密的東西會使用SSM來做管理），以下是docker-compose及.env的內容。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/01abb6f49bfb5a1192f49302b5112999/href">https://medium.com/media/01abb6f49bfb5a1192f49302b5112999/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2e9a4474b9d9b14e11dbb5519861a0fc/href">https://medium.com/media/2e9a4474b9d9b14e11dbb5519861a0fc/href</a></iframe><p>那因為我們的DEBUG及EMAIL_USE_TLS這兩個值是boolean，所以在這我使用0,1來作為之後判斷的依據。</p><p>好，以上我們已經做好大部份上雲前的準備了（除了資料庫的問題，先讓我們暫時不要看他吧。）那我們來吧！</p><h3>Let Deploy to AWS ECS</h3><p>那我們開始一些AWS上的作業吧。</p><p><strong>以下作業請注意使用完畢後要關閉AWS的任何服務，如有任何疏忽導致收到多餘的費用，本人不負任何責任。</strong></p><p>這邊我就不做太多AWS Console的介紹了，這次的deploy有六件事情要做。</p><ol><li>Create IAM User(For cli to use) and Role (For ECS task execution)</li><li>Create ECR Repository and push our image</li><li>Create ALB (Application LoadBalancer)</li><li>Create ECS Cluster</li><li>Create Systems Manager Parameter Store</li><li>Create ECS Task Definition</li><li>Create ECS Service</li></ol><p>那我們就開始吧。</p><h4>Create IAM User (For cli to use) and Role (For ECS task execution)</h4><p>首先我們要建立我們在使用AWS CLI所需要的User，以及之後ECS task所要使用的role。</p><p>在AWS Console尋找IAM Service。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*vN6cOk7SqDZbvX1iwXAPEw.png" /></figure><p>然後點擊左邊Navigator內的User，進行User創建。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gm_fEU6pbrw3E0Ud0TJIpg.png" /></figure><p>之後點選Add user進行創建。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kHSLp_g4OPH7Q2LJnrnm-A.png" /></figure><p>隨便輸入了名字，然後Access Type記得選取Programmatic access，因為我們這個user是藉由CLI及其他SDK來操作的，之後會取得一組Access key。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SnhwS7RFuFSv6SCZIVCReg.png" /></figure><p>然後要設定這個user的權限，基本上為了練習方便起見就給他一個AdministratorAccess，但正式環境請慎選。且如果是AdminAccess請保護好你的AccessKey避免外流，雖然也可以更改啦，但這些都跟錢有關的事還是謹慎些的好。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5PmohPm4bqBGIFhN_gOteA.png" /></figure><p>給這個user一些tags，這個其實可以跳過，但個人喜歡加個Name，如果是工作上可能還會加個ENV或其他Tag，這在管理上會是個很方便的工具。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fvdSubH7MFM5KmCyiDNzjQ.png" /></figure><p>Review一下看看有沒有什麼遺漏，沒有就建立吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SleN1yCDAbbS1FCzBGfBSg.png" /></figure><p>之後你就會取得一組ID跟SecretKey請妥善保管，只能領取這次，如果沒有之後就都要重新生成然後舊的就會被expired掉，所以請好好保管也不要外流。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*D_9rCLAfE5t4Sz1tOW05HQ.png" /></figure><p>再來是role基本上，流程很像。（如果沒有ECS並沒有要跟其他AWS的服務進行整合，可以跳過這步，之後直接使用ECS所提供的default role來進行execution）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1ULxVrc-xB3Azi-Q1M6kWw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dh03KYSKFM3YSuhKDY6TRA.png" /></figure><p>這裡注意請選擇這個Role所要用的服務，也就是ECS。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4jEyq09h2kaOPdF7nsGX1Q.png" /></figure><p>接著他會問你的use case，這邊使用第四種ECS Task，對這個Role進行更細部的設定。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zJS0Gg_wP35pkWjszu1PIw.png" /></figure><p>接著設定權限，在Search bar內填入Container，然後我這邊先偷懶的把ECR跟ECS相關的東西都開啟FullAccess，但如果要放到正式環境上，建議還是弄細一點吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*76Djuxfqgz4S5oz9dzJ-Uw.png" /></figure><p>另外我們等等會用到SSM來管理密碼，所以也要給這個Role SSM的權限，一樣我先直接開最大。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CPCJrQ2ONFl_R5SyYJj0CQ.png" /></figure><p>一樣上個tag然後review的時候就給這個role一個名字還有看有沒有要修正description，沒任何問題就create吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jOEKEtmc8o6pCgau7r5haQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QoaKMIpQCmPfBOht-JKBGw.png" /></figure><p>建立完就好了，因為是role所以沒有提供ID跟secret。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Kt5ap84aocdsE0eA1AyGTw.png" /></figure><h4>Create ECR Repository and push our image</h4><p>接下來我們來建立存放我們docker image的Registry吧。</p><p>搜尋ECR，並進入頁面。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*KmseqFVmQeA8RCHsdn31EA.png" /></figure><p>第一次就Get started吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-BA91kjzXabkll0Lf_cCow.png" /></figure><p>建立ECR非常的簡單，就是輸入repostiory name然後看tag可以可以覆蓋，還有要不要在push上來時先scan image有沒有問題。基本上建議只把scan打開，因為我認為tag不能覆蓋滿麻煩的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*JkKOUjjjTIJ6wNoYo_thVA.png" /></figure><p>建立完你就會看到你的repository了，非常簡單，然後這邊把URI給記下來等等push image用的。另外其實repository還可以做一些permission跟lifepolicy，那這次我先不介紹了，因為這樣這篇會爆炸長。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TG1IdWqa-MJnShAQRoe3Mw.png" /></figure><p>接著我們要來push我們前面建立的image上來，這邊請注意電腦是否有安裝好AWS CLI（<a href="https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-install.html">How to install AWS CLI</a>），我就不多做介紹了，因為很簡單。</p><p>我們要先把CLI的user換成我們剛剛建立的那個，所以在terminal上輸入aws configure 並把剛剛所用的ID跟KEY打進去然後選擇正確的region，我是Tokyo(ap-northeast-1)，請注意剛剛ECR建立在哪個region的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/960/1*a7C2uMVNphyoI7cAdPOooQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4mIZYNK0MoPgQrY93lguPg.png" /></figure><p>接著，這邊要將我們的docker cli登入至AWS ECR的registry，輸入以下指令，因為ECR的token只能使用24小時所以24小時後請再重新登入，然後後面網址請輸入你的ecr uri，舉例，上面看到我的是036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app 我們只需要/ 前的那段，後半段沒有需要。</p><pre>$ docker login -u AWS -p $(aws ecr get-login-password) <a href="https://036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/">https://your_ecr_uri</a></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ZZSAldhGLT1LxL3LhA6PDw.png" /></figure><p>登入後接著幫我們的image上tag，然後push至ECR上，其實後續作業就跟push到Docker Hub一樣。只是image的tag要變成剛剛我們建立的ECR repository 的URI，如下：</p><pre># docker tag source_tag target_tag</pre><pre>$ docker tag todo-list-app:latest 036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app:latest</pre><pre>$ docker push 036472849388.dkr.ecr.ap-northeast-1.amazonaws.com/todo-list-app:latest</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*52tIPqj-oaXTr-yyt2VxIw.png" /></figure><p>接著我們上ECR看看有沒有我們的image吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1AKCYTgRUWPIA1dM707YYQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wqJtdtD1t-PObZaUjv1GcA.png" /></figure><p>恭喜，你會建立自己的ECR並上傳了。</p><h4>Create ALB (Application LoadBalancer)</h4><p>接著我們要建立ALB，ALB是屬於EC2的服務所以在搜尋尋找EC2。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*1XX70-UTc3lfvCoBtDcv1Q.png" /></figure><p>NavBar往下看可以看到Load Balancers。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*yFPqbHR8hKjsuuKGQnIVbw.png" /></figure><p>然後Create Load Balancer</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*XDX7k4XdfrP-0Cxm5Nrjmg.png" /></figure><p>並選擇Application Load Balancer，也可以選Network Load Balancer。但請注意，因為Fargate是awsvpc的服務，所以不支援Classic Load Balancer。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aIj0Qq87O1-Jma8IlW_o-A.png" /></figure><p>然後接著輸入ALB的名字以及一些設定，其實基本上不太需要動太多，就大多都是default就可以了。然後我們讓這個ALB對外listen 80port，另外AZ就全勾就好。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IhMF-OxpyKWEJE1m79fbkA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*98L0b0yjvyLeJC54eG6eUg.png" /></figure><p>Security setting就跳過因為我們沒有使用https，再來是security groups我們要建立一個新的並把80port對外，不然會沒有request進來。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HdcQqkveCJrOYjCusqF2Rw.png" /></figure><p>再來是target group，這邊我們要建立新的，target type選擇IP，另外target的port要選擇我們前面app所開出來的8888。這部分比較複雜，因為Fargate是awsvpc，不能使用其他的networking模式，所以沒辦法用什麼我們把container的8888port指向host的80 port之類的用法，我們container開8888那host就也是開8888。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*k_l8m_7llY4s1mgQTS6cVA.png" /></figure><p>接著註冊IP先直接跳過，等等建立ECS Service AWS會幫忙處理，所以直接pass然後review沒問題就建立了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dpp-tF_bvQN3xk5O59UBXA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aBf0lbQNNXMHSvV4sRmciQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*_0FClnJRJpj43zJapcb7ew.png" /></figure><h4>Create ECS Cluster</h4><p>快結束惹，再忍耐一下。</p><p>接著我們要建立ECS Cluster，請搜尋ECS，並進入。然後點選左邊的Clusters，不要使用一開始的Get started，因為他會幫你一次把所有東西都建好包括ALB什麼的，如果第一次想看看也可以自己試看看，我這邊使用的方式是東西分開一個個建立的。進入clusters的頁面後點擊create cluster。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*oNqEWB5RhSOz81Vebu2mDw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*codnwFvUTk2mPscirm_JZg.png" /></figure><p>那因為我們是要用Fargate，不需要建立EC2，所以選擇Networking only。其他兩個會要求你建立EC2，但我們不需要，我們才不要管EC2勒！</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zrTr7LVXF6QbmS7JlU_Mfw.png" /></figure><p>然後進去後非常的簡單，因為少了EC2，所以我們只要輸入名字跟tag就好。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o5lInxIT3Pcw0pKzyM2Z1g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fKyHyEMctSlcu4Ryv0LXeA.png" /></figure><h4>Create Systems Manager Parameter Store</h4><p>接著我們要先把我們比較sensitive的email password存到AWS SSM的parameter store他可以幫我們儲存叫機密的資料。</p><p>搜尋SSM進入Systems Manager，並點選左邊的Parameter Store。然後Create Parameter。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nVDEFJB4p_XPwm1nJhgrbA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-ejQJqBakFx0SkU2tveoVw.png" /></figure><p>然後進入就打一些資料，並選擇SecureString，他會幫我們加密後存在AWS內，所以可以確保我們的密碼不會是明碼存著的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*05kUiXLWNLBGUeY6S_x1Dw.png" /></figure><p>然後create完點進去。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*MGPfXskB5z4jle9NgOy4oA.png" /></figure><h4>Create ECS Task Definition</h4><p>接著我們要建立Task Definition，請點選左邊的Task Definitions。並Create new Task Definition。Task definition有點像是k8s的pod的概念，一個Task可以跑多個container在內部，這是ECS的最小單位。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Lm6-1LJKe345c9hxsQHm9A.png" /></figure><p>選擇Fargate。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zntrOcPiPSgjUVL_UIxbYw.png" /></figure><p>然後接著就是填入一堆東西，主要是設定一些container的資料，有點像是在寫docker-compose那樣。基本上沒看到的東西都直接用default。記得role要選我們一開始create的那個，如果沒有建立的人可以讓AWS自動幫你建立。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T23hg05c0d1-3cyoCDKi_w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kRAXPx3zHw2KdNyY286PWQ.png" /></figure><p>以下是container的definition。主要要注意的就是Image的tag記得要使用ECR repository內你所立的URI並在最後加上:latest跟他講要找哪個tag，然後port mappings因為我們的app是開8888所以請設定8888。</p><p>entrypoint跟docker-compose一樣執行我們的run.sh。剩下就是環境變數設定，其中一個比較特別的就是EMAIL_HOST_PASSWORD要使用valueFrom因為我們要從剛剛建立的Parameter Store中拿取。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SKL-rcU8kJa7A86z_ZX0SQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*B-EO6r1EVd6rtA__8zUyVA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dSCOaPzveY7aVRVzw6IDyg.png" /></figure><p>另外我們可以在下面的Configure via JSON看到建立完的所有Config，我們可以把他複製下來然後以後可以用這份JSON在不同region或不同環境做使用，直接把JSON貼到新的Task definition的Configure via JSON就會自動幫你填進去，但記得要修改你的一些參數。（甚至可以把containerDefinitions內的段落拿去Terraform中作infrastracture as code呢）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bSb782W_Ewdmk3riyQ9Kuw.png" /></figure><p>（這份json是後面我刪光東西才補充的，所以長得有點不一樣，但用來當示意圖。）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-tt2Pd-Ckr7mpVzCpocnUg.png" /></figure><p>沒問題就直接建立。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*War3b7K2n68MS059msemCQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lCd5Vaw4EZlx7dM8S66S2g.png" /></figure><p>然後這邊注意，Task Definition裡面他會是用revision的方式來幫你把每次task definition做版本控制，我認為這部分主要的用意是讓使用者在更新版後發現有問題後要rollback所採取的機制，舉例來說，你一開始的task要使用某個image的1.0.0的tag之後要更新變成2.0.0這時候去create new definition，然後修改完他會產生一個task:2，這時候再去ECS service去修改成使用2這個revision的task，然後ECS service會幫你重新deploy。但程式上線後發現有異常，需要緊急rollback，這時再去ECS service進行修改改回revision 1。我認為這是一個幫助使用者在對container進行版本升級的機制，還滿不錯的。其實這部份跟Kubernetes的deployment有異曲同工之妙（隨然名字好像是一樣的）。</p><h4>Create ECS Service</h4><p>接著我們到最後一步了，Create Service這其實大概是k8s的deployment加service的混合體。</p><p>我們到ECS Clusters，然後進入剛剛我們建立的cluster內。進入後在Service Tab點選Create</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*n54SyNIu-aUR3zrerbJvsA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SjVarjsLGLdUbkfUNQ0vjw.png" /></figure><p>首先是Configure Service，這邊幾個比較要注意的點就是Launch Type選Fargate、Revision的部分可以看剛才上面task definition的部分有作總結，每次修改完Task Definition他會建立新的Revision。但ECS service並不會幫你換成最新的Revision我想是為了讓deploy流程不會出問題所提供的保護機制，所以更新完Task請記得每次要更新service內的revision，另外我下一篇會提供我使用的deploy方式，有興趣請在看一下下一篇。</p><p>不小心說了太多廢話，下一個要注意的是Number of tasks這邊可以決定你要開幾個，然後也不用擔心多個要怎麼處理要進到哪呢，因為ALB會幫忙處理，等等要設定一下。ˋ另外要注意我們的APP有個缺陷，就是我們是使用sqlite3，如果我們開多個container每個container會有獨立的資料庫，導致使用者可能本來在A下次到B發現資料不一致的情形。這邊下次會在處理掉這個問題。所以建議這次先起一個就好。再來就是health check要保持在多少的百分比，低於這個百分比ECS會幫你把這個task給丟掉然後重新起一個。</p><p>最後就是部署方式，那就直接選rolling update，我們這邊不用用到藍綠部署，這部分我也還沒嘗試過，等有機會用到再來分享看看，感覺是需要搭配codedeploy跟Route53之類的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x9yOuwRG0QZ8RZoL4aDtjQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*VE-qqZhb2jRVv3x3uYB5RQ.png" /></figure><p>再來是network的部分，選好VPC，然後subnet全選，另外Securety groups點Edit我們要設定8888對外，不然default會是80而已。load balancing選Application Load Balancer，並選擇剛剛我們建立的ALB。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uWuocj61-876Oc87fIYHzA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*n1pjK_f_DbZgovfLcI59fg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*BmGihBgTV1sQsdNnV2T9Ew.png" /></figure><p>再來是Container to load balance，點選Add to load balancer，然後會變成第二張圖的樣子，在選target group name，會自動幫我們把設定帶入。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GOvPD9F3su469O8S2qe3_w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*578Jzec8RUHu2LZLYdC1iA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wvymFOMaifoMemAJlJiHsQ.png" /></figure><p>最後把Service discovery給關掉，目前我們用不到，但未來如果有多個service要進行溝通就會用到這個功能了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*K91MfrOUok_WBK9fL9WHyw.png" /></figure><p>然後進到下一步，我們不需要auto scaling所以就直接跳過，接著Review沒問題就Create了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*mynO4A4Eho-Lu3IQJV7VpA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kOwFIMl6LTOfKTnkHroD_A.png" /></figure><p>然後讓他跑一下就會看到一片綠的，如果有紅的再回頭看看有沒有什麼錯誤。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pI6BdGXMiPLh0O6R70c_1A.png" /></figure><p>好，Create完就點View Services然後到Task Tab看一下，你會看到一個PENDING的Task，稍等一下，重新整理會看到他變成RUNNING。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-igM5lF2zjN-haiC3LfY0w.png" /></figure><p>好，跑的有點久沒有好，可能資源開太少了剛剛給0.5 vCPU跟1G Memory，剛好有機會來更新Task，並update revision給大家看看。</p><p>到Task Definitions，進入我們的Task然後點Create new revision。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OR9N9SV9axuUYj3oTvbzNQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sD5r3p8JsEEsWp7-pzr4Eg.png" /></figure><p>這邊把vCPU跟memory調到1 vCPU跟2GB，然後就Create。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*rrjGBQEIiGIlc41sSj6tAw.png" /></figure><p>完成後會看到這個task有兩個revision（因為剛剛我有測試所以我的revision跳到3）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*TuFgHnCVdZQafh9zw45k0A.png" /></figure><p>接著到Cluster點我們的Cluster然後在Services Tab中點選我們的Service然後點Update button。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IkmO6TySL4HVOFFPbSbrAA.png" /></figure><p>把Revision換成latest的，然後勾選Force new deployment，他會強制部署，如果沒有溝的話他不會把原本的task丟掉，會等到那個task壞掉或被關掉才會起新的task。然後接下來其他都不用動，直接update。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YEEVq2msv8_dTeavO4uMcw.png" /></figure><p>完成後我們到deployment tab可以看到有兩個deployment一個是我們最新的status是PRIMARY那個是我們最新的。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ItXT7ekA50Vv0M726SDKyA.png" /></figure><p>接著到Task可以看到他在RUNNING了，如果沒有的話就在等等吧，大概10秒鐘左右應該就好了。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*wNbbSf4wr98IbreCGAp_hA.png" /></figure><p>另外如果有任何的問題可以到logs看看container的log來做debug（這裡是使用cloudwatch所以假如資料很大的話會有額外費用喔）。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FgxsVt0-Oq65rdp61tXOXg.png" /></figure><p>接著我們要看看網頁是否有正常運行，我們要到EC2的Load Balancer取得我們ALB的DNS Name。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*27O5vnQ59GtvnP2f_tAv3w.png" /></figure><p>把DNS name複製到browser上，然後沒意外就會看到我們的todo-List了！</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*12r1CZhff8loUYlWi-y0sw.png" /></figure><p>終於結束了，打了好長好長的篇幅，雖然很多都是建立流程的圖片吧。但到這我們已經會把我們containerize的app放到ECS上運行了。但接下來還有好多東西要處理呢，像是DB之類的，那DB我這次先跳過了，下次再處理吧，如果還有下次的話。</p><p>另外如果上面的流程照著做發生了任何意外沒有順利運行，大概有幾個重點是你要檢查的，因為我在建立的過程中其實也會常常漏掉一些東西，所以給大家一些方向來進行debug。</p><ol><li>image build是否正確，且uwsgi.ini是否有開正確的port。</li><li>ALB的listener是否是80port。</li><li>ALB的security group是否有把80 port對外。</li><li>ECS task在container definition的port mapping是否有8888port。</li><li>ECS service的security group是否有把8888對外。</li><li>ECS service在container to load balancer那邊是否有設定正確。</li></ol><p>以上就是可能會常常遺漏的幾點，提供給大家。</p><p>第二部分我主要應該會著重在如何進行部署自動化的說明，因為其實我覺得他原本提供的更新方式非常冗長，要做以下的步驟。</p><ol><li>push image</li><li>create new revision</li><li>update service</li></ol><p>但如果你用latest tag來作為版本更新的話你就會發現你不用做上面這些事了，你只要push image然後等他rollout，ECS就會幫你做好所有事情了。</p><p>但在現實中卻沒有這麼好的情況，因為我們會有很多環境Production、non-Production等等，甚至還有多region的問題，所以不可能用latest這個tag來做所有的處理。</p><p>那剩下的就下回分曉囉！</p><p>我們5月見（吧？）</p><p>（因為我下禮拜要去玩FFVII Remake了！！！！！！！！）</p><p>（喔喔！另外記得把上面建立的東西刪一刪喔！！它們都要算錢的ALB跟ECS Service在跑的Tasks，建議是把ALB跟ECS Cluster直接都宰了）</p><h3>References</h3><ul><li><a href="https://avinetworks.com/glossary/container-orchestration/">What is Container Orchestration? Definition &amp; Related FAQs | Avi Networks</a></li><li><a href="https://ithelp.ithome.com.tw/articles/10195572">30天鐵人賽介紹 AWS 雲端世界 - 28: AWS 上的容器服務 Elastic Container Service(ECS) - iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天</a></li><li><a href="https://medium.com/@ravi.aakula/deploying-asp-net-core-microservices-in-aws-ecs-using-fargate-part-ii-d03108bdcfaa">Deploying Asp.net core Microservices in AWS ECS using Fargate -Part II</a></li><li><a href="https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-install.html">Installing or updating to the latest version of the AWS CLI</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7a0ff9101c2b" width="1" height="1" alt=""><hr><p><a href="https://medium.com/into-the-night/deploy-apps-on-aws-ecs-fargate-part-i-django-with-uwsgi-on-ecs-7a0ff9101c2b">Deploy apps on AWS ECS Fargate (PART I — django with uwsgi on ECS)</a> was originally published in <a href="https://medium.com/into-the-night">十十二夜</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Testing in Python(feat. Django)（二、mock）]]></title>
            <link>https://medium.com/into-the-night/testing-in-python-feat-django-%E4%BA%8C-mock-952ea4232608?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/952ea4232608</guid>
            <category><![CDATA[testing]]></category>
            <category><![CDATA[mockup]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[tdd]]></category>
            <category><![CDATA[software-development]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Sun, 22 Mar 2020 17:48:56 GMT</pubDate>
            <atom:updated>2020-05-18T15:57:30.438Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*jWfTKY2CoJfMAn2Y.png" /></figure><p>時隔將近一年了，我終於又要來寫寫東西了。雖然其實我發現我寫這些技術筆記好像不太能幫助自己學東西學得更扎實，不如花更多時間讀更多東西然後直接上戰場來的有用。但想到最近學k8s跟使用AWS上面的東西還有CI/CD的技術有成，然後看到友人近期也有在打打技術筆記，不免還是想要寫個東西，留下一些真的會用這些的證據，而不是都在腦袋裡。</p><p>本來是想要來寫一篇AWS ECS還有ECR的deploy workflow，但突然看到這篇，哇！快打完了，不打完來湊湊文章數好像不太行，就來把它補完吧。但發現好像有一大段要補起來耶。</p><p>以下的東西有8或9成的內容是去年那個懞懞懂懂的時候寫完放到現在，可能有稍微潤過一些字詞吧，但大部份的概念是停留在一年前的我，現在什麼Unittest、mock什麼的基本上工作一直在用，但有點懶得修正了，就讓它保留著當初初學者的一些心得吧。在send mail前是去年寫的，之後就是現在的我寫的，怎麼搞的有點像在跟過去的自己對話一樣，有點詭異。然後看看那時候的code覺得：『嗯～好棒棒啊。』</p><p>先附上此專案GitHub，上次有個在functional test沒注意到的錯誤進行修正。</p><p><a href="https://github.com/Vincentsean/pythonTestToDoList">Vincentsean/pythonTestToDoList</a></p><p>好，那我們今天就很快速地進入到我們的下一個主題mock。</p><h3>Mock</h3><p>Mock中文是模仿的意思，但其實說真的我在接觸測試程式的這段期間內，並沒有看過及聽過任何人以這個名字來稱呼過他。確實他的確算是模仿的一種，他是經過一些簡單的設定去假裝執行一些可能需要經由外部服務來達成的function（例：email, http request, etc…）。即使這些服務可能因為某些原因不能直接叫用，我們的測試程式還是可以利用一些方式設定他的回傳值，確認傳入參數及回傳結果。讓我們的測試程式不會因為那些外部第三方的套件及API影響到測試的過程。</p><p>這邊稍微展示一下python unittest中mock的一些特性，他基本上是一個可以填入任何東西的物件。這邊我們先用python的interactive shell來做些簡單的呼叫吧。</p><pre>&gt;&gt;&gt; from unittest.mock import Mock<br>&gt;&gt;&gt; mock = Mock()<br>&gt;&gt;&gt; mock.attribute_1<br>&lt;Mock name=&#39;mock.attribute_1&#39; id=&#39;4520530552&#39;&gt;<br>&gt;&gt;&gt; mock.attribute_2<br>&lt;Mock name=&#39;mock.attribute_2&#39; id=&#39;4520530720&#39;&gt;<br>&gt;&gt;&gt; type(mock.attribute_1)<br>&lt;class &#39;unittest.mock.Mock&#39;&gt;</pre><p>基本上Mock這個物件，基本上會自動建立所有我們所要求的attribute，不止attribute，連method也是如此。而且還可以設定method所要回傳的直。</p><pre>&gt;&gt;&gt; mock.method_1()<br>&lt;Mock name=&#39;mock.method_1()&#39; id=&#39;4522862184&#39;&gt;<br>&gt;&gt;&gt; mock.method_2()<br>&lt;Mock name=&#39;mock.method_2()&#39; id=&#39;4522862800&#39;&gt;<br>&gt;&gt;&gt; mock.called<br>False<br>&gt;&gt;&gt; mock.method_1.called<br>True<br>&gt;&gt;&gt; mock.method_2.called<br>True<br></pre><p>上方可以看到跟attribute一樣method也是可以這樣做，還可以看這個method是否被呼叫過。以下另外展示method如何設定回傳值。</p><pre>&gt;&gt;&gt; mock.method_1.return_value = 1<br>&gt;&gt;&gt; mock.method_1()<br>1<br>&gt;&gt;&gt; mock.method_1(&#39;test&#39;)<br>1</pre><p>這邊或許沒用過的人還是會覺得很困擾，這究竟有什麼用處呢？我們來想像一下，當我們的某個function或class method要用request去呼叫某個不是我們程式所提供的API，這個API要回傳一個JSON格式的response。當這個API發生了問題無法使用，這也就表示我們的function不能使用，這時候在測試時就會發生，明明不是我們程式碼的錯誤，卻導致測試無法通過。這時候mock就派上用場了。這邊我們會用上另一個叫side_effect的功能，他可以去設定說我們這個假冒的function要做什麼事，簡單的來說就是我們要去模仿呼叫這個API後會得到什麼結果。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/b85638417a5ec8c455f138252eec82c7/href">https://medium.com/media/b85638417a5ec8c455f138252eec82c7/href</a></iframe><p>簡單的說明一下，我們主要程式是上面的get_something他會去跟某個url要回一些資訊，我們在使用requests得到的response物件的json function把它轉換成python dict的格式。所以在test code中我們需要假裝的東西有兩個，一個是當送出requests.get()的時候他會做什麼事，另一個是response.json()會得到什麼。</p><p>side_effect可以決定說當我們呼叫mock的某個method的時候去執行某個function。也就是我們上面所在test case中所建立的fake_response，他會在裡面在建立一個response的mock物件，然後我們將這物件回傳給我們外層呼叫request.get()後。到這裡聽起來有點複雜對吧，我們先來釐清一下這段城市的執行順序及邏輯，上面我有特別標註幾行在講述他們執行的順序。</p><blockquote>#1 我們建立reqeusts這個mock執行get時的side_effect，也就是我們的fake_response。</blockquote><blockquote>#2 我們呼叫我們的get_something function。</blockquote><blockquote>#3 他會執行requests.get()，這時候我們跳到我們前面所設定的fake_respones function。</blockquote><blockquote>#4 他會在裡頭建立一個response的mock物件，我們設定了一個attribute status_code及method json被呼叫後會回傳什麼值。</blockquote><blockquote>#5 回傳這個response_mock給呼叫requests.get()後。</blockquote><blockquote>#6 驗證我們剛剛所設定的status_code。</blockquote><blockquote>#7 呼叫json()。</blockquote><p>到這我猜大家應該就了解這一連串的動作了吧。</p><p>如果還不了解，以及想要了解更多的人可以看看這篇文章，我認為他把python的mock講得很透徹了。</p><p><a href="https://realpython.com/python-mock-library/">Understanding the Python Mock Object Library - Real Python</a></p><p>好，但剛剛講了這麼多，其實我們在這次的case中所要用到的是mock另一個很強大且很方便的patch()。這邊我先不多做解釋，等等直接在範例程式碼中做給大家看。那以下我們開始本日的重點，程式碼示範！！</p><h3>User Story</h3><p>這次我們需要mock的功能是「send_mail」，這是django中提供寄送email的功能。其實django有提供另一個非常好用的功能讓我們驗證是否有寄信這件事，等等也會一併提到。</p><p>當然我們不是為了想要展示mock而寫mock，我們來動腦想一個使用者情境，需要用到寄信功能。我們在上次建立的TodoList只有建立，使用者並不能將他們建立的todoList存下來，所以我們來建立一張表來儲存我們的TodoList。但儲存下來還是不夠的，我們要能夠記住是哪個使用者建立的表單，所以我們這邊就用信箱來當使用者名稱，然後我們隨機亂數產生一個hash碼來當做這個表單的key，這樣一個使用者就可以擁有複數個todoList了。雖然看起來很陽春而且安全性十分不足，但我們就先用最小的effort來達成我們的目的吧。</p><p>在這先列出需要開發的功能：</p><ol><li>儲存todoList及email還有hash key的table。（建立model及新unit Test）</li><li>當建立完TodoList按下Save button會要求輸入email，輸入後後端產生hash_key並把hash_key及網址傳送到剛才輸入的信箱中。（原先功能進行重構，並增加新的功能）</li><li>點擊信箱內所提供包含hash_key的網址，首先進入會要求使用者先輸入信箱，如信箱及hash_key相符即能進入網頁中，否則無法進入。（新頁面，新Test）</li></ol><p>以下關於程式邏輯面及django model的部分就不一一講解，這邊會把一些測試的重點拿出來講，並將新增的程式碼貼出來。基本上大家可以嘗試用自己的方式做一次看看，記得要用TDD的方式來寫喔，沒錯就是Testing first！！</p><h4>Model</h4><p>首先我們來建立管理ToDoList的table吧。其實以往在做django專案的model時都會覺得在寫model的時候非常麻煩，有時候會發生migrate完發現有些錯誤要修改model，但因為已經將修改內容migrate至資料庫，然後就要重新建立新的migration，到了最後model的migrations檔案會變得越來越多，甚至可能因為有些不謹慎的行為，導致一次修改出現多個migrations。</p><p>自從有了測試之後，在有測試程式的前提下，model修正完後進行makemigraions，別馬上進行migrate的動作，先執行測試，當有錯誤的時候修正好，再重新makemigrations，並再次測試。最後，確認結果為所希望的樣子，將這次的migrations刪掉重新在makemigrations一次，將這次修正的migrations減到最少，最後在進行migrate，這樣可以大量減少migrations的增加。</p><p>另外這邊再順便介紹一個非常好用的功能<a href="https://docs.djangoproject.com/en/2.2/howto/initial-data/">django的fixtures</a>，他是一種可以用非常簡單的方式匯出及匯入預設資料，例如：可能在網頁有些參數是一開始就需要存在資料庫中的，而在部屬的流程中，如果將這些東西改成SQL或是程式碼的方式一個一個匯入非常的浪費時間。這裡我們可以將這些資料整理成JSON或YAML的格式，並執行python manage.py loaddata some_file.json輸入完後他就會將我們所想要的檔案自動匯入到資料庫中，檔案內所需要的格式也非常簡單，如下：（以下為JSON的格式，YAML有另一種方式但也差不多）</p><pre>[<br>  {<br>    <em>&quot;model&quot;</em>: &quot;administrator.administrator&quot;,<br>    <em>&quot;pk&quot;</em>: 1,<br>    <em>&quot;fields&quot;</em>: {<br>      <em>&quot;email&quot;</em>: &quot;superAdmin@gmail.com&quot;,<br>      <em>&quot;password&quot;</em>: &quot;pbkdf2_sha256$150000$KrotSAE4zccz$O6CqZfjYbZIO7b6YoVJ7PXb/038/pjSfChS17pu8PPE=&quot;,<br>      <em>&quot;name&quot;</em>: &quot;superAdmin&quot;,<br>      <em>&quot;phone_number&quot;</em>: &quot;0988888887&quot;,<br>      <em>&quot;is_super&quot;</em>: 1,<br>      <em>&quot;created_at&quot;</em>: &quot;2019-05-13T16:53:45.473Z&quot;,<br>      <em>&quot;updated_at&quot;</em>: &quot;2019-05-25T08:45:06.890Z&quot;,<br>      <em>&quot;last_login&quot;</em>: null<br>    }<br>  },<br>  ...<br>]</pre><p>model填入要存入哪個app的哪個model，pk輸入希望這筆資料的主鍵，field填入model所需要的其他欄位。沒錯，非常的簡單。更重要的事，其實我是個連打這個JSON都非常懶得人，所以django還提供了另一個指令python manage.py dumpdata file_name.json，就如各位的想像，他能夠將已經在資料庫中的檔案匯出變成上面的那種格式。這些工具不只在部署上非常方便，在測試上更是幫我們能夠自動帶入一些預設資料，讓我們在沒有資料的情況下也能進行測試。關於django fixtures還有很多其他的設定，如果想要了解可以到django官方文檔<a href="https://docs.djangoproject.com/en/2.2/howto/initial-data/">《Providing initial data for models》</a>中進行查看。</p><p>那接下來，下面附上ToDoList model的程式碼及create的test。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9b9ecdd44dae0de2a3434ea52d40b618/href">https://medium.com/media/9b9ecdd44dae0de2a3434ea52d40b618/href</a></iframe><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9d9ea0c4f9f3d613b11235995e616ca3/href">https://medium.com/media/9d9ea0c4f9f3d613b11235995e616ca3/href</a></iframe><p>上面的程式碼我就不介紹了，當上面程式碼打完就，我們來進行測試吧，輸入python manage.py test todo_list.tests.test_models，可以不打後面的lable，但是因為我不想執行所有test，我以我規定他只跑model的test。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*A1IKn1BMxiJfLku1EmIWlA.png" /></figure><p>在還沒有makemigrations的情況下會出現這個錯誤，接下來我們直接 python manage.py makemigrations完成後，別migrate就像我前面所說的，直接進行測試，再輸入剛剛的測試。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/829/1*xzDkXCEvHaO7g6CmzctfEg.png" /></figure><p>django的test會很好心的幫你把migrations給migrate至測試資料庫中，我們就可以順便進行model的驗證了。</p><p>以上是只有model create的test，接下來是model get的test，這裡會用到前面說的fixtures功能，所以我們先簡單用django shell來產生假資料吧。再進入shell前記得要先把剛剛還沒migrate的migration先migrate一次。（P.S.這裡的email記得要換成自己等等測試用的，不然等等一直寄信給我）</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/721/1*3U3Gg0heaRVhKEx_V9BvfA.png" /></figure><p>之後我們離開shell後在終端機輸入 python manage.py dumpdata todo_list.ToDoList --indent 2 &gt;&gt; test_data.json indent可以不必輸入，只是我想讓輸出結果好看一點而已。如果沒有將結果用output to file的話他會直接print在終端機上，我們需要將他只是到某個檔案中。這時候到django專案的目錄中可以看到我們的test_data.json了，打開裡面的格式如下：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O1kr0C27nsN0neCbOHZbkg.png" /></figure><p>接下來我們在todo_list app中建立一個資料夾fixtures，並將test_data.json放入其中（這是fixtures的預設讀取方式，還有其他方法可以設定，這邊不另外說明）。目錄結構如下：</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/297/1*SJBPtBt9yQgBoFlk1tnyEQ.png" /></figure><p>接下來就附上model get的測試程式。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/38eb2a691ee22c9002104f476db10165/href">https://medium.com/media/38eb2a691ee22c9002104f476db10165/href</a></iframe><p>我們可以看到我在test class中加入了fixtures這個property，這是django TestCase的設定，他會去找出fixtures所給予的檔案，並在建立測試資料庫的同時，匯入資料。接下來執行測試，沒意外一定是看到OK，然後我們看到在get跟assert的部分程式碼重複了，這時候我們來做refactor吧。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1406347591888868cd3e77a22c3bee0a/href">https://medium.com/media/1406347591888868cd3e77a22c3bee0a/href</a></iframe><p>好，model的部分完成了，接下來就是我們的重頭戲mock了。</p><h4>Send mail setting</h4><p>首先我們先設定一下django的send_mail設定，因為等等要使用到它。考量到環境等等問題，這邊我就不用環境變數的方式進行設定，而是使用另外建立一個variables.py來存放我們的一些較敏感的變數（但建議還是使用環境變數的方式會比較好）。如：信箱使用者及信箱密碼等等⋯⋯</p><p>我們在settings.py同一層目錄建立一個variables.py（以下是使用gmail的信箱當作範例，所以EMAIL HOST的部分請依照自己使用的信箱進行更改）</p><pre># TODO_list_django/variables.py<br># email setting</pre><pre>EMAIL_BACKEND = &#39;django.core.mail.backends.smtp.EmailBackend&#39;<br>EMAIL_HOST = &#39;smtp.gmail.com&#39;<br>EMAIL_USE_TLS = True<br>EMAIL_PORT = 587<br>EMAIL_HOST_USER = &#39;your_mail address&#39;<br>EMAIL_HOST_PASSWORD = &#39;email password&#39;</pre><p>接著我們將variables引入settings.py中。（為了防止一些意外發生，所以我用try except的方式進行import）</p><pre># TODO_list_django/settings.py</pre><pre># at top of file<br>&quot;&quot;&quot;</pre><pre>Django settings for TODO_list_django project.</pre><pre>Generated by &#39;django-admin startproject&#39; using Django 2.1.7.</pre><pre>For more information on this file, see<br><a href="https://docs.djangoproject.com/en/2.1/topics/settings/">https://docs.djangoproject.com/en/2.1/topics/settings/</a><br>For the full list of settings and their values, see<br>https://docs.djangoproject.com/en/2.1/ref/settings/</pre><pre>&quot;&quot;&quot;</pre><pre>import os</pre><pre>try:<br>  from .variables import *<br>except <em>Exception</em> as e:<br>  print(e.args)</pre><pre># Build paths inside the project like this: os.path.join(BASE_DIR, ...)</pre><pre>BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))</pre><pre># Quick-start development settings - unsuitable for production<br># See <a href="https://docs.djangoproject.com/en/2.1/howto/deployment/checklist/">https://docs.djangoproject.com/en/2.1/howto/deployment/checklist/</a></pre><pre>...</pre><p>目錄結構</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/317/1*uhowSwIHrFC1CLN41ZYdOg.png" /></figure><p>接著我們就開始寫寄信功能的測試程式吧。</p><h4>Send mail</h4><p>（一年後⋯⋯）</p><p>好，我要來假裝之前的語氣。首先我們就來先寫Test吧！我們要建立一個API然後他會接收到POST的request，裡面包含email，然後會將session內的todo_list拿出來，然後將這些資料記錄在資料庫中，並產生一組hash再送出一封郵件，最後再將hash當response送出來。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1d460bd1d633bb3a5ea228639a85074c/href">https://medium.com/media/1d460bd1d633bb3a5ea228639a85074c/href</a></iframe><p>可以看到第45行開始是我們新寫的有使用mock的ut，那我還是間單說明一下要用mock的步驟吧。</p><pre>#1 import mock 這個我就不多說了</pre><pre>#2 傳入我們所要mock的function，我記得是要傳入他要import的source也就是django.core.mail.send_mail，但django好像有處理一些東西，所以這邊要用的是在這個views.py的send_mail function，所以是todo_list.views.send_mail。</pre><pre>#3 把mock的instance丟給我們的testing function，這裡就要思考一點python decorator的一些概念，其實我們的function在跑之前會先跑過mock.patch這個function，他會建立一個我們所要mock的function的mock_instance，然後再丟進我們要跑ut的function，我們可以在ut function裡面去對mock_instance進行動作，假如我們希望這個被mock的function要回傳某個特定的值就用return_value、要做某些動作就用side_effect、更簡單的只是要確認有沒有執行救用assert_called_once，確認傳入的args就用assert_called_with，想知道更多的話可以到python的doc看看，或上面的那篇文章。</pre><pre>另外如果要mock多個東西的話，可以用多個decorator，如下</pre><pre>@mock.patch(&#39;function2&#39;)<br>@mock.patch(&#39;function1&#39;)<br>def test_yeee(m_function1, m_function2):<br>...</pre><pre>總之就是由內而外，大概稍微懂一下decorator就知道了，另外mock.patch還有另一種用法就是這樣<br>with mock.patch(&#39;func_func&#39;) as m_func:<br>    m_func.return_value = &#39;yeee&#39;<br>    do_something_func_func_run_inside()</pre><pre>總之看大家喜歡怎麼用吧。</pre><pre>#4 如果send_mail沒被呼叫過，或呼叫次數超過1次以上不符合我們的spec<br>#5 呼叫send_mail時所傳入的args，是否為這些</pre><p>讓我們來跑跑看測試的結果再來一步一步補上邏輯吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/662/1*PRWrX0LvRM6tfzjkP6SH_w.png" /></figure><p>首先遇到的錯誤是status_code是404那表示not found，所以我們要來讓他找到這個path。</p><pre># TODO_list_django/urls.py</pre><pre>from django.contrib import admin<br>from django.urls import path, include<br>from todo_list import views as list_views</pre><pre>urlpatterns = [<br>    path(&#39;admin/&#39;, admin.site.urls),<br>    path(&#39;&#39;, list_views.HomePage.as_view(), <em>name</em>=&#39;home&#39;),<br>    path(&#39;save&#39;, list_views.save_todo_list, <em>name</em>=&#39;save&#39;)<br>]</pre><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6de849d796b04dc0ece88cf2b400ec46/href">https://medium.com/media/6de849d796b04dc0ece88cf2b400ec46/href</a></iframe><p>好，那讓我們在跑一次。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/672/1*wZpTo5W3T2XiaCoLYWlI1w.png" /></figure><p>看來剛剛遇到的錯誤解決的，他找到這個path了。那接下來就是我們找不到這個物件，那是因為我們的function根本沒有存東西進資料庫呀，所以我們來補上這段邏輯吧。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8b6c38c2ace9648989ce625d04960745/href">https://medium.com/media/8b6c38c2ace9648989ce625d04960745/href</a></iframe><p>我們再跑一次test吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/665/1*7_3MasVnzs76lctwLPx-JQ.png" /></figure><p>喔喔喔！我們又解決一個東西了，再來下一個是send_mail預期要被呼叫，對我們剛剛只有create物件而已，但並沒有寄信。接下來我們要來使用django的send_mail功能。</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/7de9cb3d8e0b44535d117bcaa79f23f4/href">https://medium.com/media/7de9cb3d8e0b44535d117bcaa79f23f4/href</a></iframe><p>好的，這邊我就不對django的send_mail多做介紹了。但總之他要傳入subject, message, email_from, recipient_list(要寄得對象)。</p><p>看起來我們完成所有邏輯了，接下來再跑一次ut吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/731/1*va38qmp4RcCDX3hJCeM1qQ.png" /></figure><p>恭喜！！我們完成了寄信的這個function了，這樣子我們就可以不必相依於寄信的service而完成我們自己這個server的測試了，因為我們要驗的並不是寄信server是否有正常運行，我們只有要驗我們的邏輯有沒有正確而已。</p><p>如果對於ut沒有把握的人，可以run django server然後用curl進行測試，或使用postman進行相關的API測試。</p><pre>$ curl -XPOST <a href="http://localhost:8000/save">http://localhost:8000/save</a> -F &#39;<a href="/service/mailto:email=s8901489@gmail.com">email=your_</a>mail_address@gmail.com&#39;</pre><pre>1bb5de740f7d62d3621a228485938d42d7e6ced5 # your hash key</pre><p>好，接下來的東西就允許我富奸一下吧（可能不是富奸了，是直接腰斬吧），因為其實剩下的就是很簡單的程式應用了，並不是我們要討論的mock的重點，如果有想要完成的觀眾可以接著繼續做，首先就是寫關於save的UI，然後再來就是要怎麼讓使用者可以藉由hash key 及email拿到他們儲存的todo_list。但這些就交給想做的人來完成吧，雖然有點不負責。但我們的重點是test和mock呀～</p><p>其實我認為mock的概念現在其實越來越重要了，現在其實很多系統架構慢慢開始從Monolithic換到microservice了，而microservice的重點就是建立互相解耦的各個service，所以不希望每個service間有太多的相依，我只要管好我自己商業邏輯是否正確就好，如果其他服務死了或什麼的我只要做好error handling就夠了。</p><p>到了趨勢半年其實真的越來越覺得test真的非常重要，當程式的規模越來越龐大，而在做任何refactor的時候沒有一個好的ut根本不敢去做程式碼的修正，深怕改完就死了。所以其實testing什麼的真的直接上戰場寫就會啦！再來就事TDD的部分，其實目前寫程式真的有在參照著這個方式在寫，慢慢習慣了也寫得越來越順手了，但還是得好好努力練習哪。</p><p>希望我的下一篇文章能夠順利地完成～～</p><h3>References</h3><p><a href="https://realpython.com/python-mock-library/">Understanding the Python Mock Object Library - Real Python</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=952ea4232608" width="1" height="1" alt=""><hr><p><a href="https://medium.com/into-the-night/testing-in-python-feat-django-%E4%BA%8C-mock-952ea4232608">Testing in Python(feat. Django)（二、mock）</a> was originally published in <a href="https://medium.com/into-the-night">十十二夜</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Testing in Python(feat. Django)（一、單元測試及功能測試篇）]]></title>
            <description><![CDATA[<div class="medium-feed-item"><p class="medium-feed-image"><a href="https://medium.com/into-the-night/testing-in-python-feat-django-%E4%B8%80-%E5%96%AE%E5%85%83%E6%B8%AC%E8%A9%A6%E5%8F%8A%E5%8A%9F%E8%83%BD%E6%B8%AC%E8%A9%A6%E7%AF%87-94d68ef465e3?source=rss-78c46137b264------2"><img src="https://cdn-images-1.medium.com/max/1014/0*3KuHzA5jUD7s0TWJ.jpeg" width="1014"></a></p><p class="medium-feed-snippet">&#x8352;&#x5EE2;&#x4E86;&#x5C07;&#x8FD1;&#x4E00;&#x500B;&#x591A;&#x6708;&#xFF0C;&#x7D42;&#x65BC;&#x975C;&#x4E0B;&#x5FC3;&#x4F86;&#x597D;&#x597D;&#x6253;&#x6587;&#x7AE0;&#x4E86;&#x3002;&#x96D6;&#x7136;&#x9084;&#x662F;&#x6709;&#x9EDE;&#x61F6;&#xFF0C;&#x800C;&#x4E14;&#x6700;&#x8FD1;&#x8CB7;&#x4E86;&#x5F88;&#x4FBF;&#x5B9C;&#x7684;Borderlands2&#xFF0C;&#x6240;&#x4EE5;&#x5047;&#x65E5;&#x6C92;&#x6709;&#x597D;&#x597D;&#x52AA;&#x529B;&#xFF0C;&#x5728;&#x5237;&#x88DD;&#xFF08;&#x96D6;&#x7136;&#x4E0A;&#x79AE;&#x62DC;&#x624D;&#x8CB7;&#x800C;&#x5DF2;&#xFF0C;&#x54C8;&#x54C8;&#xFF09;&#x3002;</p><p class="medium-feed-link"><a href="https://medium.com/into-the-night/testing-in-python-feat-django-%E4%B8%80-%E5%96%AE%E5%85%83%E6%B8%AC%E8%A9%A6%E5%8F%8A%E5%8A%9F%E8%83%BD%E6%B8%AC%E8%A9%A6%E7%AF%87-94d68ef465e3?source=rss-78c46137b264------2">Continue reading on 十十二夜 »</a></p></div>]]></description>
            <link>https://medium.com/into-the-night/testing-in-python-feat-django-%E4%B8%80-%E5%96%AE%E5%85%83%E6%B8%AC%E8%A9%A6%E5%8F%8A%E5%8A%9F%E8%83%BD%E6%B8%AC%E8%A9%A6%E7%AF%87-94d68ef465e3?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/94d68ef465e3</guid>
            <category><![CDATA[testing]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[tdd]]></category>
            <category><![CDATA[django]]></category>
            <category><![CDATA[software-development]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Thu, 20 Jun 2019 16:57:51 GMT</pubDate>
            <atom:updated>2020-05-18T15:54:54.386Z</atom:updated>
        </item>
        <item>
            <title><![CDATA[“Avengers assemble!” — Avengers: Endgame]]></title>
            <link>https://medium.com/into-the-night/avengers-assemble-avengers-endgame-192eea582676?source=rss-78c46137b264------2</link>
            <guid isPermaLink="false">https://medium.com/p/192eea582676</guid>
            <category><![CDATA[avengers-endgame]]></category>
            <category><![CDATA[review]]></category>
            <category><![CDATA[movies]]></category>
            <category><![CDATA[avengers]]></category>
            <dc:creator><![CDATA[Chih Sean Hsu]]></dc:creator>
            <pubDate>Mon, 29 Apr 2019 16:26:20 GMT</pubDate>
            <atom:updated>2019-04-29T16:26:20.762Z</atom:updated>
            <content:encoded><![CDATA[<h3>“Avengers assemble!” — Avengers: Endgame</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*KOJcZh-axiCZT2H4.jpg" /></figure><p>看完復仇者聯盟4後，有種想要打個文章的情緒湧了出來。這篇文章並不會對復仇者聯盟4的劇情內容或拍攝上面點評太多（應該是幾乎沒有吧）。因為他其實就大概近似於一部長達十年之久的連續劇的完結篇吧。以單獨的作品來說，我覺得上一集無限之戰所帶來的感觸可能還稍微多一點，但如果是將這部以及前面的所有22（？）部給串聯在一起，我想這才是他的完全體。在這集給了粉絲們大大的回饋，使我們覺得追完了這十年帶來了滿滿的感動。我想這感覺就像最近遇到的最後的平成有點相似吧。雖然用平成的結束拿來跟這件事對比感覺有點不敬，但我想漫威帶給我們的這十年對於未來來說應該也是個很大的一個里程碑吧。</p><p>剛剛翻一下我的痞客邦，發現上次寫這種電影文竟然是整整一年前又多快一個月的事。可能在去年的這個時間前後，毅然決然地決定我要好好當個寫程式的後，就對於什麼文學啊、電影啊之類的減少了很多的投注，只剩下睡前看看小說（但近期越來越多是看技術相關的書籍），假日看看Netflix，有時候看看老電影，對於時下的電影什麼的也不太關注了，以前會翹課看的奧斯卡，這次我連什麼獎誰得都完全不知道呢，只知道個黑豹好像有入圍最佳影片。至於最後一次看得院線電影好像是水行俠吧。然後近期在講話的時候發現對於把想法表達成文字的能力變弱了許多，雖然本來就沒有多好啦。</p><p>回歸正題，讓我們來談談復仇者聯盟4吧。不，應該是來說說超級英雄電影吧。想想當年第一次接觸漫威撇除李安的綠巨人浩克，我想應該是鋼鐵人二，那時候還是高一。朋友約說要不要去看鋼鐵人二，那時還滿問號的，是不是什麼某種B級片，但看了預告片覺得：「乾，好帥。那個盔甲，那個用手發射光炮。」然後就這樣開始了我的追隨漫威之路。在那之前對我來說的</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*SpZIhKOyu6BNdKcq.jpg" /></figure><p>超級英雄大概就是我從小看到大的蝙蝠俠，而且那還是在我剛看完黑暗騎士後，覺得超級英雄是那種為了正義，有著自己的原則，相信人性本善的人（我是不相信我那時候懂什麼人性啦）。另外就是不知道為什麼讓我覺得很討厭的超人，剩下就是什麼聽過的閃電俠balabala。而且完全分不清楚什麼DC還漫威。但看完鋼鐵人2（雖然是很多覺得是滿糟的一部），到了現在我不知不覺竟然快把這22部湊齊了（漏了前兩部<strong>女力</strong>⋯⋯啊不是，是驚奇隊長跟蟻人2），然後偶爾還會去翻翻原著漫畫。</p><p>蝙蝠俠在我心目中有著不可撼動的地位，直到看完這部我想鋼鐵人可以平起平坐了（曾經奇異博士有稍微上來晃一圈，因為他真的太帥了）。漫威能夠帶來這麼大的轟動——先撇除漫畫——他對於人物的刻畫，不再是那麼高高在上的英雄。而是每個人物，他們都有自己的恐懼、憤怒、悲傷、自我個性需要克服。雖然跟我們的生活還是相差甚遠，但給予了他們更多的人性，讓他們不再只是只要想辦法打敗壞人，伸張正義的英雄，而是跟我們一樣需要考慮到女朋友、保護重要的人、自我及犧牲中抉擇。</p><p>東尼・史塔克原本發生意外回國後，可以繼續過著那天才、億萬富翁、花花公子又是慈善家的生活。但他卻可能為了一時興起，或是相信這是他的本命，而在記者會說出”I’m iron man.”。在成為鋼鐵人的過程中他感受到自己生命之於其他英雄是多麼地脆弱，但他的付出卻不亞於他們。他可能不適合成為英雄，但他卻克服了恐懼，最後甚至不惜犧牲一切。或許在人格上他沒辦法受到妙爾尼爾的認同，但他的精神我想是可以的吧。</p><p>史蒂夫・羅傑斯，將一生奉獻給他人的人，從來沒有為了自己活著。再最後的最後。學會了好好地為自己活過一遍。或許看起來有點自私，但那也是他最後也是唯一的自私吧（但我覺得他在美3，對史塔克跟好基友巴奇之間滿自私的）</p><p>肥神索爾，全劇中最悲慘人物吧。從原本走路有風的高傲王位繼承人，到現在死了爸爸、死了媽媽、死了弟弟甚至故鄉毀了，國人只剩一半。然後在重要的大戰沒有秒準頭，為此感到非常自責，最後成了肥宅。一生都做著別人期望他做的事，最後什麼都沒了，才開始思考自己想要的是什麼。雖然聽起來跟史蒂夫很像，但我覺得他的人物是另一種格調，大概就是富二代8+9，本來過得很順遂，但突然家族事業失敗欠了一屁股債，然後摃起了一切。</p><p>娜塔莎・羅曼諾夫，曾經一無所有。後來有了一切，但其實本人沒有太多感想，直到再次失去後，才發現這就是自己一直所希望有的家。其實說真的黑寡婦是復仇者中不可或缺的角色，打架沒有她感覺沒什麼差，但她卻是讓復仇者能夠一直聚在一起的角色。</p><p>雖然鷹眼跟浩克都是六元老，但說真的在這次，沒有太多突出的表現。浩克大概轉型變成搞笑角色吧。然後鷹眼剛開始以浪人設定出場是有被帥到，但後繼無力。</p><p>雖然奇異博士只出來一下，但已經夠帥了，短短的幾個鏡頭，用眼神傳達了很多戲，就是那一千四百萬零六百分之一的勝利。</p><p>至於薩諾斯，是個好人。人（生物）的慾望無窮，但資源有限，所以砍掉一半吧。可惜這裡是講人性的地球，這些事還是交給大自然來解決吧。</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*8eJoYSFDhsOPIT3-" /></figure><p>其實我在想，如果把這一系列的超級英雄漫畫、電影拿到古代看，可能就是所謂的神話傳說那類的東西。而漫威電影宇宙大概就是比較偏向希臘那邊，雖然是英雄（神），但拿掉神力後，只是跟人一樣有著缺點，讓人又愛又恨，但也有著每個人物可愛的那面的角色吧。</p><p>在看電影的時候旁邊的人問了我很狂的事。</p><p>寶：「欸欸欸，那個拿盾牌的是美國隊長對吧？」</p><p>我：『對啊。』</p><p>寶：「那右邊那個是誰？」（畫面右邊是沒穿鋼鐵裝的史塔克）</p><p>我：『鋼鐵人。』</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=192eea582676" width="1" height="1" alt=""><hr><p><a href="https://medium.com/into-the-night/avengers-assemble-avengers-endgame-192eea582676">“Avengers assemble!” — Avengers: Endgame</a> was originally published in <a href="https://medium.com/into-the-night">十十二夜</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>