<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by teguh riadi on Medium]]></title>
        <description><![CDATA[Stories by teguh riadi on Medium]]></description>
        <link>https://medium.com/@rydteguh?source=rss-6b47e747b579------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*K5Q401u1SowhKOV_2SJLcg.jpeg</url>
            <title>Stories by teguh riadi on Medium</title>
            <link>https://medium.com/@rydteguh?source=rss-6b47e747b579------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Wed, 18 Nov 2026 00:05:37 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@rydteguh/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Mengenal Data Arsitektur Lambda — Vidio.com]]></title>
            <link>https://medium.com/@rydteguh/mengenal-arsitektur-lambdavidio-com-data-arsitektur-2029cc56aefe?source=rss-6b47e747b579------2</link>
            <guid isPermaLink="false">https://medium.com/p/2029cc56aefe</guid>
            <category><![CDATA[software-architecture]]></category>
            <category><![CDATA[database-development]]></category>
            <category><![CDATA[data-streaming]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[lambda-architecture]]></category>
            <dc:creator><![CDATA[teguh riadi]]></dc:creator>
            <pubDate>Sat, 11 Aug 2018 03:36:12 GMT</pubDate>
            <atom:updated>2018-08-13T01:39:31.921Z</atom:updated>
            <content:encoded><![CDATA[<p>Data arsitekur merupakan kerangka yang terdiri dari berbagai komponen yang saling berkaitan dan bersinergi untuk mendukung terjadinya proses dalam hal menerima, mengolah, menghasilkan, dan memanfaatkan data untuk kebutuhan tertentu.</p><p>Pendekatan arsitektur yang diperkenalkan oleh Nathan marz dalam bukunya <a href="https://www.amazon.com/Big-Data-Principles-practices-scalable/dp/1617290343"><em>Big Data: Principles</em></a><em> </em>merupakan salah satu arsitektur data yang dapat menjawab kebutuhan pengolahan data yang <em>real time </em>dan akurat<em>. </em>Pendekataan tersebut dikenal dengan istilah Lambda<em> </em>arsitektur dan banyak dipakai oleh perusahaan teknologi ternama seperti Twitter, AirBnb, Facebook, dan tentunya KMK :)</p><p>Sebelum Lambda diperkenalkan, kita mengenal teorema CAP (<em>Consistency, Availability, Partition Tolerance</em>) yang menjelaskan bahwa sistem pengolahan data hanya bisa memenuhi dua dari tiga komponen CAP tersebut (anda tidak bisa membuat sebuah sistem yang konsisten, <em>available</em>, dan juga <em>partition tolerance</em> dalam sebuah sistem yang sama), namun dengan Lambda hal ini dapat diakomodasi dengan baik, yaitu dengan mengabungkan <em>speed layer</em> dan <em>batch layer</em> dalam proses pengolahan data.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/608/1*aTRmS5pWWi3iLyy_OGoikg.png" /><figcaption><a href="http://lambda-architecture.net/">http://lambda-architecture.net/</a></figcaption></figure><p>Selain dijelaskan pada buku karangan Nathan marz, sudah banyak artikel yang membahas secara komprehensif proses dari Lambda arsiktetur, keuntungan dan kekurangannya. Secara singkat Lambda memiliki beberapa komponen yaitu batch layer, speed layer, dan serving layer. Dari ketiga komponen tersebut Lambda memiliki beberapa keuntungan diantaranya adalah mampu memproses data secara <em>real time,</em> <em>reliable &amp; fault tolerance</em>, mampu meningkatkan kualitas data yang dihasilkan, dan juga mengakomodasi kebutuhan <em>historical </em>data.</p><p>Pada studi kasus kali ini kita akan membahas bagaimana proses menampilkan jumlah <em>count viewer </em>pada setiap video <em>live streaming </em>di Vidio.com</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/798/1*bNIvoZ1Q9a7Y3gjHuh3HCA.png" /><figcaption><em>Arsitektur Lamda vidio.com</em></figcaption></figure><ol><li>Data dari <em>client </em>dikirim menuju sistem melalui <em>client tracking</em> dan dikirim ke <em>message queue</em> dalam hal ini Pub/Sub, lalu Dataflow melakukan <em>streaming</em> terhadap data dan mengirimkannya ke dalam Redis dan Big Query</li><li>Redis berperan sebagai <em>speed layer</em> untuk memenuhi kebutuhan data <em>real time</em> data yang tersimpan pada Redis dikonsumsi langsung oleh aplikasi Vidio.com untuk menampilkan jumlah <em>viewer</em> pada setiap video.</li><li>Untuk kebutuhan <em>reporting </em>dimana akurasi data sangat diperhitungkan <em>batch layer</em> memainkan perannya, pada kasus ini data yang diteruskan ke Big Query akan diproses menggunakan ETL dan masuk ke tahapan selanjutnya</li><li>ETL dijalankan untuk memenuhi kebutuhan laporan dari proses <em>live streaming. </em>Hasil dari ETL digunakan untuk berbagai kebutuhan diantaranya kebutuhan laporan yang direpresentasikan pada Periscope Data, digunakan langsung oleh aplikasi Vidio.com, dan juga dapat di <em>query </em>langsung melalui Big Query</li><li>Baik data dari <em>batch </em>dan <em>speed layer</em> dikonsumsi oleh aplikasi Vidio.com</li></ol><p>Dalam kasus ini kebutuhan untuk menghasilkan data <em>real time </em>dan laporan data yang akurat terpenuhi dengan menggunakan pendekatan Lambda. <em>Speed layer </em>mengakomodasi kebutuhan untuk mengetahui jumlah <em>count viewer </em>pada setiap<em> </em>video <em>live streaming </em>secara <em>real time</em> sedangkan <em>batch layer</em> mengakomodasi kebutuhan laporan yang tentunya membutuhkan data yang lebih akurat, serta kebutuhan untuk menyimpan <em>historical </em>data.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2029cc56aefe" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Amankan Data Jenkins Anda !]]></title>
            <link>https://medium.com/@rydteguh/amankan-data-jenkins-anda-dcfd61bc6618?source=rss-6b47e747b579------2</link>
            <guid isPermaLink="false">https://medium.com/p/dcfd61bc6618</guid>
            <category><![CDATA[continuous-deployment]]></category>
            <category><![CDATA[jenkins]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[infrastructure-as-code]]></category>
            <dc:creator><![CDATA[teguh riadi]]></dc:creator>
            <pubDate>Sun, 08 Jul 2018 13:47:04 GMT</pubDate>
            <atom:updated>2018-07-08T13:47:45.354Z</atom:updated>
            <content:encoded><![CDATA[<p>Pernah memiliki banyak <em>jobs</em> di <em>Jenkins</em> yang berisi banyak sekali <em>bash script</em>, <em>ansible</em> dan seluruh kebutuhan untuk <em>testing</em> ataupun <em>deployment</em>? Dan hilang begitu saja karena anda mengganti server, <em>instance</em> atau alasan lainnya? Apapun jawaban anda baik pernah ataupun tidak, melakukan <em>backup</em> terhadap jenkins anda adalah sebuah kewajiban agar anda terhindar dari kerjaan yang tidak perlu dan membuang waktu.</p><p>Dalam artikel kali ini akan dijelaskan bagaiman melakukan <em>backup </em>terhadap <em>jenkins job</em> anda, dengan menggunakan <em>plugin </em>Thin Backup dan juga Google Cloud Storage.</p><ol><li><em>Install Plugin </em>Thin Backup pada <em>jenkins</em>.</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*smvc2xUyY64rjys0tMTZgg.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*UgMy0tlOD9PNhW3FkqggKw.png" /><figcaption>Thin Backup</figcaption></figure><p>2. Tentukan lokasi backup pada instance dan jadwal untuk backup</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-RS6qFesHBhlT9aanxmYbQ.png" /></figure><p>3. Setelah selesai melakukan dua langkah diatas, secara berkala konfigurasi anda otomatis akan di simpan dalam folder yang anda tentukan. Dalam contoh ini ke dalam folder<strong> /jenkins-data/jenkins/backup</strong> di instance anda.</p><p>Namun belum selesai sampai di sini, karena jika anda merubah instance anda atau melakukan install ulang pada instance anda maka seluruh data pada folder backup pun akan terhapus. Di sinilah fungsi dari menggunakan Google Cloud Storage (GCS), karena seluruh konfigurasi <em>jenkins </em>anda akan disimpan dalam <em>cloud</em>, dan tetap aman data terhapus pada <em>instance</em>.</p><p>4. Masuk ke dalam <em>folder </em>backup di <em>instance </em>anda, dan <em>upload folder </em>backup anda ke GCS (Untuk menggunakan GCS pada command line anda harus melakukan beberapa setup dan memiliki service account)</p><p>Lakukan perintah dibawah ini untuk menyimpan <em>folder </em>backup anda ke GCS, dalam contoh ini bucket GCS yang digunakan adalah <strong>jenkins-backup-tester</strong></p><pre><strong>jenkins@server:/jenkins-data/jenkins/backup$ </strong>gsutil -m cp -r FULL-<br>2018-07-02_10-13/ gs://jenkins-backup-tester/</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*pexPQmS0kACZtc8M21hPaA.png" /><figcaption>Isi folder backup <em>jenkins </em>yang telah terupload di GCS</figcaption></figure><p>5. <em>Config jenkins </em>anda sudah tersimpan dalam GCS, dan jika anda membutuhkannya ketika melakukan <em>install </em>ulang <em>jenkins </em>anda tinggal meng-copy seluruh <em>config jenkins </em>yang ada di GCS ke dalam <em>folder </em>instalasi <em>jenkins </em>anda</p><p>6. Selamat! bila terjadi sesuatu yang tidak diinginkan, sekarang anda aman dari melakukan konfigurasi ulang terhadap jenkins anda.</p><p>Dalam melakukan backup terhadap jenkins, anda bisa menggunakan <em>cloud storage</em> lain selain GCS, pointnya adalah simpan data anda ketempat yang memiliki kemungkinan terkecil untuk hilang.</p><p>Selain itu proses copy meng-copy konfigurasi <em>jenkins </em>bisa anda jadwalkan dengan menggunakan <em>cronjob</em> sehingga data yang tersimpan pada <em>cloud storage </em>selalu terupdate sesuai keinginan anda.</p><p>Semoga bermanfaat !</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dcfd61bc6618" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>