<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Mehmet Celebi on Medium]]></title>
        <description><![CDATA[Stories by Mehmet Celebi on Medium]]></description>
        <link>https://medium.com/@mehmet-celebi?source=rss-423f3c6a0358------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*PvAYMhuuqzZomkRqrHO_LA.jpeg</url>
            <title>Stories by Mehmet Celebi on Medium</title>
            <link>https://medium.com/@mehmet-celebi?source=rss-423f3c6a0358------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 12:52:28 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@mehmet-celebi/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Trendyol’da Load Balancer Altyapımızı Nasıl Monitor Ediyoruz?]]></title>
            <link>https://mehmet-celebi.medium.com/trendyolda-load-balancer-altyap%C4%B1m%C4%B1z%C4%B1-nas%C4%B1l-monitor-ediyoruz-161158509087?source=rss-423f3c6a0358------2</link>
            <guid isPermaLink="false">https://medium.com/p/161158509087</guid>
            <category><![CDATA[trendyol]]></category>
            <category><![CDATA[tengine]]></category>
            <category><![CDATA[trendyoltech]]></category>
            <category><![CDATA[load-balancer]]></category>
            <category><![CDATA[nginx]]></category>
            <dc:creator><![CDATA[Mehmet Celebi]]></dc:creator>
            <pubDate>Thu, 27 May 2021 17:33:02 GMT</pubDate>
            <atom:updated>2021-05-28T13:18:58.747Z</atom:updated>
            <content:encoded><![CDATA[<p>Selamlar, bu medium yazısında Trendyol’da load balancer altyapımızı nasıl monitör ettiğimizden bahsedeceğiz, ancak öncesinde nasıl bir LB altyapımız olduğundan bahsetmekte fayda var.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*B8YausmVQzg3-fUBrKLW3w.png" /></figure><p>2019 yılının sonlarına doğru, event dönemlerinde karşıladığımız anlık trafiğin 550 bin seviyelerini aşması ile birlikte kullandığımız kutu çözümler ihtiyaçlarımıza cevap vermekte yetersiz kalmaya başladı. (Bahsi geçen kutu çözümlerden <a href="https://medium.com/@mehmet.celebi/trendyolda-y%C3%BCk-dengeleme-sistemleri-citrix-netscaler-adc-c1017febde68">burada</a> söz etmiştik.) Bu doğrultuda yeni çözümler aramaya başladık, birçok uygulama test ettik, ve eldeki seçenekler arasında ihtiyaçlarımıza en uygun olanın <strong>tengine</strong> olduğuna karar verdik.</p><h3><strong>Tengine Nedir?</strong></h3><p>Alibaba kuruluşlarından biri olan Taobao’nun geliştirdiği, nginx tabanlı open source load balancer uygulamasıdır. Tengine hakkında daha fazla bilgiye <a href="https://tengine.taobao.org/">buradan</a> ulaşabilirsiniz.</p><h3><strong>Ne Şekilde Kullanıyoruz?</strong></h3><p>Trendyol’da multi-datacenter bir mimari ile çalışıyoruz. Müşteri trafiğimiz CloudFlare üzerinden belirlediğimiz yüzdesel oranlarla datacenter’larımıza dağılıyor. Her datacenter’da internal ve external olarak gruplandırdığımız load balancer instance’larımız mevcut. CloudFlare üzerinden gelen bu trafiği external load balancer’larımız karşılıyor ve belirli metodlar ile upstream’lere iletiyor.</p><p>Bunun dışında kalan trafiğimiz ise birbirine bağımlılığı olan (api to api) uygulamalarımızın iç iletişiminden oluşuyor. Aynı datacenter içerisinde veya DC to DC iletişimleri internal olarak gruplandırdığımız load balancer’lar üzerinden yönlendiriyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*uMgWRkAu0-GowXXFTHSlYg.jpeg" /><figcaption>Trendyol Multi-DC Traffic Flow</figcaption></figure><p>Load balancer altyapımızın teknik detaylarından, yaptığımız konfigürasyonlardan ve otomasyon sistemlerimizden detaylı bahsedeceğiz ancak bu başka bir yazının konusu.</p><h3><strong>Nasıl Monitör Ediyoruz?</strong></h3><p>Bu kısmı metricleri export etme, toplama ve alert üretme olarak 3 ayrı kısımda açıklayacağız.</p><p><strong>1-) Metric’leri Export Etmek</strong></p><p>Bu aşamada şuan için 3 adet exporter kullanıyoruz.</p><ul><li><a href="https://github.com/prometheus/node_exporter"><strong>Node Exporter</strong></a></li><li><a href="https://github.com/hnlq715/nginx-vts-exporter"><strong>VTS Exporter</strong></a></li><li><a href="https://github.com/czerwonk/bird_exporter"><strong>Bird Exporter</strong></a></li></ul><p>Node exporter ile instance’ların cpu utilization, memory usage, network throughput gibi performans ve hardware metriclerini,</p><p>VTS exporter ile Tengine üzerinden anlık request miktarı, response süreleri, hata oranları gibi tengine metriclerini,</p><p>Bird exporter ile BGP komşuluklarını kurduğumuz bird’ün metriclerini toplayabiliyoruz.</p><p>Bu exporter’ları deployment esnasında, tüm load balancerlarımıza kuruyoruz. Kurulum sonrası exporter servisi running olduğunda data toplamaya hazır hale geliyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/552/1*kFwWsRzm2xpiNwhGRMrBNw.png" /></figure><p><strong>2-) Metric’leri Toplamak</strong></p><p>Sıra geldi export ettiğimiz metricleri toplamaya. Bunun için her datacenter’da load balancer fabric’ini oluştururken bir tane de monitor node oluşturuyoruz.</p><p>Oluşturduğumuz monitor node üzerinde temelde 3 adet uygulama çalışıyor.</p><ul><li><a href="https://github.com/prometheus/prometheus"><strong>Prometheus</strong></a></li><li><a href="https://github.com/grafana/grafana"><strong>Grafana</strong></a></li><li><a href="https://github.com/prometheus/alertmanager"><strong>Alertmanager</strong></a></li></ul><p><strong>Prometheus</strong>, bizim için belirttiğimiz target’lar üzerinde seçtiğimiz metric’leri topluyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/526/1*LkhN1HWzlIO0RGK0QaVMcg.jpeg" /></figure><p>Aynı zamanda Prometheus konfigürasyonu içerisinde alerts klasörü altına, her exporterdan oluşturacağımız alarmları tanımlıyoruz. Örneğin aşağıda node_reboot_required değeri 1&#39;in üzerine çıktığında alarm üretecek olan kuralı görüyorsunuz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/597/1*pz1zrydPF9Sud5OC-zIfug.jpeg" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zKC8pq4QJaRXcwyHlTGbRw.jpeg" /></figure><p>Ürettiğimiz bu alarmlardan bildirimler yaratabilmek için, Prometheus’un Alertmanager’a göndermesini sağlıyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/377/1*jKJTrqdIEsFpK-Y0R1IWeA.jpeg" /><figcaption>Prometheus konfigürasyonu içerisinde Alertmanager tanımı</figcaption></figure><h3>Monitor node üzerinde kullandığımız bir diğer uygulama ise <strong>Grafana</strong>.</h3><p>Grafana, Prometheusun topladığı metric’leri bizim için anlamlı bir hale getiriyor. Bunun için öncelikle Prometheus sunucusunu grafana’ya data source olarak eklemeli ve uygun dashboardları yaratmalıyız.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/648/1*tHhIwFqW1iAt8SkynT_vrA.jpeg" /><figcaption>Grafana — Data Source Alanı</figcaption></figure><p>Örneğin aşağıda VTS Exporter üzerinden aldığımız HTTP Status code’ların grafiğini ve bu grafik için gerekli regex’i görebilirsiniz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PuSwfvjjTNfxazAmQ2_VuQ.jpeg" /></figure><h3><strong>3-) Alarm Üretmek</strong></h3><p>Daha önce Prometheus üzerinde target’ları tanımlayıp, ihtiyacımız olan metricler ile rule oluşturarak alarm üretmiş, ve bu alarmları Alertmanager’a göndermiştik.</p><p>Alertmanager’ı kurduğumuz monitor node’un 9093 portuna gittiğimizde yukarıda örnek verdiğimiz alarmın buraya düştüğünü görebiliriz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/636/1*Phy0MGR7QLSSsYKIrokY2g.jpeg" /></figure><p>Şimdi ise bu alarmın bize SMS / Telefon / Mail olarak gelmesini sağlayacağız. Bu aşamada ise imdadımıza, dışarıdan satın aldığımız bir hizmet olan PagerDuty yetişiyor.</p><p>Bunun için PagerDuty’de bir service directory yaratıp service key oluşturuyoruz. Bu service key ile Alertmanager üzerinde entegrasyon için gerekli konfigürasyonu yapıyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/584/1*0E-U1l-vHet9rf15NSnmkg.jpeg" /></figure><p>Bu aşamadan sonra Prometheus’un Alertmanager’a ilettiği alarmlar, PagerDuty’e düşüyor. PagerDuty, service directory altında belirttiğimiz nöbet listelerine göre o günün nöbetçisini, ulaşamaz ise yedek nöbetçiyi arıyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*xksdM5Ffxy9g3axkKSu-9w.jpeg" /></figure><h3><strong>Soru : Peki ya monitor node’umuzda bir sorun olursa nasıl alarm üreteceğiz?</strong></h3><p>Bu noktada devreye Deadmansnitch giriyor, Deadmansnitch’de tıpkı PagerDuty gibi dışarıdan satın almış olduğumuz bir hizmet. Monitor node üzerinde PagerDuty entegrasyonunu yaptığımız yerde ek olarak birde Deadmansnitch konfigürasyonu yapıyor ve 5 dakikada bir heartbeat alarmı üretmesini sağlıyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/384/1*vG3rAscHvJmiycj8E37MnA.jpeg" /></figure><p>Alertmanager üzerinde de görebildiğimiz bu Watchdog alarmı, 5 dakikalık aralıklarla Deadmansnitch’e gidiyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/599/1*u0000bppVQqwizK-7TUPjA.jpeg" /></figure><p>15 dakika içerisinde bu watchdog alarmı Deadmansnitch’e hiç gelmez ise, Deadmansnitch alarm üretiyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/738/1*UWwymf1zOesV1vfAX0T9iQ.jpeg" /></figure><p>Başka konularda görüşmek üzere! Teşekkürler.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=161158509087" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Trendyol’da Yük Dengeleme Sistemleri (Citrix Netscaler ADC)]]></title>
            <link>https://mehmet-celebi.medium.com/trendyolda-y%C3%BCk-dengeleme-sistemleri-citrix-netscaler-adc-c1017febde68?source=rss-423f3c6a0358------2</link>
            <guid isPermaLink="false">https://medium.com/p/c1017febde68</guid>
            <category><![CDATA[load-balancing]]></category>
            <category><![CDATA[citrix-netscaler]]></category>
            <category><![CDATA[context-switching]]></category>
            <category><![CDATA[trendyol]]></category>
            <category><![CDATA[cache]]></category>
            <dc:creator><![CDATA[Mehmet Celebi]]></dc:creator>
            <pubDate>Tue, 20 Aug 2019 09:58:27 GMT</pubDate>
            <atom:updated>2019-08-20T11:28:40.908Z</atom:updated>
            <content:encoded><![CDATA[<p>Bu yazımızda Citrix Netscaler ADC’nin ne işe yaradığından, Trendyol’da hangi feature’larını kullandığımızdan ve ne gibi iyileştirmeler sağladığından bahsedeceğiz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/500/1*i_a_nQwgMNG4mFS3J4JjuQ.png" /></figure><p><strong>Citrix Netscaler ADC Nedir?</strong></p><p>Citrix Netscaler Application Delivery Controller genelde en çok kullanılan feature’u olan load balancer adıyla anılır ancak yalnızca load balancer diye bahsetmek fazlasıyla yetersiz olacaktır. ADC, uygulamalarınız için yüksek kalitede sunum deneyimi, güvenlik ve performans sağlamayı hedefleyen bir çözümler bütünüdür.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/335/1*9X1eMdYo_ETM5-lAwWOJPA.png" /></figure><p><strong>Hangi Featureları Kullanıyoruz?</strong></p><p>ADC ile son kullanıcının/müşterinin eriştiği uygulamaların arkasına birden fazla server alıp, bu serverların up/down statusuna ve üzerindeki yüke göre dağıtılmasını sağlayabilir, kullanıcıya dönecek response’u kurallar ile belirleyerek cache’leyebilir. SSL sertifikası ekleyerek güvenliği sağlayabilir, bu sertifikanın ADC üzerinde çözülmesini sağlayarak back-end’in yükünü hafifletebiliriz. Tüm bunları yapmak için Content Switching, Load-balancing, Integrated Caching ve SSL Offload feature’ları yeterli olacaktır.</p><p><strong>Content Switching Nedir?</strong></p><p>Content switching en temelde bir domainin içerisindeki farklı alt adreslerin farklı sunuculara yönlendirilmesi için kullanılır. Örneğin;</p><p><a href="https://www.trendyol.com/butik">www.trendyol.com</a> domainine /butik isteği geldiğinde X sunucusuna yönlendirmek, /elektronik isteği geldiğinde Y sunucusuna yönlendirmek için content switching feature’ını kullanırız.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*52ahqJWOY8lCSWhqIU5EPA.jpeg" /></figure><p><strong>Load-balancing Nedir?</strong></p><p>Bir uygulamanın arkasına birden fazla sunucu alıp bu sunucuların sağlık ve yanıt verme süresine göre kullanıcının yönlendirilmesini sağlar. Farklı ihtiyaçlara göre least connection, round robin gibi farklı yönlendirme methodları da uygulanabilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/631/1*glabeh-H0kxWbH5m_YVnAw.jpeg" /></figure><p>Sunucuların önüne sanal bir sunucu alarak client’in bu sanal sunucuya gelmesi sağlanır, back-end’de hangi sunucuya yönlendirileceğine seçilen metoda göre Netscaler karar verir, böylece hem load balance edilmiş hemde back-end gizlenmiş olur.</p><p><strong>Integrated Caching Nedir?</strong></p><p>Integrated Caching, değişken olmayan response’larda client’in her defasında back-end’e yönlendirilmemesini sağlar. Örneğin anasayfa, butikler, ürünler her kullanıcıya aynı response dönülen statik sayfalardır. Bu requestlerin tekrar tekrar back-end’e gitmesi yüksek resource kullanımı ve network trafiğine neden olur. Çok request gelen sayfaların cache’lenmemesi veya policylerin yanlış oluşturulması peak anlarında back-end’de ciddi sorunlar oluşturabilir.</p><p>Trendyol’da bu responseları, uygulamaya özel süre ve size belirleyerek cacheliyoruz.</p><p><strong>SSL Offload Nedir?</strong></p><p>SSL Encryption&amp;Decryption sunucu üzerinde göz ardı edilemeyecek seviyede CPU tüketen bir işlemdir. Bu processlerin back-end sunucular üzerinde uygulanması performansı büyük ölçüde etkiler.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/631/1*pAqglC3TdG1Mb7oi8P8BXg.jpeg" /></figure><p>SSL Offload bu decryption işleminin Netscaler üzerinde uygulanarak back-end’e trafiğin unsecure gönderilmesidir. Client Netscalera kadar encrypted gelir, burada request decrypt edilerek sunucuya gönderilir, gelen response tekrar encrypt edilerek clienta gönderilir.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=c1017febde68" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>