<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Burak Tungut on Medium]]></title>
        <description><![CDATA[Stories by Burak Tungut on Medium]]></description>
        <link>https://medium.com/@btungut?source=rss-989623ca38f0------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*shl-Sf3DuvuLhgQc.</url>
            <title>Stories by Burak Tungut on Medium</title>
            <link>https://medium.com/@btungut?source=rss-989623ca38f0------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 12:12:37 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@btungut/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[ElasticSearch Serisi : Mimari Özellikleri, Sharding, Failovering ve Scaling]]></title>
            <link>https://medium.com/@btungut/elasticsearch-serisi-mimari-%C3%B6zellikleri-sharding-failovering-ve-scaling-e08f847952f6?source=rss-989623ca38f0------2</link>
            <guid isPermaLink="false">https://medium.com/p/e08f847952f6</guid>
            <category><![CDATA[software-architecture]]></category>
            <category><![CDATA[elasticsearch]]></category>
            <category><![CDATA[nosql]]></category>
            <dc:creator><![CDATA[Burak Tungut]]></dc:creator>
            <pubDate>Fri, 27 May 2016 07:22:46 GMT</pubDate>
            <atom:updated>2016-05-27T07:32:50.307Z</atom:updated>
            <content:encoded><![CDATA[<p>ElasticSearch Serisi : Mimari Özellikleri, Sharding, Failovering ve Scaling</p><p>Herkese merhaba!</p><p>Bugün aşağıda göreceğiniz ve elasticsearch’de bilmemiz gereken terimlere değineceğiz. Son iki maddemiz olan <strong>shards </strong>ve <strong>replicas’</strong>lara biraz ayrıcalık tanıyacağız. Çünkü makalenin odak noktası olarak onları belirledim. Sonraki bölümlerde detaylarıyla diğer maddelere de değineceğiz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/1*_-UHjQBIGgo877TvN-1-hw.png" /></figure><ol><li>Node</li><li>Cluster</li><li>Index</li><li>Type</li><li>Mapping</li><li>Document</li><li>Shard ve Replica</li></ol><p>Bazı yabancı kaynakları incelerseniz node’lardan önce cluster’ları incelediklerini görebilirsiniz. Bu gerçekten garibime gidiyor. Neden mi? Aşağıda değindim. Haydi başlayalım.</p><h3>Node</h3><p>Bir server üzerine kurduğumuz ve sonraki makalelerimizde göreceğimiz document’larımızı index’leyip, üzerlerinde query’ler çalıştıracağımız tek bir elasticsearch instance’ına verdiğimiz isimdir. Buna örnek olarak bir önceki makalemizde ubuntu server üzerine kurduğumuz elasticsearch instance’ını verebiliriz. Kendileri bir node olurlar.</p><p>Kurduğumuz bir node özellikle müdahele etmediysek random bir isim alır. Elasticsearch geliştiricileri random bir string vermektense <strong>Marvel</strong> karakterlerinden bir tanesini random seçerek atanmasını sağlamışlardır. Hatta gelin bir önceki makalede kurduğumuz elasticsearch node’unun ismine bir bakalım.</p><p>Bunun için <strong>/_nodes</strong> endpoint’ine HTTP GET request atmamız yeterli olacaktır. Sense yardımıyla bir request atalım ve node’umuza Marvel karakterlerinden atanan ismi görelim.</p><p>Beklentim bir <strong>Hulk</strong> idi fakat ilk defa duyduğum <strong>Balthakk</strong> ismi ile karşılaştım</p><p>Eğer sonraki alt konuda inceleyeceğimiz gibi bir cluster’ımız varsa ve çok fazla node üzerinde çalışıyorsak yönetilebilirlik açısından default isimler yerine bizim vereceğimiz isimleri tercih etmek durumunda kalabiliiz. Bir node’un ismini sadece bir HTTP POST ile sonradan değiştirebiliyoruz. REST API’lar üzerine kurulu olmasının bir faydası daha!</p><p>Dikkatinizi birde resimdeki ilk key’lerden <strong>cluster_name</strong>’e çekmek isterim. Bu da node’un dahil edileceği cluster ismimiz. Eğer aynı network’de birden fazla cluster’ımızda varsa default cluster ismi yerine yine kendimiz bir cluster ismi vermek durumunda kalabiliriz diyelim ve şimdi cluster ile konumuza devam edelim.</p><h3>Cluster</h3><p>IT sektöründeki çoğu terim Türkçe’ye çevrildiklerinde asıl anlamlarını yitirirler. Ama <strong>cluster</strong> onlardan biri değil. Küme, demet olarak çevrilebilen <strong>cluster</strong> Tükçe olarakta gayet anlaşılır olabiliyor. Cluster bir veya birden fazla elasticsearch node’unu içerisinde barındıran yapılardır. Fakat bir cluster içerisinde tutacağımız node’lar rasgele document’lar içeren node’lar olamazlar. Kesinlikle ve kesinlikle aynı amaca hizmet etmeye çalışan, index, routing ve schema’ları aynı olan node’lar olmak durumundadır.</p><p>Çünkü bu gereksinimin ve cluster’ların amacı gerektiğinde <strong>failover</strong> yaparak birbirleri yerine geçebilmek ve(ya) toplam yükü paylaşarak <strong>distribute </strong>edebilmek. Bakın bu terimleri çeviremedim işte Ama failovering ve distributing için bazı örnekleri aşağıda ve sonraki makalelerimizde beraber yine inceliyor olacağız.</p><p>Bir cluster kurmak için node’larda yaptığımız gibi kurulumlar ile uğraşmanıza gerek yoktur. Çünkü fiziksel olarak nitelendirebileceğimiz bir olgu değildirler. Bir nevi node’ları gruplandırmak gibi düşünebiliriz. Bazı node’ları A cluster’ına bazılarını B cluster’ına dahil etmek için yapmamız gereken tek şey kurulu olan node’ların <strong>cluster_name</strong>’lerini değiştirmektir.</p><p>Default olarak bu değer <strong>elasticsearch</strong> olarak atanır. Eğer bir network — domain üzerinde birden fazla cluster’ınız olacaksa mutlaka benzersiz cluster isimleri seçmelisiniz. Birde her bir cluster için bir den fazla ortamınız varsa bunlar içinde benzersiz isimler belirlemeniz gerekir. İlk aklıma gelen örnekleri paylaşmak isterim;</p><ol><li>…..-dev</li><li>…..-preprod</li><li>…..-prod</li></ol><p>Biraz geleneksel oldu ama sizlerinde aklına bunların geldiğine eminim</p><h3>Index</h3><p>Node ve Cluster’dan sonra biraz daha üst katmanlara çıkalım. Şimdi sırada Index’ler var. Eğer relational database’lerdeki karşılığına bakmak istersek Index’leri bir database (catalog)’a benzetebiliriz. Ya da benzer karakteristik özelliklere sahip document’ları içerisinde bulunduracak bir collection’a da. Bir node içerisinde 0 veya daha fazla Index bulunabilir. İsimleri benzersiz ve lowercase olmak zorundadır.</p><p>Bir index yaratmak için sadece index’in yaratılacağı bir HTTP POST request yapılabileceği gibi, hiç yaratılmamış bir index ve type içerisine document eklenmeye çalışıldığında da yaratılması elasticsearch engine’e bırakılabilir.</p><p>Makalemizin başında asıl odaklanacağımız noktaların <strong>Shard</strong>’lar ve <strong>Replica</strong>’lar olacağından bahsetmiştik.<br>Özellikle belirtilmediyse bir index’in default olarak <strong>5 primary shard</strong>’ı ve <strong>1 replica shard</strong>’ı bulunur. Özellikle belirtilecekse de bir index’in <strong>en az 1 primary shard</strong>’ı ve <strong>en az 0 repliaca shard</strong>’ı bulunmak zorundadır.</p><h3>Type</h3><p>Index’lerin altında tanımlanabilecek ve içerisinde documant’ları barındıracak birimlerdir. Relational database’lerdeki karlşılığı tablolara / partition’lara denk gelir. Index’lerde olduğu gibi sınırı yoktur ve isimleri lowercase olup kendi aralarında benzersiz olmak zorundadırlar.</p><h3>Mapping</h3><p>Index’ler altında tanımlanacak olan Type’ların nasıl field’lara sahip olacağı ve bu field’larda ne gibi analyzing işlemlerinin yapılacağı bilgisini taşırlar. Bunu relational database’lerdeki column type, relation, index vs. tanımlamalarına benzetebiliriz.</p><p>Full text search ya da elasticsearch’ün desteklediği diğer özellikler kullanılacaksa hangi alanların hangi analyzer ile tokenize edileceğini mapping’ler ile bildirilir.</p><h3>Document</h3><p>Ve sonraki makalelerde en çok kullanacağımız noktaya geldik. Document’lar aslında Index içerisindeki Type’larında içinde barındıracağımız ve üzerlerinde CRUD işlemleri gerçekleştireceğimiz birimlerdir.</p><p>Relational database’deki karşılıkları tablo içerisinde tuttuğumuz verilerdir. Index, Type ve Document için hep relational database’lerdeki karşılığı olabilecek noktalardan örnekler vermeye çalıştım. NoSql engine’ler ile ilk defa tanışan okurlarımın daha iyi anlayabilmelerinden başka amacım yok :)</p><p>Örneğin kendi blog sitemden örnek göstereyim. Tabi ki üzerinde devasa search query’ler çalıştırmadığım için bir NoSql çözüme ihtiyaç duymadım. Bu blogta örnek gösterebileceğim <strong>Blog</strong> adında bir database (catalog) olması, içerisinde <strong>Blogs</strong>, <strong>Categories</strong>, <strong>Comments</strong> gibi tabloların bulunması ve her bir tablonun <strong>schema-full</strong> olup içerisinde verilerin bulunmasıdır.</p><p>Eğer bu blog için relational database değilde elasticsearch gibi bir NoSql çözüm kullansaydım bunların karşılığı tamda şöyle olacaktı;<br><strong>Blog</strong> adında bir Index ve içerisinde tanımlanmış <strong>Blogs, Categories, Comments</strong> adlarında birer <strong>schema-less </strong>Type (ve mapping’leri) ve her bir Type’ın içerisinde ise her ne kadar schema-less olsada büyük ölçüde benzer field’lara sahip document’lar olacaktı.</p><h3>Shard ve Replica</h3><p>Şu alt konuya geldiğimde nasıl bir başlangıç yapmam gerektiğini bir türlü belirleyemedim çünkü bu iki yapının önemini anlatabilecek sözleri tam olarak seçemiyorum. Anlatımı kullanımından daha kolay. Fakat bazı noktalarda değiştirilemeyen yapılar içerdiği için büyük data’lar içerecek olan bir cluster’ımız varsa son derece dikkatli davranmalıyız.</p><p>Shard’lar store edilmiş olan document’ların tutulduğu küçük birimlerdir. Her bir shard aslında birer lucene instance’ına tekabül eder. Daha önce bahsettiğimiz gibi bir Index’in kaç adet shard’a sahip olacağını özellikle belirtmediysek bizler için 5 adet shard yaratılır. Peki bu 5 adet shard aynı data’ları mı içerir?</p><p><strong>Hayır!</strong> Bir index yarattığımızı ve 1000 adet document store ettiğimizi düşünelim. Bu durumda elasticsearch yaratılan 5 shard’a eşit bir şekilde bu document’ları distribute edecektir (dağıtacaktır).</p><p>Şimdi de store ettiğimiz bu 1000 adet document’ın bir field’ına göre search yaptığımızı düşünelim. Aradığımız tüm document’ların aynı shard’da store edildiklerinden emin olamayız. Bu nedenle request’i alan elasticsearch engine <strong>paralel</strong> olacak şekilde tüm shard’lar üzerinde bu searching işlemini gerçekleştirir ve <strong>tüm shard’lar cevap verdikten sonra</strong> hepsini concat ederek bize sunar. Her bir shard’ın birer lucene instance’ı olmasının faydasını bu noktada görüyoruz. Çünkü aynı node üzerinde dahi birden fazla shard varsa kendi aralarında paralel olarak çalıştırılabilirler.</p><p>Birde replica shard’lara göz atalım. Daha önce belirttiğimiz gibi biz özellikle belirtmedikçe her bir Index’in 1 replica shard’ı vardır. Aslında bu 1 adet replica shard anlamına gelmiyor. Bu söz konusu index içerisindeki <strong>her bir primary shard için 1 adet replica shard</strong> anlamına geliyor. Replica shard’lar primary shard’ların aksine, söz konusu primary shard’ın içerdiği document’ların birebir kopyasını içerir. Bu da kullandığımız mimari için <strong>yatayda failovering ve scaling</strong> imkanları sağlayacaktır.</p><p>Dilerseniz bunu biraz açalım. Yine 1000 adet document’ın 5 primary shard’a bir node üzerinde distribute edildiğini düşünelim. Ardından aynı cluster’a bir başka node daha ekleyelim. Yani aynı network / domain içerisine dahil edilmiş bir sunucu ve içerisinde kurulu elasticsearch engine’i. Bu durumda 1. node’da ki 5 primary shard 2. node ile paylaşılacaktır. 2,5 birine 2,5 birine paylaşması söz konusu olmadığı için 2–3 ya da 3–2 olacak şekilde bir paylaşım söz konusu olacaktır</p><p>Şöyle betimleyebiliriz;</p><p>1. Node : S1 S2 S3<br>2. Node : S4 S5</p><p>Primary shard’lar için durum böyle. Birde her bir primary shard’ın birer replica shard’ı olduğundan ve bire bir aynı data’yı içerdiklerinden bahsettik. Şimdi konu dışında bir soru sormak isterim size. Bilgisayarımızda 2 adet hard-disk’in olduğunu düşünelim. Siz 1. hard-disk’in yedeğini alıp 1. hard-disk’te tutmak ister misiniz? Bu hiçte tutarlı bir çözüm olmayacaktır. Bu nedenle primary shard’lar node’lar arasında paylaştırılırken, söz konusu replica shard’lar aynı document’ları tuttuğu primary shard ile aynı node üzerinde barındırılmazlar. Yani aşağıdaki gibi bir paylaşım olur;</p><p>1. Node : S1 S2 S3 R4 R5<br>2. Node : S4 S5 R1 R2</p><p>Böyle bir mimarimiz mevcut iken herhangi bir node’un down olması halinde ayakta kalmış olan node’da ki replica shard’lar birer primary shard’a dönüşecek ve consistency bozulmadan cluster’a gelen request’ler yine karşılanabilecektir. Pek tabi artık bir node’umuz mevcut olduğu için bu node’u kaybetmememiz gerekir. Elasticsearch’ün sağladığı <strong>failover</strong> avantajlarından biri bu idi.</p><p><strong>Scaling</strong>’e az önce biraz değinmiş olduk zaten. Elimizde 1000 adet document ve 5 primary shard var iken bunu tek bir node’da değil, aynı cluster’da farklı bir node ile distribute ettik. Bu da bir machine üzerindeki I/O işlemlerini azaltacak ve primary shard’ların kendi aralarında paralel işletildiği gibi node’larında kendi aralarında paralel işletilmesini sağlayacaktır.</p><p>Aynı zamanda bir node üzerindeki primary shard içerisinde (diğer bir değiş ile lucene instance) tutabileceğimiz document sayısı sınırlıdır. Tabi bu sınıra ulaşmak oldukça kolay değil çünkü bu sınır 2,147,483,519 olarak belirtilmiştir.</p><p>Umarım primary shard ve replica shard’lar için verdiğim bu örnek anlaşılır olmuştur. Söylediğim gibi bazen karmaşık bir hal alabiliyorlar. Planladığım başka bir makalede elimizdeki donanımsal kaynak ve barındıracağımız document sayısı / ivmesine göre nasıl bir hesaplama yapmamız gerektiğini anlatmayı planlıyorum.</p><p>Bu konu için şimdilik anlatacaklarım bu kadar <br>Şimdilik esen kalın…</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e08f847952f6" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>