<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Ömer Kurttekin on Medium]]></title>
        <description><![CDATA[Stories by Ömer Kurttekin on Medium]]></description>
        <link>https://medium.com/@omerkurttekin98?source=rss-b8c59c274fac------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/2*V47PM8iMGJJ7AZ_IsVswsw.jpeg</url>
            <title>Stories by Ömer Kurttekin on Medium</title>
            <link>https://medium.com/@omerkurttekin98?source=rss-b8c59c274fac------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 04:43:27 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@omerkurttekin98/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Yinelenen Sinir Ağlarının Sebepsiz Verimliliği]]></title>
            <link>https://medium.com/novaresearchlab/yinelenen-sinir-a%C4%9Flar%C4%B1n%C4%B1n-sebepsiz-verimlili%C4%9Fi-5c537e7cb0b4?source=rss-b8c59c274fac------2</link>
            <guid isPermaLink="false">https://medium.com/p/5c537e7cb0b4</guid>
            <category><![CDATA[yinelenen-sinir-ağları]]></category>
            <category><![CDATA[rnn]]></category>
            <category><![CDATA[lstm]]></category>
            <category><![CDATA[türkçe]]></category>
            <category><![CDATA[neural-networks]]></category>
            <dc:creator><![CDATA[Ömer Kurttekin]]></dc:creator>
            <pubDate>Thu, 23 Jan 2020 19:49:13 GMT</pubDate>
            <atom:updated>2020-01-23T19:49:13.964Z</atom:updated>
            <content:encoded><![CDATA[<p>Bu yazı Andrej Karpathy’nin <a href="http://karpathy.github.io/2015/05/21/rnn-effectiveness/">“The Unreasonable Effectiveness of Recurrent Neural Networks”</a> isimli blog yazısının <a href="https://medium.com/u/c8f54cf996f9">Serkan Kaan Bahşi</a> ve benim tarafımdan hazırlanan çevirisidir. Birebir çeviri olmamasına karşılık yazının dili ve anlam bütünlüğünü korumaya çalıştık. YSA kısaltması yapay sinir ağları ile karışabileceği için bu yazıda İngilizce kısaltması olan RNN’i (Recurrent neural network) tercih ettik. Keyifli okumalar.</p><p>—</p><p>Yinelenen sinir ağlarının büyülü bir tarafı bulumakta. Otomatik görüntü açıklama (Image Captioning) için ilk yinelenen ağımı eğittiğim zamanı hatırlıyorum. Hiperparametlerini rastgele seçtiğim bu ufak model, çok kısa bir süre içerisinde kendisine verilen görsellere neredeyse anlamlı açıklamalar üretebiliyordu. Bazen basit bir modelin verdiği sonuçlar beklentilerinizi aşacak kadar başarılı olabilir, ve bu onlardan biriydi. Sonuçların bu kadar şaşırtıcı olmasının sebebi o zamanki kanının RNN’lerin zor eğitilen birer ağlar olduğu düşüncesiydi (tecrübem arttıkça bunun tam tersinin doğru olduğu gerçeğine ulaştım). Bir yıl daha ileri sararsak: Sürekli RNN’leri kullanmaktayım ve onların gücüne ve sağlamlığına pek çok kez şahit oldum, buna rağmen hala beni etikleyecek sihirli sonuçlarla karşılaşabiliyorum. Bu yazı, bu sihrin birazını sizinle paylaşmakla ilgili olacak.</p><blockquote>RNN’i karakter bazında eğitip metin üreteceğiz ve şuna biraz kafayı yoracağız: “Bu nasıl mümküm olabiliyor?”</blockquote><p>Bu arada, bu yazıyla beraber <a href="https://github.com/karpathy/char-rnn">kodları Github</a> üzerinde paylaşıyorum, bu şekilde sizler de çok katmalı LSTM üzerinde karakter-bazlı dil modeli eğitebilirsiniz. Bu modele uzunca bir yazı derlemi verin ve kendisi karakter-bazında metin üretmeyi öğrenecektir. Ayrıca benim deneylerimi de tekrar edebilirsiniz. Çok fazla ileriye gitmeden; zaten RNN’ler neydi ki?</p><h3>Yinelenen Sinir Ağları</h3><p>Sekanslar. Tecrübenize bağlı olarak sorabilirsiniz:<em> Yinelenen Sinir Ağlarını bu kadar özel yapan ne?</em> Standart sinir ağlarının (diğer deyişle Evrişimli Sinir Ağları veya CNN) göze batan tarafı API’larının çok zorlama olması: sadece belirtli boyuttaki vektörleri (örneğin: bir fotoğraf) girdi olarak alıp yine sabit boyutta bir vektör çıktısı verirler (örneğin: sınıf olasılıkları dağılımı). Sadece bu da değil: Bu modeller, bu işlemleri sabit hesaplamalı adımlarda gerçekleştirirler (örneğin: modelin sahip olduğu katman sayısı). Yinelenen ağların daha heyecan verici olmasının temel sebebi, bizlere sekans halinde birbirini takip eden vektörler üzerinde işlem yapmamıza izin vermeleri: Bu sekanslar girdi de olabilir çıktı da, hatta daha yaygın olarak ikisi de. Bu bilgileri somutlaştırmak adına birkaç örnek verelim:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*3xJ7KveuQadLTFvs.jpeg" /><figcaption>Her dikdörtgen bir vektörü, her ok ise bir fonksiyonu (örnek: matris çarpımı) temsil etmekte. Girdi vektörleri kırmızı, çıktı vektörleri mavi ve RNN’in o anki durumunu tutan (yakında göreceğiz) vektörler ise yeşil renkle gösterilmiştir. Soldan sağa: (1) Bildiğimiz, klasik, RNN olmayan sabit boyutlu girdi-çıktı ilişkisi (örnek: görsel sınıflandırma). (2) Sekans şeklinde çıktı (örnek: bir fotoğrafa karşılık bir açıklama üretilmesi). (3) Sekans girdisi (örnek: bir metni olumlu veya olmusuz olarak sınıflandıran duygu analizi). (4) Sekans girdi ve sekans çıktı (örnek: Makine Çevirisi: İngilizce girdiyi alır ve Franszca çıktı verir). (5) Senkronize sekans girdi ve çıktısı (örnek: videonun her karesinin etiketlendiği bir video sınıflandırma). Bu durumların hiçbirinde sekansların uzunluğunda bir zorlama bulunmadığına dikakt ediniz çünkü yinelenen dönüşümler (yeşiller) sabittir ve istenildiği kadar tekrar edebilir.</figcaption></figure><p>Tahmin edebileceğiniz gibi; sekans halindeki düzen, sabit hesaplamalı adımlar sebebiyle daha başından kötü halde olan sabit ağlara göre çok daha güçlüdür ve bundan dolayı daha akıllı sistemler üretmek isteyenler için çok daha cazip bir seçenektir. Dahası, birazdan göreceğimiz gibi, RNN’ler girdi vektörleri ile kendilerinin sabit boyuttaki (ama eğitilmiş) durum vektörlerini kaynaştırıp yeni bir durum vektörü elde ederler. Bunu programlama dünyasında, sabit boyuttaki bir programı belirli girdi ve yerel değişkenlerle çalıştırmaya benzetilebiliriz. Bu açıdan bakarsak, RNN’ler temel olarak programları tarife ederler. Hatta, RNN’lerin <a href="http://binds.cs.umass.edu/papers/1995_Siegelmann_Science.pdf">Turing Complete</a> olduğu bilinmektedir, bu RNN’ler üzerinde herhangi bir programı simüle edebileceğiniz anlamında gelir (doğru ağırlıklarla). Ama sinir ağları için olan evrensel yaklaşım teoremlerinde olduğu gibi bunun da gereğinden fazla derinine inmenize gerek yoktur. Hatta, söylediğim her şeyi unutun.</p><blockquote>Eğer standart sinir ağları eğitilirken fonksiyonlar üzerinde optimizasyon yapıyor diyebiliyorsak, yinelenen sinir ağları eğitilirken programlar üzerinde optimizasyon yapıyor diyebiliriz.</blockquote><p>Ardışıklığın (sekansların) yokluğunda ardışık işlemler yapmak. Ardışık şekilde girdi veya çıktıların varlığının az rastlandığını düşünebilirsiniz ama buradaki önemli nokta, eğer girdileriniz/çıktılarınız sabit boyutta birer vektörler olsa bile bunların şekillerini değiştirerek ardışık hale getirebiliriz. Örneğin, aşağıdaki görselde <a href="https://deepmind.com/">DeepMind</a>’dan alınan çok başarılı iki makalenin sonuçlarını görmektesiniz. Sol tarafta, bir yinelenen sinir ağı, görsele ardışık olarak renkler ekleyerek öğrenmekte ve sayıların görüntülerini oluşturmakta (<a href="https://arxiv.org/abs/1502.04623">Gregor et al.</a>). Sağ tarafta, yinelenen sinir ağının odağını görüntünün etrafında yönlendiren, görseldeki sayıları sağdan sola okuyarak öğrenen bir algoritmayı görmektesiniz (<a href="https://arxiv.org/abs/1412.7755">Be et al.</a>).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/240/1*qGgbfFrh07e1HedNFbuzuA.gif" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/224/1*jSaV2oszG7eIPUJzDWu3Jg.gif" /><figcaption>Solda: RNN kapı numaralarını çizmeyi öğreniyor. Sağda: RNN kapı numaralarını okumayı öğreniyor</figcaption></figure><p>Buradan çıkarılacak ders, elinizdeki veriler sekanslar halinde (ardışıl) olmasa bile, bunları formülleştirerek ardışık şekilde öğrenen güçlü modelleri eğitebiliriz. Burada siz de sabit boyutlu verinizi işleyecek durumsal programları öğrenmektesiniz.</p><p>RNN hesaplamaları. Peki bunlar nasıl çalışıyor? RNN’lerin çekirdeklerinde aldatıcı derecede küçük API’ler vardır: Bir <strong><em>x</em></strong> girdi vektörü alırlar ve size bir<strong><em> y</em></strong> çıktı vektörü verirler. Ancak, en önemlisi, bu çıktı vektörünün içeriği sadece o an verilen girdiden değil, geçmişte verilen tüm girdilerden etkilenmiştir. Bir sınıf olarak yazarsak, RNN’in API’ı sadece bir <strong>step</strong> fonksiyonundan meydana gelir:</p><pre>rnn = RNN()<br>y = rnn.step(x) # x girdi vektörü, y RNN&#39;in çıktı vektörü</pre><p>Bu RNN sınıfı, içerisinde<strong> step</strong> her çağrıldığında güncellenecek bir duruma sahiptir. En basit şekilde bu durum bir adet gizli<strong><em> h</em></strong> vektörü içerir. Klasik bir RNN için step fonksiyonunu şöyle yazabiliriz:</p><pre>class RNN:<br>  # ...<br>  def step(self, x):<br>    # gizli katmanı güncelle<br>    self.h = np.tanh(np.dot(self.W_hh, self.h) + np.dot(self.W_xh, x))<br>    # çıktı vektörünü hesapla<br>    y = np.dot(self.W_hy, self.h)<br>    return y</pre><p>Yukarıdaki kod parçası RNN’in ileri doğru çalışan kısmını göstermekte. Bu RNN’in parametre olarak <strong><em>W_hh, W_xh, W_hy </em></strong>olarak üç tane matrisi bulunmakta. <strong>self.h</strong>’ın gizli durumunun ilk değeri sıfır vektörü olarak seçildi. <strong>np.tanh</strong> fonksiyonu, aktivasyona <strong>[-1, 1]</strong> arasına lineer-olmayan bir sıkıştırma uygular. Bunun nasıl çalıştığına kısaca bakalım: tanh içerisinde iki terim var: bir tanesi bir önceki gizli duruma bağlıyken diğeri şu anki girdiye bağlı. <strong>np.dot </strong>ise numpy kütüphanesinde<strong> </strong>bir skaler matris çarpım fonksiyonu. Bu iki sonuç, toplama işleminden çıktıktan sonra tanh tarafından sıkıştırılarak yeni durum vektörüne dönüştürülür. Matematik notasyonları ile içli dışlı iseniz, bu gizli durum güncellemesini aşağıdaki şekilde gösterebiliriz (tanh burada her eleman için uygulanmakta).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/266/1*QKyNP70Q0vG0lhQDf5APRw.png" /></figure><p>RNN’in matrislerinin ilk değerlerini rastgele sayılar olarak atarız ve eğitim esnasında işin çoğunu, hangi <strong><em>x </em></strong>ardışıl girdiye karışık ne tür bir <strong><em>y</em></strong> çıktısı vereceğini belirten bir maliyet fonksiyonunu ölçü olarak kullanarak, bu matrisleri istenilen değerlere getirebilmek için harcarız.</p><p>Derine inelim. Eğer derin öğrenme gözlüğünüzü takıp modelleri üst üste yığmaya başlarsanız, RNN’lerin birer sinir ağları olduğunu ve (eğer doğru yapıldıysa) her şeyin tek düze şekilde daha iyi çalıştığını göreceksiniz. Örneğin, 2-katmanlı bir yinelenen sinir ağını şu şekilde oluşturabiliriz:</p><pre>y1 = rnn1.step(x)<br>y = rnn2.step(y1)</pre><p>Diğer bir deyişle iki tane ayrı RNN’imiz var: Birisi girdi vektörünü alan RNN, diğeri ise ilk RNN’in çıktı vektörünü girdi olarak alan bir RNN. Bunlar RNN’lerin bilgisi dahilinde veya umrunda mı bilmiyorum ama —aslında bütün olay vektörlerin girdiği ve çıktığı, geri yayılım (backpropagation) sırasında her modülün üzerinden gradyan akışı geçen bir sistemden ibaret.</p><p>Sınırları zorlayalım. Pratikte daha sık kullandığımız ve biraz daha farklı bir formülasyona sahip Uzun Kısa-Zamanlı Hafıza (<em>Long Short-Term Memory </em>veya kısaca LSTM) ağını sizlere sunmak isterim. LSTM, daha güçlü bir güncelleme formülü ve daha cazip geri yayılım (backpropagation) dinamikleriyle, pratikte biraz daha iyi çalışan bir RNN türü. Detaylara inmeyeceğim fakat, güncelleme hesaplarının matematiksel formunun (<strong>self.h = ...</strong> ile başlayan satırın) biraz daha karışıklaşması dışında RNN’ler hakkında söylediğim her şey aynı kalacak. Bundan böyle RNN ve LSTM terimlerini değişimli olarak kullanacağım fakat bu yazıda yapılan bütün deneyler LSTM kullanıyor olacak.</p><h3>Karakter-Bazlı Dil Modelleri</h3><p>Evet, artık RNN’lerin ne oldukları, neden bu kadar heyecan verici oldukları ve nasıl çalıştıkları hakkında fikirlerimiz var. Bunu eğlenceli bir uygulama ile deneyelim: karakter-bazlı bir RNN dil modeli (Character-level language model) eğiteceğiz. Burada RNN’e büyükçe bir metin derlemi verip; ardışık şekildeki karakter girdilerine karşılık, bir sonraki karakterin olasılık dağılımını isteyeceğiz. Bu, her adımda bir karakter oluşturarak metin üretmemizi sağlayacak.</p><p>Çalışan bir örnek verelim, sadece “helo” kelimesinin dört karakterini içeren bir kelime haznemizin olduğunu varsayalım, ve bir RNN’i “hello” sekansı ile eğitmek istiyoruz. Aslında bu eğitim sekansı kendi içerisinde 4 farklı eğitim örneği içermekte: 1) “h” verildikten sonra “e”nin gelme olasılığı, 2) “he” verildikten sonra “l” gelme olasılığı, 3) “hel” verildikten sonra “l” gelme olasığı ve son olarak “hell” verdildikten sonra “o” gelme olasılığı.</p><p>Somutlaştırmak adına, her karakteri one-hot-encoding (kelime haznesindeki belirtilen karakter 1, diğerleri 0) yöntemiyle vektör atayarak kodlacağız (encode edeceğiz), ve bir <strong>step</strong> fonksiyonuyla bunları sırayla RNN’e vereceğiz. Ardından, RNN’in yorumlayışına göre oluşturulmuş bir sonraki karakter için olan 4-boyutlu çıktı vektörünü (her karakter için bir boyut) inceleyeceğiz. Diyagram şu şekilde:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*-qvl168ltnIFPLlx.jpeg" /><figcaption>4-boyutlu girdi/çıktı vektörlerine ve 3 nöronlu (unit) gizli katmana sahip bir RNN örneği. Bu diyagram bize “hell” girdisi ile beslenen RNN’in ileri doğru çalışan aktivasyon değerlerini göstermekte. Çıktı katmanı ise bize RNN’in sıradaki karakter için atadığı güven değerlerini göstermekte. Yeşil renkli sayıların yüksek, kırmızı renklilerin düşük olmasını istiyoruz.</figcaption></figure><p>Örneğin, ilk adımda RNN “h” karakterini aldığında sıradaki karakterin “h” olmasına 1.0, “e” olmasına “2.2”, “l” olmasına -3.0, “o” olmasına 4.1 güven değeri verdiğini görüyoruz. Eğitim verimiz “hello”daki sıradaki karakterin “e” olmasından dolayı, “e” için olan güven değerinin (yeşil) yüksek olmasını, diğerlerinin ise (kırmızı) düşük olmasını isteriz. RNN’ler tamamen türevlenebilir işlemler içerdiği için, istediğimiz hedef değerin (yeşil olanlar) yüksek olabilmesi için hangi yönde değişim uygulanmasını gerektiğini çözebilmek adına üzerinde geri yayılım (backpropagation) algoritması (türevdeki zincir kuralını temel alan bir özyinelemeli algoritma) çalıştırabiliriz. Ardından, elde edilen gradyanın yönünde her ağırlık için ufak değişimler yaparak parametreleri güncelleyebiliriz. Bu parametre güncellemesinden sonra ağı aynı eğitim verisiyle beslersek, sıradaki karakterin “e” olmasının güveninin arttığını görürüz. Bu işlemi, ağımız yakınsayıp, tahminleri gerçek değerlerle tutarlı hale gelene kadar birçok kez tekrarlarız.</p><p>Biraz daha teknik bir açıklama getirmek istersek, her çıktı üzerinde eş zamanlı olarak standart Softmax sınıflandırıcısını (cross-entropy loss olarak da bilinir) çalıştırırız. Bu RNN, mini-batch Stochastic Gradient Descent (Olasılıksal gradyan inişi) ile eğitildi. Güncellemeleri stabilize etmek adına ben <a href="http://arxiv.org/abs/1502.04390">RMSProp</a> veya Adam kullanmayı da tercih ediyorum.</p><p>İlk “l” harfiden sonra hedef karakterin “l”, fakat ikinci “l” karakterinden sonra hedef karakterin “o” olmasına dikkatinizi çekerim. Buna göre, RNN sadece anlık girdiye dayalı şekilde çalışamaz, görevi başarıyla bitirebilmek için bütün bağlamı değerlendirmek zorunda.</p><p>Test yaparken, RNN’e bir karakter veririz ve sıradaki karakter için bir dağılım elde ederiz. Bu dağılımdan örnekler alırız (sampling) ve tekrardan ağa veririz. Bu işlemi tekrarlayın, ve artık siz de metin üretiyorsunuz! Hadi farklı veri kümeleri üzerinde bir RNN eğitip sonuçlarını görelim.</p><p>Netleştirmek adına, eğitim amaçlı <a href="https://gist.github.com/karpathy/d4dee566867f8291f086">Python/numpy ile minimal karakter-bazlı RNN dil modeli</a> yazdım. Yaklaşık 100 satır ve umarım sizlere yukarıda anlattıklarımın özlü, sağlam ve kullanışlı bir özetini sunar. Şimdi sizlerle örneklerin sonuçlarına dalalım, ki bu sonuçlar Lua/Torch codebase’inden daha verimli şekilde üretildiler.</p><h3>RNN’ler ile eğlenelim</h3><p>Aşağıda belirtilen karakter modellerini ve fazlasını GitHub sayfasındaki <a href="https://github.com/karpathy/char-rnn">kod</a> ile eğiteceğiz. Her durum için girdi, içerisinde metin olan bir tek bir dosya olacak ve bir RNN eğitip, ardışıl olarak sıradaki karakteri tahmin etmesini sağlayacağız.</p><h4>Paul Graham üreticisi</h4><p>Öncelikle küçük bir İngilizce veri seti üzerinde deneyelim. Benim en sevdiğim veri seti <a href="http://www.paulgraham.com/articles.html">Paul Graham’ın denemeleri</a>nin birleşmiş hali. Buradaki önemli nokta kendisinin denemelerinde fazlaca bilgelik bulunması fakat ne yazık ki Paul Graham yavaş üreten bir insan. Kendisinin yazılarını kullanarak isteğe bağlı bilgece yazılar ortaya çıkarabilseydik süper olmaz mıydı? İşte RNN burada devreye giriyor.</p><p>PG’nin son 5 yılındaki tüm denemeleri birleştirirsek 1 MB’lık bir text dosyası yani kabaca 1 milyon karakterden oluşan bir metin elde ediyoruz (bunun çok küçük bir veri seti olduğunu da söylemek gerek). Teknik olarak: 512 gizli düğümlü (yaklaşık 3.5 milyon parametre) ve her katmanın sonunda 0.5&#39;lik bir dropout’a sahip bir LSTM eğitelim. 100 örneklik parçalarla 100 karakterli BPTT geri yayılım yöntemini kullanarak eğiteceğiz. Bu ayarlarda bir parçanın eğitimi TITAN Z grafik işlemcisinde 0.46 saniye sürmekte (performansı çok azaltmadan, 50 karakterli BPTT kullanılarak bu süre yarıya düşürülebilir). Daha fazla uzatmadan, RNN’den bir örnek görelim:</p><blockquote>“The surprised in investors weren’t going to raise money. I’m not the company with the time there are all interesting quickly, don’t have to get off the same programmers. There’s a super-angel round fundraising, why do you can do. If you have a different physical investment are become in people who reduced in a startup with the way to argument the acquirer could see them just that you’re also the founders will part of users’ affords that and an alternation to the idea. [2] Don’t work at first member to see the way kids will seem in advance of a bad successful startup. And if you have to act the big company too.”</blockquote><p>Evet, yukarıdaki anlattıklarımı netleştirmek adına, bunların yakın zamanda Paul Graham’ın yerine geçemeyeceğini söylemeliyim, ayrıca RNN’in İngilizceyi tamamen baştan ve küçük bir veri seti üzerinden öğrenmesi gerektiğini de unutmayın. Daha fazlasını görmek isterseniz <a href="https://cs.stanford.edu/people/karpathy/char-rnn/pg.txt">burada</a> 50 bin karakterli hali var.</p><p>Sıcaklık (temperature). Örnekleme yaparken Softmax’in sıcaklığı ile oynayabiliriz. Sıcaklığı 1&#39;den daha düşük bir sayıya indirirsek (örneğin 0.5) bu, RNN’i daha emin hale getirecektir fakat aynı zamanda örneklerin içinde de daha tutucu hale gelecektir. Diğer taraftan, yüksek sıcaklık bize daha çok çeşitlilik ve aynı zamanda daha çok hata getirecektir (yazım, imla hatası gibi). Özellikle sıcaklığı 0&#39;a çok yakın hale getirmek bize Paul Graham’ın kesin söyleyeceği bir şey verecektir:</p><blockquote>“is that they were all the same thing that was a startup is that they were all the same thing that was a startup is that they were all the same thing that was a startup is that they were all the same”</blockquote><p>görüşüne göre sonsuz döngüye girdik.</p><h4>Shakespeare</h4><p>İngilizce kelimeleri bir araya getirmeyi öğrenebiliyoruz gibi duruyor. Biraz da verimize şekil ve yapı katalım mı? Bunu incelemek adına Shakespeare’in çalışmalarını indirdim ve tek bir dosyada (4.4 MB) birleştirdim. Artık şimdi daha büyük bir ağı eğitmeyi deneyebiliriz, bu durum için 3-katmanlı, her katmanında 512 gizli düğüm bulunan bir RNN’i deneyelim. Birkaç saatlik eğitimin ardından şu sonuçları elde ettim:</p><pre>PANDARUS:<br>Alas, I think he shall be come approached and the day<br>When little srain would be attain&#39;d into being never fed,<br>And who is but a chain and subjects of his death,<br>I should not sleep.<br><br>Second Senator:<br>They are away this miseries, produced upon my soul,<br>Breaking and strongly should be buried, when I perish<br>The earth and thoughts of many states.<br><br>DUKE VINCENTIO:<br>Well, your wit is in the care of side and that.<br><br>Second Lord:<br>They would be ruled after this chamber, and<br>my fair nues begun out of the fact, to be conveyed,<br>Whose noble souls I&#39;ll have the heart of the wars.<br><br>Clown:<br>Come, sir, I will make did behold your worship.<br><br>VIOLA:<br>I&#39;ll drink it.</pre><p>RNN’in tek bildiği şeylerin karakterler olduğunu unutmayınız, yani burada özellikle konuşan kişilerin isimlerini ve cümlelerini örneklendiriyor. Bazen görece büyük pasajlar elde ediyoruz, şunun gibi:</p><pre>VIOLA:<br>Why, Salisbury must find his flesh and thought<br>That which I am not aps, not a man and in fire,<br>To show the reining of the raven and the wars<br>To grace my hand reproach within, and not a fair are hand,<br>That Caesar and my goodly father&#39;s world;<br>When I was heaven of presence and our fleets,<br>We spare with hours, but cut thy council I am great,<br>Murdered and by thy master&#39;s ready there<br>My power to give thee but so much as hell:<br>Some service in the noble bondman here,<br>Would show him to her wine.<br><br>KING LEAR:<br>O, if you were a feeble sight, the courtesy of your law,<br>Your sight and several breath, will wear the gods<br>With his heads, and my hands are wonder&#39;d at the deeds,<br>So drop upon your lordship&#39;s head, and your opinion<br>Shall be against your honour.</pre><p>Bu örneklerin Shakespeare’den alındığını zar zor anlayabiliyorum :) Eğer Shakespeare’i seviyorsanız, <a href="https://cs.stanford.edu/people/karpathy/char-rnn/shakespear.txt">buradaki</a> 100,000 karakterli örnek hoşunuza gidebilir. Ve tabii ki, sizler verilen kod ile farklı sıcaklık değerleriyle sonsuz sayıda örnek üretebilirsiniz.</p><h4>Wikipedia</h4><p>LSTM ‘in kelimeleri hecelemeyi öğrenebildiğini ve genel sözdizimsel yapıları kopyalayabildiğini gördük. Zorluğu daha fazla arttıralım ve eğitimi yapısal Markdown ’da yapalım. Hadi özellikle <a href="http://prize.hutter1.net/">Hutter Prize</a> 100MB ham (etiketlenmemiş) Wikipedia veri setini alalım ve bir LSTM eğitelim. Graves’in <a href="https://arxiv.org/abs/1308.0850">makalesini</a> baz alarak, ilk 96MB eğitim için kullanıldı geri kalanı ise onaylama için kullanıldı ve birkaç model çalıştırıldı. Artık Wikipedia makalelerini örnekleyebiliriz! Aşağıda birkaç eğlenceli alıntı var. İlk olarak bazı basit Markdown çıktıları:</p><pre>Naturalism and decision for the majority of Arab countries&#39; capitalide was grounded<br>by the Irish language by [[John Clair]], [[An Imperial Japanese Revolt]], associated <br>with Guangzham&#39;s sovereignty. His generals were the powerful ruler of the Portugal <br>in the [[Protestant Immineners]], which could be said to be directly in Cantonese <br>Communication, which followed a ceremony and set inspired prison, training. The <br>emperor travelled back to [[Antioch, Perth, October 25|21]] to note, the Kingdom <br>of Costa Rica, unsuccessful fashioned the [[Thrales]], [[Cynth&#39;s Dajoard]], known <br>in western [[Scotland]], near Italy to the conquest of India with the conflict. <br>Copyright was the succession of independence in the slop of Syrian influence that <br>was a famous German movement based on a more popular servicious, non-doctrinal <br>and sexual power post. Many governments recognize the military housing of the <br>[[Civil Liberalization and Infantry Resolution 265 National Party in Hungary]], <br>that is sympathetic to be to the [[Punjab Resolution]]<br>(PJS)[http://www.humah.yahoo.com/guardian.<br>cfm/7754800786d17551963s89.htm Official economics Adjoint for the Nazism, Montgomery <br>was swear to advance to the resources for those Socialism&#39;s rule, <br>was starting to signing a major tripad of aid exile.]]</pre><p>Eğer merak ediyorsanız, Yukardaki Yahoo linki aslında yok, model bunu hayal etti. Ayrıca model parantezleri doğru açıp kapatmayı öğrendi. Modelin öğrendiği birden çok yapısal Markdown bulunmakta, örnek olarak arada sırada başlıklar, listeler vb. yaratıyor.</p><pre>{ { cite journal | id=Cerling Nonforest Department|format=Newlymeslated|none } }<br>&#39;&#39;www.e-complete&#39;&#39;.<br><br>&#39;&#39;&#39;See also&#39;&#39;&#39;: [[List of ethical consent processing]]<br><br>== See also ==<br>*[[Iender dome of the ED]]<br>*[[Anti-autism]]<br><br>===[[Religion|Religion]]===<br>*[[French Writings]]<br>*[[Maria]]<br>*[[Revelation]]<br>*[[Mount Agamul]]<br><br>== External links==<br>* [http://www.biblegateway.nih.gov/entrepre/ Website of the World Festival. The labour of India-county defeats at the Ripper of California Road.]<br><br>==External links==<br>* [http://www.romanology.com/ Constitution of the Netherlands and Hispanic Competition for Bilabial and Commonwealth Industry (Republican Constitution of the Extent of the Netherlands)]</pre><p>Arada sırada model aniden rastgele, ama geçerli XML yaratma durumuna geçiyor:</p><pre>&lt;page&gt;<br>  &lt;title&gt;Antichrist&lt;/title&gt;<br>  &lt;id&gt;865&lt;/id&gt;<br>  &lt;revision&gt;<br>    &lt;id&gt;15900676&lt;/id&gt;<br>    &lt;timestamp&gt;2002-08-03T18:14:12Z&lt;/timestamp&gt;<br>    &lt;contributor&gt;<br>      &lt;username&gt;Paris&lt;/username&gt;<br>      &lt;id&gt;23&lt;/id&gt;<br>    &lt;/contributor&gt;<br>    &lt;minor /&gt;<br>    &lt;comment&gt;Automated conversion&lt;/comment&gt;<br>    &lt;text xml:space=&quot;preserve&quot;&gt;#REDIRECT [[Christianity]]&lt;/text&gt;<br>  &lt;/revision&gt;<br>&lt;/page&gt;</pre><p>Model zaman damgası, id ve öbür şeyleri tamamen uyduruyor. Ayrıca doğru etiketleri uygun olarak ve doğru iç içe sırayla kapatıyor. Eğer ilginizi çekiyorsa buradaki <a href="http://cs.stanford.edu/people/karpathy/char-rnn/wiki.txt">100,000 karakterli Wikipedia örneği</a> hoşunuza gidebilir.</p><h4>Cebirsel Geometri (Latex)</h4><p>Üstteki sonuçlara göre modelin karmaşık sözdizimsel yapıları öğrenmekte oldukça iyi olduğunu görüyoruz. Bu sonuçlardan etkilenerek, lab arkadaşım (<a href="http://cs.stanford.edu/people/jcjohns/">Justin Johnson</a>)ve ben yapısal alana daha çok girmeye karar verdik ve cebirsel geometri üzerine <a href="http://stacks.math.columbia.edu/">bir kitabı</a> aldık. Ham Latex kaynak dosyasını indirdik (16MB dosya) ve çok katmanlı bir LSTM eğittik. İnanılmaz bir şekilde, sonuçta ortaya çıkan Latex nerdeyse derlenebilir haldeydi. Birkaç sorunu bizim elle düzeltmemiz gerekti ama sonuç olarak makul duran matematiksel ifadeler elde ettik. Cidden hayret verici:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*RWJjBj2bziA07q5u.jpeg" /><figcaption>Örneklenmiş (sahte) cebirsel geometri. Gerçek pdf <a href="http://cs.stanford.edu/people/jcjohns/fake-math/4.pdf">burada</a></figcaption></figure><p>İşte başka bir örnek:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*mfWUHm84kIjWRh5X.jpeg" /></figure><p>Yukarıda görebileceğiniz gibi model arada sırada latex diyagramları yaratmaya çalışıyor ama hala tam olarak anlamamış bulunmakta. Ben ayrıca bir kanıtı atlamayı seçtiği kısmı beğendim (“Proof omitted.”, sol üst). Elbette, unutmamak gerekiyor ki latex nispeten zor bir yapısal sözdizim formatına sahip. Bu formatta hala ben bile tamamen uzmanlaşamadım. Örnek olarak, burada ham örneğimizden bir model:</p><pre>\begin{proof}<br>We may assume that $\mathcal{I}$ is an abelian sheaf on $\mathcal{C}$.<br>\item Given a morphism $\Delta : \mathcal{F} \to \mathcal{I}$<br>is an injective and let $\mathfrak q$ be an abelian sheaf on $X$.<br>Let $\mathcal{F}$ be a fibered complex. Let $\mathcal{F}$ be a category.<br>\begin{enumerate}<br>\item \hyperref[setain-construction-phantom]{Lemma}<br>\label{lemma-characterize-quasi-finite}<br>Let $\mathcal{F}$ be an abelian quasi-coherent sheaf on $\mathcal{C}$.<br>Let $\mathcal{F}$ be a coherent $\mathcal{O}_X$-module. Then<br>$\mathcal{F}$ is an abelian catenary over $\mathcal{C}$.<br>\item The following are equivalent<br>\begin{enumerate}<br>\item $\mathcal{F}$ is an $\mathcal{O}_X$-module.<br>\end{lemma}</pre><p>Nispeten uygun bir modelden olan bu örnek bazı yaygın hataları göstermektedir. Örnek olarak, model <strong>\begin{proof}</strong> ortamı açıyor ama bunu <strong>\end{lemma}</strong> ile bitiriyor. Bu elle çözmemiz gereken problemlere bir örnek ve büyük ihtimalle bağlılığın çok uzun süreli olmasından kaynaklanıyor: Model kanıtı tamamladığı süreye kadar kanıt mı yoksa lemma mı yaptığını unutuyor. <strong>\begin{enumerate}</strong> açıp unutmasına benzer şekilde. Bu durumun büyük ve daha iyi modellerde daha az olduğunu gözlemledik ama her şeye rağmen bunlar ortaya çıkabilecek sorunlar.</p><h4>Linux Kaynak Kodu</h4><p>Yapılandırılmış veriyi sonuna kadar götürmek istedim bu yüzden son olarak kod kullanmaya karar verdim. Özellikle Github ’daki <a href="https://github.com/torvalds/linux">Linux repo</a> ’sunda bulunan bütün kaynak ve başlık dosyalarını aldım, hepsini tek büyük bir dosya haline getirdim (474 MB C kodu) (Normalde sadece kernel‘ı eğitecektim ama tek başına sadece 16MB). Sonra birkaç tane GPU ‘ma-sığacak-en-büyük 3 katmanlı LSTM ‘leri birkaç gün içinde eğittim. Bu modellerin neredeyse 10 milyon tane değişkenleri var ama hala RNN modelleri için altta kalıyor. Sonuçlar çok eğlenceli:</p><pre>/*<br> * Increment the size file of the new incorrect UI_FILTER group information<br> * of the size generatively.<br> */<br>static int indicate_policy(void)<br>{<br>  int error;<br>  if (fd == MARN_EPT) {<br>    /*<br>     * The kernel blank will coeld it to userspace.<br>     */<br>    if (ss-&gt;segment &lt; mem_total)<br>      unblock_graph_and_set_blocked();<br>    else<br>      ret = 1;<br>    goto bail;<br>  }<br>  segaddr = in_SB(in.addr);<br>  selector = seg / 16;<br>  setup_works = true;<br>  for (i = 0; i &lt; blocks; i++) {<br>    seq = buf[i++];<br>    bpf = bd-&gt;bd.next + i * search;<br>    if (fd) {<br>      current = blocked;<br>    }<br>  }<br>  rw-&gt;name = &quot;Getjbbregs&quot;;<br>  bprm_self_clearl(&amp;iv-&gt;version);<br>  regs-&gt;new = blocks[(BPF_STATS &lt;&lt; info-&gt;historidac)] | PFMR_CLOBATHINC_SECONDS &lt;&lt; 12;<br>  return segtable;<br>}</pre><p>Kod genel olarak cidden baya başarılı duruyor. Elbette kodun çalıştığını düşünmüyorum ama yaratılmış koda baktığınızda büyük bir C kodu temeli hissi veriyor. RNN ‘in rasgele koda yorum satırları serpiştirdiğine dikkat edin. Çok az syntax hatası yapmakta da başarılı. Örnek olarak, stringleri, pointerları vb. doğru kullanıyor. Aynı zamanda parantezleri doğru açıp kapatıyor ve satırlara ve boşluklara dikkat ediyor. Sık karşılaşılan bir sorun olarak değişken isimlerini hatırlayamaması: Genellikle tanımlanmamış değişkenleri kullanıyor (yukardaki rw gibi), hiç kullanmayacağı değişkenler tanımlıyor (int error) veya var olmayan değişkenler döndürüyor. Birkaç örnek daha görelim. Burada RNN ‘in öğrendiği daha geniş operasyonları gösteren bir parça var:</p><pre>/*<br> * If this error is set, we will need anything right after that BSD.<br> */<br>static void action_new_function(struct s_stat_info *wb)<br>{<br>  unsigned long flags;<br>  int lel_idx_bit = e-&gt;edd, *sys &amp; ~((unsigned long) *FIRST_COMPAT);<br>  buf[0] = 0xFFFFFFFF &amp; (bit &lt;&lt; 4);<br>  min(inc, slist-&gt;bytes);<br>  printk(KERN_WARNING &quot;Memory allocated %02x/%02x, &quot;<br>    &quot;original MLL instead\n&quot;),<br>    min(min(multi_run - s-&gt;len, max) * num_data_in),<br>    frame_pos, sz + first_seg);<br>  div_u64_w(val, inb_p);<br>  spin_unlock(&amp;disk-&gt;queue_lock);<br>  mutex_unlock(&amp;s-&gt;sock-&gt;mutex);<br>  mutex_unlock(&amp;func-&gt;mutex);<br>  return disassemble(info-&gt;pending_bh);<br>}<br><br>static void num_serial_settings(struct tty_struct *tty)<br>{<br>  if (tty == tty)<br>    disable_single_st_p(dev);<br>  pci_disable_spool(port);<br>  return 0;<br>}<br><br>static void do_command(struct seq_file *m, void *v)<br>{<br>  int column = 32 &lt;&lt; (cmd[2] &amp; 0x80);<br>  if (state)<br>    cmd = (int)(int_state ^ (in_8(&amp;ch-&gt;ch_flags) &amp; Cmd) ? 2 : 1);<br>  else<br>    seq = 1;<br>  for (i = 0; i &lt; 16; i++) {<br>    if (k &amp; (1 &lt;&lt; 1))<br>      pipe = (in_use &amp; UMXTHREAD_UNCCA) +<br>        ((count &amp; 0x00000000fffffff8) &amp; 0x000000f) &lt;&lt; 8;<br>    if (count == 0)<br>      sub(pid, ppc_md.kexec_handle, 0x20000000);<br>    pipe_set_bytes(i, 0);<br>  }<br>  /* Free our user pages pointer to place camera if all dash */<br>  subsystem_info = &amp;of_changes[PAGE_SIZE];<br>  rek_controls(offset, idx, &amp;soffset);<br>  /* Now we want to deliberately put it to device */<br>  control_check_polarity(&amp;context, val, 0);<br>  for (i = 0; i &lt; COUNTER; i++)<br>    seq_puts(s, &quot;policy &quot;);<br>}</pre><p>İkinci fonksiyonda model<strong> tty==tty </strong>karşılaştırmasını yapıyor ki bu boş bir şekilde doğru. Ama farklı bir açıdan en azından <strong>tty</strong> fonksiyon alanı içinde var olmakta. En son fonksiyonda kodun hiçbir şey döndürmediğine dikkat edelim ki bu durum doğru çünkü fonksiyon tipi <strong>void</strong>. Ancak ilk iki fonksiyonda <strong>void</strong> tipinde belirtilmişti ve değer döndürdüler. Bu yine uzun süreli etkileşimlerden dolayı kaynaklanan yaygın bir hata.</p><p>Model arada sırada yeni bir dosya örnekleme(modelleme) zamanı geldiğine karar veriyor. Bu çoğu zaman eğlenceli bir kısım: Model ilk olarak GNU lisansını karakter karakter naklediyor, birkaç tane include modelliyor, birkaç macro üretiyor ve koda dalıyor.</p><pre>#include &lt;linux/kexec.h&gt;<br>#include &lt;linux/errno.h&gt;<br>#include &lt;linux/io.h&gt;<br>#include &lt;linux/platform_device.h&gt;<br>#include &lt;linux/multi.h&gt;<br>#include &lt;linux/ckevent.h&gt;<br><br>#include &lt;asm/io.h&gt;<br>#include &lt;asm/prom.h&gt;<br>#include &lt;asm/e820.h&gt;<br>#include &lt;asm/system_info.h&gt;<br>#include &lt;asm/setew.h&gt;<br>#include &lt;asm/pgproto.h&gt;<br><br>#define REG_PG    vesa_slot_addr_pack<br>#define PFM_NOCOMP  AFSR(0, load)<br>#define STACK_DDR(type)     (func)<br><br>#define SWAP_ALLOCATE(nr)     (e)<br>#define emulate_sigs()  arch_get_unaligned_child()<br>#define access_rw(TST)  asm volatile(&quot;movd %%esp, %0, %3&quot; : : &quot;r&quot; (0));   \<br>  if (__type &amp; DO_READ)<br><br>static void stat_PC_SEC __read_mostly offsetof(struct seq_argsqueue, \<br>          pC&gt;[1]);<br><br>static void<br>os_prefix(unsigned long sys)<br>{<br>#ifdef CONFIG_PREEMPT<br>  PUT_PARAM_RAID(2, sel) = get_state_state();<br>  set_pid_sum((unsigned long)state, current_state_str(),<br>           (unsigned long)-1-&gt;lr_full; low;<br>}</pre><p>Üstünden geçecek çok fazla eğlenceli kısım var. Sadece bu kısım üzerine bir blog yazabilirim. Şimdilik burayı kısa keseceğim, ama burada sizin için 1MB modellenmiş <a href="http://cs.stanford.edu/people/karpathy/char-rnn/linux.txt">Linux kodu </a>var.</p><h4>Bebek İsimleri Üretmek</h4><p>Hadi eğlenmek için bir tane daha deneyelim. Her satırda 1 tane bebek ismi olan 8000 tane sıralanmış bebek isimleri içeren text dosyasını RNN ‘e verelim (Bebek isimleri <a href="http://www.cs.cmu.edu/afs/cs/project/ai-repository/ai/areas/nlp/corpora/names/">burada</a>). Bunu RNN ‘e verip yeni isimler üretebiliriz. Burada birkaç tane örnek isim var ve sadece eğitim datasında bulunmayanlar yazıyor. (%90 bulunmuyor)</p><p><em>Rudi Levette Berice Lussa Hany Mareanne Chrestina Carissy Marylen Hammine Janye Marlise Jacacrie Hendred Romand Charienna Nenotto Ette Dorane Wallen Marly Darine Salina Elvyn Ersia Maralena Minoria Ellia Charmin Antley Nerille Chelon Walmor Evena Jeryly Stachon Charisa Allisa Anatha Cathanie Geetra Alexie Jerin Cassen Herbett Cossie Velen Daurenge Robester Shermond Terisa Licia Roselen Ferine Jayn Lusine Charyanne Sales Sanny Resa Wallon Martine Merus Jelen Candica Wallin Tel Rachene Tarine Ozila Ketia Shanne Arnande Karella Roselina Alessia Chasty Deland Berther Geamar Jackein Mellisand Sagdy Nenc Lessie Rasemy Guen Gavi Milea Anneda Margoris Janin Rodelin Zeanna Elyne Janah Ferzina Susta Pey Castina</em></p><p><a href="http://cs.stanford.edu/people/karpathy/namesGenUnique.txt">Burada</a> daha birçoğunu görebilirsiniz. Benim bazı favorilerim: “Baby”, “Killie”, “Char”, “R”, “More”, “Mars”, “Hi”, “Saddie”, “With” ve “Ahbort”. Bu eğlenceliydi. Elbette bu hikâye yazarken ilham verici olabilir ya da yeni bir startup ‘a isim verirken. :)</p><h3>Neler Olup Bittiğini Anlamak</h3><p>Eğitim sonunda sonuçların etkileyici olabileceğini gördük ama bunlar nasıl çalışıyor? Hadi hızlıca iki deney yapıp perde arkasına bakalım.</p><h4>Eğitirken örneklemenin evrimi</h4><p>İlk olarak modellenmiş metnin model eğitilirken ki evrimine bakalım. Örnek olarak, bir LSTM ‘i Leo Tolstoy ‘un Savaş ve Barışı ile eğittim ve eğitimin her 100 yinelemesinde yeni örnekler ürettim. Yüzüncü yinelemede model rasgele örnekler karıştırıyor:</p><pre>tyntd-iafhatawiaoihrdemot  lytdws  e ,tfti, astai f ogoh eoase rrranbyne &#39;nhthnee e <br>plia tklrgd t o idoe ns,smtt   h ne etie h,hregtrs nigtike,aoaenns lng</pre><p>En azından kelimelerin boşluklar ile ayrıldığına dair fikir ediniyor. Bazen iki boşluk koyması dışında. Ayrıca virgülün her zaman boşluk ile devam ettiğini bilmiyor. Üç yüzüncü yinelemede modelin alıntılar ve noktalar hakkında fikir edindiğini görebiliyoruz:</p><pre>&quot;Tmont thithey&quot; fomesscerliund<br>Keushey. Thom here<br>sheulke, anmerenith ol sivh I lalterthend Bleipile shuwy fil on aseterlome<br>coaniogennc Phe lism thond hon at. MeiDimorotion in ther thize.&quot;</pre><p>Kelimeler aynı zamanda boşluklar ile ayrılıyor ve model cümle sonundaki noktalar hakkında fikri anlamaya başlıyor. Beş yüzüncü yinelemede:</p><pre>we counter. He stutn co des. His stanted out one ofler that concossions and was <br>to gearang reay Jotrets and with fre colt otf paitt thin wall. Which das stimn</pre><p>Model en kısa ve en yaygın kelimeleri yazmayı öğrendi ki bunlar “we”, “He”, “His”, “Which”, “and”, vb. Yedi yüzüncü yinelemede İngilizceye daha benzer metinlerin ortaya çıktığını görmeye başlıyoruz:</p><pre>Aftair fall unsuch that the hall for Prince Velzonski&#39;s that me of<br>her hearly, and behs to so arwage fiving were to it beloge, pavu say falling misfort <br>how, and Gogition is so overelical and ofter.</pre><p>Bin iki yüzüncü yinelemede alıntıların, soru ve ünlem işaretlerinin kullanımını görüyoruz. Şimdi uzun kelimelerde öğrenildi:</p><pre>&quot;Kite vouch!&quot; he repeated by her<br>door. &quot;But I would be done and quarts, feeling, then, son is people....&quot;</pre><p>Sonunda düzgün yazılmış kelimeler, alıntılar ve isimler elde ediyoruz. İki bininci yinelemede ise:</p><pre>&quot;Why do what that day,&quot; replied Natasha, and wishing to himself the fact the<br>princess, Princess Mary was easier, fed in had oftened him.<br>Pierre aking his soul came to the packs and drove up his father-in-law women.</pre><p>Burada ortaya çıkan durum şu: Model önce genel kelime — boşluk yapısını öğreniyor ve sonrasında hızlıca kelimeleri öğreniyor. Öncelikle kısa kelimeleri ve sonunda uzunları öğreniyor. Birden çok kelimeyi kapsayan konular ve temalar çok daha sonra ortaya çıkıyor (ve genel uzun vadeli bağlılıklarda).</p><h4>Tahminleri görselleştirmek ve RNN’deki nöronların ateşlenmesi</h4><p>Bir başka eğlenceli gösterim yöntemi olarak harflerin üzerine tahmin edilen dağılımlarına bakalım. Aşağıdaki gösterimde onaylanmış setten bir Wikipedia RNN karakter modeli verisi yüklüyoruz (mavi ve yeşil satırlarda gösteriliyor) ve görselleştirdiğimiz her karakterin altında (kırmızı) modelin bir sonraki karakter için atadığı ilk 5 karakter bulunmakta. Tahminler olasılıklarına göre renklendirildi (koyu kırmızı = yüksek olasılık, beyaz = düşük olasılık). Örnek olarak modelin bir sonraki karakter hakkında çok emin olduğu yerlerde renk geçişi çok hızlı (Model <a href="http://www/">http://www</a>. kısmında bir sonraki karakter konusunda çok emin).</p><p>Girilen karakter dizisinin (mavi ve yeşil) renkleri RNN ‘in gizli temsilindeki rastgele seçilen nöronların ateşlenmesine göre seçiliyor. Yeşil = çok heyecanlı, mavi = çok heyecanlı değil olarak düşünün (LSTM ‘lerin detaylarına aşina olanlar için gizli durum vektöründe bu değerler [-1,1] arasındaki bu da sadece geçitli ve tanh alınmış LSTM hücre durumu). Bu RNN girdi dizinini okurken beynindeki bir nöronun ateş etme hızının görselleştirilmiş hali. Farklı nöronlar farklı desenlere bakıyor olabilir; Aşağıda benim ilginç ve yorumlanabilir bulduğum 4 farklı dizine bakıyoruz (Çoğu böyle değil).</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*3-9BzxY_cHDyHhXv.jpeg" /><figcaption>Bu resimde gösterilmekte olan nöron URL ‘lerde heyecanlanıyor ve buradan çıkınca kapanıyor. LSTM büyük ihtimalle nöronu URL de olup olmadığını kontrol etmek için kullanıyor.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*rRqwvv-5HU1w_h7U.jpeg" /><figcaption>Burada gösterilmekte olan nöron RNN markdown ortamına [[]] girince heyecanlanıyor çıkınca ise kapanıyor. İlginç bir şekilde nöron ilk [ işaretini görünce açılmıyor, ikinci [ işaretini görünce aktive oluyor. Bu sayma işlemi büyük ihtimalle farklı bir nöron tarafından yapılıyor.</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*982GdDSPVlSNGLug.jpeg" /><figcaption>Burada [[]] ortamında doğrusal değişiyormuş gibi duran bir nöron görüyoruz. Başka bir şekilde ifade edecek olursak aktivasyonu RNN ‘e [[]] ortamı boyunca zamanı uyumlu bir koordinasyon sistemi veriyor. RNN bu bilgiyi [[]] ortamında ne kadar uzun süredir olduğuna göre farklı karakterler oluşturmak için kullanabilir (Belki?).</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*ceg8B-96x4wr-Odw.jpeg" /><figcaption>Burada çok bölgesel bir tepkisi olan başka bir nöron var: Nispeten sessiz ama ilk “www” da bulunan ilk “w” ‘yu görünce hızlıca kapanıyor. RNN bu nöronu “www” dizininde ne kadar ilerlediğini saymak için kullanıyor olabilir ki bu sayede başka bir “w” vermesi mi gerekiyor yoksa URL ‘e başlamalı karar verebilir</figcaption></figure><p>Elbette bu sonuçlar biraz sezgisel çünkü RNN ‘in gizli durumu büyük, yüksek boyutlu ve fazlaca dağıtılmış bir temsil. Bu gösterimler özel ayarlanmış HTML/CSS/Javascript ile yapıldı, eğer benzer bir şey yaratmak istiyorsanız burada neleri içerdiğini gösteren bir <a href="http://cs.stanford.edu/people/karpathy/viscode.zip">taslak</a> bulabilirsiniz.</p><p>Gösterimi en olası tahminleri ayrı tutarak yoğunlaştırabiliriz ve sadece hücrelerin aktive oluşuyla renklenen yazıyı gösterebiliriz. Birçoğu yorumlanabilir bir şey yapmayan hücreler dışında çok ilginç ve yorumlanabilir algoritmalar öğrenen yüzde beşlik (%5 ‘lik) bir kesim var:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/766/0*04jUgXE0oZ_JCCAk.png" /></figure><p>Yine bunun güzel yanı eğer bir sonraki karakteri tahmin etmesini sağlamaya çalışıyorsan bunu hiçbir yerde sabit kodlamamıza gerek kalmadı, örnek olarak alıntının içinde bulunup bulunmadığını tutmak işe yarar olabilirdi. Biz LSTM‘i ham veri ile eğittik ve bunun takip edilecek kadar işe yarar bir miktar veri olduğuna LSTM karar verdi. Başka bir şekilde anlatırsak, eğitim sırasında hücrelerinden biri kendini kademeli olarak alıntı tespit hücresi yaptı çünkü bu son işi daha iyi yapmasını sağlıyor (Başka bir şekilde anlatırsak, hücrelerden biri son yaptığı işte daha iyi performans göstermesine yardımcı olduğu için eğitim sırasında kademeli olarak kendini alıntı tespit hücresi olmaya ayarladı). Bu derin öğrenme modellerinden (ve daha genel olarak uç uça eğitim) gelen gücün en anlaşılır ve en ilgi çekici(zorlayıcı) örneklerinden biri.</p><h3>Kaynak Kodu</h3><p>Umuyorum sizi karakter seviyesinde dil modelleri eğitmenin eğlenceli bir egzersiz olduğuna ikna ettim. Sizde<a href="https://github.com/karpathy/char-rnn"> char-rnn kodu</a> kullanarak kendi modellerinizi eğitebilirsiniz. Github üzerinde yayınladım (MIT lisansı altında). Büyük bir test dosyası alıyor ve sonrasında örnekleyebileceğin bir karakter seviyesinde model eğitiyor. Ayrıca GPU varsa çok yardımcı olacaktır çünkü CPU da eğitmek 10 kat daha yavaş olacak. Ne olursa olsun eğer bir veriyi eğitip eğlenceli sonuçlar alırsanız beni haberdar edin! Ve eğer Torch/Lua kod tabanında kaybolursan unutma hepsi aslında bu<a href="https://gist.github.com/karpathy/d4dee566867f8291f086"> 100-line gist</a>‘in süslü versiyonu.</p><p>Konu dışı. Kod son zamanlarda favori derin öğrenme framework ‘üm olan <a href="http://torch.ch/">Torch 7</a>’de yazıldı. Torch/Lua ile sadece son birkaç ay içinde başladım ve kolay olmadı ama mantığını anlarsanız çok fazla esneklik ve hız sağlıyor. Geçmişte Caffe ve Theano ile de çalıştım ama inanıyorum ki Torch mükemmel olmasa da soyutlanma seviyesini ve felsefesini hepsinden daha iyi anlıyor. Bence bir framework ‘ün çekici özellikleri şunlar:</p><ol><li>Çok fazla fonksiyonu olan CPU/GPU transparan Tensor kütüphanesi.</li><li>Tensor üzerinde çalışan ve bütün derin öğrenme işlerini uygulayan tamamen ayrı bir kod tabanına sahip olan bir betik dili (scripting language) olması (ideal olarak Python).</li><li>Eğitim öncesi modellerin kolayca paylaşılabilir olması (Caffe bunu diğerlerine göre iyi yapıyor).</li><li>0 derleme adımı (En azından Theano da şu an yapıldığı gibi değil). Şu an derin öğrenmedeki trend karmaşık graflar içinde zaman yayılımlı (time-unrolled), büyük ve karmaşık ağlar üzerine. Gelişme zamanının zarar görmemesi için bunların uzun bir süre boyunca derlenmemesi önemli. İkinci olarak, derleyince mantıksal olarak yorumlana bilirlikten ve etkili bir şekilde bağlanma ve debug etme yeteneğinden vazgeçmiş olunur. Eğer graf dürtmede (prod) etkili olması için geliştirildikten sonra derleme seçeneği varsa bu olabilir.</li></ol><h3>Sonuç</h3><p>RNN‘lerin nasıl çalıştığını, neden bu kadar önemli olduklarını öğrendik, birkaç eğlenceli veri setinde dil seviyesinde model eğittik ve RNN ‘lerin hangi yönde ilerlediğini gördük. RNN alanında kesinlikle büyük miktarda inovasyon bekleyebilirsin ve bence zeki sistemlerin yaygın ve kritik bir parçası olacaklar.</p><p>Son olarak bu gönderiye meta eklersek, bu blog gönderisinin kaynak kodu ile RNN eğittim. Ne yazık ki yaklaşık 46 bin karakterde RNN ‘ni beslemek için yeterince veri yazmamışım, ama dönen örneklendirme:</p><pre>I&#39;ve the RNN with and works, but the computed with program of the <br>RNN with and the computed of the RNN with with and the code</pre><p>Evet bu gönderi RNN ve ne kadar iyi çalıştığı üzerineydi. Görüldüğü gibi işe yarıyor :) Bir sonrakinde görüşmek üzere!</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5c537e7cb0b4" width="1" height="1" alt=""><hr><p><a href="https://medium.com/novaresearchlab/yinelenen-sinir-a%C4%9Flar%C4%B1n%C4%B1n-sebepsiz-verimlili%C4%9Fi-5c537e7cb0b4">Yinelenen Sinir Ağlarının Sebepsiz Verimliliği</a> was originally published in <a href="https://medium.com/novaresearchlab">novaresearchlab</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>