<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by archnilux on Medium]]></title>
        <description><![CDATA[Stories by archnilux on Medium]]></description>
        <link>https://medium.com/@archnilux?source=rss-9ad483567309------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*nKhdoG4w7HHgricCaap_rg.jpeg</url>
            <title>Stories by archnilux on Medium</title>
            <link>https://medium.com/@archnilux?source=rss-9ad483567309------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Fri, 20 Nov 2026 18:48:50 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@archnilux/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Why PINNs Fail?]]></title>
            <link>https://medium.com/@archnilux/why-pinns-fail-181582e5a22c?source=rss-9ad483567309------2</link>
            <guid isPermaLink="false">https://medium.com/p/181582e5a22c</guid>
            <category><![CDATA[electromagnetism]]></category>
            <category><![CDATA[computational-physics]]></category>
            <category><![CDATA[physics-informed-learning]]></category>
            <category><![CDATA[pinn]]></category>
            <category><![CDATA[neural-networks]]></category>
            <dc:creator><![CDATA[archnilux]]></dc:creator>
            <pubDate>Fri, 13 Feb 2026 13:39:09 GMT</pubDate>
            <atom:updated>2026-02-13T13:45:49.215Z</atom:updated>
            <content:encoded><![CDATA[<p>When we express physical systems through partial differential equations, we gain a remarkably powerful advantage: the equation itself already defines <strong>which universe we live in</strong>. We don’t have to separately worry about how energy is calculated, how information propagates, which speed limits are meaningful, which quantities are conserved, or where to expect continuity. Because all of these are intrinsic to the physical theory we’ve chosen and its mathematical expression. Of course, there are exceptions like weak forms and retarded solutions, but the general case holds. Maxwell, Navier-Stokes, Schrödinger, elasticity equations and many others are not merely mathematical formulations; these equations are also a recipe for a <em>spacetime fabric</em>. What we call a solution is an object that can exist within that fabric.</p><p>If you are an AI researcher with a theoretical physics background, you have internalized the absoluteness of the spacetime fabric. For this reason, it is quite natural for you to fall into the following misconception: “I integrated the equations defining the physical system into the loss function, therefore the model will learn the correct physical system.”</p><p>It’s actually a pretty reasonable perspective. After all, you’re teaching physics equations, the model is learning physics. If the equations are correct, the solution should be correct too. But no, unfortunately there is no such guarantee for PINNs.</p><p>At first glance this may sound speculative, <strong>but PINNs (and really all neural networks) belong to a different universe.</strong> We live in a physical universe defined by the laws of physics. The structure of our universe is expressed by the four-dimensional spacetime manifold. But PINNs, like all neural networks, exist in a parameter space. The structure of this space is a high-dimensional manifold shaped by the loss landscape.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/0*iZNhwPTrnkKI15BJ.png" /></figure><p>In the physical universe, matter and energy curve spacetime to produce what we perceive as gravitational force. What produces the curvatures in a neural network’s parameter space, we could say, is the training data and the chosen model architecture. The dataset creates wells in the parameter space similar to gravitational force, that is, basins of attraction. Much like the event horizons of black holes in our universe, these regions have inescapable centers of attraction. But the singularity here does not mean physical annihilation as at the center of a black hole; these are convergence points where information is reduced to its purest form. Gradient vectors, similar to gravitational force, pull the parameters toward these points.</p><p>Of course this analogy is not perfect. It will provide intuitive grasp for those unfamiliar with the subject, but I should note that it may have its shortcomings.</p><p>Clarifying this distinction matters because in the spacetime manifold, the laws of physics define the solution. In the loss landscape, there is generally only one law: move in the opposite direction of the gradient. During this progression, there is no guarantee about what will be conserved. A neural network during training only cares about reducing the loss values. It does not care whether the solution it produces is consistent with the laws of physics of our universe.</p><p>When we are talking about an LLM generating text or a CNN generating images, this is not a problem; it doesn’t matter whether these models obey principles like conservation of energy or causality. But when it comes to PINNs, we cannot ignore the model’s indifference to the laws of physics. Because that is exactly what PINNs were developed for: a neural network learning the laws of physics. How can we teach the laws of our universe to neural networks that belong to a different universe?</p><h3>The Nature of Time in Parameter Space</h3><p>One of the critical differences between a neural network’s parameter space and our universe is the nature of time. In the physical universe, time is the fourth dimension that constitutes the spacetime fabric. Nothing can escape it. The loss landscape, however, is inherently timeless. You can think of the landscape of parameter space as a static map, or to put it poetically, a frozen infinity.</p><p>This difference in the nature of time manifests itself as the causality problem in PINNs. When we model an electromagnetic environment in our universe, we don’t bother with externally integrating causality. For example, Maxwell’s equations are hyperbolic, and the <strong>domain of dependence</strong> structure of hyperbolic equations already limits the speed at which information propagates. By choosing retarded solutions, we also determine the direction of information flow to be from the past toward the future. All of this manifests as causality in our everyday life.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*acO1cqyYFCeQuCrN.jpg" /></figure><p>In the loss landscape, causality is not a necessity. The answer to the question of which information affects what at which step is determined by the integral structure of the loss. We can confirm this directly through mathematical expressions. Let’s look at the loss function of a typical PINN model:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/682/1*15g6Bx-V9FCrDO2UNYyDwA.png" /></figure><p>The first part on the right-hand side is the residual loss, I mean the expression with λᵣ in front of it. The expression with λᵢc in front of it is called the initial condition loss. Depending on the physical problem chosen, a boundary condition loss can also be added here, but the structure is roughly like this. Nᵣ and Nᵢc represent the collocation points, that is, the spatial points where the equations are enforced.</p><p>We know that the common input to gradient-based optimization in neural networks is expressed as ∇θ L. For convenience, let’s consider only the residual loss part of the equation above, that is, let’s assume the PINN model contains only residual loss. In that case, the gradient of the loss with respect to the parameters becomes:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/406/1*0Y1X5H2C5U7oXrrMh2VlAg.png" /></figure><p>As can be seen from the equation, the signal that updates the parameters during training is determined by the sum of contributions from all collocation points (and therefore all times t_i). I want you to pay particular attention to the presence of t_i, that is, time, in the equation. Gradient-based optimization incorporates time into the equation just like a spatial dimension. In short, the past and the future are thrown into the same optimization pool.</p><p>What is happening here is not just a violation of causality. The situation is even worse because this simply means the model has no concept of past or future. So much so that a parameter update at t=1.0 can be made because of an error at t=2.0. In science fiction jargon, we could say the model is trying to go back to the past to change events in order to fix the future.</p><p>The bad news is, if you are evaluating the model only with the accuracy metric, you generally won’t notice this problem. Because even if causality is violated, the model’s accuracy values can come out quite high, it may look like it has achieved near-perfect success. But if you check the relative error values, that’s when the real picture emerges. You see that the model has learned a solution space that has nothing to do with physical reality.</p><blockquote>Personal anecdote: I experienced this firsthand while developing my PINN work. After four months of work I completed the project and the accuracy values looked quite successful. Then this success made me suspicious, and I decided to run the energy metrics and relative error analysis. The result was painful: 100% relative error. In short, what my model had learned had not the slightest connection to physical reality. In fact, that moment of great collapse was actually the moment the research truly began for me. To reduce the relative energy error to 0.02%, I had to spend the next eight months working on PINN.</blockquote><p>To solve the problem, we can integrate the laws of physics into the model as regularizers, and this is mostly what is done in the literature. But which laws of physics do we integrate? Since PINNs are specifically developed for well-posed equations, there is unfortunately no single definitive answer. Maxwell’s equations require different interventions, the nonlinear Navier-Stokes equations require different interventions. Sometimes even different problem types of a particular equation may require different interventions. For example, a regularizer that improves results in the low-frequency regime in electromagnetism can make results worse at high frequencies.</p><p>We should also not forget that the regularizers included in the loss equation affect each other. For instance, we can use the Poynting theorem as a regularizer to dictate the law of conservation of energy to the model. However, if the weight of the Poynting loss is high, it generally suppresses the PDE loss, which causes the field accuracy to decrease.</p><p>Building a structure that mimics causality in parameter space also has various costs. One of the most commonly used approaches in the literature is dividing time into windows, but this approach generally creates discontinuity problems at window transitions. Curriculum learning and causal training approaches have their own disadvantages as well.</p><p>How do we get out of this mess? As I just said, there is no single answer. There is no single regularizer that will bring all PINN models into line. And we don’t need one either. A researcher who has internalized the fact that PINNs belong to a different universe will begin to sense at which point the neural networks will fail, the regions with high potential for causing trouble. Because even if the equations change, what we are actually doing doesn’t change: we are trying to translate the laws of physics of this universe for neural networks that live in another universe.</p><p><em>P.S.: You can access my PINN work via the URL below. Regards!</em></p><p><a href="https://arxiv.org/abs/2512.23396v2"><em>https://arxiv.org/abs/2512.23396v2</em></a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=181582e5a22c" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[PINN’ler Neden Başarısız Olur?]]></title>
            <link>https://medium.com/@archnilux/pinnler-neden-ba%C5%9Far%C4%B1s%C4%B1z-olur-b87b33a92d57?source=rss-9ad483567309------2</link>
            <guid isPermaLink="false">https://medium.com/p/b87b33a92d57</guid>
            <category><![CDATA[pinn]]></category>
            <category><![CDATA[computational-physics]]></category>
            <category><![CDATA[electromagnetism]]></category>
            <category><![CDATA[physics-informed-learning]]></category>
            <category><![CDATA[neural-networks]]></category>
            <dc:creator><![CDATA[archnilux]]></dc:creator>
            <pubDate>Fri, 13 Feb 2026 13:32:33 GMT</pubDate>
            <atom:updated>2026-02-13T13:32:33.305Z</atom:updated>
            <content:encoded><![CDATA[<p><em>Uyarı: Aşağıdaki yazıda teknik terimleri İngilizce olarak kullandım. Bunun imla kurallarına uygun olmadığını biliyorum ancak yazıda terimleri Türkçeleştirmeye çalışsaydım “bayır inişi (gradient descent)”, “eniyileştirme (optimization)”, “kayıp peyzajı (loss landscape)” gibi terimler kullanmam gerekecekti. Bu da okunabilirliği azaltacaktı.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/530/1*diCT7-5asjZcUrgJgX-U5w.png" /></figure><p>Fiziksel sistemleri kısmi diferansiyel denklemlerle ifade ederken oldukça güçlü bir avantaja sahip oluruz: denklemin kendisi, <strong>hangi evrende yaşadığımızı</strong> zaten tanımlar. Enerjinin nasıl hesaplanacağı, bilginin nasıl yayılacağı, hangi hız limitlerinin anlamlı olduğu, hangi niceliklerin korunacağı, nerede süreklilik bekleyeceğimiz gibi şeyleri bilahare düşünmek zorunda kalmayız. Çünkü bunlar seçtiğimiz fizik kuramının ve onun matematiksel ifadesinin içkin bir parçasıdır. Elbette weak formlar, retarded çözümler gibi istisnalar vardır ama genel durum değişmez. Maxwell, Navier–Stokes, Schrödinger, elastisite denklemleri ve daha nicesi sadece matematiksel bir formülasyon değildir; bu denklemler aynı zamanda bir “uzayzaman dokusu” tarifidir. Çözüm dediğimiz şey ise o dokunun içinde var olabilen bir nesnedir.</p><p>Eğer kuramsal fizik kökenli bir AI araştırmacısı iseniz, uzayzaman dokusunun mutlaklığını içselleştirmişsiniz demektir. Bu nedenle şu yanılgıya düşmeniz gayet olağandır: “Fiziksel sistemi tanımlayan denklemleri loss fonksiyona entegre ettim, öyleyse model doğru fiziksel sistemi öğrenecektir.”<br> <br>Aslında gayet mantıklı bir bakış açısı bu. Sonuçta fizik denklemlerini öğretiyorsun, model fizik öğreniyor. Denklemler doğruysa çözüm de doğru olmalı. Ancak hayır, PINN’ler için bunun garantisi yok maalesef.</p><p>İlk bakışta kulağa spekülatif gelebilir ancak <strong>PINN’ler farklı bir evrene aittir.</strong> Tüm neural networkler öyledir. Bizler fizik yasalarıyla tanımlanan fiziksel bir evrende yaşarız. Evrenimizin yapısı dört boyutlu uzayzaman düzlemi ile ifade edilir. Ancak PINN’ler, tüm neural networkler gibi bir parametre uzayında var olurlar. Bu uzayın yapısı ise <strong>loss landscape</strong> tarafından şekillenen yüksek boyutlu bir manifolddur.</p><p>Fiziksel evrende madde ve enerji uzayzamanı bükerek bir kütleçekim kuvveti olarak algıladığımız yapıyı meydana getirir. Bir neural network’ün parametre uzayındaki bükülmeleri meydana getiren şey ise eğitim verileri ve seçilen model mimarisidir diyebiliriz. Veri seti parametre uzayında kütleçekim kuvvetine benzer kuyular, yani <strong>basin of attraction</strong> bölgeleri oluşturur. Bizim evrenimizdeki kara deliklerin olay ufkuna benzer şekilde, bu bölgelerin de kaçınılmaz çekim merkezleri vardır. Ancak buradaki tekillik bir karadeliğin merkezindeki gibi fiziksel yok oluş anlamına gelmez; bunlar bilginin en saf haline indirgendiği convergence noktalarıdır. Gradient vektörleri ise kütleçekim kuvvetine benzer şekilde, parametreleri bu noktalara doğru çeker.</p><p>Elbette bu analoji kusursuz değil. Konuya yabancı olanlar için sezgisel bir hakimiyet sağlayacaktır ancak eksik yönleri olabileceğini hatırlatmak isterim.</p><p>Bu ayrımı netleştirmek önemli çünkü uzayzaman düzleminde fizik yasaları çözümü tanımlar. Loss landscape’te ise genelde tek yasa vardır: Gradient’in tersi yönünde ilerlemek. Bu ilerleyiş sırasında neyin korunacağına dair hiçbir garanti yoktur. Neural network eğitim sırasında sadece loss değerlerini düşürmekle ilgilenir. Ürettiği çözümün bizim evrenimizin fizik yasalarıyla uyumlu olup olmadığına aldırış etmez.</p><p>Metin üreten bir LLM veya görsel üreten bir CNN söz konusu olduğunda bu durum bir sorun oluşturmaz; bu modellerin enerjinin korunumu veya nedensellik gibi ilkelere uyup uymaması önemli değildir. Fakat mevzu PINN’lere gelince, modelin fizik yasalarını umursamayışını görmezden gelemeyiz. Çünkü PINN’lerin geliştirilme amacı tam olarak budur zaten: bir neural network’ün fizik yasalarını öğrenmesi. Farklı bir evrene ait neural networklere bizim evrenimizin yasalarını nasıl öğretebiliriz ki?</p><h3>Parametre Uzayında Zamanın Doğası</h3><p>Bir neural network’ün parametre uzayıyla bizim evrenimiz arasındaki kritik farklardan biri de zamanın doğasıdır. Fiziksel evrende zaman, uzayzaman dokusunu meydana getiren dördüncü boyuttur. Hiçbir şey ondan kaçamaz. Loss landscape ise özünde zamansızdır. Parametre uzayının manzarasını statik bir harita, hatta şairane bir tabirle donmuş bir sonsuzluk gibi düşünebilirsiniz.</p><p>Zamanın doğasına dair bu farklılık, PINN’lerde nedensellik problemi olarak karşımıza çıkar. Bizim evrenimizde bir elektromanyetik ortamı modellerken, nedenselliği harici olarak entegre etmekle uğraşmayız. Örneğin Maxwell denklemleri hiperboliktir ve hiperbolik denklemlerin <strong>domain of dependence</strong> yapısı bilginin yayılma hızını zaten sınırlar. Retarded çözümleri tercih ederek bilginin akış yönünü de geçmişten geleceğe doğru olacak şekilde belirleriz zaten. Tüm bunlar günlük hayatımızda nedensellik olarak tezahür eder.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*FQ8hBYLxxnmmWh5B.jpg" /></figure><p>Loss landscape’te ise nedensellik bir zorunluluk değildir. Hangi bilginin hangi adımda neyi etkileyeceği sorusunun cevabı loss’un integral yapısıyla belirlenir. Bunu doğrudan matematiksel ifadeler üzerinden teyit edebiliriz. Tipik bir PINN modelinin loss fonksiyonuna bakalım:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/676/1*wIlgyS4irP3WLoCuTAyytQ.png" /></figure><p>Eşitliğin sağ tarafındaki ilk parça residual loss’tur, önünde λᵣ olan ifadeyi kastediyorum. Önünde λᵢc olan ifade ise initial condition loss olarak adlandırılır. Seçilen fiziksel probleme göre buraya boundary condition loss da eklenebilir ama yapı kabaca böyle. Nᵣ ve Nᵢc ise collocation noktalarını, yani denklemlerin sağlandığı uzay noktalarını ifade eder.</p><p>Biliyoruz ki, neural networklerde gradient tabanlı optimizasyonun ortak girdisi ∇θ L olarak ifade edilir. Kolaylık olması açısından yukarıdaki denklemin sadece residual loss kısmını dikkate alalım, yani PINN modelinin sadece residual loss içerdiğini varsayalım. Bu durumda loss’un parametrelere göre gradyanı şöyle olur:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/429/1*OlEz7yt6fQ8xPCMKMJifeg.png" /></figure><p>Denklemden görüleceği üzere eğitim sırasında parametreleri güncelleyen sinyal, tüm kollokasyon noktalarının (dolayısıyla tüm t_i zamanlarının) katkısının toplamı ile belirleniyor. Burada özellikle t_i’nin, yani zamanın, denklemdeki varlığına dikkat etmenizi istiyorum. Gradient tabanlı optimizasyon zamanı da uzamsal bir boyut gibi dahil ediyor denkleme. Kısacası geçmiş ve gelecek aynı optimizasyon havuzuna atılıyor.</p><p>Buradaki olay, sadece nedenselliğin ihlal edilmesi değildir. Durum daha da vahim çünkü bu basitçe modelin bir geçmiş veya gelecek kavramı içermediği anlamına geliyor. Öyle ki, t=2.0 anındaki bir hata yüzünden t=1.0 anında parametre güncellemesi yapılabilir. Bilim kurgu jargonuyla, modelin geleceği düzeltmek için geçmişe giderek olayları değiştirmeye çalıştığını söyleyebiliriz.</p><p>İşin kötü yanı, modeli sadece accuracy metriği ile değerlendiriyorsanız bu problemi genelde fark etmezsiniz. Çünkü nedensellik ihlal edilmiş olsa bile modelin accuracy değerleri oldukça yüksek çıkabilir, mükemmele yakın bir başarı elde etmiş gibi görünebilir. Fakat relative error değerlerini kontrol ederseniz, işte o zaman gerçek manzara ortaya çıkar. Modelin fiziksel gerçeklikle alakası bile olmayan bir çözüm uzayını öğrendiğini görürsünüz.</p><blockquote>Kişisel anekdot: PINN çalışmamı geliştirirken bunu bizzat yaşamıştım. Dört aylık bir çalışma sonucunda projeyi tamamladım ve accuracy değerleri oldukça başarılı görünüyordu. Sonra bu başarı beni işkillendirdi, modelin enerji metriklerini ve relative error analizini yapmaya karar verdim. Sonuç acı vericiydi: %100 relative error. Kısacası modelimin öğrendiği şeyin fiziksel gerçeklikle en ufak alakası yoktu. Aslına bakılırsa, o büyük yıkım anı benim için araştırma sürecinin gerçekten başladığı an olmuştu. Relative enerji hatasını %0.02 seviyesine düşürebilmek için sonraki sekiz ayı PINN çalışarak geçirmem gerekmişti.</blockquote><p>Sorunu çözmek için fizik yasalarını regularizer olarak modele entegre edebiliriz, literatürde yapılan şey çoğunlukla budur. Fakat hangi fizik yasalarını entegre edeceğiz? PINN‘ler well-posed denklemlere özel olarak geliştirildiği için bunun tek bir kesin cevabı yok maalesef. Maxwell denklemleri farklı müdahaleler gerektirir, nonlinear yapıda olan Navier Stokes denklemleri farklı müdahaleler gerektirir. Hatta bazen belirli bir denklemin farklı problem türleri bile farklı müdahaleler gerektirebilir. Örneğin elektromanyetizmada düşük frekans bölgesinde sonuçları iyileştiren bir regularizer yüksek frekansta sonuçları kötü hale getirebilir.</p><p>Loss denkleme dahil edilen regularizerların birbirini etkilediğini de unutmamak gerekir. Örneğin Poynting teoremini bir regularizer olarak kullanıp enerjinin korunumu yasasını modele dikte edebiliriz. Ancak Poynting loss’un ağırlığı yüksek olursa genelde PDE loss’u baskılar, bu da alan doğruluğunun azalmasına sebep olur.</p><p>Parametre uzayında nedenselliği taklit eden bir yapı kurmanın da çeşitli bedelleri vardır. Literatürde en sık kullanılan yaklaşımlardan biri zamanı pencerelere bölmektir, ancak bu yaklaşım genelde pencere geçişlerinde süreksizlik sorunu yaratır. Curriculum learning ve causal training yaklaşımlarının da kendi dezavantajları bulunuyor.</p><p>Nasıl çıkarız bu keşmekeşin içinden? Az evvel de söylediğim gibi, tek bir cevabı yok. Tüm PINN modellerini hizaya sokacak tek bir regularizer bulunmuyor. Nitekim buna ihtiyacımız da yok. PINN’lerin farklı bir evrene ait olduğu gerçeğini içselleştiren bir araştırmacı neural networklerin hangi noktada hata vereceğini, sorun çıkarma potansiyeli yüksek bölgeleri sezmeye başlayacaktır. Çünkü denklemler değişse bile aslında yaptığımız şey değişmiyor: Bu evrenin fizik yasalarını başka bir evrende yaşayan neural networklere tercüme etmeye çalışıyoruz.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b87b33a92d57" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Bu Yazıyı Gece Yarısından Sonra Okuyun]]></title>
            <link>https://medium.com/@archnilux/bu-yaz%C4%B1y%C4%B1-gece-yar%C4%B1s%C4%B1ndan-sonra-okuyun-b735cac3c8bd?source=rss-9ad483567309------2</link>
            <guid isPermaLink="false">https://medium.com/p/b735cac3c8bd</guid>
            <category><![CDATA[medium-turkce]]></category>
            <category><![CDATA[verimlilik]]></category>
            <category><![CDATA[türkçe-yayın]]></category>
            <category><![CDATA[özgürlük]]></category>
            <category><![CDATA[uyku]]></category>
            <dc:creator><![CDATA[archnilux]]></dc:creator>
            <pubDate>Sat, 04 Oct 2025 05:59:22 GMT</pubDate>
            <atom:updated>2025-10-04T06:17:05.847Z</atom:updated>
            <content:encoded><![CDATA[<h4>…Çünkü Sabahlar Size Ait Değil</h4><blockquote><strong>“Orman güzel, karanlık ve derin,<br>Fakat tutulacak sözlerim var benim<br>Ve gidilecek yollar, uyumadan önce<br>Gidilecek yollar, uyumadan önce.”</strong></blockquote><blockquote>Robert Frost, Stopping by Woods on a Snowy Evening</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*3eaw32lz0R845chtjJGIaA.jpeg" /></figure><p>Hayatta iki çeşit insan vardır; gece kuşu olanlar ve kendini gece kuşu sananlar. Şu anda tamamen bir tarafımdan uydurduğum bu genelleme büyük ihtimalle doğruluk payı içermiyor, fakat yazıya bir yerden başlamam gerekiyordu.</p><p>Gerçekten gece kuşu olanlar burada okumayı bırakıp sabah saatlerini süsleyen REM döngüleriyle ve geceleri açığa çıkan yaratıcılık patlamalarıyla hayatlarına devam edebilirler. Evrimsel biyolojiye göre sizler ilkel çağlardaki koruyucuların ve muhafızların kanından geliyorsunuz. İnsanlık olarak bugünlere gelebilmemizi atalarınızın gece nöbetleri tutmasına borçluyuz. Teşekkürler.</p><p>Diğer gruba gelecek olursak; bence bu göründüğünden çok daha kalabalık bir topluluk. Öyle olduğunu biliyorum zira geçmişte ben de kendini gece kuşu sananlardan biriydim. Ömrümün yarıdan fazlası geceleri geç saatlere kadar uyanık kalarak ve sabahları geç kalkarak geçti. Dönem dönem bu alışkanlığı kırdığım oluyordu ama önünde sonunda geceleri geç uyuma düzenine geri dönüyordum.</p><p>Gerçek şu ki; hayatımın belirli bir döneminde gece kuşu rutini sürdürmek hakikaten faydalıydı. Özellikle profesyonel yazarlık yaparak geçirdiğim senelerde bu durum kaçınılmazdı çünkü yaratıcılık şeytanı geceleri uyanır. Eğer rasyonel olmayı gerektiren bir hayatınız varsa o şeytanla karşılaşmak istemezsiniz; zira sağlıklı bir zihnin zıttı gibidir. Fakat bir yazar, filozof veya sanatçıysanız yaratıcılık şeytanıyla (veya Nietzsche’nin deyimiyle, <em>daemon</em>) pazarlık yapmak size ilhamın kapılarını aralayabilir.</p><p>Açıkçası bu yazıya gece kuşu olma yanılgısı hakkında bir şeyler söylemek üzere başlamıştım ancak pek çok kişi gibi ben de fikirlerimi yazıya dökerken inşa ediyorum. Dolayısıyla fikrin kendisi genelde yazının ortalarına doğru oluşuyor. Eskiden olsa başa dönüp yazıyı düzenleyerek tutarlı bir anlatı oluşturmaya çalışırdım fakat bence günümüzde bu tür dağınık anlatılar daha değerli hale geldi. Çünkü zaten tutarlı ve sınırları keskin biçimde belirlenmiş yazıları artık LLM’ler üretebiliyor. Fakat bu başka bir yazının konusu olsun.</p><p>Asıl mevzuya dönecek olursak, gece kuşu olmayı eleştirmekten ziyade bunun sebepleri üzerinde durmak istiyorum. Çünkü çoğumuz gibi benim de hayatımın belirli dönemlerinde sabahları erken uyanmaya alıştığım dönemler olmuştu. Şimdi geriye dönüp baktığımda bu dönemlerin bir ortak noktası olduğunu fark ediyorum: zamanını kontrol edebilme özgürlüğü.</p><p>Lise yıllarında böyle bir özgürlüğe sahip değildim, ve o yıllar adeta profesyonel bir gece kuşu gibiydim. Özellikle sınava hazırlandığım son sınıfta sabaha kadar uyanık kalıp okula gidiyordum, akşamüstü eve dönünce gece yarısına kadar uyuyordum. Sonra yine sabaha kadar uyanık kalıp bu döngüyü devam ettiriyordum. Ailem elbette geceleri uyanık kalmamdan şikayetçiydi fakat bunun benim doğal biyolojik ritmim olduğuna dair sarsılmaz bir inanca sahiptim.</p><p>Sonra mezuna kaldım, sabahları okula gitme zorunluluğu ortadan kalktı ve bilin bakalım ne oldu? Evet, uyku düzenim değişti. Zaten dershaneye gitmiyordum, evin yakınlarında ders çalışabileceğim bir kütüphane bulmuştum ve orası benim kişisel çalışma alanım gibiydi. Artık sabahları erkenden uyanıp kütüphaneye gidiyor, her gün oturduğum köşeye geçip akşama kadar orada takılıyordum. O yıl boyunca bir kez bile sabahlama gereksinimi duyduğumu hatırlamıyorum.</p><p>Sonra üniversiteye başladım ve gece kuşu alışkanlığım nüksetti. Üstelik artık yazarlık da yapıyordum, bir çeşit ikinci kimlik gibiydi benim için. Varoluşumu sürdürebilmek için gecelere ihtiyacım olduğunu düşünüyordum.</p><p>Şimdiyse fikirlerim biraz daha değişti. Artık gece kuşu olmak mefhumunun özünde bir çeşit sistem başkaldırısı yattığını düşünüyorum. Kulağa teatral geliyor olabilir ama dinleyince hak vereceksiniz.</p><p>Şu bir gerçek ki, sabahları erken uyanmak dünya popülasyonunun büyük bir kısmı için harika bir şeydir. Başlarda berbat gelebilir ama çok geçmeden vücudunuz erken uyanmayı benimser, çünkü bu onun doğal düzenidir. Ayrıca uyku mimariniz de bu düzene adapte olur ve sabahın erken saatleri mental olarak en verimli olduğunuz saatlere dönüşür. Fakat bu düzenin sürdürülebilir olması için insanın iki şeye ihtiyacı vardır: zamanının ve bulunduğu alanın kendine ait olmasına.</p><p>Sabahları gitmek zorunda olduğunuz bir iş veya okul varsa zamanınız size ait değil demektir. Evde yalnız yaşamıyorsanız, kimse tarafından rahatsız edilmeyeceğiniz bir çalışma odanız veya yakınlarda gidebileceğiniz bir çalışma alanı yoksa bulunduğunuz alan da size ait değil demektir. Bu koşullarda sabahın erken saatlerini kendinize ayırmanız neredeyse olanaksız hale gelir. Erken uyuyup erken uyanan biriyseniz mental olarak en verimli olabileceğiniz zaman dilimini çöpe atmış olursunuz.</p><p>Eğer sabahları gitmek zorunda olduğunuz bir işiniz veya okulunuz yoksa zamanınız size aittir. Evde yalnız yaşıyorsanız ya da kimse tarafından rahatsız edilmeyeceğiniz bir çalışma odanız varsa, bulunduğunuz alan da size aittir. Bu koşullarda sabahın erken saatlerini kendinize ayırmanız oldukça kolay hale gelir. Erken uyuyup erken uyanan biriyseniz, mental olarak en verimli olabileceğiniz zaman dilimini bütünüyle değerlendirme şansına sahip olursunuz.</p><p>Peki ya her gün işe, okula giden veya kişisel alana sahip olmayan bir insan için durum ne olur? Sabah erkenden uyanır ve mental açıdan en verimli olduğu saatleri okulda veya işte heba etmek zorunda kalır. Evden çalışan insanlar için de genelde kişisel alan eksikliği süreci baltalar, zira bu kez de sabahın verimliliği evdeki diğer insanların rutinleriyle çakışacaktır.</p><p>Kısacası, modern çağlarda bir insanın kendiyle baş başa kalabilmesi ancak akşam saatlerinde mümkün oluyor. Sabahları erken uyanmanın handikapı da tam bu noktada devreye giriyor işte. Zira 23:00–07:00 aralığında uyuyan biriyseniz beyniniz akşam dokuza doğru yavaştan şalteri kapatmaya başlayacaktır. Uyku saatine kadar tam performans uyanık kalıp da 23:00&#39;da şıp diye uykuya dalmak maalesef gerçekçi bir şey değil.</p><p>Akşam dokuzdan önce kendimize zaman ayıralım öyleyse? Eh, denenebilir ama bende pek çalışmadı bu yöntem. Günü dışarıda geçirip eve gelince fiziksel ihtiyaçlar daha ağır basıyor. Sıcak bir duş almak, rahat kıyafetler giyip koltukta biraz uzanmak, sosyal medyada amaçsızca gezinmek, yemek yapmak, karnını doyurmak, bulaşık ve çamaşır gibi angaryalar derken zaman ışık hızıyla geçiyor. Entelektüel bir uğraş, okunmayı bekleyen bir kitap, yapılacak araştırmalar ve bilimum mental enerji gerektiren aktiviteler için en erken akşam dokuzda hazır olabiliyorsunuz. Ki bu da, sabah yedide uyanmış bir beynin şalteri kapatmaya başladığı saatler demektir.</p><p>Sanırım bu yazıyı yazma sebebimi şu an, yani yazının son paragrafına girerken anladım. Burada aslında gece geç saatlere kadar uyanık kalmanın bir günah olmadığını anlatmak istiyordum. Evet, erken uyuyup erken uyandığım dönemlerde müthiş verimli günler geçiriyorum fakat bunun asıl sebebi, o dönemlerde günlük programımı bizzat belirleyebiliyor olmam. Kendi zamanımı yönetme imkanına sahip olmadığım ve sabahın en verimli saatlerini başka şeylere harcadığım dönemlerde ise geç saatlere kadar uyanık kalmak zorundayım. Çünkü özgürce bir şeyler yapabildiğimiz, özgürce kendi istediğim şeylere çalışabildiğimiz veya özgürce sosyal medyada ekran kaydırdığımız o birkaç saat aslında bize ait olan yegane zaman dilimi. Ve emin olun, o zaman dilimine hepimizin ihtiyacı var. Geceleri erkenden uyumaya direnen beynimiz aslında bunu bizden daha iyi biliyor.</p><p>CEO’ların başarı hikayelerini okurken bu gerçeği göz önünde bulundurmanızı tavsiye ederim. Her sabah güne beşte başladıkları için CEO olmadılar; CEO oldukları için sabahın en güzel saatlerini kendilerine ayırabilme lüksüne sahip oldular. Muhtemelen bu da hatalı bir genellemeden ibarettir ama üzgünüm, yazıya bir kapanış yapmam gerekiyordu.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b735cac3c8bd" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Yapay Zeka Kışı]]></title>
            <link>https://medium.com/@archnilux/yapay-zeka-k%C4%B1%C5%9F%C4%B1-34301a676620?source=rss-9ad483567309------2</link>
            <guid isPermaLink="false">https://medium.com/p/34301a676620</guid>
            <category><![CDATA[perceptron]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[derin-öğrenme]]></category>
            <category><![CDATA[makine-öğrenmesi]]></category>
            <category><![CDATA[yapay-zeka]]></category>
            <dc:creator><![CDATA[archnilux]]></dc:creator>
            <pubDate>Wed, 30 Jul 2025 11:42:21 GMT</pubDate>
            <atom:updated>2025-07-30T11:42:21.900Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WRcFKDHmnUlhLRLwHdFE7Q.png" /></figure><blockquote>Not: Bu yazıyı 2020 yılında bir TeknoNerd yazısı olarak yazmıştım. Son kısımda yer alan bazı detaylar bu nedenle retrospektif hissettirebilir.</blockquote><p>Cep telefonları, internet, yapay zeka.</p><p>Bu üçünü yeniden eskiye doğru sıralayabilir misiniz?</p><p>İlk sıraya yapay zekayı koyanlar; <em>elendiniz</em>. İnanması güç gelebilir ama yapay zeka 1950&#39;li yıllara dayanan resmi tarihçesiyle bu listenin sonunda yer alıyor. Resmi olmayan tarihçesi ise çok daha eski! Henüz bilgisayar bile icat edilmemişken bilim dünyası düşünebilen makineleri araştırıyordu. Peki bu denli uzun bir geçmişe sahip olmasına rağmen yapay zeka neden günümüzde yeni bir alan olarak görülüyor?</p><p>Çünkü yapay zekanın yükselişi ve çöküşü onlarca yıldır devam eden bir döngü.</p><p>Tarih boyunca dört büyük yapay zeka yükselişi yaşandı ve her yükseliş bir çöküşle sonuçlandı. Bilim dünyası bu çöküşlere “AI Kışı” adını veriyor. Peki, AI Kışı nedir ve şu an yeni bir çöküş dönemine mi giriyoruz?</p><p><strong>İLK YÜKSELİŞ VE PERCEPTRON KIŞI (1956–1969)</strong><br>Yapay zeka araştırmaları resmi olarak 1956’daki Dartmouth Konferansı ile başladı. Bu dönemde bilim insanları makinelerin insan zekasını kısa sürede yakalayacağını düşünüyordu. İlk satranç oynayan programlar, mantık tabanlı akıllı sistemler ve en önemlisi; ilk yapay nöron olan <strong>Perceptron </strong>bu dönemde icat edildi. Günümüzdeki yapay zeka teknolojisinin temel yapıtaşlarından biri olan çok katmanlı perceptronlar aslında 1950&#39;lilerden günümüze taşınan bir miras.</p><p>Ancak 1969&#39;da Marvin Minsky ve Seymour Papert tarafından yazılan “Perceptrons” makalesi bu yaz havasını sona erdirdi. Makale perceptronların yalnızca doğrusal olarak ayrılabilen basit problemleri çözebildiğini gösteriyordu. Oysa gerçek dünyada neredeyse hiçbir problem doğrusal değildir.</p><p>Bu makalenin en büyük etkisi yatırımcılar üzerinde oldu. Beklentilerinin yakın gelecekte karşılanmayacağını anladıklarında yapay zeka projelerine ayrılan finansman büyük ölçüde kesildi. Departmanlar kapatıldı, araştırmalar yavaşladı ve <strong>Birinci AI Kışı</strong> başladı.</p><p><strong>İKİNCİ YÜKSELİŞ VE EXPERT SİSTEMLER (1980–1987)</strong><br>Spesifik alanlarda uzmanlaşabilen <strong>expert sistemler</strong> sayesinde 1980&#39;li yıllarda yapay zeka yeniden trend oldu. Üstelik bu kez yapay zeka araştırmaları somut meyveler veriyordu. Expert sistemlerin insan uzmanların bilgilerini taklit edebileceği anlaşılınca yatırımcılar yeniden oyuna girdi. Bugünkü Deep Learning modellerini mümkün kılan <strong>Backpropagation </strong>algoritması bu dönemde icat edildi.</p><p>Ancak 1987’ye gelindiğinde, expert sistemler esnek olmayan ve pahalı teknolojiler olarak görülmeye başlandı. Zira expert sistemler büyük miktarda kural ve manuel kodlama gerektiriyordu. İnsan uzmanları çalıştırmak expert sistemlere nazaran daha düşük maliyetliydi.</p><p>Sonuç: <strong>İkinci AI Kışı</strong> başladı ve yatırımlar kesildi.</p><p><strong>ÜÇÜNCÜ YÜKSELİŞ VE MAKİNE ÖĞRENİMİ (1993–2000’LER BAŞI)</strong><br>1990’ların ortalarına doğru, makine öğrenimi ve istatistiksel modellerin yapay zekaya uygulanması büyük bir dönüşüm başlattı. IBM’in Deep Blue modelinin Kasparov’u satrançta yenmesi dünya çapında yankı uyandırdı. Veri analizi popülerleşti, makine öğrenimi uygulamaları ve optimizasyon algoritmaları geliştirildi.</p><p>Ancak 2000’lerin başında, sinir ağları için yeterli veri ve işlem gücünün olmayışı büyük bir duraklama yarattı. Üstelik Deep Learning modellerinin eğitilmesi hala çözülmemiş bir problemdi. Hem akademik, hem de finansal problemler yapay zekayı iki taraftan kıskaca aldı.</p><p>Böylelikle <strong>Üçüncü AI Kışı</strong> başladı.</p><p><strong>DÖRDÜNCÜ YÜKSELİŞ VE DEEP LEARNING (2012-GÜNÜMÜZ)<br></strong>2012 yılı, yapay zekanın yeniden doğuş yılı oldu desek yeridir. Neural networklerin yıllarca süren uykusundan uyanmasını sağlayan en büyük gelişme, <strong>Geoffrey Hinton</strong> ve ekibinin ImageNet yarışmasında Convolutional Neural Networks (CNN) ile gösterdiği başarıydı. Geliştirdikleri model (<strong>AlexNet</strong>) adeta bir devrim yarattı ve günümüze dek uzanan bir yükseliş çağını ateşledi.</p><p>Bugün chatbotlardan otonom araçlara, yüz tanıma sistemlerinden biyomedikal araştırmalara kadar yapay zeka hayatın her alanına sızmış durumda. Google, Microsoft, Facebook gibi devler yapay zeka projelerine kaynak yağdırıyorlar. Vicarious, Allen Institute, OpenAI, SRI Lab gibi az bilinen bağımsız ekipler de iddialı projeler geliştiriyorlar. Pek yakında bir yapay zeka patlaması yaşanırsa bu pek şaşırtıcı olmaz.</p><p>Öte yandan, yapay zekanın lanetli geçmişini de unutmamak gerekiyor. Tarih boyunca bu alandaki yükselişlerin kaderi hep aynı oldu; sanki görünmez bir el tarafından koyulan engellere tosladılar ve tabiri caizse, unutuluşla lanetlendiler.</p><p>Belki bu sefer farklıdır. Belki de 2020’lerde gördüğümüz ilerleme, sadece geçici bir yaz değil, gerçek bir yapay zeka baharının başlangıcıdır. Ya da belki de tarih tekerrür edecek ve bizler yeni bir AI Kışı’na girerken, bir kez daha yapay zekayı hafızalarımızdan silmek zorunda kalacağız.</p><p>Cevabı zaman gösterecek.</p><p><em>Dipnot: Bazı kaynaklar iki tane AI kışı yaşandığını iddia ediyor ama benim şahsi fikrim üç tane olduğu yönünde. Bu nedenle yazıyı ona göre yazmıştım. Siz neler düşünüyorsunuz?</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=34301a676620" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[LLM: DÜŞ MAKİNELERİ]]></title>
            <link>https://medium.com/@archnilux/llm-d%C3%BC%C5%9F-maki%CC%87neleri%CC%87-07abc848ef3f?source=rss-9ad483567309------2</link>
            <guid isPermaLink="false">https://medium.com/p/07abc848ef3f</guid>
            <category><![CDATA[yapay-sinir-ağları]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[neural-networks]]></category>
            <category><![CDATA[yapay-zeka]]></category>
            <category><![CDATA[llm]]></category>
            <dc:creator><![CDATA[archnilux]]></dc:creator>
            <pubDate>Mon, 26 May 2025 18:24:21 GMT</pubDate>
            <atom:updated>2025-05-26T18:24:21.965Z</atom:updated>
            <content:encoded><![CDATA[<blockquote><strong>LLM </strong>= Large Language Model. ChatGPT, Claude, Gemini, Deepseek gibi modellerin genel adı.<br><strong>Halüsinasyon</strong> = LLM’lerin gerçek dışı/var olmayan bilgiler üretmesine deniyor.<br><strong>Transformer </strong>= Modern LLM’lerin temelindeki neural network mimarisi.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ux38DphyNlHTBOje69B9fg.png" /></figure><p>Günümüzde ChatGPT, Claude, Gemini, Grok gibi modellerle tanışmamış insan neredeyse kalmadı. Fakat bu modellerin çalışma mekanizmasına dair aslında çok temel bir nokta genellikle gözden kaçırılıyor ve bu yanılgıyı AI alanındaki insanlarda bile gözlemlemek mümkün. Bu yazıda sizlere o yanılgıdan ve <em>makinelerin düşlerinden</em> bahsedeceğim.</p><p>Geçtiğimiz yıl Andrej Karpathy’nin halüsinasyon problemi hakkındaki bir yazısını okumuştum. Halüsinasyonun LLM’ler için aslında bir problem olmadığını zarifçe açıklayan, çok güzel bir cümlesi vardı:</p><blockquote>“İnsanların halüsinasyon problemi hakkındaki sorularına cevap vermekte hep zorlanmışımdır. Çünkü bir bakıma LLM’lerin yaptığı yegane şey halüsinasyon görmektir. Onlar birer düş makinesidir.”</blockquote><p>Kulağa şiirsel gelmesinin yanı sıra, bu cümle ciddi bir teknik doğruluk da içeriyor. Genelde insanlar ChatGPT gibi modellerin bilgileri bir yerden derleyerek cevap oluşturduğunu düşünür. Sanki arka planda devasa bir enformasyon havuzu varmış, model cevap üretirken gerekli bilgileri o havuzdan alıyormuş gibi bir izlenim oluşur. Gerçekteyse LLM’lerin belleğinde Wikipedia makaleleri ya da kitaplardan alınmış cümleler doğrudan saklı değildir. Yazının girişinde bahsettiğim yanılgı işte tam olarak buydu:</p><h3><strong>LLM’ler bilgiyi bir kaynaktan almazlar; sıfırdan inşa ederler.</strong></h3><p>Bu cümle kulağa çok derin gelmeyebilir, hatta biraz şiirsel amaçla yazılmış gibi görünüyor ama aslında bayağı önemli. Çünkü bu cümleyi içselleştirmek dil modellerine bakış açınızı değiştirecek. Neyi yapabilirler, neyi yapamazlar, neyi neden yapıyorlar gibi pek çok şeyi sezgisel olarak fark etmeye başlayacaksınız. Ve en önemlisi, halüsinasyonun neden bir problem olmadığını görmüş olacaksınız.</p><p>Peki bu modeller bilgiyi nasıl sıfırdan üretiyor olabilir? Çünkü düşününce her bilgi sıfırdan üretilebilecek bir şeymiş gibi gelmiyor insana. Örneğin dünyanın yuvarlak olduğu bilgisini mantık yoluyla üretmek mümkün olabilir ama benim adımın Nilüfer olduğu bilgisini mantıksal çıkarımla üretemezsiniz. Burada kilit nokta şu ki, zaten dil modelleri de bilgiyi mantıksal çıkarım yoluyla üretmiyorlar. İstatistiksel analiz yoluyla üretiyorlar. Fakat bunu izah etmek için öncelikle <strong>token </strong>kavramına değinmem gerekecek.</p><p>Biz insanlar için metinlerin yapıtaşları sözcüklerdir; LLM’ler içinse tokenlar. Bunlar sözcüklerden daha kısa olabilen küçük metin parçalarıdır. Farklı tokenization çeşitleri var ama aşağıda BPE algoritmasının tokenizasyon örneklerini göreceksiniz. Eğer bu kavramlara yabancıysanız şöyle ifade etmekte sakınca olmaz: tokenizasyon, sözcükleri parçalara ayırmak demektir. Bunu hecelere ayırmak gibi düşünebilirsiniz ama tam öyle çalışmıyor. Bir token noktalama işareti de olabilir, alışılmışın dışında ayrılmış heceler de. Aşağıda hem İngilizce hem Türkçe tokenizasyon örnekleri görebilirsiniz.</p><p>“<strong>unbelievable</strong>” → [“un”, “believ”, “able”]<br>“<strong>don’t</strong>” → [“don”, “‘“, “t”]<br>“<strong>artificial intelligence</strong>” → [“art”, “ificial”, “ intelligence”]</p><p>“<strong>anlamlandırılamaz</strong>.” → [“an”, “lam”, “lan”, “dır”, “ıla”, “maz”, “.”]<br>“<strong>yapabileceğim</strong>” → [“yap”, “abil”, “ece”, “ğim”]<br>“<strong>merhaba dünya</strong>” → [“mer”, “haba”, “ dün”, “ya”]</p><p>ChatGPT gibi dil modelleri işte bu tokenlarla eğitiliyor; hatta çalışma mekanizmalarının temelinde de tokenlar var. Modern GPT-4 gibi modellerin sözcük dağarcığı yaklaşık 100.000 token içerir.</p><p>Genel itibarıyla tokenları bir dilin temel yapıtaşları olarak düşünebilirsiniz. Ve asıl önemli nokta: tokenlar arasında<strong><em> istatistiksel ilişkiler</em></strong> vardır. Aslında bunu ifade etmek biraz tuhaf geliyor çünkü bizim beyinlerimiz zaten bu istatiksel ilişkilerin farkındadır. İnsanlar için bu tarz örüntüleri tanımak o kadar doğaldır ki, çoğunlukla farkına bile varmayız. Dilerseniz bir örnekle açıklayayım. Aşağıdaki yarım kalmış sözcüğe bakın lütfen;</p><p>“anlamlandırıla — “</p><p>Sizce bu sözcüğün aşağıdaki eklerden hangisiyle devam etme olasılığı daha yüksektir?</p><p>- “-iyor”<br>- “-bilir” <br>- “-lık”</p><p>Evet, ikincisiyle. Halbuki yarım sözcük “sevin — “ olsaydı birinci ekle devam etme olasılığı daha yüksek olurdu. “Kitap — “ olsaydı üçüncü ekle devam etme olasılığı yüksek olurdu. Zihinlerimiz bu istatiksel analizi, hatta daha fazlasını doğal bir şekilde yapabilir. Mesela bu cümledeki ilk sözcüğün yalnızca ilk hecesini gördüğünüz anda beyniniz “mesele”, “mesafe”, “meslek” “mesken” “mesaj” gibi bir sürü farklı kelimeyi aktive etti. Bu kelimelerin çoğu mevcut bağlama ve önceki harflere göre hızla eledi; 200 milisaniye içinde en olası kelimeyi seçti. Sözcüğün tamamını <em>ondan sonra</em> okudunuz. Ve büyük ihtimalle “mesela” sözcüğünün geleceğini ilk heceyi okuduğunuz anda biliyordunuz.</p><p>Gördüğünüz üzere, dili oluşturan tokenlar arasında istatistiksel ilişkiler vardır ve biz insanlar bu ilişkileri durmadan kullanırız. Makinelerin ise bu ilişkileri <em>öğrenmeleri </em>gerekir. Eğer bir modeli yeterince çok veriyle eğitirseniz bu istatistiksel örüntüleri tanımaya başlar. Çünkü eğitim sırasında modelin sürekli tahminler yapması gerekir. Yanlış tahminler yaptığında parametreleri değiştirileceği için giderek daha iyi tahminler yapmaya başlar. Yani ChatGPT gibi bir dil modelinin amacı basitçe şudur:</p><p><strong>Bir sonraki sözcüğü (tokeni) tahmin et.</strong></p><p>Ve sonraki sözcüğü de. Sonraki sözcüğü de. Bunu öyle bir şekilde yap ki, finalde ortaya anlamlı bir metin çıkmış olsun.</p><p>Basit ama güçlü bir yaklaşım. Ve çooook fazla veri gerektiriyor. Yazının başında LLM’lerin belleğinde Wikipedia makaleleri ya da kitaplardan alınmış cümleler doğrudan saklı değildir demiştim. Bilgi doğrudan saklı değil, fakat tokenlere ayrıştırılmış olarak eğitim verisinde yer alıyor. Model tokenler arasındaki istatiksel ilişkileri öğrendikten sonra ise tokenleri kullanarak <em>bilgiyi inşa etmeye</em> başlıyor.</p><p>Fakat bu süreç göründüğü kadar basit değil. Token seçimi sampling yöntemleriyle yapılır. Temperature, top-p, top-k gibi parametreler vardır ve bunlar modelin yaratıcılığını kontrol ederler. Mesela context-aware token sampling olmadan model yine sonraki tokenleri tahmin ederdi, ama bağlama uygun metinler üretemezdi. Burada devreye modern dil modellerinin temelindeki <strong>Transformer mimarisi</strong> giriyor.</p><p>Şunu da söylemek lazım, aslında dil modelleri tokenleri de doğrudan bilmezler. Zira tokenlar birer sözcük parçasıdır. Onları matematiksel denklemlerle analiz edebilmek için önce matematiksel objelere dönüştürmek gerekir; yani vektörlere. Bu işleme embedding denir ve genellikle çok yüksek boyutlu vektörlerle sonuçlanır.</p><p>Mesela “cats” tokeni için [0.34, -0.11, 0.07, …, 0.98] şeklinde devam eden, binlerce boyutlu bir vektör temsili vardır. Bu vektör uzayında benzer anlamları taşıyan sözcükler birbirine yakın konumlarda bulunur. Meşhur “kral — erkek + kadın = kraliçe” vektör aritmetiği de bu sayede mümkün olur.</p><p>Bu çok basit bir örnekti. Modern dil modellerinde embedding boyutları şöyledir:<br>- GPT-3: 12,288 boyut<br>- GPT-4: ~20,000+ boyut (tahmini)<br>- PaLM: 18,432 boyut</p><p>Unutmayın ki LLM’ler milyarlarca token içeren devasa veri setleriyle eğitilir. 175 milyar parametreli GPT-3&#39;ün eğitimi aylar sürer ve milyonlarca dolar maliyete sahiptir. Mesela bu bilgi size basit ama güçlü bir içgörü verebilir: evde kendi LLM’nizi eğitemezsiniz. Kişisel bilgisayarınızda model geliştirebilirsiniz, deployment yapabilirsiniz, localde bir modeli keyfinize göre optimize edebilirsiniz fakat <em>training </em>bambaşka bir organizasyondur<em>.</em> Bir LLM eğitmek için en basitinden GPU’larla dolu bir server çiftliği gerekir. Bu da milyonlarca dolar maliyet ve çok sayıda personel anlamına geliyor.</p><p>Fakat aslında dil modellerine dair en sıra dışı şeyler de bu tür büyük çaplı trainingler sırasında ortaya çıkıyor. Şu an derinlemesine girmeyeceğim ama emergent abilities çok enteresan bir konudur. Şöyle ki, bir LLM’nin parametre sayısı belirli bir eşiği geçince (yani modelin büyüklüğü çok artınca) model yeni kabiliyetler göstermeye başlar. Ve bu süreçler özünde bir <em>black box mekanizması</em> içerdiği için neden böyle olduğunu bilemiyoruz.</p><p>Son zamanlarda LLM’lerin nasıl çalıştığını anlamak için yapılan çalışmalar da epey arttı. Bu çalışma alanına genel olarak m<em>echanistic interpretability</em> deniyor, ilgilenenler bu anahtar sözcükle direkt araştırabilir. Örneğin <strong>Anthropic</strong>’in GPT-2&#39;deki “<strong>induction heads</strong>” keşfi, modellerin nasıl örüntü eşleme yaptığını açığa çıkarmıştı. Özellikle <em>AI safety</em>, yani güvenli yapay zeka araştkrmacıları için modellerin nasıl çalıştığını çözebilmek çok önemli.</p><p>Belki bu kavramları başka yazılarda daha detaylı irdelerim, ama şimdilik yazının asıl amacına ulaştığını düşünüyorum. Artık şu soruyu hepimiz cevaplayabiliriz: <strong>LLM’lerde halüsinasyon kavramı neden bir problem değildir?</strong></p><p>Eh, çünkü zaten dil modelleri <em>böyle </em>çalışıyor. Bilgiyi bir kaynaktan almıyorlar; istatiksel tahminlerle tokenları uç uca ekleyerek inşa ediyorlar. Bu da şu demek: Eğer bir cümleyi devam ettirmek için farklı olasılık dağılımları mevcutsa model her zaman doğru bilgiyi seçmeyebilir. Bazen gerçeğe aykırı fakat istatistiksel olarak “makul” bulduğu bir bilgiyi inşa eder. Bunu yaparken asıl amacı anlamsal bütünlük sağlamak olduğu için fazlasıyla ikna edici olabilir. Teknik terimlerle ve bağlamsal bütünlükle öyle bir uydurur ki, o alanda uzman biri olmadıkça bilginin yanlış olduğunu fark etmek neredeyse imkansız olur. Halüsinasyon dediğimiz olay tam olarak budur.</p><p>Kısacası makineler (şimdilik) düşünemezler; ama <em>düşleyebilirler</em>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=07abc848ef3f" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>